Todos os anos, milhares de estudantes fazem cursos que os ensinam a implantar modelos de inteligência artificial que podem ajudar os médicos a diagnosticar doenças e determinar tratamentos apropriados. No entanto, muitos desses cursos omitem um elemento -chave: treinando os alunos para detectar falhas nos dados de treinamento usados para desenvolver os modelos.
Leo Anthony Celi, cientista sênior de pesquisa do Instituto de Engenharia e Ciências Médicas do MIT, médico do Centro Médico Beth Israel Deaconess e professor associado da Harvard Medical School, documentou essas deficiências em um Novo papel e espera convencer os desenvolvedores do curso a ensinar os alunos a avaliar mais profundamente seus dados antes de incorporá -los em seus modelos. Muitos estudos anteriores descobriram que modelos treinados principalmente em dados clínicos de homens brancos não funcionam bem quando aplicados a pessoas de outros grupos. Aqui, Celi descreve o impacto de tais viés e como os educadores podem abordá -lo em seus ensinamentos sobre os modelos de IA.
Q: Como o viés entra nesses conjuntos de dados e como essas deficiências podem ser abordadas?
UM: Quaisquer problemas nos dados serão assados em qualquer modelagem dos dados. No passado, descrevemos instrumentos e dispositivos que não funcionam bem entre os indivíduos. Como exemplo, descobrimos que os oxímetros de pulso superestimam os níveis de oxigênio para pessoas de cor, porque não havia pessoas de cor suficientes matriculadas nos ensaios clínicos dos dispositivos. Lembramos aos nossos alunos que dispositivos e equipamentos médicos são otimizados em jovens homens saudáveis. Eles nunca foram otimizados para uma mulher de 80 anos com insuficiência cardíaca, e ainda assim os usamos para esses fins. E o FDA não exige que um dispositivo funcione bem nessa população em que o usaremos. Tudo o que eles precisam é de prova de que funciona em assuntos saudáveis.
Além disso, o sistema eletrônico de registros de saúde não está em forma para ser usado como os blocos de construção da IA. Esses registros não foram projetados para serem um sistema de aprendizado e, por esse motivo, você deve ter muito cuidado ao usar registros eletrônicos de saúde. O sistema eletrônico de registros de saúde deve ser substituído, mas isso não acontecerá tão cedo, por isso precisamos ser mais inteligentes. Precisamos ser mais criativos em usar os dados que temos agora, por mais que sejam, na construção de algoritmos.
Uma avenida promissora que estamos explorando é o desenvolvimento de um Modelo do transformador de dados numéricos de registro eletrônico de saúde, incluindo, entre outros, os resultados dos testes de laboratório. Modelando a relação subjacente entre os testes de laboratório, os sinais vitais e os tratamentos pode mitigar o efeito dos dados ausentes como resultado de determinantes sociais da saúde e preconceitos implícitos do fornecedor.
Q: Por que é importante para os cursos da IA cobrir as fontes de potencial viés? O que você encontrou quando analisou o conteúdo de tais cursos?
UM: Nosso curso no MIT começou em 2016 e, em algum momento, percebemos que estávamos incentivando as pessoas a correr para construir modelos que são excedentes para alguma medida estatística do desempenho do modelo, quando, na verdade, os dados que estamos usando estão repletos de problemas que as pessoas não conhecem. Naquela época, estávamos nos perguntando: quão comum é esse problema?
Nossa suspeita foi que, se você olhasse para os cursos onde o plano de estudos está disponível on -line ou os cursos on -line, nenhum deles se incomoda em dizer aos alunos que eles devem ficar paranóicos com os dados. E verdadeiro o suficiente, quando analisamos os diferentes cursos on -line, trata -se de construir o modelo. Como você constrói o modelo? Como você visualiza os dados? Descobrimos que, de 11 cursos que revisamos, apenas cinco incluíam seções sobre viés nos conjuntos de dados e apenas dois continham qualquer discussão significativa sobre viés.
Dito isto, não podemos descontar o valor desses cursos. Já ouvi muitas histórias em que as pessoas se auto-estudam com base nesses cursos on-line, mas, ao mesmo tempo, dado o quão influentes são, quão impactantes são, precisamos realmente dobrar para exigir que eles ensinassem as habilidades certas, à medida que mais e mais pessoas são atraídas por esse multiverso de IA. É importante que as pessoas realmente se equiparem com a agência para poder trabalhar com a IA. Esperamos que este artigo destace essa enorme lacuna na maneira como ensinamos a IA agora aos nossos alunos.
Q: Que tipo de conteúdo os desenvolvedores de cursos devem estar incorporando?
UM: Um, dando a eles uma lista de verificação de perguntas no começo. De onde esses dados vieram? Quem foram os observadores? Quem foram os médicos e enfermeiros que coletaram os dados? E então aprenda um pouco sobre o cenário dessas instituições. Se for um banco de dados da UTI, eles precisam perguntar quem chega à UTI e quem não chega à UTI, porque isso já apresenta um viés de seleção de amostragem. Se todos os pacientes minoritários nem sequer forem admitidos na UTI porque não podem chegar à UTI a tempo, os modelos não funcionarão para eles. Na verdade, para mim, 50 % do conteúdo do curso deve realmente entender os dados, se não mais, porque a modelagem em si é fácil quando você entende os dados.
Desde 2014, o MIT Critical Data Consortium vem organizando datatonas (dados “hackathons”) em todo o mundo. Nessas reuniões, médicos, enfermeiros, outros profissionais de saúde e cientistas de dados se reúnem para vasculhar bancos de dados e tentar examinar a saúde e a doença no contexto local. Livros didáticos e artigos de periódicos apresentam doenças com base em observações e ensaios envolvendo uma demografia estreita normalmente de países com recursos para pesquisa.
Nosso principal objetivo agora, o que queremos ensiná -los, são habilidades de pensamento crítico. E o principal ingrediente do pensamento crítico é reunir pessoas com diferentes origens.
Você não pode ensinar pensamento crítico em uma sala cheia de CEOs ou em uma sala cheia de médicos. O ambiente simplesmente não está lá. Quando temos dados, nem precisamos ensiná -los como você faz o pensamento crítico. Assim que você traz a mistura certa de pessoas – e não é apenas proveniente de diferentes origens, mas de gerações diferentes – você nem precisa dizer a elas como pensar criticamente. Isso apenas acontece. O ambiente é adequado para esse tipo de pensamento. Então, agora dizemos a nossos participantes e nossos alunos, por favor, não comece a criar nenhum modelo, a menos que você realmente entenda como os dados surgiram, quais pacientes entraram no banco de dados, quais dispositivos foram usados para medir e esses dispositivos são consistentemente precisos entre os indivíduos?
Quando temos eventos em todo o mundo, incentivamos -os a procurar conjuntos de dados locais, para que sejam relevantes. Há resistência porque eles sabem que descobrirão o quão ruim são seus conjuntos de dados. Dizemos que tudo bem. É assim que você conserta isso. Se você não sabe o quão ruim eles são, continuará colecionando -os de uma maneira muito ruim e eles são inúteis. Você deve reconhecer que não vai acertar da primeira vez, e isso é perfeitamente bom. Mimic (as informações médicas marcadas para o banco de dados de terapia intensiva construídas no Centro Médico Beth Israel Deaconess) levaram uma década antes de termos um esquema decente, e só temos um esquema decente porque as pessoas estavam nos dizendo o quão ruim era.
Podemos não ter as respostas para todas essas perguntas, mas podemos evocar algo nas pessoas que as ajuda a perceber que existem muitos problemas nos dados. Estou sempre emocionado ao olhar para as postagens do blog de pessoas que participaram de uma datatona, que dizem que o mundo deles mudou. Agora, eles estão mais empolgados com o campo porque percebem o imenso potencial, mas também o imenso risco de danos se não fizerem isso corretamente.
