Chatbots de IA e suas Limitações em Saúde
Um novo estudo publicado na Nature Medicine expõe falhas preocupantes nos conselhos de saúde fornecidos por chatbots de inteligência artificial (IA). A pesquisa indicou que essas ferramentas não se mostraram mais eficazes do que buscas realizadas no Google, levantando sérias questões sobre sua confiabilidade em diagnósticos e orientações médicas. A análise concluiu que os chatbots, em muitos casos, podem oferecer informações erradas ou alterar drasticamente seus conselhos com base em mudanças sutis nas perguntas feitas pelos usuários.
Os pesquisadores, liderados pelo professor Adam Mahdi do Instituto de Internet de Oxford, reconheceram que, apesar do crescimento no uso de chatbots para perguntas médicas, a complexidade da medicina muitas vezes vai além das capacidades dessas máquinas. “A medicina é complexa e estocástica”, ressaltou Mahdi, apontando que perguntas diretas não refletem a realidade das interações médico-paciente.
Como Foi Conduzido o Estudo
No experimento, mais de 1.200 participantes, na sua maioria leigos em medicina, foram convidados a simular consultas com chatbots como o ChatGPT da OpenAI e o Llama da Meta. Eles receberam cenários médicos detalhados, completos com sintomas e histórico de saúde, e foram encarregados de interagir com os robôs para determinar os próximos passos, como se deviam procurar atendimento médico urgente ou se podiam tratar-se em casa.
Os resultados mostraram que os participantes acertaram a conduta correta, previamente validada por médicos, em menos de 50% das vezes. Além disso, as condições médicas foram identificadas corretamente em apenas 34% das situações. Os chatbots, portanto, não superaram o grupo de controle que utilizou o motor de busca do Google.
Limitações e Possíveis Melhorias nos Chatbots de Saúde
Um dos pontos críticos levantados pela pesquisa é que, muitas vezes, os erros nos conselhos dos chatbots resultaram de informações insuficientes fornecidas pelos usuários. Por exemplo, um chatbot poderia sugerir que dores de estômago agudas eram causadas por indigestão, simplesmente porque o participante não havia incluído detalhes cruciais sobre a intensidade ou a localização da dor. Quando os pesquisadores inseriram todas as informações necessárias, os chatbots foram capazes de diagnosticar corretamente 94% das vezes.
Robert Wachter, chefe do departamento de medicina da Universidade da Califórnia, destacou a importância da experiência médica na elucidação de quais informações são relevantes para o diagnóstico. “É preciso muita magia cognitiva para saber quais detalhes devem ser destacados”, afirmou. No entanto, Andrew Bean, principal autor do estudo, argumentou que a responsabilidade de formular perguntas adequadas não deveria recair unicamente sobre os usuários, sugerindo que os chatbots também deveriam ser mais proativos em fazer perguntas complementares.
Desafios de Interação e Fatos Surpreendentes
A pesquisa revelou que, mesmo quando as informações eram inseridas de forma precisa, os chatbots ainda enfrentavam dificuldades em classificar a urgência dos sintomas. A doutora Danielle Bitterman, que estuda a interação entre pacientes e IA, observou que isso pode ser atribuído ao fato de que os modelos são treinados com base em livros didáticos e relatos de casos, mas carecem da experiência prática que médicos acumulam ao longo de suas carreiras.
Além disso, houve relatos de chatbots que forneceram informações completamente inventadas. Em uma ocasião, um modelo sugeriu que um usuário ligasse para um número de emergência que não era real. Este tipo de erro destaca a necessidade urgente de melhorias na programação e na abordagem dos chatbots, especialmente ao lidar com situações que exigem precisão e responsabilidade.
O estudo conclui que, se os desenvolvedores de IA não puderem garantir que seus modelos estão prontos para fornecer orientações médicas seguras e precisas, a adoção desses serviços na área da saúde deve ser reconsiderada. Afinal, a saúde é um tema delicado, e a confiança que depositamos em novas tecnologias deve ser acompanhada de rigor científico e responsabilidade ética.