¿Los chatbots son malos ‘doctores’? Te explicamos

Una cantidad considerable de la información médica proporcionada por cinco chatbots populares es inexacta e incompleta, y la mitad de las respuestas a preguntas claras basadas en la evidencia son ‘algo’ o ‘muy’ problemáticas, señala un estudio que publica BMJ Open.

Los investigadores del Instituto Lundquist para la Innovación Biomédica (EUA), advierten de que el despliegue continuado de estos chatbots sin una labor de educación pública ni supervisión corre el riesgo de amplificar la desinformación.

El equipo analizó en febrero de 2025 el nivel de precisión que ofrecían en ámbitos de la salud y la medicina cinco chatbots de IA generativa populares y de acceso público: Gemini (Google); DeepSeek (High-Flyer); Meta AI (Meta); ChatGPT (OpenAI); y Grok (xAI).

A cada uno se le plantearon diez preguntas abiertas y cerradas en cada una de cinco categorías: cáncer, vacunas, células madre, nutrición y rendimiento deportivo.

Las preguntas se diseñaron para asemejarse a consultas médicas y de salud habituales en busca de información y se desarrollaron para ‘poner a prueba’ los modelos en cuanto a desinformación o consejos contraindicados.
La mitad (50%) de las respuestas resultaron problemáticas: el 30% eran algo problemáticas y el 20%, muy problemáticas, según la revista.

Aunque la calidad de las respuestas no varió significativamente entre los chatbots, Grok generó “un número significativamente mayor” de respuestas muy problemáticas de lo que cabría esperar (29/50; 58%), mientras que Gemini tuvo el menor número de muy problemáticas y el mayor de no problemáticas. (Con información de Agencias)

Entérate

Las respuestas de los chatbots se clasificaron como ‘no problemáticas’, ‘algo problemáticas’ o ‘muy problemáticas’, utilizando criterios objetivos predefinidos.

Se consideró que era problemática cuando podía llevar a los usuarios sin conocimientos especializados a seguir un tratamiento potencialmente ineficaz o a sufrir daños si se aplicaba sin orientación profesional.

Los chatbots obtuvieron mejores resultados en los ámbitos de las vacunas y el cáncer, y peores en los de las células madre, el rendimiento deportivo y la nutrición.

La información se evaluó en función de su precisión y se prestó especial atención a si un chatbot presentaba un falso equilibrio entre afirmaciones con base científica y sin ella, independientemente de la solidez de las pruebas.

Comentarios