La inteligencia artificial (IA) ha avanzado a pasos agigantados en los últimos años, ofreciendo soluciones innovadoras y herramientas útiles en diversos campos como el ChatGPT. Sin embargo, un reciente estudio realizado por un equipo de investigadores médicos de la Escuela de Medicina y Odontología Schulich de la Universidad de Western ha revelado que, a pesar de su entrenamiento intensivo, este modelo de lenguaje de inteligencia artificial (LLM), aún no está a la altura para diagnosticar enfermedades humanas con precisión.
El estudio, publicado en el sitio de acceso abierto PLOS ONE, fue diseñado para evaluar la capacidad de ChatGPT para proporcionar diagnósticos médicos. Los investigadores entrenaron al modelo con 150 casos de estudio tomados de Medscape, un sitio web utilizado por profesionales médicos para fines informativos y educativos. Estos casos incluían un historial del paciente detallado, resultados de laboratorio y hallazgos de exámenes en el consultorio, junto con diagnósticos precisos previamente establecidos.
Metodología y resultados de ChatGPT
El proceso consistió en proporcionar a ChatGPT los síntomas de los pacientes tal como se describen en los casos de estudio y solicitarle que generara un diagnóstico y/o un plan de tratamiento. Posteriormente, los investigadores calificaron las respuestas del modelo en función de la exactitud de los diagnósticos y de la claridad y precisión con la que informaba sobre el fundamento de sus conclusiones, incluyendo citas relevantes.
Los resultados del estudio fueron reveladores. ChatGPT logró un diagnóstico correcto en solo el 49% de los casos. Aunque este resultado es preocupante, los investigadores notaron que el modelo fue capaz de describir adecuadamente cómo llegó a sus conclusiones, lo cual podría ser útil como herramienta educativa para estudiantes de medicina. Además, mostró cierta habilidad para descartar enfermedades posibles, aunque esto no compensó su baja precisión general.
Análisis de los resultados
Los investigadores señalan que, a pesar de sus limitaciones actuales, la capacidad de ChatGPT para articular el razonamiento detrás de sus diagnósticos podría ser valiosa en un entorno educativo. Esta característica permite a los estudiantes de medicina entender mejor el proceso de diagnóstico y los factores que deben considerarse. Sin embargo, la precisión insuficiente del modelo en la identificación de diagnósticos correctos sugiere que no es adecuado para su uso en entornos clínicos donde las decisiones de diagnóstico pueden tener implicaciones críticas para la salud del paciente.
Este estudio subraya la necesidad de ser cautelosos al utilizar modelos de lenguaje como ChatGPT en aplicaciones médicas. Si bien estos modelos pueden ofrecer resultados impresionantes en ciertas áreas, aún tienen un largo camino por recorrer antes de ser confiables para el diagnóstico de enfermedades humanas.
Los investigadores sugieren que los LLM podrían ser más útiles en roles complementarios, proporcionando apoyo a los profesionales médicos en lugar de actuar como diagnósticos primarios. Esto podría incluir tareas como la recopilación de información, el filtrado de síntomas y la generación de listas de posibles diagnósticos para que los médicos las revisen.
Para aquellos interesados en la evolución de la inteligencia artificial en la medicina, este estudio proporciona una valiosa perspectiva sobre los desafíos actuales y las oportunidades futuras. Mientras tanto, la comunidad médica y los desarrolladores de IA deben trabajar juntos para continuar mejorando estas tecnologías, con el objetivo de algún día poder integrar de manera segura y efectiva la inteligencia artificial en el diagnóstico clínico.
