En un estudio meticuloso publicado en la prestigiosa revista científica Pediatric Dermatology, se llevó a cabo una comparación detallada entre el desempeño de dermatólogos pediátricos y las versiones 3.5 y 4.0 de ChatGPT en la respuesta a preguntas tipo examen de la junta. Los resultados obtenidos arrojaron luz sobre la fascinante dinámica entre la habilidad humana y la inteligencia artificial en el campo de la dermatología pediátrica.
Bajo la dirección de Charles Huang y Esther Zhang, destacados investigadores en el ámbito de la medicina en Filadelfia, se evidenció la capacidad de los dermatólogos en áreas específicas, a pesar de los avances de la inteligencia artificial. En particular, los expertos demostraron un rendimiento superior en preguntas relacionadas con procedimientos dermatológicos y técnicas quirúrgicas, subrayando la importancia del conocimiento adquirido a través de la experiencia práctica en la medicina.
“Nos sentimos aliviados al descubrir que los dermatólogos pediátricos de nuestro estudio obtuvieron mejores resultados que ChatGPT tanto en preguntas de opción múltiple como en preguntas basadas en casos; sin embargo, la última versión de ChatGPT (4.0) estuvo muy cerca (…)”Algo más que fue interesante en nuestros datos fue que los dermatólogos pediátricos se desempeñaron mucho mejor que ChatGPT en preguntas relacionadas con procedimientos dermatológicos/técnicas quirúrgicas, lo que tal vez indica que el conocimiento/razonamiento adquirido a través de la experiencia práctica no se replica fácilmente en herramientas de inteligencia artificial como ChatGPT. “ fueron algunas de las palabras del director de la investigación Charles Huang.
Un grupo de cinco dermatólogos pediátricos fue seleccionado para responder un total de 24 preguntas basadas en texto. Estas preguntas incluyeron 16 preguntas de respuesta única y opción múltiple, dos preguntas de respuesta múltiple tomadas de la prueba de muestra de certificación 2021 de la Junta Estadounidense de Dermatología, y seis preguntas de respuesta libre basadas en casos extraídas del “Photoquiz” de Dermatología Pediátrica, abarcando el período entre julio de 2022 y julio de 2023.
Posteriormente, las mismas preguntas fueron sometidas a un análisis comparativo a través de las versiones 3.5 y 4.0 de ChatGPT, utilizando métodos estadísticos para contrastar las respuestas proporcionadas por los dermatólogos pediátricos con las generadas por ChatGPT. Para evaluar las respuestas a las preguntas basadas en casos, se empleó una escala de cinco puntos adaptada de las herramientas de inteligencia artificial vigentes en ese momento.
Comparación entre los dermatólogos pediátricos y ChatGPT
En términos generales, los participantes en el estudio contaban con una experiencia clínica promedio de 5,6 años. Los dermatólogos pediátricos demostraron un desempeño significativamente superior a la versión 3.5 de ChatGPT en preguntas de opción múltiple y respuesta múltiple (91,4 % frente a 76,2 %, respectivamente; P = 0,021), aunque no se observó una diferencia significativa en comparación con la versión 4.0 de ChatGPT (90,5 %; P = 0,44).
En cuanto a las respuestas a las preguntas basadas en casos, se encontró que el rendimiento promedio, evaluado en una escala de 5 puntos, fue de 3,81 para los dermatólogos pediátricos y de 3,53 para ChatGPT en general. Se observaron puntuaciones medias significativamente más altas para los dermatólogos pediátricos en comparación con la versión 3.5 de ChatGPT (p = 0,039), pero no con la versión 4.0 (p = 0,43).
Los investigadores reconocieron ciertas limitaciones en el análisis, incluyendo la naturaleza evolutiva de las herramientas de inteligencia artificial, lo que podría afectar la reproducibilidad de los resultados con futuras actualizaciones del modelo. Aunque los participantes afirmaron no estar familiarizados con las preguntas y casos específicos utilizados en el estudio, los investigadores señalaron la posibilidad de una exposición previa a través de otros procesos de revisión de exámenes de la junta de dermatología.
Charles Huang afirmó que:”Las herramientas de inteligencia artificial como ChatGPT y modelos de lenguaje grandes similares pueden ser una herramienta valiosa en su práctica clínica, pero tenga en cuenta los peligros potenciales como la privacidad del paciente, las imprecisiones médicas y los sesgos intrínsecos en las herramienta s(…) A medida que estas tecnologías continúan avanzando, es esencial que todos nosotros, como médicos clínicos, nos familiaricemos y estemos al tanto de los nuevos desarrollos, tal como nos adaptamos a los registros médicos electrónicos y al uso de Internet”.
Aunque ChatGPT mostró mejoras significativas en su versión 4.0, los investigadores resaltaron la relevancia de la interacción entre la habilidad humana y la tecnología emergente en la práctica clínica. Los expertos consultados, como Maria Buethe y Erum Ilyas, enfatizaron la utilidad de ChatGPT en la generación de diagnósticos diferenciales, lo que podría potenciar el enfoque hacia patologías más complejas en la dermatología pediátrica.
No obstante, se advirtió sobre posibles riesgos asociados al uso de herramientas de inteligencia artificial en la práctica clínica, como la privacidad del paciente y posibles imprecisiones médicas. Es crucial que los profesionales de la salud se mantengan actualizados y adapten sus prácticas a los avances tecnológicos, garantizando así una atención óptima a los pacientes y el continuo desarrollo de la dermatología pediátrica.
En resumen, este estudio pionero destaca la complementariedad entre el ingenio humano de los dermatólogos pediátricos y las herramientas de IA como ChatGPT, evidenciando la necesidad de un enfoque integrado que combine la experiencia clínica con las innovaciones tecnológicas para impulsar el progreso en el campo de la dermatología pediátrica.
