Las capacidades de ChatGPT siguen sorprendiendo al mundo. Un reciente estudio publicado en PLOS Digital Health develó que la herramienta de inteligencia artificial podría aprobar el Examen de Licencia Médica de los Estados Unidos (USMLE), ya que la puntuación que obtiene ronda el 60% y las respuestas que entrega tienen sentido coherente e interno y contienen ideas frecuentes.
Los investigadores pusieron a prueba el rendimiento de ChatGPT en esta prueba técnica, conformada por tres exámenes altamente estandarizados y regulados (Pasos 1, 2CK y 3) necesarios para obtener la licencia médica en el país norteamericano. El test evalúa conocimientos que abarcan la mayoría de las disciplinas médicas, desde la bioquímica al razonamiento diagnóstico, pasando por la bioética y debe ser tomado por los médicos en formación antes de que ingresen por completo a la práctica clínica.
También le puede interesar: ChatGPT, ¿capaz de detectar signos tempranos de alzheimer?
Las impresionantes respuestas de ChatGPT
Tras eliminar las preguntas basadas en imágenes, los autores probaron el software con 350 de las 376 preguntas públicas disponibles en la versión del USMLE de junio de 2022. Una vez eliminadas las respuestas indeterminadas, ChatGPT obtuvo una puntuación de entre el 52,4% y el 75,0% en los tres exámenes USMLE.
ChatGPT también demostró una concordancia del 94,6% en todas sus respuestas y produjo al menos un conocimiento significativo (algo que era nuevo, no obvio y clínicamente válido) en el 88,9% de sus respuestas. En particular, ChatGPT superó el rendimiento de PubMedGPT, un modelo homólogo entrenado exclusivamente en literatura biomédica, que obtuvo una puntuación del 50,8% en un conjunto de datos más antiguo de preguntas diseñadas con el mismo formato del examen gubernamental.
No olvide leer: ¡What the GPT-Chat!
Aunque el tamaño relativamente pequeño de los datos introducidos limitó la profundidad y el alcance de los análisis, los autores señalan que sus hallazgos permiten vislumbrar el potencial de esta herramienta tecnológica para mejorar los procesos de formación y la práctica. De hecho, algunos médicos de la compañía AnsibleHealth -de la que hacen parte los investigadores- ya utilizan ChatGPT para reescribir informes con mucha jerga para facilitar la comprensión del paciente.
Para la Dra. Tiffany Kung, autora del estudio publicado, “ChatGPT contribuyó sustancialmente a la redacción de [nuestro] manuscrito… Interactuamos con ChatGPT como con un colega, pidiéndole que sintetizara, simplificara y ofreciera contrapuntos a los borradores en curso…”. Finalmente indicó que todos los autores valoraron los resultados y los aportes de este novedoso instrumento.
Le puede interesar: Uso de IA detecta factores predictivos de suicidio en mujeres
