Los modelos de lenguaje profundo (LLM) ejecutados localmente han emergido como una alternativa prometedora para la extracción de datos de informes radiológicos basados en texto, mientras se preserva rigurosamente la privacidad del paciente. Esto es según un reciente estudio llevado a cabo por el Centro Clínico de los Institutos Nacionales de Salud (NIH CC), cuyos resultados se han publicado en la revista Radiology.
A nivel global, los modelos de lenguaje se entrenan para comprender y generar texto de manera análoga a la capacidad humana, en múltiples áreas del conocimiento.
Bajo la dirección de Pritam Mukherjee, Ph.D., científico del CC de los NIH, el equipo de investigadores se propuso explorar la factibilidad de utilizar un LLM de ejecución local conocido como Vicuna-13B. El objetivo principal fue etiquetar hallazgos clave en informes de radiografías de tórax procedentes de la base de datos del NIH y del conjunto de datos Medical Information Mart for Intensive Care (MIMIC), una fuente de registros de salud electrónicos desidentificados de acceso público.
El conjunto de datos empleado en el estudio incluyó un total de 3.269 informes de radiografías de tórax extraídos de MIMIC, junto con 25.596 informes de los NIH. Este enfoque integral permitió a los investigadores evaluar la eficacia de Vicuna-13B en la identificación de datos críticos en informes radiológicos.
¿En qué se diferencia Vicuna-13B de otros LLM?
Este modelo se creó mediante el ajuste fino supervisado de instrucciones en una versión del LLM LLaMA fundacional, utilizando aproximadamente 70,000 conversaciones de ChatGPT compartidas por usuarios. Los expertos decidieron utilizarlo porque su rendimiento es comparable con la tecnología en tendencia, sin ningún tipo de modificaciones en sus sistemas.
“El prompt correcto facilitó la detección de hallazgos en radiología”
En la investigación, los científicos utilizaron dos instrucciones (prompts) para abordar dos tareas específicas: la identificación y etiquetado de la presencia o ausencia de 13 hallazgos particulares en los informes de radiografías de tórax. Para analizar la veracidad de los datos arrojados, se comparó el uso de LLM con herramientas de etiquetado ampliamente utilizadas que no involucraban esta tecnología.
Un análisis estadístico detallado de los resultados obtenidos por el LLM reveló una concordancia que variaba de moderada a sustancial en comparación con las soluciones de etiquetado convencionales.
El Dr. Summers, uno de los investigadores principales, comentó sobre estos hallazgos al afirmar: “Nuestro estudio ha demostrado que el rendimiento del LLM es comparable al estándar de referencia actual. Con la selección adecuada de la indicación y la tarea, hemos logrado una concordancia equiparable a la de las herramientas de etiquetado que actualmente se utilizan”.
El experto también enfatizó que los LLM que pueden ejecutarse de manera local serán de gran utilidad para la creación de amplios conjuntos de datos destinados a la investigación en inteligencia artificial, todo ello sin comprometer la privacidad de los pacientes.
