Benchmarking de grandes modelos de lenguaje para extraer datos clínicos de historias clínicas en portugués brasileño en un hospital universitario

Resumen

El acceso a los datos estructurados de las historias clínicas electrónicas (HCE) continúa siendo un gran desafío, especialmente en los sistemas sanitarios con recursos limitados y en idiomas distintos del inglés. Este estudio realiza benchmarking de varios modelos de lenguaje (LLMs) para la extracción automatizada de variables clínicas estructuradas a partir de notas médicas en portugués brasileño en un entorno con recursos informáticos limitados. Se evaluaron cinco LLMs (GPT-4o mini, DeepSeek-V3, Mixtral-8x7B, LLaMA 8B y Qwen-32B) con base en un conjunto de datos anotado y validado manualmente, compuesto de historias clínicas de pacientes ambulatorios de cardiología e infectología. Los modelos se implementaron en versiones cuantificadas para optimizar la eficiencia computacional. Las respuestas (outputs) de los modelos se compararon con las notas humanas mediante el uso de F1-score, de la precisión equilibrada y de la sensibilidad (recall). Entre los modelos probados, Qwen-32B logró el mejor rendimiento tanto en el dominio clínico de la infectología (precisión equilibrada = 0,91 [0,07]) como en el dominio clínico de la cardiología (precisión equilibrada = 0,89 [0,07]). El rendimiento del modelo tuvo variaciones según la variable clínica, con mejores resultados para afecciones documentadas con frecuencia y consistencia (por ejemplo, diabetes) y menor precisión para variables complejas o infrecuentes (por ejemplo, tumores). El tiempo de extracción varió de 0,9 a 24,2 minutos por paciente dependiendo del dominio clínico y del modelo de LLM. Estos hallazgos indican la viabilidad de implementar herramientas de procesamiento de lenguaje natural basadas en LLMs en entornos de atención médica con recursos limitados y en idiomas distintos del inglés. Las investigaciones futuras pueden evaluar modelos emergentes a gran escala y explorar dominios clínicos adicionales.

Palabras-clave:
Grandes Modelos de Lenguaje; Registros Electrónicos de Salud; Benchmarking