Investigadores de la U. de Stanford y la U. de Chile evaluaron el rendimiento de distintas versiones de ChatGPT en el Examen Único Nacional de Conocimientos de Medicina (EUNACOM). El estudio buscó determinar la capacidad de ChatGPT 3.5, 4 y 4 con Visión (4V) para superar este importante examen médico en Chile.
Para llevar a cabo la investigación, se utilizaron tres simulacros oficiales del EUNACOM que constaban de 540 preguntas, replicando la estructura y dificultad del examen real. Cada versión de ChatGPT tuvo tres intentos para completar cada simulacro. Las respuestas dadas por cada versión en cada intento fueron categorizadas y analizadas para evaluar la tasa de precisión.
Los resultados mostraron que todas las versiones de ChatGPT lograron superar los simulacros del EUNACOM.
Específicamente, las versiones 4 y 4V superaron a la versión 3.5, alcanzando tasas de precisión promedio del 79.32% y 78.83%, respectivamente, en comparación con el 57.53% de la versión 3.5. A pesar de las capacidades visuales adicionales de la versión 4V, esta no superó a la versión 4. Además, se observó que las versiones 4 y 4V tuvieron un desempeño más consistente en distintas áreas médicas del EUNACOM en comparación con la versión 3.5.
Estos hallazgos destacan la capacidad de ChatGPT para aprobar el EUNACOM, revelando diferencias de desempeño entre las versiones evaluadas. Este estudio resalta la importancia de explorar enfoques innovadores para utilizar la inteligencia artificial y potenciar la adquisición de conocimientos y habilidades críticas entre profesionales de la salud.
PALABRAS CLAVE: Chile; Inteligencia artificial; EUNACOM
AUTORES/AFILIACIONES:
| Marcos Rojas | Stanford University, Stanford, CA, United States |
| Marcelo Rojas | Universidad de Chile, Santiago, Chile |
| Valentina Burgess | Universidad de Chile, Santiago, Chile |
| Javier Toro-Pérez | Universidad de Chile, Santiago, Chile |
| Shima Salehi | Stanford University, Stanford, CA, United States |
REFERENCIA:
Rojas, M., Rojas, M., Burgess, V., Toro-Pérez, J., & Salehi, S. (2024). Exploring the performance of ChatGPT versions 3.5, 4, and 4 With Vision in the Chilean medical licensing examination: Observational study. JMIR Medical Education, 10, e55048–e55048. https://doi.org/10.2196/55048
Altmetric attention score:
Foto original de Rolf van Root en Unsplash
Cómo citar esta nota: