Preguntas de respuesta múltiple (MCQ), sobre un punto clave (KFQ) o de concordancia de guiones (SCT) ¿Qué son y para que podemos utilizarlas?

En relación con un artículo publicado por MedEdFlamingo en el que nos habla sobre el uso de la IA en la elaboración de preguntas para exámen o evaluación formativa voy a hacer un breve repaso de tres tipos, las archiconocidas preguntas tipo test de respuesta múltipe y las menos habituales sobre puntos críticos o sobre la concordancia de guiones.

Vamos primeros con las definiciones de qué es cada una y un ejemplo:

Multiple Choice Question (MCQ) o pregunta de opción múltiple:

Medimos si el alumno sabe

Sin duda la más conocida por todos. Se presenta un enunciado o un caso clínico breve seguido de varias opciones de respuesta (en la actualidad parece demostrado que 4 respuestas funciona mejor que las clásicas 5 opciones). Entre las 4 opciones una será la correcta y las otras 3 distractores (la dificultad de crear estas preguntas suele estar en elegir bien estos distractores, ni demaisado fáciles ni imposibles).

Las preguntas MCQ evalúan conocimientos factuales y también de razonamiento bien definido. Como ventaja su corrección es objetiva y automática.

Ejemplo sobre el uso de betabloqueantes en la insuficiencia cadíaca (MCQ)

Caso: Varón de 65 años con insuficiencia cardíaca con fracción de eyección reducida (FE 30%), en tratamiento con IECA y diurético de asa. Se plantea iniciar un betabloqueante.

Pregunta: ¿Cuál de los siguientes betabloqueantes ha demostrado reducir la mortalidad en la insuficiencia cardíaca con fracción de eyección reducida?

1. Atenolol

2. Bisoprolol

3. Pindolol

4. Propranolol

Key-Feature Question (KFQ) o pregunta sobre un punto clave o crítico:

Medimos si el alumno decide de forma correcta

Evalúa la toma de decisiones en los pasos críticos (“key features”) sobre un problema clínico. Cada caso tiene varias preguntas breves en secuencia centradas en las decisiones esenciales o potencialmente erróneas, no en la totalidad del caso.

Estas preguntas pueden semejar a las MCQ, con respuestas de selección múltiple, o ser de texto abierto.

Busca medir aplicación del conocimiento, no memorización.

Ejemplo sobre el uso de betabloqueantes en la insuficiencia cadíaca (KFQ)

Caso: Paciente de 80 años, con IC-FEr (FEVI 20%), enfermedad renal crónica moderada y fibrilación auricular con respuesta ventricular controlada (FC promedio de 60-70 lpm) gracias a Digoxina. Usted inicia Bisoprolol a dosis de 2,5 mg dos veces al día. Una semana después, el paciente acude a urgencias con hipotensión sintomática (PA 85/50 mmHg), signos de shock cardiogénico incipiente y una frecuencia cardíaca de 38 lpm en el monitor.

Preguntas clave:

¿Cuál es el paso más crucial e inmediato a realizar en el manejo inicial para prevenir la inminente inestabilidad hemodinámica? (Elija solo una opción).

1. Añadir diurético de asa en perfusión para evitar hipotensión

2. Administrar un bolo de cristaloides para corregir la hipotensión.

3. Suspender el bisoprolol de forma inmediata.

4. Solicitar una radiografía de tórax y troponinas.

¿Cuál es la actuación más adecuada para reiniciar el tratamiento?

1. Reiniciar con la mitad de la dosis de betabloqueante previa una vez resuelto el cuadro.

2. Cambiar a un betabloqueante no selectivo.

3. Evitar los betabloqueantes de forma definitiva.

Script Concordance Test (SCT) o concordancia de guiones:

Medimos si el alumno razona ante la incertidumbre.

¿Qué es esto de que evalúa el razonamiento clínico en situaciones de incertidumbre? Pongo un ejemplo literario. Imagina que comienzas un libro sobre asesinatos y en el primer capítulo ya tienes claro el asesino. Pero en el segundo capítulo el autor te da otras pistas y comienzas a dudar si tu sospechoso es el adecuado. En la medicina también es así, partimos de una idea, y los hallazgos de la historia, la exploración o las pruebas complementarias van cambiando nuestras probabilidades. Lo que medirían las SCT es tu capacidad para re-adaptar tu sospecha sobre quién es el asesino a la nueva información. No si sabes un dato o no, sino como utilizas la nueva información para reformular tus hipótesis.

1. Plantea un escenario o caso clínico

2. Se establecen varias hipótesis diagnósticas o terapéuticas.

3. Luego se aporta una nueva información o hallazgo para cada una de las hipótesis generadas

4. El alumno valora en una escala de Likert (−2 a +2) cuánto cambia su grado de confianza en la hipótesis ante esa información.

Se corrige por comparación con las respuestas de un "panel de expertos" (que también pueden ser los propios alumnos o el profesor). No se establece una única opción “verdadera”, ya que lo que se valora es el manejo de la incertidumbre.

Ejemplo sobre el uso de betabloqueantes en la insuficiencia cadíaca (SCT), primero generamos una de las hipótesis y luego ya muestro la pregunta completa en formato tabla, con las tres hipótesis.

Caso: Paciente de 75 años con IC con fracción de eyección reducida (IC-FEr, FEVI 30%). Inició hace dos semanas Bisoprolol a dosis de 5 mg/día. En la última consulta su frecuencia cardíaca era de 70 lpm. Hoy acude a urgencias por fatiga extrema y disnea de reposo.

Hipótesis: La fatiga progresiva que presenta se debe a descompensación de la insuficiencia cardíaca por progresión su progresión natural

Nuevo Hallazgo: La frecuencia cardíaca actual es de 37  lpm, sin signos de congestión pulmonar significativa.

Pregunta: La nueva información hace que la hipótesis sea..:

Opciones de Respuesta

A) Mucho menos probable (-2)

B) Menos probable (-1)

C) Ni más ni menos probable (0)

D) Más probable (+1)

E) Mucho más probable (+2)

• esto se debe a que la presencia de bradicardia y la ausencia de congestión sugieren una causa iatrogénica, el betabloqueante, como más probable que la progresión natural.

La pregunta completa sería:

Varón de 75 años con insuficiencia cardíaca con fracción de eyección reducida (FEVI 30%). Hace dos semanas inició bisoprolol 5 mg/día. En la última consulta tenía frecuencia cardíaca de 70 lpm. Hoy acude a urgencias por fatiga extrema y disnea de reposo.

Si estás pensando en	Y entonces encuentras
La fatiga se debe a descompensación de la insuficiencia cardíaca por su progresión natural.	La frecuencia cardíaca actual es de 37  lpm, sin signos de congestión pulmonar significativa.	-2	-1	0	+1	+2
La fatiga se debe a un exceso de ingesta de sal o incumplimiento dietético como causa principal	El paciente refiere no haber seguido la dieta hiposódica y haber ganado 1 o 2 kg de peso recientemente.	-2	-1	0	+1	+2
La fatiga se debe a una dosis baja de tratamiento con diuréticos que habrá que aumentar	El paciente presenta aumento de creatinina y urea desde la última visita.	-2	-1	0	+1	+2

Resumen de las principales diferencias:

Aspecto	MCQ	KFQ	SCT
Tipo de conocimiento	Evalúa principalmente el conocimiento o la aplicación de información en situaciones donde la respuesta correcta es única y bien definida.	Se centra en los pasos críticos (Key Features) de un caso clínico complejo, los que son esenciales para su manejo correcto. Se enfoca a la decisión no tanto a descubrir la correcta	Se enfoca en el razonamiento en la incertidumbre. Utiliza el formato de escala Likert para evaluar cómo el examinado modifica su juicio (su "script") ante nueva información.
Número de respuestas válidas	Una	Una o más, según contexto	Varias dentro de la concordancia con expertos
Corrección	Automática, binaria	Basada en criterios clínicos	Ponderada según panel experto
Grado de incertidumbre	Bajo	Medio-alto	Alto
Nivel cognitivo	Reconocimiento y aplicación de conocimiento	Priorización y aplicación de conocimientos	Juicio clínico y ajuste de hipótesis

Referencias de interés:

¿Cómo elaborar Multiple Choice Questions?

• 31 reglas. Haladyna, T. M., Downing, S. M., & Rodriguez, M. C. (2002). A Review of Multiple-Choice Item-Writing Guidelines for Classroom Assessment. Applied Measurement in Education, 15(3), 309–333. https://doi.org/10.1207/S15324818AME1503_5

• National Board of Medical Examiners NBME Constructing written test questions for the health sciences (2024)

• European Board of Medical Assessors. Guideline for writing multiple choice questions (2017).

¿Cómo elaborar Key features questions?

• Nayer M, Glover Takahashi S, Hrynchak P. Twelve tips for developing key-feature questions (KFQ) for effective assessment of clinical reasoning. Med Teach. 2018;40:1116-1122. doi: 10.1080/0142159X.2018.1481281.

• Guidelines for the development of key feature problems and test case. Medical Council of Canada. Agosto 2012.

¿Cómo elaborar SCT questions?

• Fournier JP, Demeester A, Charlin B. Script Concordance Tests: Guidelines for Construction. BMC MedInform Decis Mak. 2008 Dec;8(1):18. https://doi.org/10.1186/1472-6947-8-18

• Lubarsky, S., Dory, V., Duggan, P., Gagnon, R., & Charlin, B. (2013). Script concordance testing: From theory to practice: AMEE Guide No. 75. Medical Teacher, 35(3), 184–193. https://doi.org/10.3109/0142159X.2013.760036

Un GPT para ayudarnos a realizar:

• Escenarios clínicos de preguntas tipo Test. By Flamingo en ChatGPT

• Preguntas tipo test en medicina. By Rohil Jain en ChatGPT

• Script concordance test Generator. By Flamingo en ChatGPT