1) Determinar la satisfacción de tutores y residentes con la metodología utilizada para la implementación de CoBaTrICE, y 2) determinar la validez y la fiabilidad de las escalas de valoración global diseñados ad hoc para analizar el desempeño de los residentes con fines formativos.
DiseñoEstudio prospectivo de cohortes.
ParticipantesTodos los residentes y tutores del Servicio de Medicina Intensiva del Hospital Universitario y Politécnico La Fe de Valencia.
IntervenciónEn marzo del 2016 se inició la implementación de CoBaTrICE sustentada en: 1) formación de los tutores en técnicas de retroalimentación; 2) realización por los residentes de múltiples ejercicios reales de evaluación objetiva y estructurada para adquirir las competencias del programa, y 3) uso de un portafolio electrónico para registrar las evidencias del progreso y estimular la reflexión.
MétodosLa satisfacción con CoBaTrICE se evaluó mediante una encuesta realizada tras 9 meses de implementación a los 15 residentes y 5 tutores del servicio. Se preguntó sobre la metodología de las evaluaciones, calidad de la retroalimentación, autorregulación del aprendizaje y utilidad del portafolio. Se determinaron la consistencia interna (alfa de Cronbach), índices de generalizabilidad y fiabilidad interjueces (índice de correlación intraclase) de las escalas de valoración global.
ResultadosLa aplicación de CoBaTrICE fue satisfactoria en todas las dimensiones estudiadas. Se constataron la validez y la fiabilidad de las escalas de valoración utilizadas.
ConclusionesLa metodología utilizada para implementar CoBaTrICE fue valorada positivamente por tutores y residentes. Las escalas de valoración global utilizadas en la evaluación formativa demostraron ser válidas, fiables y reproducibles.
1. To determine the satisfaction of tutors and residents with a specific methodology used to implement CoBaTrICE; 2. To determine the reliability and validity of the global rating scales designed ad hoc to assess the performance of the residents for training purposes.
DesignProspective cohort study
ParticipantsAll the residents and tutors of the ICU Department of the Hospital Universitario y Politécnico la Fe de Valencia.
InterventionCoBaTrICE implementation started in March 2016, it was based on: 1) Training the tutors in feedback techniques; 2) Performing multiple objective and structured work based assessments to achieve the competences of the program; and 3) The use of an electronic portfolio to promote learning reflection and to collect the evidence that learning was taking place.
MethodsThe acceptance of CoBaTrICE was explored through a satisfaction survey conducted after 9 months of implementation of the training program. The 15 residents and 5 tutors of the ICU Department were asked about the methodology of the formative assessments, the quality of the feedback, self-learning regulation and the electronic portfolio usefulness. The validity of the global rating scales was assessed through the tests alfa de Cronbach, reliability and generalizability indexes, and intraclass correlation coefficient.
ResultsThe implementation of CoBaTrICE was satisfactory in all the dimensions studied. The global rating scales used for formative purposes showed reliability and validity.
ConclusionsThe methodology used to implement CoBaTrICE was highly valued by tutors and residents. The global rating scales used for formative purposes showed reliability and validity.
La formación médica se encuentra actualmente inmersa en un proceso de cambio de modelo. El nuevo paradigma pretende ser más efectivo, más integrado en el sistema sanitario y dirigido a la aplicación directa del conocimiento en la práctica clínica1,2. Este nuevo modelo basado en la adquisición progresiva de competencias claramente definidas, observables y medibles (Competency based medical education [CBME]), se está convirtiendo en un referente internacional para definir los resultados, los métodos y la organización de la formación médica actual3,4. Frente al sistema de formación tradicional, en el que se asume que la mera exposición a experiencias clínicas a través de rotaciones temporales por diversos servicios es suficiente para adquirir la competencia profesional requerida, la CBME propone principios más sólidos y orientados a satisfacer la calidad exigida por la sociedad actual. Algunos de estos principios son3: a) definir los resultados de aprendizaje que deben demostrar los residentes al finalizar su formación; b) prestar atención al desarrollo y a la demostración de las habilidades, actitudes y conocimientos adquiridos por los residentes a lo largo del proceso formativo; c) asumir una metodología de enseñanza centrada en los residentes, prestando menor importancia a la dimensión temporal de la formación; d) primar la evaluación formativa y la retroalimentación constructiva centrada en los niveles de desempeño de los residentes en el contexto real del trabajo, y e) utilizar una amplia variedad de métodos y herramientas de evaluación. En la especialidad de Medicina Intensiva, un grupo de expertos definió por primera vez a nivel nacional, mediante un trabajo realizado en 2004, las competencias que debería adquirir un profesional que desee dedicarse a la atención del paciente crítico5. Posteriormente, a nivel europeo, nació un programa que reúne todos los principios previamente mencionadas, se denomina Competency Based Training in Intensive Care Medicine in Europe (CoBaTrICE; www.cobatrice.org), incluye un paquete de 102 competencias mínimas para ejercer la especialidad y fue fruto del consenso de más de 500 profesionales clínicos y 1.400 pacientes y familiares. El objetivo de esta iniciativa europea fue armonizar los programas de formación en Medicina Intensiva de todos los países para asegurar la calidad y facilitar los movimientos trasnacionales de los profesionales6-9. CoBaTrICE ha sido adoptado en 15 países europeos y se encuentra en vías de adopción en otros tantos5,10, incluido nuestro país, dentro del marco normativo actualmente vigente11,12.
Aunque algunas especialidades médicas ya han definido sus programas con base en listados de competencias, el modelo CBME no constituye todavía la metodología formativa preponderante debido a que su aplicación requiere cambios organizativos y culturales, recursos, fundamentalmente más tiempo de dedicación docente, y formación de tutores y miembros de la plantilla en técnicas de evaluación formativa y retroalimentación13-15. La investigación en este campo es todavía escasa, ya que el modelo se ha aplicado de forma parcial y poco estructurada4. No existe un modelo estándar validado de implementación de CBME, aunque los elementos clave para su aplicación efectiva16,17 son: a) la participación activa de los residentes en sus procesos de formación; b) la supervisión, el seguimiento y la evaluación frecuente de la adquisición de las competencias de los residentes por sus tutores, y c) disponer de herramientas de evaluación válidas y fiables. En línea con estos requisitos, en este estudio se plantearon los siguientes objetivos: 1) determinar el grado de satisfacción de tutores y residentes con la metodología utilizada para la implementación de CoBaTrICE, y 2) determinar la validez y la fiabilidad de las escalas de valoración global utilizadas por los tutores para evaluar con fines formativos el desempeño de los residentes en la escena clínica real. Un objetivo más general fue estandarizar un método de implementación de CoBaTrICE basado en la satisfacción de residentes y tutores, y que incluyera escalas de medida del desempeño fiables y reproducibles.
Métodos y participantesEl estudio fue aprobado por el comité de ética del Instituto de Investigación Sanitaria La Fe y se obtuvo el consentimiento de todos los participantes (15 residentes y 5 tutores).
ÁmbitoEl estudio se realizó en el Servicio de Medicina Intensiva (SMI) del Hospital Universitario y Politécnico La Fe de Valencia, hospital de referencia de la Comunidad Valenciana. El SMI atiende 2.200 pacientes adultos/año con enfermedad fundamentalmente médica. Dispone de 32 camas distribuidas en una Unidad de Cuidados Intensivos (24 camas) y una Unidad de Cuidados Intermedios (8 camas). El personal médico está compuesto por 15 facultativos, de los cuales 5 son tutores de residentes acreditados por la Comisión de Docencia del hospital. La ratio médico/paciente es 1:3-4 durante el período laboral normal y 2médicos adjuntos y 2residentes durante la guardia. La ratio enfermería/paciente es 1:2. El servicio cuenta con 3residentes por cada año del programa de especialización que dura 5 años y se distribuye en 3etapas: etapa 1 (E1) (R1-R2): 6 residentes; etapa 2 (E2) (R3-R4): 6 residentes, y etapa 3 (E3) (R5): 3 residentes.
IntervenciónEn marzo del año 2016 se inició la implantación de CoBaTrICE en el SMI sustentada en 3acciones:
- 1.
Formación de los tutores. La evaluación formativa orientada hacia la mejora de los niveles de aprendizaje y de desempeño constituye la piedra angular del modelo CBME18, siendo la retroalimentación constructiva proporcionada por el tutor y los miembros de la plantilla al residente, el elemento central de la misma. Por esta razón, todos los médicos del servicio recibieron un curso sobre feedback clínico de 12 h de duración basado en simulación y juego de roles impartido por expertos reconocidos en este campo19.
- 2.
Realización de múltiples ejercicios de evaluación formativa objetiva y estructurada mediante la observación directa del desempeño en el lugar de trabajo «a pie de cama»20-22. El formato de las evaluaciones se basó en el miniejercicio de evaluación clínica (mini-CEX), la evaluación de pacientes agudos (Acute Care Assessment Tools [ACAT]) y la observación directa de la realización de procedimientos (Direct Observation Procedural Skills)23,24. Se diseñó una escala de valoración global del desempeño en el manejo de casos clínicos y otra específica para la evaluación de procedimientos y técnicas con objeto de facilitar la comunicación objetiva y estructurada entre tutor y residente durante las sesiones de retroalimentación24,25. Los ítems y las puntuaciones a asignar en cada ítem de las escalas de valoración fueron seleccionados por un grupo de 6 tutores de Medicina Intensiva mediante el método Delphi. El modelo final se obtuvo mediante un proceso iterativo de prueba y evaluación de la escala en el que participaron los 6 tutores, 3 residentes de 5.° año y un experto en psicología de la educación. Tras cada sesión de retroalimentación, se establecieron planes de mejora individualizados.
- 3.
Para promover la reflexión y facilitar la gestión del proceso de aprendizaje por parte del residente y del tutor, se utilizó un portafolio electrónico (E-MIR-INTENSIVER, IIS La Fe, https://emir-intensive.portres.i3net.es/), que es propiedad del residente, en el que se registraron todos los resultados de las evaluaciones formativas, planes, comentarios y actividades formativas y asistenciales realizadas. El portafolio incluye también una serie de protocolos cortos de actuación ante diversas enfermedades y para la realización de técnicas y procedimientos habituales en Medicina Intensiva. Los protocolos fueron elaborados por los miembros del servicio y se basan en las guías clínicas más actuales en cada caso. Los protocolos contribuyen a que el residente sepa exactamente lo que se espera que haga en cada situación y pretenden disminuir la variabilidad clínica. Previamente a la implantación del programa, se impartieron charlas formativas para todos los miembros del servicio dirigidas a facilitar la comprensión de los principios del nuevo modelo docente, la estructura de CoBaTrICE, y el uso de las herramientas de evaluación formativa previamente mencionadas26,27.
Objetivo 1. Para determinar el grado de satisfacción de tutores y residentes con los métodos utilizados para la implantación de CoBaTrICE, en diciembre del 2016, tras 9 meses de implementación del programa, se administró de forma anónima y voluntaria a todos los tutores (n = 5) y residentes (n = 15) un cuestionario de 22 ítems dirigido a valorar las 4dimensiones centrales del modelo CBME (tabla 1): Metodología de las evaluaciones formativas (MEF), Calidad de la retroalimentación proporcionada por los tutores (CRT), Promoción de la autorregulación del aprendizaje (PAA) y Utilidad del portafolio electrónico (UPE). Se utilizó una escala de respuesta tipo Likert con 5 anclajes (1 = «Muy en desacuerdo», 5 = «Muy de acuerdo»). El cuestionario también incorporaba 2cuestiones abiertas para recabar aspectos de mejora del programa. La selección del banco inicial de ítems del cuestionario partió de la revisión de estudios previos sobre las dimensiones que definen el modelo CBME3,4, así como sobre la evaluación de entornos de aprendizaje28 y de la aplicación de portafolios en formación médica especializada. Tras la discusión en el seno del equipo de investigación sobre la relevancia, la aplicabilidad, la ausencia de redundancias y la claridad en la redacción de los ítems, se llegó por consenso a la versión finalmente administrada del cuestionario.
Descriptivos básicos y distribución por niveles de las respuestas de los participantes a los ítems del cuestionario
| Ítems | Frecuencia respuestas por nivel | Descriptivos | ||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | M | DT | Rango | As | Ku | |
| Metodología de las evaluaciones formativas | ||||||||||
| Los formularios de las evaluaciones estructuradas incorporan las competencias clave para el ejercicio profesional | 0 | 0 | 2 | 9 | 9 | 4,35 | 0,67 | 3-5 | –0,55 | –0,55 |
| Suponen una buena guía para que los tutores valoren de forma más objetiva la actuación de los residentes | 0 | 0 | 3 | 11 | 6 | 4,15 | 0,67 | 3-5 | –0,18 | –0,55 |
| Los formularios de evaluación incorporan criterios útiles para atender correctamente los casos clínicos | 0 | 0 | 0 | 13 | 7 | 4,35 | 0,49 | 4-5 | 0,68 | –1,72 |
| Los formularios de evaluación están redactados con claridad | 0 | 0 | 3 | 9 | 8 | 4,25 | 0,72 | 3-5 | –0,41 | –0,83 |
| Permite un método más completo de evaluación que el sistema tradicional | 0 | 0 | 0 | 12 | 8 | 4,40 | 0,50 | 4-5 | 0,44 | –2,01 |
| Permite un método de evaluación más justo que el sistema tradicional | 0 | 0 | 4 | 11 | 5 | 4,05 | 0,69 | 3-5 | –0,66 | –0,63 |
| Integra herramientas muy útiles para evaluar la progresión de los residentes en su proceso formativo | 0 | 0 | 1 | 11 | 8 | 4,35 | 0,59 | 3-5 | –0,21 | –0,55 |
| Promoción de la autorregulación del aprendizaje | ||||||||||
| Promueve en los residentes el aprendizaje autónomo | 0 | 2 | 8 | 7 | 3 | 3,55 | 0,89 | 2-5 | 0,08 | –0,53 |
| Ayuda a los residentes a reconocer sus fortalezas/debilidades en la práctica profesional | 0 | 0 | 4 | 12 | 4 | 4,00 | 0,65 | 3-5 | 0,00 | –0,28 |
| Promueve un aprendizaje más activo | 0 | 0 | 3 | 12 | 5 | 4,10 | 0,64 | 3-5 | –0,08 | –0,25 |
| Facilita reflexionar a los residentes sobre los objetivos y los logros que van alcanzando en su formación | 0 | 0 | 3 | 13 | 4 | 4,05 | 0,61 | 3-5 | –0,01 | 0,19 |
| Permite reflexionar a residentes y tutores en qué áreas de aprendizaje se necesita mejorar más | 0 | 0 | 0 | 10 | 10 | 4,50 | 0,51 | 4-5 | 0,00 | –2,24 |
| Calidad de la retroalimentación proporcionada por tutores | ||||||||||
| Permite que las sesiones de retroalimentación con los tutores sean más productivas | 0 | 0 | 4 | 14 | 2 | 3,90 | 0,55 | 3-5 | –0,08 | 0,77 |
| Permite que la comunicación sea más específica y centrada en las necesidades de los residentes | 0 | 0 | 6 | 12 | 2 | 3,80 | 0,62 | 3-5 | 0,12 | –0,21 |
| Permite a los tutores ajustar mejor su comportamiento a las características de cada residente | 0 | 2 | 7 | 10 | 1 | 3,50 | 0,76 | 2-5 | –0,40 | –0,04 |
| Permite que la retroalimentación de los tutores sea más rica y ajustada al nivel de desempeño de los residentes | 0 | 0 | 6 | 12 | 2 | 3,80 | 0,62 | 3-5 | 0,12 | -0,21 |
| Utilidad del portafolio electrónico | ||||||||||
| El apoyo material y tecnológico del e-portafolio es muy adecuado | 0 | 0 | 5 | 9 | 6 | 4,05 | 0,76 | 3-5 | –0,09 | –1,15 |
| Permite documentar y organizar mejor las evidencias de mi formación | 0 | 0 | 1 | 9 | 10 | 4,45 | 0,61 | 3-5 | –0,58 | –0,46 |
| Facilita documentar las experiencias formativas y los logros que los residentes van alcanzado | 0 | 0 | 4 | 5 | 11 | 4,35 | 0,81 | 3-5 | –0,77 | –1,00 |
| Recomendaría el e-portafolio a residentes de otros hospitales | 0 | 1 | 5 | 6 | 8 | 4,05 | 0,95 | 2-5 | –0,52 | –0,79 |
| Permite disponer de una visión global del proceso formativo de los residentes, así como de sus fortalezas y debilidades | 0 | 0 | 4 | 8 | 8 | 4,20 | 0,77 | 3-5 | –0,37 | –1,13 |
| Facilita ser más consciente del alcance (volumen y tipos de casos abordados) de las experiencias formativas | 0 | 0 | 3 | 11 | 6 | 4,15 | 0,67 | 3-5 | –0,18 | –0,55 |
As: asimetría; DT: desviación típica; Ku: curtosis; M: media; 1: muy en desacuerdo; 2: bastante en desacuerdo; 3: ni de acuerdo ni en desacuerdo; 4: bastante de acuerdo; 5: muy de acuerdo.
Se obtuvieron los descriptivos básicos por ítem y por dimensiones del cuestionario tras constatar su consistencia interna mediante el test alfa de Cronbach y las relaciones bivariadas entre las mismas mediante el test tau de Kendall. Se efectuaron análisis comparativos de las respuestas de los residentes y de los tutores a través de la prueba no paramétrica de Kruskal-Wallis, efectuando comparaciones a posteriori entre grupos 2a 2mediante la prueba U de Mann-Whitney con la corrección de Bonferroni.
Objetivo 2. Entre abril y junio del 2017 se realizó un estudio adicional para determinar la validez y la fiabilidad de las escalas de valoración global diseñadas ad hoc para medir los niveles de desempeño de los residentes. El objetivo era averiguar si existían diferencias significativas en los resultados obtenidos en las evaluaciones de los residentes dependiendo del tutor observador, de la autoevaluación (AE) del residente y de la etapa formativa de este último. Participaron 2residentes por etapa de formación a partir de R2 (E1 [R2]: 2 residentes, E2 [R3-R4]: 2 residentes y E3 [R5]: 2 residentes). Los tutores, en grupos aleatorios de 3, evaluaron simultáneamente el desempeño de cada residente participante en el manejo de 3casos clínicos (síndrome coronario agudo, shock séptico e insuficiencia respiratoria aguda). Los formularios de la escala de valoración y los protocolos de actuación pueden verse en https://emir-intensive.portres.i3net.es/. Los residentes autoevaluaron sus niveles de desempeño con el mismo modelo, que integra 15 criterios de ejecución con una escala de respuesta de 6 puntos, que se adjudican en función de la existencia durante la ejecución del ejercicio de errores u omisiones mayores con clara influencia potencial en el pronóstico (1 a 3 puntos), errores u omisiones menores sin influencia en el pronóstico (4-5 puntos) y actuación completa y ordenada (6 puntos). Las evaluaciones externas efectuadas por los tutores (ET) y la AE de los residentes permitió disponer de 96 valoraciones diferentes (72 ET y 24 AE).
Se obtuvieron los descriptivos de las valoraciones efectuadas por tutores y residentes. Tanto las ET (p = 0,30) como las AE efectuadas por los residentes (p = 0,98) resultaron homogéneas entre los diferentes casos clínicos. Considerando la totalidad de evaluaciones, se analizó la estructura de la escala mediante un análisis factorial de ejes principales, su fiabilidad mediante el análisis de su consistencia interna e índice de generalizabilidad y la fiabilidad interjueces mediante el cálculo del índice de correlación intraclase. Se calculó la relación ET-AE a través del índice de correlación bivariada entre las mismas. Mediante un ANOVA factorial 3×2, se analizaron los efectos sobre los resultados de las evaluaciones de la etapa formativa en la que se encontraban los residentes (E1: R2; E2: R3-R4; E3: R5) y del tipo de evaluación (AE vs. ET).
ResultadosResultados del objetivo 1Los 15 residentes y 5 tutores respondieron el 100% de las cuestiones (tabla 1). Los descriptivos básicos, la consistencia interna y las relaciones bivariadas entre las dimensiones del cuestionario de valoración de la implantación de CoBaTrICE se detallan en la tabla 2. Todas las dimensiones muestran valoraciones promedio elevadas (rango 3,79-4,28) y una consistencia interna adecuada (rango 0,68-0,81), evidenciándose su relativa independencia (correlaciones significativas: τMEF-UPE = 0,34, p < 0,05; τPAA-UPE = 0,54, p < 0,01). Las valoraciones de residentes y tutores de cada ítem del cuestionario fueron elevadas (rango puntuaciones residentes: 3,27–4,53; rango puntuaciones tutores: 4,0-5,0). Los residentes adjudicaron las valoraciones más elevadas a los siguientes ítems: «Permite reflexionar a residentes y tutores en qué áreas de aprendizaje se necesita mejorar más» (MEF), «Los formularios de evaluación incorporan criterios útiles para atender correctamente los casos clínicos» (MEF), «Integra herramientas muy útiles para evaluar la progresión de los residentes en su proceso formativo» (MEF) y «Permite documentar y organizar mejor las evidencias de mi formación» (UPE). Los tutores adjudicaron las valoraciones más elevadas a 3ítems de UPE: «Facilita documentar las experiencias formativas y logros que los residentes van alcanzando», «Permite disponer de una visión global del proceso formativo de los residentes, así como de sus fortalezas y debilidades» y «Facilita ser más consciente del alcance (volumen y tipos de casos abordados) de las experiencias formativas». En contraste, los residentes adjudicaron valoraciones inferiores en «Permite a los tutores ajustar mejor su comportamiento a las características de cada residente» (CRT), «Permite que la retroalimentación de los tutores sea más rica y ajustada al nivel de desempeño de los residentes (CRT)» y «Promueve el aprendizaje autónomo» (PAA) —medias (M) de 3,27, 3,57 y 3,60, respectivamente.
Descriptivos básicos (M = media; DT = desviación típica), matriz de correlaciones (tau-b de Kendall) y consistencia interna (alfa de Cronbach en diagonal) de las subescalas del cuestionario de valoración de la metodología de la implementación de CoBaTrICE
| Dimensión | M | DT | 1 | 2 | 3 | 4 |
|---|---|---|---|---|---|---|
| 1. MEF | 4,28 | 0,36 | (0,68) | |||
| 2. CRT | 3,79 | 0,50 | –0,09 | (0,81) | ||
| 3. PAA | 4,04 | 0,49 | 0,21 | 0,21 | (0,78) | |
| 4. UPE | 4,21 | 0,55 | 0,34* | 0,16 | 0,54** | (0,77) |
CRT: Calidad retroalimentación tutores; MEF: Metodología de evaluación formativa; PAA: Promoción de la autorregulación del aprendizaje; UPE: Utilidad del portafolio electrónico.
Las pruebas de contraste de Kruskal-Wallis (tabla 3) evidenciaron que las valoraciones de residentes y tutores son homogéneas en MEF, PAA y UPE, mientras que los tutores valoran de forma superior CRT (4,35 puntos ± 0,5 frente a 3,59 ± 0,3; p < 0,02). Las pruebas U de Mann-Whitney mostraron diferencias significativas en CRT entre las valoraciones de tutores y de residentes de la primera (E1 < tutores; p < 0,01) y segunda etapa formativa (E2 < tutores; p < 0,03). Las valoraciones de tutores y residentes en los ítems específicos resultaron homogéneas, a excepción de 3reactivos de CRT que los tutores valoraron de forma superior (p < 0,05): «Permite que la comunicación sea más específica y centrada en las necesidades de los residentes», «Permite a los tutores ajustar mejor su comportamiento a las características de cada residente» y «Permite que la retroalimentación proporcionada por el tutor sea más rica y ajustada al nivel de desempeño de los residentes».
Descriptivos básicos (media y desviación típica entre paréntesis) y diferencias significativas en las comparaciones 2a 2entre grupos en las valoraciones de residentes y tutores de la metodología de implementación de CoBaTrICE
| Residentes | Tutores | p | ||||
|---|---|---|---|---|---|---|
| Etapa 1 | Etapa 2 | Etapa 3 | Total | |||
| MEF | 4,31 (0,3) | 4,19 (0,4) | 4,33 (0,2) | 4,27 (0,3) | 4,29 (0,5) | |
| PAA | 3,97 (0,6) | 4,10 (0,5) | 3,93 (0,1) | 4,01 (0,4) | 4,12 (0,5) | |
| CRT | 3,40 (0,4) | 3,71 (0,3) | 3,67 (0,3) | 3,59 (0,3) | 4,35 (0,5) | * E1 < tutores * E2 < tutores |
| UPE | 4,44 (0,3) | 3,92 (0,7) | 4,06 (0,3) | 4,16 (0,5) | 4,37 (0,6) | |
CRT: Calidad retroalimentación tutores; MEF: Metodología de evaluación formativa; PAA: Promoción de la autorregulación del aprendizaje; UPE: Utilidad del portafolio electrónico.
Las respuestas a las preguntas abiertas destacaron que residentes y tutores consideran que la metodología de evaluación formativa, en comparación con la metodología tradicional de evaluación, se caracteriza por: a) una mayor objetividad y utilización de criterios compartidos entre tutores; b) centrar en mayor grado la retroalimentación en los niveles de ejecución de los residentes, y c) ajustarse mejor a sus necesidades formativas. Entre los aspectos a mejorar destacan la necesidad de: a) estandarizar los horarios de desarrollo de las evaluaciones formativas; b) mejorar su compatibilidad con la sobrecarga asistencial; c) ampliar los protocolos clínicos del portafolio, y d) mejorar la navegación en el portafolio.
Resultados del objetivo 2Una vez constatada la adecuación de los datos (KMO = 0,87; prueba de esfericidad de Bartlett, χ2(66) = 465,1, p < 0,001), se desarrolló un análisis factorial exploratorio de ejes principales. La tabla 4 evidencia su estructura unifactorial, presenta los descriptivos de los ítems (rango M 4,55-5,65) y sus correspondientes saturaciones factoriales (rango 0,35-0,75). La consistencia interna de la escala (alfa de Cronbach = 0,88), los índices de discriminación de sus ítems (correlación ítem total promedio de 0,60) y sus índices de generalizabilidad (Gítems= 0,99; Gsujetos= 0,94) resultaron adecuados. La fiabilidad interjueces también mostró valores satisfactorios (índice de correlación intraclase = 0,85, IC del 95%, 0,78-0,91, F 48,672 = 8,1, p < 0,001). Las evaluaciones efectuadas por los tutores de los niveles de ejecución de los residentes en la gestión de casos clínicos y las AE realizadas por los propios residentes mostraron valores elevados (ET: M = 5,2, desviación típica [DT] = 0,46; EA: M = 4,7, DT= 0,63), evidenciándose una relación significativa entre ambos tipos de evaluación (r = 0,69, p < 0,001). Los resultados del ANOVA constataron la existencia de efectos principales significativos del tipo de evaluación sobre las valoraciones derivadas de las mismas (F[1,60] = 24,1, p < 0,001, η2 = 0,29], mostrando AE valores significativamente inferiores a ET. La etapa formativa de los residentes también mostró efectos principales significativos (F[1,60] = 22,1, p < 0,001, η2 = 0,42), observándose una progresión creciente de los resultados de las evaluaciones entre etapas (ME1 = 4,5; ME2 = 5,1; ME3 = 5,3), y siendo significativamente superiores en E2-E3 respecto a E1 (diferencias M: E2-E1 = 0,64, p < 0,001; E3-E1= 0,79, p < 0,001).
Estadísticos descriptivos (media [M], desviación típica [DT], rango, asimetría y curtosis) y saturación factorial de los ítems de la escala valoración global de la gestión de casos clínicos
| Ítems | Media | DT | Rango | Asimetría | Curtosis | Saturación |
|---|---|---|---|---|---|---|
| 1. Realiza una exploración ordenada y rápida (ABCD), solicita monitorización inmediata, identifica signos de gravedad y establece prioridades de tratamiento inmediato | 4,96 | 0,71 | 3-6 | –0,31 | 0,12 | 0,56 |
| 2. Realiza una historia clínica completa, sistematizada y orientada por problemas | 5,06 | 0,63 | 4-6 | –0,04 | –0,32 | 0,75 |
| 3. Realiza una exploración física completa, sistematizada y orientada por problemas | 5,04 | 0,73 | 3-6 | –0,39 | –0,04 | 0,67 |
| 4. Solicita y realiza las pruebas diagnósticas complementarias necesarias siguiendo un orden lógico de prioridades | 5,24 | 0,63 | 4-6 | –0,24 | –0,56 | 0,72 |
| 5. Realiza un diagnóstico diferencial completo y coherente con el cuadro clínico y los resultados provisionales de las pruebas complementarias | 5,10 | 0,62 | 4-6 | –0,07 | –0,31 | 0,73 |
| 6. Realiza una reevaluación estructurada y frecuente, insistiendo en los hallazgos importantes de las exploraciones previas | 5,09 | 0,58 | 3-6 | -0,74 | 3,30 | 0,74 |
| 7. Propone un plan de tratamiento específico, coherente con el cuadro clínico y basado en la evidencia científica, lo expresa claramente y lo comparte con el resto del personal para evitar errores de aplicación | 5,09 | 0,61 | 4-6 | –0,03 | –0,17 | 0,65 |
| 8. Gestiona correctamente los tiempos, especialmente en situaciones en que el resultado es tiempo-dependiente | 5,31 | 0,59 | 4-6 | –0,16 | –0,54 | 0,74 |
| 9. Gestiona eficientemente los recursos (personal, pruebas diagnósticas y tratamientos) | 5,40 | 0,60 | 4-6 | –0,50 | -0,48 | 0,70 |
| 10. Conoce sus limitaciones, solicita ayuda y asesoramiento de otros especialistas en caso necesario | 5,65 | 0,78 | 4-6 | –1,27 | 1,29 | 0,63 |
| 11. Prioriza las actuaciones basándose en el riesgo y el beneficio potencial de las mismas | 5,22 | 0,55 | 4-6 | 0,09 | –0,13 | 0,35 |
| 12. Genera confianza en el equipo, los pacientes y sus familiares. Se comunica de forma efectiva con el equipo | 5,28 | 0,73 | 3-6 | –0,86 | 0,70 | 0,64 |
| 13. Demuestra respeto y empatía en la comunicación con el paciente y con los familiares. Les explica la situación y el plan de tratamiento de forma clara y concisa. Se asegura de que han comprendido la información proporcionada | 5,54 | 0,50 | 4-6 | –0,65 | –0,26 | 0,61 |
| 14. Realiza una nota clínica completa, estructurada y precisa que incluye los problemas y el plan basado en prioridades | 5,21 | 0,43 | 4-6 | 0,77 | 0,86 | 0,64 |
| 15. Realiza una estimación pronóstica mediante el uso de indicadores pronósticos | 4,55 | 0,89 | 2-6 | –0,64 | 0,48 | 0,47 |
Los resultados del estudio revelan un grado de satisfacción elevado de residentes y tutores con la metodología utilizada para la implementación de CoBaTrICE, así como una fiabilidad y una reproductibilidad adecuados de los formularios de escala de valoración global utilizados en los ejercicios de evaluación formativa. Los participantes valoraron de forma positiva la totalidad de las dimensiones exploradas: MEF, PAA, UPE y CRT. Los resultados son especialmente significativos en las 3primeras dimensiones, destacando la adecuación de las evaluaciones formativas («Permiten un método de evaluación más justo que el sistema tradicional»), la promoción de la autorregulación y reflexión de los residentes («Permite reflexionar a residentes y tutores en qué áreas de aprendizaje se necesita mejorar más») y la utilidad del portafolio («Permite disponer de una visión global del proceso formativo de los residentes, así como de sus fortalezas y debilidades»). La evaluación formativa y la consiguiente retroalimentación proporcionada por el tutor constituyen los elementos críticos para conseguir una implementación efectiva de la CBME. Las evaluaciones frecuentes junto con la revisión periódica detallada de los logros alcanzados y de los objetivos aún pendientes de conseguir son esenciales para asegurar el progreso del residente. Para aprovechar todo el potencial de la CBME como motor de aprendizaje, de calidad asistencial y de seguridad del paciente, es necesario un manejo efectivo de la información y la documentación generadas en el proceso, así como un análisis detallado de la adecuación de los métodos de evaluación utilizados con vistas a su posible modificación para conseguir una mayor aceptación de los mismos por todos los protagonistas29. En este contexto, los portafolios constituyen herramientas especialmente útiles en la CBME, dado que facilitan a tutores y residentes una mejor gestión de los procesos de enseñanza-aprendizaje e incrementan la autoconciencia, la autodirección y la reflexión de los residentes sobre sus niveles de desempeño, constituyendo además un instrumento de control de la calidad del proceso formativo30,31. Su uso está recomendado por las instituciones gubernamentales acreditadoras de Reino Unido, EE. UU. y Canadá32,33. En cuanto a la dimensión Calidad de la retroalimentación, aunque las valoraciones de los residentes fueron positivas («Permite que las sesiones de retroalimentación con los tutores sean más productivas»), resultaron inferiores a las obtenidas en el resto de las dimensiones y fueron significativamente inferiores a las que efectuaron los tutores, especialmente en «Permite a los tutores ajustar mejor su comportamiento a las características de cada residente». Esta discrepancia debe hacernos reflexionar sobre si la formación en retroalimentación clínica proporcionada a los tutores fue adecuada y suficiente, y sobre la necesidad de mantenerla en el tiempo o complementarla con otras acciones que promuevan el análisis y discusión de buenas prácticas. La retroalimentación efectiva requiere no solo centrarse en los niveles de desempeño, sino también responder eficazmente a los aspectos cognitivos, emocionales y conductuales implicados en la actuación del residente. Es necesario crear un ambiente estimulante en el que el profesional se sienta seguro para reflexionar en profundidad sobre el modelo mental que determinó sus actuaciones34. La adquisición de estas habilidades puede facilitarse mediante la formación de tutores y miembros de la plantilla en técnicas de coaching, ya que, además de instructores, han de ser facilitadores y guías para ayudar al residente a descubrir sus necesidades, plantear objetivos y diseñar planes realistas para conseguirlos35.
Un aspecto esencial para que la evaluación sea efectiva es la fiabilidad, la exactitud y la reproducibilidad de los instrumentos de medida16. En este estudio se escogió el método de escala de valoración global por permitir una mayor objetividad que las listas de comprobación, más económicas y fáciles de utilizar pero menos discriminativas36. Los formularios de escala de valoración global creados ad hoc demostraron poseer adecuación psicométrica, estructura unifactorial, elevada consistencia interna, fiabilidad interjueces en su aplicación y generalizabilidad de sus resultados, pudiendo concluirse que fueron válidas y fiables para valorar el nivel de desempeño de los residentes mediante la observación directa de su actuación en situaciones reales «a pie de cama» y para proporcionarles la consecuente retroalimentación constructiva. Se constató también la validez discriminante de las escalas de valoración entre etapas formativas, constatando que los residentes de las etapas más avanzadas obtuvieron puntuaciones significativamente superiores en el manejo de los casos clínicos. De esta forma, aunque la CBME concede mayor importancia a la evolución de la adquisición de las competencias que a la dimensión temporal de la formación, se observaron efectos significativos de las etapas formativas del programa, que explican el 42% de la varianza de los resultados de las evaluaciones. El estudio también evidenció una correlación media-elevada entre las ET y la AE de los residentes, constatando que las valoraciones de los primeros son superiores a las de los segundos. Estos resultados sugieren que la CBME puede promover que los residentes efectúen juicios más realistas de sus niveles de desempeño37.
Este estudio tiene varias limitaciones, entre las que destacan su carácter observacional, el número reducido de participantes, y el haber sido efectuado en una única institución, por lo que los resultados pueden no ser extrapolables a otros servicios, ya que son múltiples los factores que pueden influir en la implementación efectiva de la CBME38. En relación con este último aspecto, sería también interesante conocer el efecto de la intervención sobre la calidad de la comunicación y retroalimentación entre los residentes y los miembros de la plantilla que no son tutores; esta posible asociación no se ha explorado aún por la incorporación paulatina de estos últimos al programa. Finalmente, para determinar si CoBaTrICE proporciona mejores niveles de competencia a los especialistas en formación que el modelo tradicional basado en rotaciones clínicas, se está realizando un ensayo aleatorizado de tipo conglomerado en el que participan 14 Servicios de Medicina Intensiva de 14 hospitales españoles de referencia con 3 residentes por año39. A pesar de sus limitaciones, este estudio proporciona un modelo de implementación de un programa de CBME que fue bien aceptado por tutores y residentes, y en el que se utilizaron instrumentos de medida que demostraron su validez y fiabilidad40. En nuestro conocimiento, no se ha publicado el análisis de la aceptación por tutores y residentes de una metodología específica para la implementación de CoBaTrICE, ni se ha determinado la validez de un determinado modelo de escala de valoración global para la evaluación formativa en este ámbito concreto.
ConclusionesLa metodología utilizada para la implementación de CoBaTrICE fue valorada positivamente por tutores y residentes. Estos últimos demandaron una mayor calidad en la retroalimentación proporcionada por los tutores. Los formularios de escala de valoración global utilizados en los ejercicios de evaluación formativa, demostraron validez y fiabilidad para valorar el nivel de desempeño de los residentes mediante la observación directa de su actuación en situaciones reales «a pie de cama».
AutoríaPlanteamiento estudio (P), revisión bibliográfica (RB), cuestionarios (C), Desarrollo del estudio y adquisición de datos (D), análisis estadísticos (E), redacción manuscrito (Red), revisión crítica (RC) y redacción definitiva (RD).
Álvaro Castellanos: P, RB, D, Red, RD.
Maria Jesús Broch: P, D, RC.
Marcos Barrios: D, RC.
Dolores Sancerni: C, E, RC.
María Castillo: C, E, RC.
Carlos Vicent: D, RC.
Ricardo Gimeno: D, RC.
Paula Ramírez: D, RC.
Francisca Pérez: D, RC.
Rafael García Ros: P, RB, C, D, E, Red, RD.
FinanciaciónEl desarrollo de este trabajo ha sido parcialmente financiado por el programa VLC-BIOMED de la Universidad de Valencia y del Instituto de Investigación Sanitaria La Fe de Valencia (10-COBATRICE-2015-A, IP: Álvaro Castellanos-Ortega), y por el Programa para la promoción de la investigación científica, el desarrollo tecnológico y la innovación de la Comunitat Valenciana, de la Conselleria de Educación, Investigación, Cultura y Deporte de la Generalitat Valenciana (GV-AICO-2018-126, IP: Rafael García-Ros).
Conflicto de interesesÁlvaro Castellanos Ortega declara ser el creador del portafolio electrónico e-MIR- Intensive y tiene una participación en los beneficios de la aplicación.
M.J. Broch Porcar, M. Barrios de Pedro, M.C. Fuentes, D. Sancerní, C. Vicent Perales, R. Gimeno Costa, P. Ramímez Galleymore, F. Pérez Esteban y R. García-Ros declaran no tener conflictos de intereses en relación con el manuscrito.
