La investigación en el enfermo crítico es compleja por la heterogeneidad de los pacientes, por las dificultades para alcanzar tamaños de muestra representativos y por la cantidad de variables que intervienen de manera simultánea. Sin embargo, se beneficia de la cantidad y calidad de registros, así como de la relevancia de las variables utilizadas, como la supervivencia. Las herramientas metodológicas han evolucionado ofreciendo nuevas perspectivas y modelos de análisis que permiten extraer información relevante de la riqueza de datos que acompaña al enfermo crítico. La necesidad de formación en metodología y en interpretación de resultados constituye un importante reto para los intensivistas que deseen estar al día en las líneas de investigación y en los nuevos avances de la Medicina Intensiva.
Research in the critically ill is complex by the heterogeneity of patients, the difficulties to achieve representative sample sizes and the number of variables simultaneously involved. However, the quantity and quality of records is high as well as the relevance of the variables used, such as survival. The methodological tools have evolved to offering new perspectives and analysis models that allow extracting relevant information from the data that accompanies the critically ill patient. The need for training in methodology and interpretation of results is an important challenge for the intensivists who wish to be updated on the research developments and clinical advances in Intensive Medicine.
La serie de metodología que iniciamos en Medicina Intensiva tiene como objetivo acercar al clínico a diversas cuestiones metodológicas que hemos considerado relevantes en el ámbito de la investigación en el paciente crítico.
La enfermedad crítica tiene unos condicionantes especiales a la hora de poder generar conocimiento científico1. Por una parte, la riqueza de monitorización y disponibilidad de pruebas en estos pacientes proporciona gran cantidad de información analizable. Además, el alto impacto de aspectos fisiopatológicos da pie a profundizar en investigación básica aplicada. Por la rápida evolución de los pacientes y las tasas de supervivencia, se usa frecuentemente la variable mortalidad, lo que genera un alto interés y relevancia clínica a las investigaciones. Por el contrario, la rapidez en los cambios, la complejidad e interrelación de variables y tratamientos simultáneos, los horarios de trabajo y la dificultad para encontrar enfermos suficientemente homogéneos en un solo centro hacen que los niveles de exigencia en el diseño de los trabajos y los recursos necesarios para acometerlos sean muy elevados2.
Ante todos estos retos, se plantean 2cuestiones fundamentales. Por una parte, la necesidad de encontrar instrumentos de análisis estadístico que se ajusten a los datos y diseños posibles con los enfermos críticos, por lo que se precisan nuevos y diversos enfoques. Y por otro lado, es importante mejorar la formación metodológica tanto para la investigación como para la interpretación de resultados. En esta serie no se pretende hacer un tratado de estadística, sino plantear un recorrido de interés que incluya tanto aspectos generales de interpretación como temas avanzados entre los que encontraremos las nuevas estrategias de análisis o el big data.
En un análisis comparativo de las técnicas estadísticas utilizadas en 3revistas dedicadas al paciente crítico (Medicina Intensiva, Intensive Care Medicine y Critical Care Medicine), hemos analizado los procedimientos metodológicos utilizados en una muestra reciente de los originales publicados durante los años 2016 y 2017 (tabla 1). Aparte de las diferencias en número de originales publicados por ejemplar y en la presencia de autores españoles en las 3revistas, detectamos diferencias reseñables en el tipo de estudios y en la complejidad metodológica que presentan. Aunque los estudios observacionales son mayoría en las 3revistas, la proporción es significativamente menor en Intensive Care Medicine respecto a las otras 2, con una mayor proporción de ensayos clínicos, siendo estos últimos poco frecuentes en Medicina Intensiva (4,6%). En Medicina Intensiva la proporción de estudios multicéntricos es inferior a las otras 2revistas y la presencia de un cálculo del tamaño de muestra muy inferior, probablemente por la menor publicación de ensayos clínicos.
Análisis comparativo de la metodología estadística aplicada a originales publicados en 3 revistas del ámbito de los cuidados intensivos
Medicina Intensiva | Intensive Care Medicine | Critical Care Medicine | p | |
---|---|---|---|---|
n = 65 | n = 67 | n = 80 | ||
Periodo analizado | 2016-2017 | 2016 | Enero-mayo 2016 | |
Números analizados (n) | 18 | 12 | 5 | |
Originales por número, media (DE) | 3,6 (0,8)a,b | 5,6 (1,6)b,c | 16 (2,8)c | p < 0,001 |
Factor de impacto 2016 | 1,231 | 12,015 | 7,050 | No aplica |
Originales con autores españoles, n (%) | 56 (86,2)a,b | 5 (7,5)c | 6 (7,5)c | p < 0,001 |
Tipo estudio, n (%) | 46 (70,8)a | 34 (50,7)b,c | p < 0,001 | |
Observacional | 57 (71,3) | |||
Cuasiexperimental | 8 (12,3) | 4(6,0) | 2 (2,5) | |
Ensayo clínico | 3 (4,6)a | 21 (31,3)b,c | 13 (16,3) | |
Prueba diagnóstica | 8 (12,3) | 8 (11,9) | 5 (6,3) | |
Simulación | 0 (0) | 0 (0) | 3 (3,8) | |
Multicéntrico, n (%) | 22 (33,8)a,b | 38 (56,7)c | 46 (57,5)c | p = 0,007 |
Análisis de mortalidad, n (%) | 27(41,5) | 41 (61,2) | 47 (58,8) | p = 0,045 |
Cálculo del tamaño de muestra, n (%) | 5 (7,7)a,b | 28 (41,8)c | 20 (25,0)c | p < 0,001 |
Análisis estadísticos | ||||
Comparación de proporciones, n (%) | 52 (80) | 56 (83,6) | 57 (71,3) | p = 0,176 |
Comparación de cuantitativas, n (%) | 55(84,6) | 55 (82,1) | 60 (75) | p = 0,315 |
Comparación de medidas repetidas, n (%) | 7 (10,8) | 8 (11,9) | 9 (11,3) | p = 0,977 |
Kaplan-Meier, n (%) | 11 (16,9) | 15 (22,4) | 13 (16,3) | p = 0,591 |
Regresión simple, n (%) | 1 (1,5) | 4 (6,0) | 7 (8,8) | p = 0,173 |
Regresión lineal múltiple, n (%) | 1 (1,5)b | 7 (10,4) | 13 (16,3)c | p = 0,013 |
Regresión logística, n (%) | 26 (40,0) | 27 (40,3) | 38 (47,5) | p = 0,577 |
Regresión de Cox, n (%) | 7 (10,8) | 15 (22,4) | 12 (15,0) | p = 0,182 |
Propensity score, n (%) | 1 (1,5) | 4 (6,0) | 7 (8,8) | p = 0,173 |
Curvas ROC, n (%) | 12 (18,5) | 9 (13,4) | 14 (17,5) | p = 0,706 |
Análisis de correlación, n (%) | 5 (7,7) | 5 (7,5) | 11 (13,8) | p = 0,345 |
Análisis de concordancia, n (%) | 5 (7,7) | 3 (4,5) | 5 (6,3) | p = 0,743 |
Otros testd, n (%) | 1 (1,5)a,b | 23 (34,3)c | 21 (26,3)c | p < 0,001 |
Número de test por original, media (DE) | 2,9 (1,2)a,b | 3,5 (1,4)c | 3,5 (1,4)c | P = 0,007 |
DE: desviación estándar. ROC: receiver operating characteristics.
Métodos utilizados: análisis bayesiano (1), análisis cualitativo (1), análisis de clusters (2), análisis de componentes principales (2), análisis de correspondencias múltiples (1), análisis de mediación (1), análisis factorial (1), análisis fractal (1), decision tree (1), ecuaciones estimativas generalizadas (2), estadístico phi (1), gradient boosted machine (1), G-Study (1), Inverse probability treatment weighting (IPWT) (2), jointpoint regression (1), K-nearest neighbours (1), Locally weighted scatterplot smoothing (LOWESS) (2), Modified early warning systems (MEWS) (1), modelo binomial negativo (1), modelo lineal generalizado (12), modelo lineal mixto generalizado (2), modelo marginal estructural (4), modelos de simulación (2), Montecarlo (2), network maps (1), neural network (1), prueba de tendencias de Cochran-Armitage (2), random forest (1), regresión binomial (1), regresión de Poisson (5), riesgos competitivos (2), series temporales (4), support vector machine (1) y test de Cuzick (1).
En cuanto a los análisis estadísticos, el número de test utilizados es inferior en Medicina Intensiva respecto a las otras 2revistas, aunque en los métodos más comunes no se aprecian diferencias significativas, salvo en la regresión lineal múltiple. Donde sí existe una clara diferencia es en el uso de métodos estadísticos más avanzados, casi inexistentes en los originales de Medicina Intensiva, pero detectados en un tercio de los de Intensive Care Medicine y Critical Care Medicine. La mayor utilización de test avanzados es una práctica cada vez más frecuente y que supone una clara evolución respecto a valoraciones similares realizadas en revistas de alto factor de impacto hace 20 años3.
En resumen, detectamos una diferencia considerable en el nivel de complejidad de diseño y análisis estadístico en los trabajos remitidos a Medicina Intensiva respecto a las otras 2 revistas.
Por otra parte, en una revisión realizada sobre una muestra de 62 originales remitidos para su publicación en Medicina Intensiva durante los años 2016 y 2017, detectamos una serie de problemas metodológicos que se resumen en la tabla 2. Los más destacables por su frecuencia son la inadecuada definición de variables, los errores en la descripción de resultados, las conclusiones no ajustadas a resultados, la falta de análisis estadísticos (sobre todo modelos multivariantes), la existencia de un diseño poco claro, la inadecuada presentación del objetivo, los sesgos de selección y la utilización de test estadísticos inadecuados para el análisis. Estos problemas se han detectado por igual en otras publicaciones4 y, en este sentido, la incorporación de revisores con formación en estadística durante el proceso de revisión se ha mostrado como una herramienta de mejora de la calidad de los artículos publicados5 e implica un compromiso ético6.
Principales problemas metodológicos detectados en la primera revisión de originales enviados a Medicina Intensiva, años 2016-2017
Problemas metodológicos | Frecuencia |
---|---|
Objetivo | |
Objetivo mal expresado | 21,0% |
Variables | |
Variables mal definidas | 48,4% |
Ausencia de variables de interés | 9,7% |
Diseño | |
Diseño poco claro | 22,6% |
Diseño inadecuado | 6,5% |
Definición inadecuada del tipo de estudio | 6,5% |
Población diana | |
Población mal definida | 17,7% |
Estudio antiguo | 3,2% |
Falta el periodo de estudio | 1,6% |
Muestra | |
Sesgo de selección | 21,0% |
Tamaño de muestra insuficiente | 17,7% |
Sesgo del observador | 8,1% |
Tamaño de muestra no calculado | 8,1% |
Error en muestreo | 1,6% |
Falta de flujograma | 1,6% |
Resultados | |
Descriptiva con errores | 41,9% |
Falta de análisis estadísticos | 25,8% |
Test estadístico inadecuado | 21,0% |
Rango intercuartílicoa mal utilizado | 19,4% |
Datos contradictorios | 11,3% |
Faltan comparaciones de interés | 11,3% |
Falta estandarización de la mortalidad | 8,1% |
Faltan intervalos de confianza | 4,8% |
Análisis de subgrupos inadecuado | 3,2% |
Comparaciones innecesarias | 3,2% |
Interpretación | |
Resultados no significativos interpretadosb | 16,1% |
Error de interpretación del análisis | 9,7% |
Conclusiones | |
Conclusiones no ajustadas a resultados | 27,4% |
Ausencia de conclusiones | 3,2% |
Número de originales analizados = 62.
Es, por tanto, evidente que existe un área de mejora en el diseño metodológico, así como en el análisis y la interpretación de los resultados en los trabajos de investigación que llegan a nuestra revista. El Comité Editorial de la revista Medicina Intensiva, dirigido por el Dr. Garnacho Montero, entiende que la revista debe atraer y promover trabajos de alta calidad metodológica, lo que redundará a la larga en una mejora en el factor de impacto y, por tanto, atraerá de nuevo estudios de calidad7. En el ámbito de este círculo virtuoso entendemos la puesta en marcha de esta serie que intenta promover una mejora en la calidad de nuestras investigaciones.
Comienza la serie con una reflexión general sobre las particularidades que afectan a la investigación del enfermo crítico, donde se analizan las dificultades, los diferentes abordajes y las nuevas estrategias definidas para poder avanzar en el conocimiento científico. Después se presenta un análisis de la interpretación de los resultados estadísticos, tanto en los aspectos más básicos como en otros más avanzados, intentando facilitar la adecuada comprensión de la terminología utilizada en la literatura científica más frecuente. El siguiente artículo presenta una revisión de errores metodológicos frecuentes en la investigación clínica, que pueden ser más o menos inocentes, y que sin duda ayudarán al lector a mantener un espíritu crítico con la información que le llegue. Posteriormente, se revisa un aspecto fundamental como es la bioética de la investigación, a la que este equipo editorial concede una gran relevancia7, y en la que se hace un recorrido histórico y un análisis de los diferentes requerimientos éticos de la investigación en el enfermo crítico.
Intentando abrir el arsenal de herramientas estadísticas a nuestra disposición, se plantean 3revisiones: una sobre técnicas para la determinación de la causalidad en estudios observacionales, con énfasis en los propensity score analysis; otra revisión sobre nuevas técnicas de análisis alternativas como los estudios híbridos, estudios de caso-control anidados, particiones recursivas o eventos competitivos, y un artículo que plantea el desarrollo de la revisión sistemática y el metaanálisis como fuentes de conocimiento. Por último, y de máxima actualidad, hemos incorporado una actualización sobre big data, que es la herramienta que probablemente revolucionará nuestra manera de aprender de la información clínica disponible y condicionará de forma definitiva nuestra toma de decisiones.
Esperamos que esta serie de metodología interese y satisfaga a los lectores de Medicina Intensiva y que encuentren fuente de inspiración para seguir avanzando en el apasionante mundo de la investigación del paciente crítico.
Conflicto de interesesLos autores declaran no tener conflictos de interés relacionados con el objeto de este artículo.