Información de la revista
Vol. 45. Núm. 2.
Páginas 69-79 (marzo 2021)
Visitas
7833
Vol. 45. Núm. 2.
Páginas 69-79 (marzo 2021)
ORIGINAL
Acceso a texto completo
Spanish Influenza Score (SIS): utilidad del Machine Learning en el desarrollo de una escala temprana de predicción de mortalidad en la gripe grave
Spanish Influenza Score (SIS): Usefulness of machine learning in the development of an early mortality prediction score in severe influenza
Visitas
7833
Grupo de Trabajo Gripe A Grave (GETGAG) de la Sociedad Española de Medicina Intensiva Crítica y Unidades Coronarias (SEMICYUC)
Este artículo ha recibido
Información del artículo
Resumen
Texto completo
Bibliografía
Descargar PDF
Estadísticas
Figuras (4)
Mostrar másMostrar menos
Tablas (4)
Tabla 1. Características generales de los 3.959 pacientes incluidos en el presenta análisis. Las variables son aquellas consideradas al ingreso a UCI hasta las primeras 24 horas de evolución (los resultados están expresado en número de pacientes (n) y porcentaje (%) o mediana y rango intercuartil (RIC) según corresponda. EPOC: enfermedad pulmonar obstructiva crónica; APACHE II: Acute Physiology And Chronic Health Evaluation; SOFA: Sequential Organ Failure Assessment; Gap hospital: tiempo desde inicio de los síntomas hasta ingreso en el Hospital; Gap diagnóstico: tiempo desde ingreso al Hospital y el diagnóstico; Gap UCI: tiempo desde el ingreso al hospital hasta la Unidad de Cuidados Intensivos-UCI; vacunados: pacientes que recibieron vacunación antigripal; IMC: índice de masa corporal)
Tabla 2. Variables asociadas de forma independiente con la mortalidad en UCI (análisis multivariado) (APACHE II: Acute Physiology And Chronic Health Evaluation; SOFA: Sequential Organ Failure Assessment; Gap UCI: tiempo desde el ingreso al hospital hasta la Unidad de Cuidados Intensivos)
Tabla 3. Puntaje del Spanish Influenza Score (SIS) derivado de los OR de la regresión logística (IRA: Insuficiencia renal aguda; VMI: ventilación mecánica invasiva; APACHE II: Acute Physiology And Chronic Health Evaluation; SOFA: Sequential Organ Failure Assessment;Gap UCI: tiempo desde el ingreso al hospital hasta la Unidad de Cuidados Intensivos)
Tabla 4. Valores predictivos del Spanish Influenza Score (SIS) y del modelo mediante Random Forest (RF) para los 3.959 pacientes incluidos
Mostrar másMostrar menos
Material adicional (2)
Resumen
Objetivo

Desarrollar una escala predicitva de mortalidad (SIS) en pacientes con gripe grave considerando las variables de ingreso a UCI y comparar su eficacia respecto de un modelo d Random Forest (RF).

Diseño

Sub-análisis de base de datos GETGAG/SEMICYUC.

Ámbito

Medicina intensiva.

Intervenciones

Ninguna.

Pacientes

Pacientes ingresados en 184 UCI españolas (2009-2018) con infección por gripe.

Variables: Demográficas, nivel de gravedad, tiempo síntomas hasta el ingreso al hospital (Gap-H) o desde hospital a UCI (Gap-UCI), o al diagnóstico (Gap-Dg), vacunación, cuadrantes infiltrados, insuficiencia renal, ventilación no-invasiva o invasiva (VM), shock y comorbilidades. Los puntos de corte y la importancia de las variables se obtuvieron de forma automática. Se realizó validación cruzada y regresión logística a partir de la cual se desarrolló la puntuación SIS. Se aplicó la puntuación y se calculó la exactitud y la discriminación (AUC-ROC) para SIS y RF. El análisis se realizó mediante CRAN-R Project.

Resultados

Se incluyeron 3.959 pacientes, edad 55 (43-67) años, 60% hombres, APACHE II de 16 (12-21) y SOFA 5 (4-8) puntos y una mortalidad del 21,3%. VM, shock, APACHE II, SOFA, insuficiencia renal aguda y Gap-UCI fueron incluidas en SIS. A partir de los OR se construyó el SIS que demostró una exactitud del 83% y un AUC-ROC del 82% similar al RF (AUC-ROC 82%).

Conclusiones

La escala SIS de fácil aplicación, ha demostrado una adecuada capacidad de estratificación del riesgo de mortalidad en la UCI. Sin embargo, estos resultados deberán ser validados prospectivamente.

Palabras clave:
Gripe grave
Pronóstico
Machine learning
Abstract
Objective

To develop a mortality prediction score (Spanish Influenza Score [SIS]) for patients with severe influenza considering only variables at ICU admission, and compare its performance respect of Random Forest (RF).

Design

Sub-analysis from the GETGAG/SEMICYUC database.

Scope

Intensive Care Medicine.

Patients

Patients admitted to 184 Spanish ICUs (2009-2018) with influenza infection Intervention: None.

Variables

Demographic data, severity of illness, times from symptoms onset until hospital admission (Gap-H), hospital to ICU (Gap-ICU) or hospital to diagnosis (Gap-Dg), antiviral vaccination, number of quadrants infiltrated, acute renal failure, invasive or noninvasive ventilation, shock and comorbidities. The study variable cut-off points and importance were obtained automatically. Logistic regression analysis with cross-validation was performed to develop the SIS score using the output coefficients. Accuracy and discrimination (AUC-ROC) were applied to evaluate SIS and RF. All analyses were performed using R (CRAN-R Project).

Results

A total of 3959 patients were included. The mean age was 55 years (range 43-67), 60% were men, APACHE II 16 (12-21) and SOFA 5 (4-8), with ICU mortality 21.3%. Mechanical ventilation, shock, APACHE II, SOFA, acute renal failure and Gap-ICU were included in the SIS. The latter was generated according to the ORs obtained by logistic regression, and showed an accuracy of 83% with an AUC-ROC of 82%, similar to RF (AUC-ROC 82%).

Conclusions

The SIS score is easy to apply and shows adequate capacity to stratify the risk of ICU mortality. However, further studies are needed to validate the tool prospectively.

Keywords:
Severe influenza
Prognosis
Machine learning
Texto completo
Introducción

La mortalidad de los pacientes críticos ingresado en UCI afectados por infección del virus de la gripe continúa siendo inaceptablemente elevada, algo superior al 20% en la población general1-3 y mayor al 30% en aquellos pacientes que requieren ventilación mecánica invasiva4. Las escalas utilizadas para predecir la gravedad en pacientes con neumonía comunitaria parecen subestimar la gravedad de los pacientes con infección por gripe5. La posibilidad de contar con predictores precoces de evolución, puede ser una herramienta de ayuda a la decisión clínica, al momento de la asistencia de estos pacientes críticos. Diferentes estudios han intentado descubrir predictores relacionados con la mortalidad de este colectivo particular de pacientes en UCI5-8. Sin embargo, la mayoría de ellos presentan graves limitaciones relacionadas con el pequeño número de pacientes incluidos6,7, la metodología empleada para obtener el predictor5,8 o aplicación a subpoblaciones especiales9,10. Desarrollar predictores de mortalidad en pacientes críticos es una tarea compleja, debido a su heterogeneidad y a la diferente respuesta sistémica ante la misma enfermedad. Las nuevas tecnologías informáticas permiten generar de forma automática, modelos de predicción mediante la utilización de estrategias de «machine learning».11-15. Sin embargo, la mayoría de estos modelos son poco comprensibles por los médicos, con una muy baja aceptación a las decisiones clínicas basadas en algoritmos crípticos (cajas negras) y en general, no tienen una clara aplicación en la práctica clínica16. Por ello, es importante desarrollar modelos predictivos que aprovechen estas nuevas tecnologías de análisis pero que sean comprensibles, precoces y de aplicación práctica, con la finalidad de ayudar en la decisión clínica. El objetivo de nuestro estudio es desarrollar mediante el uso de técnicas de machine learning, una escala gravedad, comprensible y aplicable (Spanish Influenza Score: SIS), que permita categorizar o estratificar el riesgo de mortalidad en forma precoz, en los pacientes con gripe al ingreso en la UCI.

Objetivo primario

Desarrollar mediante técnicas de machine learning, una escala de estratificación de la gravedad (SIS) y evaluar la capacidad de predicción de mortalidad en UCI para pacientes con gripe grave en UCI

Objetivo secundario

Evaluar la capacidad de predicción de la mortalidad de un modelo no lineal como Random Forest (RF) en pacientes con gripe grave en UCI respecto de la escala SIS.

Material y métodoTipo de estudio

Subanálisis de base de datos GETGAG/SEMICYUC con pacientes ingresados en 184 UCI españolas en el periodo comprendido entre 2009-2018, con infección probada por gripe17.

Fuente de los datos

El conjunto de datos de entrenamiento (GE) y el de validación (GV) utilizados para el desarrollo del presente modelo, pertenecen a la base de datos creada en 2009 con motivo de la pandemia por la SEMICYUC para favorecer el conocimiento de esta nueva entidad y generar conocimientos de referencia para la mejor práctica clínica. El estudio fue aprobado por el Comité Ético de Investigación Clínica del Hospital Universitario Joan XXIII (IRB#11809) y ratificado por cada comité local de los centros participantes. La identidad de los pacientes permaneció anónima y no se solicitó consentimiento informado por la naturaleza observacional y epidemiológica del estudio, como ha sido publicado con anterioridad2,3,17-21.

Se incluyeron todos los pacientes ingresados en forma consecutiva en las 184 UCI Españolas participantes, con signos clínicos respiratorios sugestivos de infección viral, con o sin fiebre y con confirmación microbiológica de gripe A o B mediante PCR-rt2,3,17-21.

Los datos fueron obtenidos por los médicos asistenciales a través del examen físico, la revisión de la historia clínica, la radiología y los resultados de laboratorio. Los médicos asistenciales de cada centro fueron los responsables de solicitar todos los análisis y de realizar todos los procedimientos relacionados con el cuidado del paciente. Solamente se excluyeron del estudio pacientes menores de 15 años y aquellos pacientes con datos perdidos relacionados con los objetivos del estudio.

La base de datos contiene variables demográficas, nivel de gravedad, tiempo de inicio de los síntomas hasta el ingreso al hospital (Gap-H) o desde el ingreso al hospital hasta la UCI (Gap-UCI), o hasta el diagnóstico (Gap-Dg), vacunación antigripal, cuadrantes infiltrados en la radiografía de tórax, insuficiencia renal, ventilación no-invasiva (VNI) o invasiva (VM), fracaso a la VNI, shock al ingreso y comorbilidades, así como resultados laboratorio. La valoración de la severidad de la enfermedad se realizó a través del APACHE II score y el grado de disfunción orgánica a través del SOFA score.

Definiciones: las definiciones de las variables se pueden observar en la tabla 1 del anexo B y en publicaciones anteriores2,3,17-21.

Tratamiento de valores perdidos

Se excluyeron los pacientes con datos perdidos en variables categóricas y se imputaron los valores perdidos de las variables numéricas mediante la función missForest/CRAN-R, una imputación no paramétrica del valor perdido utilizando árboles aleatorios22,23.

Elección de los puntos de corte de las variables

Para el análisis, se debió convertir las variables numéricas continuas en categóricas. Los puntos de corte para las variables numéricas se obtuvieron de forma automática a través de la función LOESS smoothing (paquete stats/CRAN R). La regresión de LOESS24 permite trazar curvas de una serie temporal mediante un método de regresión de mínimos cuadrados. Una vez obtenidas las curvas, se definen los puntos de corte a través de aquellas variaciones en la curva que se asocien con un aumento de al menos un 10% de la mortalidad.

Elección de las variables a incluir en el modelo

La elección de las variables se realizó de forma automática a través de la obtención del «information Value» para cada una de ellas mediante el paquete estadístico «InformationValue»-CRAN R. El Information Value (IV) es un método de búsqueda para seleccionar una variable predictora a través de regresión logística binaria25,26. El IV total es la suma de los IV de su categoría y una medida de la capacidad predictiva de una variable, para discriminar «casos o eventos» y los «controles o no eventos». Para el IV se consideró un punto de corte ≥ 0,20 para incluir las variables al modelo según lo sugeridos por Siddiqi26.

Validación cruzada

En la figura 1 se puede ver el flujo del análisis del estudio. La cohorte original de pacientes se dividió en dos grupos, GE (75% de los pacientes) para crear el modelo y GV (25% restante) para evaluar la precisión y el error de dicho modelo. La partición se realizó de forma aleatoria, pero manteniendo una misma proporción en la variable respuesta «y» (mortalidad).

Figura 1.

Diagrama de flujo del desarrollo y validación de la escala Spanish Influenza Score (SIS). LOWEES: Regresión de LOWEES; IV: information value; GE: grupo de entrenamiento; GV: grupo de validación; AUC: área bajo la curva ROC; RLM: Regresión logística múltiple; OR: Odds ratio; RF: Random Forest.

(0.29MB).
Modelo de regresión y obtención de la puntuación del SIS

Una vez categorizadas todas las variables, se obtuvo un «valor» para cada nivel mediante un modelo binomial de regresión logística (RL) con la función «glm» de R. A partir de los coeficientes se obtuvieron los ODDS RATIO (OR), los cuales se redondearon para determinar los puntos asignados a cada variable del score SIS. Se aplicó la puntuación a cada uno de los pacientes y mediante la sumatoria, se obtuvo el puntaje final de la escala SIS. Se realizó dicho procedimiento para el GE y para GV y se evaluó la capacidad predictiva del modelo mediante su exactitud y discriminación mediante AUC ROC.

Conversión del puntaje en probabilidad de muerte y visualización de los resultados

Para obtener la probabilidad de muerte del puntaje SIS se estimaron mediante RL los coeficientes de la escala y la probabilidad del evento (mortalidad), utilizando los valores individuales de cada paciente. Posteriormente se construyó una figura de barras (Barplot) para representar los supervivientes y fallecidos según el puntaje obtenido por la escala SIS y también una curva de probabilidad del evento «mortalidad en UCI».

Validación de la escala SIS

El adecuado funcionamiento de la escala SIS se evaluó mediante la exactitud y discriminación del modelo, así como sensibilidad (S), especificidad (E), valor predictivo positivo (VPP) y negativo (VPN). Además, se evaluó la calibración entre el riesgo predicho y el observado mediante el índice de Sommers27. Finalmente, se definieron cuatro categorías de riesgo estratificado según mortalidad.

Modelo no lineal de mortalidad Random Forest (RF)

Mediante RF se determinó un modelo de mortalidad con las variables de ingreso a UCI. RF es una metodología muy usada dentro de la familia de algoritmos de aprendizaje automático o machine learning que se basa en la creación de múltiples árboles (bosques) de decisión, que se construyen mediante un algoritmo que introduce un modelo aleatorio de selección de las variables para reducir la correlación entre ellas28,29. La importancia de la variable se define como la influencia que tiene cada una de ellas al quitarla del modelo respecto de la predicción. El modelo final fue valorado mediante la exactitud, discriminación, S, E, VPP y VPN.

Expresión de los resultados

Los valores son expresados como medianas y rango intercuartil (RIC) 25-75%, o bien número y porcentajes según corresponda. Los resultados del análisis multivariado se expresan como Odd Ratio y su respectivo intervalo de confianza (IC) 95%. El análisis estadístico se realizó en el entorno del software R, versión 3.6.0 usando los paquetes de R.

ResultadosPoblación general

La cohorte total de estudio incluyó 3.959 pacientes ingresados en 184 UCI españolas. Las características generales de los pacientes se pueden ver en la tabla 1.

Tabla 1.

Características generales de los 3.959 pacientes incluidos en el presenta análisis. Las variables son aquellas consideradas al ingreso a UCI hasta las primeras 24 horas de evolución (los resultados están expresado en número de pacientes (n) y porcentaje (%) o mediana y rango intercuartil (RIC) según corresponda. EPOC: enfermedad pulmonar obstructiva crónica; APACHE II: Acute Physiology And Chronic Health Evaluation; SOFA: Sequential Organ Failure Assessment; Gap hospital: tiempo desde inicio de los síntomas hasta ingreso en el Hospital; Gap diagnóstico: tiempo desde ingreso al Hospital y el diagnóstico; Gap UCI: tiempo desde el ingreso al hospital hasta la Unidad de Cuidados Intensivos-UCI; vacunados: pacientes que recibieron vacunación antigripal; IMC: índice de masa corporal)

Variables  Población total (n = 3.959) 
Demográficas
Edad  55 (43-67) 
Sexo masculino  2.359 (59,6) 
Tipo de diagnóstico de ingreso
Neumonía viral primaria  2.520 (63,6) 
Co-infección  805 (20,3) 
EPOC reagudizado  280 (7,0) 
Gravedad y nivel de asistencia
APACHE II score  16 (12-21) 
SOFA score  6 (4-8) 
> 2 cuadrantes con infiltrados en la radiografía de tórax  1.731 (43,7) 
Gap hospital  4 (2-6) 
Gap diagnóstico  4 (2-7) 
Gap UCI  1 (1-2) 
Vacunados  466 (11,7) 
Comorbilidades
Asma  379 (9,6) 
EPOC  938 (23,7) 
Insuficiencia cardiaca crónica  531 (13,4) 
Insuficiencia renal crónica  355 (8,9) 
Enfermedad Hematológica  287 (7,2) 
Embarazo  514 (12,9) 
Obesidad (IMC >30)  1.239 (31,3) 
Enfermedad neuromuscular  117 (2,9) 
Enfermedad autoinmune  161 (4,0) 
Inmunodeficiencia adquirida  445 (11,2) 
Complicaciones
Shock  2.002 (50,5) 
Ventilación mecánica invasiva  2.171 (54,8) 
Ventilación mecánica no invasiva (VNI)  1.455 (36,7) 
Fracaso de la VNI  768 (19,4) 
Insuficiencia renal aguda  1.129 (28,5) 
Mortalidad  845 (21,3) 
Desarrollo de la escala Spanish Influenza Score (SIS)Puntos de corte de las variables continuas

A través de la Regresión de LOESS se dibujaron las curvas para las variables continuas como el APACHE II, SOFA score y Gap-UCI (fig. 1 en anexo B). En base al cambio del 10% en la probabilidad de muerte en cada curva, se establecieron los siguientes puntos de corte: a) para el APACHE II, 4 puntos de corte: 1) 11 a 17, 2) 18 a 21, 3) 22 a 27 y 4) más de 27 puntos; b) para el SOFA, 5 puntos de corte: 1) 3 a 6, 2) 7 a 8, 3) 9 a 10, 4) 11 a 12 y 5) mayor de 12 puntos y c) para el Gap-UCI, los días se transformaron en horas y se determinaron 4 puntos de corte: 1) 12-36, 2) 37-60, 3) 61-80 y 4) más de 80 horas. Estos puntos de corte se incluyeron en el modelo de regresión.

Elección de las variables mediante el valor de la información (information value = IV)

La capacidad de predicción de cada variable respecto de la mortalidad en UCI fue evaluada mediante método de regresión lineal para obtener el IV. Solamente ventilación mecánica invasiva (VMI), SOFA score, APACHE II score, shock, insuficiencia renal aguda (IRA) y Gap-UCI fueron las variables que llegaron al punto de corte establecido para ser incluidas en el modelo. (en anexo B).

Modelo de regresión

Se dividió a la población en un grupo de entrenamiento (GE; n = 2.970) y en un grupo de validación (GV; n = 989). Las características de cada grupo pueden observase en la tabla 3 del anexo B. Los puntos de corte establecidos para APACHE II, SOFA y Gap-UCI y las variables categóricas ventilación VMI, shock e IRA se incluyeron en el modelo de regresión. En la tabla 2 se pueden observar las variables asociadas de forma independiente con la mortalidad. Una vez aplicado el modelo en el GV, se observó una exactitud del 82% y un AUC ROC 82%.

Tabla 2.

Variables asociadas de forma independiente con la mortalidad en UCI (análisis multivariado) (APACHE II: Acute Physiology And Chronic Health Evaluation; SOFA: Sequential Organ Failure Assessment; Gap UCI: tiempo desde el ingreso al hospital hasta la Unidad de Cuidados Intensivos)

Variable  OR  2,5% IC  97,5% IC  Valor de p = 
Intercept  0,0157865  0,0096892  0,0251  < 1,1e-16*** 
Insuficiencia renal aguda  2,2759160  1,8238669  2,8398  3,247e-13*** 
Ventilación mecánica invasiva  3,7199974  2,8479344  4,8936  < 2,2e-16*** 
Shock  1,7920661  1,3835584  2,3270  1,078e-0,5*** 
APACHE II (11-17)  1,4155315  1,0114517  1,9993  0,0452860* 
APACHE II (18-21)  1,9302566  1,3468351  2,7876  0,0003878*** 
APACHE II (22-27)  2,2490143  1,5392787  3,3074  3,203e-05*** 
APACHE II > 27 puntos  3,1892816  2,0516243  4,9825  2,924e-07*** 
SOFA (3-6)  1,1505601  0,8049519  1,6631  0,4478884 
SOFA (7-8)  0,8934255  0,5981189  1,3436  0,5846590 
SOFA (9-10)  1,3867558  0,9104261  2,1266  0,1303892 
SOFA (11-12)  1,8822991  1,1519383  3,0919  0,0119529* 
SOFA > 12 puntos  2,3234584  1,3389414  4,0551  0,0028335** 
Gap-UCI (12-36)  1,4226239  1,0443490  1,9540  0,0272621* 
Gap-UCI (37-60)  2,0356333  1,4050072  2,9611  0,0001834*** 
Gap-UCI (61-80)  3,2465693  2,0106550  5,2280  1,318e-06*** 
Gap-UCI >80 horas  4,3225489  3,0169562  6,2362  2-602e-15*** 

Significación *** 0.001; ** 0.01: *0.05

Se transformaron los OR de cada variable en los puntos del score mediante redondeo al 0,5 más cercano y se desarrolló un score con un puntaje máximo de 18 puntos (tabla 3). Se aplicó el puntaje a cada uno de los pacientes del GD y se obtuvo la predicción de mortalidad respecto de la puntuación para cada paciente (fig. 2). Después se aplicó el score al GV y se obtuvo una exactitud del 83% (95% IC: 0,79-0,84) con un área bajo la curva ROC del 82% (fig. 3) demostrando una buena discriminación del SIS. En la figura 2 del anexo B se puede observar que la calibración del modelo es buena con un índice de Sommers de 0,65 y en la tabla 4 se observan los valores predictivos del SIS.

Tabla 3.

Puntaje del Spanish Influenza Score (SIS) derivado de los OR de la regresión logística (IRA: Insuficiencia renal aguda; VMI: ventilación mecánica invasiva; APACHE II: Acute Physiology And Chronic Health Evaluation; SOFA: Sequential Organ Failure Assessment;Gap UCI: tiempo desde el ingreso al hospital hasta la Unidad de Cuidados Intensivos)

Variable  Puntos 
Presencia IRA  2.5 
Necesidad VMI  3.5 
Presencia shock  2.0 
APACHE (puntos)
11-17  1.5 
18-21  2.0 
22-27  2.0 
>27  3.0 
SOFA (puntos)
3-6  1.0 
7-8  1.0 
9-10  1.5 
11-12  2.0 
>12  2.5 
GAPUCI (hs)
12-36  1.5 
37-60  2.0 
61-80  3.0 
>80  4.5 
Puntuación máxima  18.0 
Figura 2.

Gráfico de barras que muestra la aplicación de la puntuación obtenida SIS y la mortalidad observada, así como la curva de probabilidad de mortalidad para cada nivel. Se observa que la mortalidad se incrementa significativamente a medida que lo hace la puntuación obtenida (p < 0,001).

(0.18MB).
Figura 3.

Área bajo la curva ROC (AUCROC) para la puntuación SIS obtenida a través en el grupo de validación.

(0.08MB).
Tabla 4.

Valores predictivos del Spanish Influenza Score (SIS) y del modelo mediante Random Forest (RF) para los 3.959 pacientes incluidos

Variables  Modelo SIS  Modelo RF 
Exactitud (accuracy83%  81% 
Sensibilidad  93.7%  95.7 
Especificidad  38.4%  30.3 
Valor predictivo positivo  84.0  83.4 
Valor predictivo negativo  62.0  64.0 
AUC ROC  82%  82% 

Finalmente, se determinaron cuatro niveles de riesgo de SIS estratificados según mortalidad: 1) Muy bajo riesgo: SIS 0-8.5 puntos con una mortalidad del 2,5%; 2) Riesgo moderado: SIS 9-11 puntos con una mortalidad del 16%; 3) Riesgo alto: SIS 11,5 -14 puntos con una mortalidad del 36.3% y 4) Muy alto riesgo: SIS > 14 puntos con una mortalidad del 60% (fig. 4).

Figura 4.

Categorías de riesgo de mortalidad estratificadas según el Spanish Influenza Score (SIS) donde se puede observar como la mortalidad aumenta de forma significativa a medida que lo hace el riesgo.

(0.13MB).
Modelo de predicción de mortalidad mediante Random Forest (modelo no lineal)

La aplicación de RF evidenció a la ventilación mecánica invasiva, SOFA score, insuficiencia renal aguda, días hasta la UCI, APACHE II, fracaso de la ventilación no invasiva e inmunodeficiencia como las variables con mayor impacto sobre la predicción (fig. 3 del anexo B). La valoración de la predicción evidenció una exactitud del 81% con un AUC ROC de 82%. En la tabla 4 se muestran el resto de los parámetros de predicción y su comparación respecto del SIS.

Discusión

La aplicación de escalas de gravedad a nivel individual y poblacional es de vital importancia pues permite clasificar y estratificar a los pacientes en categorías de riesgo, en función de uno de los resultados más importantes que pueden medirse en la UCI como es la mortalidad. Sobre este concepto, el objetivo principal de nuestro estudio fue desarrollar un modelo de predicción «precoz» de mortalidad, mediante aplicación de métodos de machine learning y comparar su rendimiento respecto de un modelo no lineal de Random Forest.

El principal hallazgo del estudio fue que la escala SIS desarrollada, demostró una adecuada exactitud en la validación cruzada (83%) y una muy buena discriminación (AUCROC 82%), parámetros de predicción similares al modelo Random Forest. Estos datos sugieren que la escala SIS es un modelo válido, que permite estratificar adecuadamente el riesgo de muerte en pacientes con gripe al ingreso a UCI.

Hasta el momento los estudios realizados solo han determinado variables asociadas a la mortalidad a través de análisis multivariado clásico5,6,19,30 o bien, desarrollando escalas con un limitado número de pacientes7,31-33 o considerando solamente poblaciones especiales9,10. Oh et al.7 en 709 pacientes, desarrollaron una escala con 4 variables, adjudicando un punto para cada una de ellas (estado mental alterado, hipoxia, infiltrados bilaterales y edad > 65 años). Aunque es un estudio multicéntrico y la discriminación de la escala fue muy buena (AUC ROC 0,83), solo 75 (10,5%) pacientes fueron casos graves. Además, los autores no realizaron validación cruzada. Adeniji et al.8 aplicaron el STSS (Simple Triage Scoring System)31 y el SOFA en urgencias, para predecir la necesidad de ventilación mecánica (VM) y el ingreso en UCI de pacientes con gripe. La discriminación fue superior para el STSS (AUC ROC 0,88) respecto del SOFA (AUC ROC 0,77) para el ingreso a UCI y también para necesidad de VM (AUC ROC 0,91 vs. AUC ROC 0,87 para STSS y SOFA respectivamente). Sin embargo, el número de pacientes incluidos es muy bajo (n = 62), por lo cual la potencia del estudio es pobre y los resultados difíciles de interpretar. Chung et al.9 desarrollaron una escala de gravedad en 409 pacientes ancianos (GID: Geriatric Influenza Death). El análisis multivariado evidenció solo cinco variables (coma, elevación de la PCR, cáncer, enfermedad coronaria y presencia de bandas en la fórmula leucocitaria) asociadas de forma independiente con la mortalidad. Aunque el GID, mostró una muy buena discriminación (AUC ROC 86%), a diferencia de nuestra escala, considera variables de toda la evolución, se limita a la población de mayores y no se ha realizado validación cruzada.

Los estudios basados en métodos estadísticos habituales, como la regresión logística (modelo lineal), son ampliamente aceptados por los médicos para determinar o investigar factores relacionados con la mortalidad o el desarrollo de algún evento adverso. Sin embargo, estos indicadores no funcionan adecuadamente para la predicción individual15, ni permiten predecir el rumbo clínico de un paciente. Nuevas formas de predicción, utilizando algoritmos desarrollados mediante técnicas de aprendizaje automático (machine learning), como las redes neuronales o los árboles de decisión, han sido implementados para la obtención de modelos de predicción en diferentes escenarios en cuidados intensivos34-37. Pero estos modelos, aunque demuestran muy buen rendimiento en la predicción, suelen ser incomprensibles para los clínicos y poco aplicables, no solo por su complejidad, sino también, por la falta de inclusión en el modelo de variables de gran interés clínico, como el tratamiento antimicrobiano, en un modelo complejo que compara modelos clínicos versus automáticos en el tratamiento de la sepsis38, lo cual invalida la aplicación clínica del modelo. De forma reciente, Hu et al.39 publicaron un estudio sobre la aplicación de dos técnicas de machine learning (gradient boosting XGBoost y RF) comparadas con un modelo de RL para predecir la mortalidad a los 30 días, en una cohorte de 336 pacientes con gripe. Los autores concluyen que los modelos XGBoost (AUC ROC = 0,84) y RF(AUC ROC = 0,80) presentaron una mejor discriminación respecto de la RL (AUC ROC = 0,70). Estos resultados no se corresponden con lo observado en nuestro estudio, donde también utilizamos un modelo de RF. La discrepancia podría estar relacionada con el bajo número de pacientes respecto de un elevado número de variables consideradas en el estudio de Hu et al.39, lo cual afecta de forma desfavorable a los modelos de regresión, pero no a los desarrollados mediante arboles de decisión. Además, utiliza variables de los primeros 7 días, con lo cual no puede considerarse como un predictor precoz. Finalmente, la discriminación del mejor modelo (XGBoost), el cual es poco interpretable para el clínico, solo es ligeramente superior a la observada en la escala SIS.

Las escalas utilizadas de forma habitual en UCI para medir la gravedad general (APACHE II) o el grado de disfunción orgánica (SOFA) presentan limitaciones al momento de categorizar los pacientes con gripe grave7,8,39-41, por lo cual nuestra escala SIS, podría ser una alterativa sencilla a implementar en este grupo de pacientes, ya que ha demostrado un rendimiento similar a un modelo de predicción desarrollado con Random Forest (RF). Aunque el RF es uno de los mejores métodos de machine learning para responder a los problemas complejos, especialmente aquellos relacionados con asociaciones no lineales29, la principal desventaja del método es que es poco entendible para el clínico, ya que no permite conocer cómo se realizan las asociaciones (cajas negras) para generar el modelo final. En el mismo sentido que nuestros resultados, pero en la población general de UCI, Kim et al.15 estudiaron la capacidad de predicción de mortalidad, de tres diferentes modelos desarrollados con machine learning (redes neuronales, support vector machine y árboles de decisión), respecto de un modelo tradicional de regresión logística desarrollado con las variables del APACHE III score42. El estudio incluyó a más de 38.000 ingresos y solo consideró los datos capturados en las primeras 24 horas de ingreso a UCI. El estudio evidenció una capacidad de predicción similar entre los cuatro modelos, resaltando a la regresión logística como un método válido para determinar la predicción de mortalidad respecto de modelos más complejos.

Nuestro estudio combina técnicas de aprendizaje automático con regresión logística, lo cual le brinda robustez y objetividad. Además, siendo un estudio multicéntrico y con un elevado número de pacientes, permite la generalización de los resultados, ya que las 184 UCI participantes representan aproximadamente el 50% de todas las UCI de España. Sin embargo, nuestro estudio presenta algunas limitaciones que deben ser remarcadas para su adecuada interpretación. Primero, nuestra escala SIS utiliza solamente datos al ingreso de UCI, por lo cual, datos relacionados con los cambios producidos durante la evolución no son considerados. Aunque esto puede afectar la capacidad de predicción, nuestro objetivo primario fue desarrollar una escala de riesgo «precoz» al momento de ingreso a UCI y no durante su evolución, la cual ha demostrado un adecuado poder de discriminación. Segundo, el desarrollo del modelo se ha realizado considerando solamente pacientes ingresados en UCI españolas, por lo cual, el modelo podría no presentar un adecuado funcionamiento en otros países, o en otras poblaciones fuera del ámbito de la UCI. Tercero, aunque se ha realizado una validación cruzada, el funcionamiento de SIS no ha sido probado en forma prospectiva, por lo cual, nuestro proyecto contempla una validación prospectiva nacional e internacional del SIS para evaluar el impacto clínico real y la aceptación de la escala por parte de los intensivistas.

En conclusión, la escala SIS desarrollada en base a los datos de más de 3.900 pacientes críticos, demuestra una predicción similar a la observada para un modelo de Random Forest. Considerando que la aplicabilidad de la escala SIS es sencilla y permite obtener una estratificación del riesgo de muerte de forma precoz, su implementación podría impactar favorablemente en la evolución de los pacientes ingresados en UCI por infección grave por gripe. Sin embargo, estas consideraciones deberán ser confirmadas con la validación prospectiva del SIS.

Autoría/colaboraciones

Concepción y el diseño del estudio: AR (Alejandro Rodriguez), ED (Emili Díaz) ST(Sandra Trefler), JMC (Judth Marín-Corral), LC(Laura Claverias). IML(Ignacio Martín Loeches),MB(María Bodi), JSV(Jordi Sole-Violan), JG(Jose garnacho-Montero), MRB (Manuel Ruiz Botella), JG (Josep Gomez), JA(Jordi Albiol), EM (Eduard mallol)

Adquisición de los datos y análisis: AR (Alejandro Rodriguez), ST(Sandra Trefler), LC(Laura Claverias), GM(Gerard Moreno), MS (Manuel Samper), MB(María Bodi), JMC (Judth Marín-Corral), MRB (Manuel Ruiz Botella), JG (Josep Gomez), JA(Jordi Albiol), EM (Eduard mallol) AB(Ariel Barrios)

Interpretación de los datos: AR (Alejandro Rodriguez), MS (Manuel Samper), GM(Gerard Moreno), MB(María Bodi), ED (Emili Díaz) ST(Sandra Trefler), JMC (Judth Marín-Corral), LC(Laura Claverias), JCY (Juan carlos yebenes), AT (Antoni Torres) PR(Paula Ramirez) JGM(Jose Garnacho Montero), RF(Ricard ferrer), IML(Ignacio Martín Loeches, LFR(Luis Felipe Reyes) JG(JUan Guardiola), MIR(Marcos I restrepo), JSV(Jordi Sole-Violan)

Importante aportación intelectual al contenido: AT (Antoni Torres), JGM (Jose Garnacho Montero), PR (Paula Ramirez), JCY (Juan Carlos Yebenes), RF (Ricard ferrer), LFR(Luis Felipe Reyes), JG (JUan Guardiola),MIR(Marcos I Restrepo)

Borrador del manuscrito: AR (Alejandro Rodriguez), MS (Manuel Samper), GM(Gerard Moreno)

Revisión crítica del contenido: MB(María Bodi), ED (Emili Díaz). JMC (Judth Marín-Corral), LC(Laura Claverias), JCY (Juan carlos yebenes), JSV(Jordi Sole-Violan), AT (Antoni Torres), PR (Paula Ramirez), JGM (Jose Garnacho Montero), RF (Ricard ferrer), IML(Ignacio Martín Loeches), LFR(Luis Felipe Reyes), AB(Ariel Barrios), JG(JUan Guardiola), MIR (Marcos I restrepo)

Todos los autores aprobaron el manuscrito final enviado para su evaluación y posible publicación.

Los hallazgos y las conclusiones del presente manuscrito son responsabilidad de los autores y no representan necesariamente la posición oficial de la SEMICYUC.

Papel de los auspiciantes

La SEMICYUC no ha tenido ninguna implicación en el diseño del estudio, en el análisis y la interpretación de los datos o en la redacción del presente manuscrito. JG ha tenido un tiempo parcial protegido destinado al análisis del estudio, a través de una beca de investigación de la Fundación Privada Barri. AR, el autor para la correspondencia, ha tenido acceso a todos los datos del estudio y es el responsable final de enviar el manuscrito para su publicación.

Conflicto de intereses

AR ha recibido una beca de investigación de Gilead Science para el estudio de antibióticos nebulizados. Además, ha recibido honorarios por conferencias docentes para Biomerieux, Astellas, Pfizer, Thermo Fisher, MSD, Gilead, Shionogi y BRHAMS. Sin embargo, no tiene conflictos de interés con el presente manuscrito

Agradecimientos

Este estudio está auspiciado por la SEMICYUC (Sociedad Española de Medicina Intensiva, Crítica y Unidades Coronarias. Los autores agradecen a todos los investigadores del GETGAG (Grupo Español de Trabajo Gripe A Grave) por su continua participación en el proyecto desde el año 2009, sin la cual este proyecto no podría haberse realizado.

ANEXO. AUTORES

Coordinadores clínicos: M. Samper, G. Moreno, M. Bodi, E. Díaz, J. Marín-Corral, L. Claverias, S. Trefler, J.C. Yebenes, J. Solé Violán, A. Torres, P. Ramírez, J. Garnacho-Montero, R. Ferrer, A. Rodríguez

Coordinadores científicos de datos: M. Ruíz-Botella, J. Gómez, J. Albiol, E. Mayol

Consultores externos: I. Martín-Loeches, L.F. Reyes, A. Barrios, J. Guardiola, M.I. Restrepo

Bibliografía
[1]
A. Rodríguez, I. Martin-Loeches, J. Bonastre, P. Olaechea, F. Alvarez-Lerma, R. Zaragoza, et al.
Primera epidemia de gripe estacional después de la pandemia por gripe A en 2009: Descripción de los primeros 300 ingresos en UCI españolas.
Med Intensiva., 35 (2011), pp. 208-216
[2]
I. Martin-Loeches, E. Díaz, L. Vidaur, A. Torres, C. Laborda, R. Granada, et al.
Pandemic and post-pandemic Influenza A (H1N1) infection in critically ill patients.
Crit Care., 15 (2011), pp. R286
[3]
I. Martin-Loeches, A. Rodriguez, J. Bonastre, R. Zaragoza, R. Sierra, A. Marques, et al.
Severe pandemic (H1N1)v influenza A infection: Report on the first deaths in Spain.
Respirology., 16 (2011), pp. 78-85
[4]
A. Rodríguez, C. Ferri, I. Martin-Loeches, E. Díaz, J. Masclans, F. Gordo, et al.
Risk Factors for Noninvasive Ventilation Failure in Critically Ill Subjects With Confirmed Influenza Infection.
Respir Care., 62 (2017), pp. 1307-1315
[5]
S.J. Shi, H. Li, M. Liu, Y.M. Liu, F. Zhou, B. Liu, et al.
Mortality prediction to hospitalized patients with influenza pneumonia: PO2/FiO2 combined lymphocyte count is the answer.
Clin Respir J., 11 (2017), pp. 352-360
[6]
C.R. Carpenter, S.M. Keim, S. Upadhye, H.B. Nguyen.
Risk Stratification of the Potentially Septic Patient in the Emergency Department: The Mortality in the Emergency Department Sepsis (MEDS) Score.
J Emerg Med., 37 (2009), pp. 319-327
[7]
W.S. Oh, S.J. Lee, C.S. Lee, J.A. Hur, A.C. Hur, Y.S. Park, et al.
A prediction rule to identify severe cases among adult patients hospitalized with pandemic influenza a (H1N1) 2009.
J Korean Med Sci., 26 (2011), pp. 499-506
[8]
K.A. Adeniji, R. Cusack.
The Simple Triage Scoring System (STSS) successfully predicts mortality and critical care resource utilization in H1N1 pandemic flu: A retrospective analysis.
Crit Care., 15 (2011), pp. R39
[9]
J.Y. Chung, C.C. Hsu, J.H. Chen, W.L. Chen, H.J. Lin, H.R. Guo, et al.
Geriatric influenza death (GID) score: A new tool for predicting mortality in older people with influenza in the emergency department.
[10]
F. Pappalardo, M. Pieri, T. Greco, N. Patroniti, A. Pesenti, A. Arcadipane, et al.
Predicting mortality risk in patients undergoing venovenous ECMO for ARDS due to influenza A (H1N1) pneumonia: The ECMOnet score.
Intensive Care Med., 39 (2013), pp. 275-281
[11]
R.O. Deliberato, G.G. Escudero, L. Bulgarelli, A.S. Neto, S.Q. Ko, N.S. Campos, et al.
SEVERITAS: An externally validated mortality prediction for critically ill patients in low and middle-income countries.
Int J Med Inform., 131 (2019),
[12]
S.Y. Kim, S. Kim, J. Cho, Y.S. Kim, I.S. Sol, Y. Sung, et al.
A deep learning model for real-time mortality prediction in critically ill children.
Crit Care., 23 (2019), pp. 1-10
[13]
A. Meyer, D. Zverinski, B. Pfahringer, J. Kempfert, P.T. Kuehne, S.H. Sündermann, et al.
Machine learning for real-time prediction of complications in critical care: a retrospective study.
Lancet Respir Med., 6 (2018), pp. 905-914
[14]
R.S. Anand, P. Stey, S. Jain, D.R. Biron, H. Bhatt, K. Monteiro, et al.
Predicting Mortality in Diabetic ICU Patients Using Machine Learning and Severity Indices.
AMIA Jt Summits Transl Sci proceedings AMIA Jt Summits Transl Sci., 2017 (2018), pp. 310-319
[15]
S. Kim, W. Kim, R. Woong Park.
A comparison of intensive care unit mortality prediction models through the use of data mining techniques.
Healthc Inform Res., 17 (2011), pp. 232-243
[16]
J. Wiens, S. Saria, M. Sendak, M. Ghassemi, V.X. Liu, F. Doshi-Velez, et al.
Do no harm: a roadmap for responsible machine learning for health care.
[17]
G. Moreno, A. Rodríguez, L.F. Reyes, J. Gomez, J. Sole-Violan, E. Díaz, et al.
Corticosteroid treatment in critically ill patients with severe influenza pneumonia: a propensity score matching study.
Intensive Care Med., 44 (2018), pp. 1470-1482
[18]
J. Garnacho-Montero, A. Gutiérrez-Pizarraya, J.A. Márquez, R. Zaragoza, R. Granada, S. Ruiz-Santana, et al.
Epidemiology, clinical features, and prognosis of elderly adults with severe forms of influenza A (H1N1).
J Am Geriatr Soc., 61 (2013), pp. 350-356
[19]
F. Álvarez-Lerma, J. Marín-Corral, C. Vila, J.R. Masclans, F.J. Molina, I.M. Loeches, et al.
Delay in diagnosis of influenza A (H1N1)pdm09 virus infection in critically ill patients and impact on clinical outcome.
Crit Care., 20 (2016), pp. 337
[20]
F. Alvarez-Lerma, J. Marín-Corral, C. Vilá, J.R. Masclans, I.M. Loeches, S. Barbadillo, et al.
Characteristics of patients with hospital-acquired influenza A (H1N1)pdm09 virus admitted to the intensive care unit.
J Hosp Infect., 95 (2017), pp. 200-206
[21]
J. Garnacho-Montero, C. León-Moya, A. Gutiérrez-Pizarraya, A. Arenzana-Seisdedos, L. Vidaur, J.E. Guerrero, et al.
Clinical characteristics, evolution, and treatment-related risk factors for mortality among immunosuppressed patients with influenza A (H1N1) virus admitted to the intensive care unit.
J Crit Care., 48 (2018), pp. 172-177
[22]
D.J. Stekhoven, P. Bühlmann.
Missforest-Non-parametric missing value imputation for mixed-type data.
Bioinformatics., 28 (2012), pp. 112-118
[23]
H.C. Van, W. Sauerbrei.
Cross-Validation, Shrinkage and Variable Selection in Linear Regression Revisited.
Open J Stat., 3 (2013), pp. 79-102
[24]
W.S. Cleveland.
Robust locally weighted regression and smoothing scatterplots.
J Am Stat Assoc., 74 (1979), pp. 829-836
[25]
Z. Zhang, H. Zhang, M.K. Khanal.
Development of scoring system for risk stratification in clinical medicine: A step-by-step tutorial.
Ann Transl Med., 5 (2017), pp. 1-9
[26]
N. Siddoqi.
Scorecard Development Process.
Credit Risk Scorecards: Developing and Implementing Intelligent Credit Scoring, pp. 73-127
[27]
R. Sommers.
A New Asymmetric Measure of Association for Ordinal Variables.
Am Sociol Rev., 27 (1962), pp. 799-811
[28]
A. Sarica, A. Cerasa, A. Quattrone.
Random forest algorithm for the classification of neuroimaging data in Alzheimer's disease: A systematic review.
Front Aging Neurosci., 9 (2017), pp. 1-12
[29]
L. Breiman.
Random forests.
Mach Learn., 45 (2001), pp. 5-32
[30]
F. Teng, T.T. Wan, S.B. Guo, J. Liu, J.F. Cai, X. Qi, et al.
Outcome prediction using the Mortality in Emergency Department Sepsis score combined with procalcitonin for influenza patients.
Med Clín., 153 (2019), pp. 411-417
[31]
D. Talmor, A.E. Jones, L. Rubinson, M.D. Howell, N.I. Shapiro.
Simple triage scoring system predicting death and the need for critical care resources for use during epidemics.
Crit Care Med., 35 (2007), pp. 1251-1256
[32]
E. Hak, F. Wei, J. Nordin, J. Mullooly, S. Poblete, K.L. Nichol.
Development and Validation of a Clinical Prediction Rule for Hospitalization Due to Pneumonia or Influenza or Death during Influenza Epidemics among Community-Dwelling Elderly Persons.
J Infect Dis., 189 (2004), pp. 450-458
[33]
A. Moa, D. Muscatello, A. Chughtai, X. Chen, C. Raina MacIntyre.
Flucast: A real-time tool to predict severity of an influenza season.
J Med Internet Res., 21 (2019), pp. e11780
[34]
K. Morik, M. Imboff, P. Brockhausen, T. Joachims, U. Gather.
Knowledge discovery and knowledge validation in intensive care.
Artif Intell Med., 19 (2000), pp. 225-249
[35]
S.A. Moser, W.T. Jones, S.E. Brossette.
Application of data mining to intensive care unit microbiologic data.
Emerg Infect Dis., 5 (1999), pp. 454-457
[36]
S. Ganzert, J. Guttmann, K. Kersting, R. Kuhlen, C. Putensen, M. Sydow, et al.
Analysis of respiratory pressure-volume curves in intensive care medicine using inductive machine learning.
Artif Intell Med., 26 (2002), pp. 69-86
[37]
L. Kong, E.B. Milbrandt, L.A. Weissfeld.
Advances in statistical methodology and their application in critical care.
Curr Opin Crit Care., 10 (2004), pp. 391-394
[38]
M. Komorowski, L.A. Celi, O. Badawi, A.C. Gordon, A.A. Faisal.
The Artificial Intelligence Clinician learns optimal treatment strategies for sepsis in intensive care.
Nat Med., 24 (2018), pp. 1716-1720
[39]
C.A. Hu, C.M. Chen, Y.C. Fang, S.J. Liang, H.C. Wang, W.F. Fang, et al.
Using a machine learning approach to predict mortality in critically ill influenza patients: a cross-sectional retrospective multicentre study in Taiwan.
BMJ Open., 10 (2020), pp. e033898
[40]
Z. Khan, J. Hulme, N. Sherwood.
An assessment of the validity of SOFA score based triage in H1N1 critically ill patients during an influenza pandemic.
Anaesthesia., 64 (2009), pp. 1283-1288
[41]
T. Guest, G. Tantam, N. Donlin, K. Tantam, H. McMillan, A. Tillyard.
An observational cohort study of triage for critical care provision during pandemic influenza: «Clipboard physicians» or «evidenced based medicine»?.
Anaesthesia., 64 (2009), pp. 1199-1206
[42]
W.A. Knaus, D.P. Wagner, E.A. Draper, J.E. Zimmerman, M. Bergner, P.G. Bastos, et al.
The APACHE III prognostic system: Risk prediction of hospital mortality for critically III hospitalized adults.
Chest., 100 (1991), pp. 1619-1636

En el anexo al final del artículo se relacionan los nombres de todos los autores.

Copyright © 2020. Elsevier España, S.L.U. y SEMICYUC
Descargar PDF
Idiomas
Medicina Intensiva
Opciones de artículo
Herramientas
Material suplementario
es en

¿Es usted profesional sanitario apto para prescribir o dispensar medicamentos?

Are you a health professional able to prescribe or dispense drugs?