Desenvolvimento e validação de modelos interpretáveis de aprendizado de máquina para eventos de queda de pacientes internados e integração de PEP
Resumo
Contexto: As quedas são um dos eventos adversos mais frequentes entre os pacientes hospitalizados. As escalas Morse de quedas, amplamente utilizadas na avaliação do risco de quedas, apresentam duas limitações: baixa especificidade e dificuldade de implementação prática. O objetivo deste estudo foi desenvolver e validar um modelo interpretável de aprendizado de máquina (AM) para a previsão de quedas, que seria integrado a um sistema de prontuário eletrônico do paciente (PEP).
Métodos: Este é um estudo retrospectivo de um hospital universitário terciário em Seul, Coreia. Os dados foram coletados no período de janeiro de 2018 a março de 2020. Com base nas literaturas, 83 preditores conhecidos foram agrupados em sete categorias. Modelos interpretáveis de previsão de eventos de queda foram desenvolvidos usando vários modelos de aprendizado de máquina, incluindo aumento de gradiente e valores de Shapley.
Resultados: No geral, 191.778 casos com 272 eventos de queda (0,1%) foram incluídos para a análise. Com a coorte de validação de 2020, a área sob a curva de operação do receptor do modelo de gradient boosting foi de 0,817 (intervalo de confiança de 95%, 0,720 - 0,904), que apresentou melhor desempenho do que floresta aleatória, regressão logística, rede neural artificial e escore de queda de Morse convencional (0,80, 0,80, 0,74 e 0,65, respectivamente). A interpretabilidade do modelo foi aprimorada tanto em nível da população quanto do paciente. O algoritmo foi posteriormente integrado ao PEP atual.
Conclusão: Desenvolvemos um modelo interpretável de previsão de AM para eventos de queda em pacientes internados usando formatos de integração de PEP.
Abstract
Background: Falls are one of the most frequently occurring adverse events among hospitalized patients. The Morse fall scales, which have been widely used for fall risk assessment, has two limitations: low specificity and difficulty in practical implementation. The aim of this study was to develop and validate an interpretable machine learning (ML) model for the prediction of falls, which would be integrated in an electronic medical record system (EMR).
Methods: This is a retrospective study from a tertiary teaching hospital in Seoul, Korea. Data were collected from January 2018 to March 2020. Based on literatures, known 83 predictors were grouped into seven categories. Interpretable fall event prediction models were developed using multiple machine learning models including gradient boosting and Shapley values.
Results: Overall, 191,778 cases with 272 fall events (0.1%) were included for the analysis. With the validation cohort of 2020, the area under the receiver operating curve of the gradient boosting model was 0.817 (95% confidence interval, 0.720 - 0.904) which showed better performance than random forest, logistic regression, artificial neural net, and conventional Morse fall score (0.80, 0.80, 0.74, and 0.65, respectively). The model's interpretability was enhanced in both population level and patient level. The algorithm was later integrated in to the current EMR.
Conclusion: We developed an interpretable ML prediction model for inpatient fall events using EMR integration formats.
