OBJETIVO: Identificar fatores que influenciam a implementação de algoritmos de aprendizado de máquina (MLAs) que preveem a deterioração clínica em pacientes adultos hospitalizados e relacioná-los a uma estrutura de implementação validada. MATERIAIS E MÉTODOS: Foi realizada uma revisão sistemática de estudos de MLAs de previsão de deterioração clínica, em tempo real implementados ou testados, que identificou: como a implementação do MLA foi medida; impacto dos MLAs nos processos clínicos e nos resultados dos pacientes; e barreiras, facilitadores e incertezas no processo de implementação. Os resultados da revisão foram então mapeados para a estrutura de implementação de ponta a ponta do SALIENT para identificar os estágios de implementação nos quais esses fatores foram aplicados. RESULTADOS: Trinta e sete artigos relacionados a 14 grupos de MLAs foram identificados, cada um testando ou implementando um algoritmo sob medida. Cento e sete métricas distintas de avaliação de implementação foram identificadas. Quatro grupos relataram uma redução na mortalidade hospitalar, sendo uma significativa. Identificamos 24 barreiras, 40 facilitadores e 14 incertezas e as mapeamos para os 5 estágios da estrutura de implementação SALIENT. DISCUSSÃO: O desempenho do algoritmo nos estágios de implementação diminuiu entre os estágios in silico e experimental. A inclusão do estudo-piloto Silent Plus foi associada à diminuição da mortalidade, assim como o uso de algoritmos de regressão logística que utilizaram menos de 39 variáveis. A mitigação da fadiga de alertas por meio da supressão de alerta e configuração de limiar foi comumente empregada entre os grupos. CONCLUSÕES: Há evidências de que a implementação real de MLAs de previsão de deterioração clínica pode melhorar os resultados clínicos. Vários fatores identificados como influenciadores do sucesso ou fracasso da implementação podem ser mapeados para diferentes estágios de implementação, fornecendo assim orientações úteis e práticas para os implementadores.
OBJECTIVE: To identify factors influencing implementation of machine learning algorithms (MLAs) that predict clinical deterioration in hospitalized adult patients and relate these to a validated implementation framework. MATERIALS AND METHODS: A systematic review of studies of implemented or trialed real-time clinical deterioration prediction MLAs was undertaken, which identified: how MLA implementation was measured; impact of MLAs on clinical processes and patient outcomes; and barriers, enablers and uncertainties within the implementation process. Review findings were then mapped to the SALIENT end-to-end implementation framework to identify the implementation stages at which these factors applied. RESULTS: Thirty-seven articles relating to 14 groups of MLAs were identified, each trialing or implementing a bespoke algorithm. One hundred and seven distinct implementation evaluation metrics were identified. Four groups reported decreased hospital mortality, 1 significantly. We identified 24 barriers, 40 enablers, and 14 uncertainties and mapped these to the 5 stages of the SALIENT implementation framework. DISCUSSION: Algorithm performance across implementation stages decreased between in silico and trial stages. Silent plus pilot trial inclusion was associated with decreased mortality, as was the use of logistic regression algorithms that used less than 39 variables. Mitigation of alert fatigue via alert suppression and threshold configuration was commonly employed across groups. CONCLUSIONS: : There is evidence that real-world implementation of clinical deterioration prediction MLAs may improve clinical outcomes. Various factors identified as influencing success or failure of implementation can be mapped to different stages of implementation, thereby providing useful and practical guidance for implementers.
