Identificação precoce de pacientes internados por COVID-19 em risco de deterioração clínica: desenvolvimento de um modelo e estudo multicêntrico de validação externa
Resumo
Objetivo: Criar e validar um modelo simples e transferível de machine learning a partir de dados de prontuários médicos eletrônicos para prever com precisão a deterioração clínica em pacientes com COVID-19 em diferentes instituições, pelo uso de um novo paradigma para o desenvolvimento de modelos e compartilhamento de códigos.
DESENHO: Estudo de coorte retrospectivo.
Ambiente: Um hospital americano foi utilizado para o treinamento de modelos e a validação interna no período de 2015 a 2021. A validação externa foi realizada em pacientes internados com COVID-19 em 12 outros centros médicos dos EUA no período de 2020 a 2021.
Participantes: Um total de 33.119 adultos (≥18 anos) internados por sofrimento respiratório ou COVID-19.
Desfechos principais: Um conjunto de modelos lineares foi treinado na coorte de desenvolvimento para prever um desfecho composto de deterioração clínica nos primeiros cinco dias de internação hospitalar, definido como mortalidade intra-hospitalar ou qualquer um dentre três tratamentos que indicam doença grave: ventilação mecânica, cânula nasal de alto fluxo ou vasopressores intravenosos. O modelo se baseou em nove variáveis clínicas e individuais selecionadas entre 2.686 variáveis disponíveis nos prontuários médicos eletrônicos. O desempenho da validação interna e externa foi medido usando a area under the receiver operating characteristic curve (AUROC) e o erro de calibração esperado — a diferença entre o risco previsto e o risco real. As economias potenciais em leitos-dias foram estimadas calculando a redução no tempo de internação hospitalar que ocorreria se os pacientes de baixo risco identificados pelo modelo recebessem alta antecipada.
Resultados: Ao todo, 9.291 internações hospitalares relacionadas à COVID-19 em 13 centros médicos foram utilizadas para a validação do modelo, das quais 1.510 (16,3%) estiveram relacionadas ao desfecho primário. Quando o modelo foi aplicado à coorte de validação interna, alcançou uma AUROC de 0,80 (intervalo de confiança [IC] de 95%, 0,77 a 0,84) e um erro de calibração esperado de 0,01 (IC 95%, 0,00 a 0,02). O desempenho foi consistente quando validado nos 12 centros médicos externos (intervalo da AUROC, 0,77 a 0,84) em subgrupos definidos por sexo, idade, raça e etnia (intervalo da AUROC, 0,78 a 0,84) e em diferentes trimestres (intervalo da AUROC, 0,73 a 0,83). O uso do modelo para a triagem de pacientes de baixo risco tem o potencial de economizar até 7,8 leitos-dias por paciente em razão da alta hospitalar antecipada.
Conclusão: Em resposta à pandemia de COVID-19, conseguimos desenvolver rapidamente um modelo para prever a deterioração clínica em um único hospital. Este modelo foi então aplicado externamente sem o compartilhamento de dados e teve bom desempenho em diversos centros médicos, em diferentes subgrupos de pacientes e períodos, demonstrando potencial como uma ferramenta para otimizar o uso dos recursos de saúde.
Abstract
Objective: To create and validate a simple and transferable machine learning model from electronic health record data to accurately predict clinical deterioration in patients with covid-19 across institutions, through use of a novel paradigm for model development and code sharing.
Design: Retrospective cohort study.
Setting: One US hospital during 2015-21 was used for model training and internal validation. External validation was conducted on patients admitted to hospital with covid-19 at 12 other US medical centers during 2020-21.
Participants: 33 119 adults (≥18 years) admitted to hospital with respiratory distress or covid-19.
Main outcome measures: An ensemble of linear models was trained on the development cohort to predict a composite outcome of clinical deterioration within the first five days of hospital admission, defined as in-hospital mortality or any of three treatments indicating severe illness: mechanical ventilation, heated high flow nasal cannula, or intravenous vasopressors. The model was based on nine clinical and personal characteristic variables selected from 2686 variables available in the electronic health record. Internal and external validation performance was measured using the area under the receiver operating characteristic curve (AUROC) and the expected calibration error-the difference between predicted risk and actual risk. Potential bed day savings were estimated by calculating how many bed days hospitals could save per patient if low risk patients identified by the model were discharged early.
Results: 9291 covid-19 related hospital admissions at 13 medical centers were used for model validation, of which 1510 (16.3%) were related to the primary outcome. When the model was applied to the internal validation cohort, it achieved an AUROC of 0.80 (95% confidence interval 0.77 to 0.84) and an expected calibration error of 0.01 (95% confidence interval 0.00 to 0.02). Performance was consistent when validated in the 12 external medical centers (AUROC range 0.77-0.84), across subgroups of sex, age, race, and ethnicity (AUROC range 0.78-0.84), and across quarters (AUROC range 0.73-0.83). Using the model to triage low risk patients could potentially save up to 7.8 bed days per patient resulting from early discharge.
Conclusion: A model to predict clinical deterioration was developed rapidly in response to the covid-19 pandemic at a single hospital, was applied externally without the sharing of data, and performed well across multiple medical centers, patient subgroups, and time periods, showing its potential as a tool for use in optimizing healthcare resources.
