Cross-Check QA: fluxo de trabalho para controle de qualidade a fim de prevenir erros diagnósticos, alertando sobre discordâncias inadvertidas entre radiologista e inteligência artificial na interpretação de tomografias computadorizadas de alta acuidade

OBJETIVO: O objetivo deste estudo foi implementar e avaliar um fluxo de trabalho para controle de qualidade (CQ) que utiliza o processamento de linguagem natural para resolver rapidamente discordâncias inadvertidas entre radiologistas e um sistema de suporte à decisão por inteligência artificial (SSDIA) na interpretação de estudos de tomografia computadorizada de alta acuidade, nos casos em que o radiologista não consulta o resultado do SSDIA. MÉTODOS: Todas as tomografias computadorizadas de alta acuidade realizadas consecutivamente em adultos em um sistema de saúde entre 1º de março de 2020 e 20 de setembro de 2022 foram interpretadas em associação com um SSDIA (Aidoc) para o diagnóstico de hemorragia intracraniana, fratura da coluna cervical e embolia pulmonar. Os exames de tomografia computadorizada foram encaminhados a este fluxo de trabalho de CQ se atendessem a três critérios: (1) resultados negativos no laudo do radiologista, (2) alta probabilidade de resultados positivos segundo o SSDIA e (3) o resultado do SSDIA não foi visualizado. Nestes casos, foi enviada uma notificação automática por e-mail para nossa equipe de qualidade. Quando a discordância foi confirmada na revisão secundária — um diagnóstico não realizado —, foi elaborada documentação adicional para a comunicação. RESULTADOS: Dos 111.674 exames de tomografia computadorizada de alta acuidade interpretados juntamente com o SSDIA durante este período de 2,5 anos, a frequência de diagnósticos não realizados (de hemorragia intracraniana, embolia pulmonar e fratura da coluna cervical) descobertos por este fluxo de trabalho foi de 0,02% (n=26). Dos 12.412 estudos de tomografia computadorizada priorizados, que indicavam achados positivos segundo o SSDIA, 0,4% (n=46) eram discordantes e não visualizados e foram encaminhados para CQ. Entre esses casos discordantes, 57% (26 de 46) foram classificados como verdadeiros positivos. A documentação adicional e a comunicação foram realizadas nas primeiras 24 horas desde a assinatura do laudo inicial em 85% dos casos. CONCLUSÕES: A discordância inadvertida entre radiologistas e o SSDIA ocorreu em um pequeno número de casos. Este fluxo de trabalho de CQ utilizou o processamento de linguagem natural para detectar, notificar e resolver rapidamente essas discrepâncias e prevenir possíveis diagnósticos não realizados.
 

PURPOSE: The aim of this study was to implement and evaluate a quality assurance (QA) workflow that leverages natural language processing to rapidly resolve inadvertent discordance between radiologists and an artificial intelligence (AI) decision support system (DSS) in the interpretation of high-acuity CT studies when the radiologist does not engage with AI DSS output. METHODS: All consecutive high-acuity adult CT examinations performed in a health system between March 1, 2020, and September 20, 2022, were interpreted alongside an AI DSS (Aidoc) for intracranial hemorrhage, cervical spine fracture, and pulmonary embolus. CT studies were flagged for this QA workflow if they met three criteria: (1) negative results by radiologist report, (2) a high probability of positive results by the AI DSS, and (3) unviewed AI DSS output. In these cases, an automated e-mail notification was sent to our quality team. If discordance was confirmed on secondary review-an initially missed diagnosis-addendum and communication documentation was performed. RESULTS: Of 111,674 high-acuity CT examinations interpreted alongside the AI DSS over this 2.5-year time period, the frequency of missed diagnoses (intracranial hemorrhage, pulmonary embolus, and cervical spine fracture) uncovered by this workflow was 0.02% (n = 26). Of 12,412 CT studies prioritized as depicting positive findings by the AI DSS, 0.4% (n = 46) were discordant, unengaged, and flagged for QA. Among these discordant cases, 57% (26 of 46) were determined to be true positives. Addendum and communication documentation was performed within 24 hours of the initial report signing in 85%. CONCLUSIONS: Inadvertent discordance between radiologists and the AI DSS occurred in a small number of cases. This QA workflow leveraged natural language processing to rapidly detect, notify, and resolve these discrepancies and prevent potential missed diagnoses.