Rumo a um referencial conceitual ecologicamente válido para o uso de IA em ambientes clínicos: considerações sobre pensamento sistêmico, responsabilização, tomada de decisões, confiança e segurança do paciente na proteção da tecnologia e dos profissionais
A literatura sobre gestão de serviços de saúde e profissionais médicos carece de um referencial conceitual descritivo para compreender as interações dinâmicas e complexas entre os profissionais e os sistemas de inteligência artificial (IA). Como a maioria da literatura existente investigou o desempenho e a efetividade da IA do ponto de vista estatístico (analítico), faltam estudos que garantam a validade ecológica da IA. Neste estudo, derivamos um referencial centrado explicitamente na interação entre a IA e os profissionais clínicos. O referencial proposto se baseia em modelos de fatores humanos bem estabelecidos, tais como o modelo de aceitação da tecnologia e a teoria da expectativa. O referencial pode ser usado para realizar análises quantitativas e qualitativas (métodos mistos), identificando a forma como as interações entre profissionais e IA podem variar segundo fatores humanos, como expectativa, carga de trabalho, confiança, variáveis cognitivas relacionadas à capacidade de absorção e racionalidade limitada e preocupações com a segurança do paciente. Se bem utilizado, o referencial proposto pode ajudar a identificar fatores que influenciam a intenção dos profissionais de usar a IA e, consequentemente, aumentar a aceitação da IA e resolver o problema da falta de responsabilização, protegendo ao mesmo tempo os pacientes, os profissionais clínicos e a tecnologia. De modo geral, este artigo discute os conceitos, as propostas e os pressupostos da literatura multidisciplinar sobre a tomada de decisões, constituindo uma abordagem sociocognitiva que estende as teorias da cognição distribuída e, assim, examina a validade ecológica da IA.
The health care management and the medical practitioner literature lack a descriptive conceptual framework for understanding the dynamic and complex interactions between clinicians and artificial intelligence (AI) systems. As most of the existing literature has been investigating AI's performance and effectiveness from a statistical (analytical) standpoint, there is a lack of studies ensuring AI's ecological validity. In this study, we derived a framework that focuses explicitly on the interaction between AI and clinicians. The proposed framework builds upon well-established human factors models such as the technology acceptance model and expectancy theory. The framework can be used to perform quantitative and qualitative analyses (mixed methods) to capture how clinician-AI interactions may vary based on human factors such as expectancy, workload, trust, cognitive variables related to absorptive capacity and bounded rationality, and concerns for patient safety. If leveraged, the proposed framework can help to identify factors influencing clinicians' intention to use AI and, consequently, improve AI acceptance and address the lack of AI accountability while safeguarding the patients, clinicians, and AI technology. Overall, this paper discusses the concepts, propositions, and assumptions of the multidisciplinary decision-making literature, constituting a sociocognitive approach that extends the theories of distributed cognition and, thus, will account for the ecological validity of AI.
