Desenvolvimento e validação de uma nova escala de usabilidade para sistemas de apoio à decisão clínica: uma abordagem de métodos mistos

Abir Ghorayeb ; Julie L. Darbyshire ; Marta Wronikowska ; Peter J Watkinson
Título original:
Design and validation of a new Healthcare Systems Usability Scale (HSUS) for clinical decision support systems: a mixed-methods approach
Resumo:

Objetivo: Desenvolver e validar um questionário para avaliar a usabilidade dos sistemas de apoio à decisão clínica (SADC) e facilitar a identificação precoce de problemas de usabilidade que possam afetar a segurança do paciente e a qualidade do cuidado. Desenho: Utilizamos métodos mistos de pesquisa para desenvolver e validar o questionário. O estudo qualitativo envolveu o desenvolvimento de itens da escala, seu conteúdo e validade de face. Um teste-piloto estabeleceu a validade de construto usando a análise fatorial e realizou estimativas de confiabilidade e consistência interna usando o coeficiente alfa de Cronbach. Ambiente: Dois hospitais de um único Trust do National Health Service britânico. Participantes: Recrutamos um painel de 7 especialistas em usabilidade e elaboração de questionários em saúde para testar a validade do conteúdo, além de 10 participantes para avaliar a validade de face e 78 participantes para o teste-piloto. Para serem elegíveis para esta última fase, os participantes deveriam ser profissionais da saúde com pelo menos 3 meses de experiência no uso do sistema de prontuários eletrônicos de seu hospital local. Resultados: O feedback das fases de validade de face e conteúdo contribuiu para o desenvolvimento e melhoria dos itens da escala. No fim das contas, ficou demonstrado que a Escala de Usabilidade de Sistemas de Saúde (HSUS, na sigla em inglês) podia ser completada rapidamente, era fácil de entender e foi redigida, em sua maioria, pelos próprios usuários em potencial. A análise exploratória revelou quatro fatores relacionados à segurança do paciente: execução de tarefas, precisão dos alertas ou recomendações, efeitos do sistema no fluxo de trabalho e facilidade de uso do sistema. Esses fatores foram separados em quatro subescalas: segurança do paciente e efetividade das decisões (sete itens), integração do fluxo de trabalho (seis itens), efetividade do trabalho (cinco itens) e controle pelo usuário (quatro itens). Estes fatores afetam a qualidade do cuidado e a capacidade do profissional clínico de tomar decisões fundamentadas e rápidas ao utilizar o SADC. A HSUS tem uma confiabilidade muito boa, com alfa de Cronbach global de 0,914, e valores entre 0,702 e 0,926 para as quatro subescalas. Conclusão: A HSUS é uma ferramenta válida e confiável para testar a usabilidade de SADC e para a identificação precoce de problemas de usabilidade que possam causar eventos adversos clínicos. 
 

Resumo Original:

Objective To develop and validate a questionnaire to assess the usability of clinical decision support systems (CDSS) and to assist in the early identification of usability issues that may impact patient safety and quality of care. Design Mixed research methods were used to develop and validate the questionnaire. The qualitative study involved scale item development, content and face validity. Pilot testing established construct validity using factor analysis and facilitated estimates for reliability and internal consistency using the Cronbach's alpha coefficient. Setting Two hospitals within a single National Health Service Trust. Participants We recruited a panel of 7 experts in usability and questionnaire writing for health purposes to test content validity; 10 participants to assess face validity and 78 participants for the pilot testing. To be eligible for this last phase, participants needed to be health professionals with at least 3 months experience using the local hospital electronic patient record system. Results Feedback from the face and content validity phases contributed to the development and improvement of scale items. The final Healthcare Systems Usability Scale (HSUS) proved quick to complete, easy to understand and was mostly worded by potential users. Exploratory analysis revealed four factors related to patient safety, task execution, alerts or recommendations accuracy, the effects of the system on workflow and ease of system use. These separate into four subscales: patient safety and decision effectiveness (seven items), workflow integration (six items), work effectiveness (five items) and user control (four items). These factors affect the quality of care and clinician's ability to make informed and timely decisions when using CDSS. The HSUS has a very good reliability with global Cronbach's alpha 0.914 and between 0.702 and 0.926 for the four subscales. Conclusion The HSUS is a valid and reliable tool for usability testing of CDSS and early identification of usability issues that may cause medical adverse events. 

Fonte:
BMJ Open ; 31(1): e065323; 2023. DOI: 10.1136/bmjopen-2022-065323.