Classificações, taxonomias e ontologias de segurança do paciente: uma revisão sistemática sobre metodologias de desenvolvimento e de avaliação

Introdução: As classificações/ontologias de segurança do paciente permitem que os sistemas de informações recebam e analisem os dados de segurança do paciente para melhorá-la. As classificações/ontologias de segurança do paciente foram desenvolvidas e avaliadas usando uma variedade de métodos. O objetivo desta revisão foi discutir e analisar as metodologias para desenvolver e avaliar as classificações/ontologias de segurança do paciente. Métodos: Estudos que desenvolveram ou avaliaram classificações, terminologias, taxonomias ou ontologias de segurança do paciente foram pesquisados nos sítios de internet Google Scholar, Google Search Engine, National Center for Biomedical Ontology (NCBO) BioPortal, Open Biological and Biomedical Ontology (OBO) Foundry e da Organização Mundial da Saúde (OMS) e no Scopus, Web of Science, PubMed e Science Direct. Atualizamos nossa pesquisa em 30 de fevereiro de 2021 e incluímos todos os estudos publicados até o final de 2020. Foram considerados os estudos que desenvolveram ou avaliaram classificações apenas para a segurança do paciente e forneceram informações sobre como estas foram desenvolvidas ou avaliadas. Foram excluídos sistemas que incluem termos de segurança do paciente (como a CID-10), mas que não foram desenvolvidos especificamente para a segurança do paciente. A qualidade e o risco de viés dos estudos não foram avaliados porque todas as metodologias e critérios deveriam ser abordados. Além disso, analisamos os dados por meio de síntese narrativa descritiva, comparamos e classificamos os métodos de desenvolvimento e de avaliação e os critérios de avaliação de acordo com as abordagens de desenvolvimento e avaliação disponíveis para ontologias biomédicas. Resultados: Foram identificados 84 artigos que atenderam a todos os critérios de inclusão, resultando em 70 classificações/ontologias, nove das quais para o domínio médico geral. A maioria dos artigos foi publicada em 2010 e 2011, com oito e sete artigos, respectivamente. Os Estados Unidos (50) e a Austrália (23) realizaram a maioria dos estudos. Os métodos mais utilizados para o desenvolvimento de classificações/ontologias incluíram o uso de sistemas existentes (para expansão ou mapeamento) (44) e análise qualitativa de notificação de eventos (39). Os métodos de avaliação mais comuns foram codificação ou classificação de algumas amostras de notificações de segurança (25), análise quantitativa dos incidentes com base na classificação desenvolvida (24) e consenso entre os médicos (16). Os critérios de avaliação mais comumente aplicados foram confiabilidade (27), validade de conteúdo e face (9), abrangência (6), usabilidade (5), clareza linguística (5) e impacto (4), respectivamente. Conclusões: Devido aos pontos fracos e fortes dos métodos de desenvolvimento/avaliação, recomenda-se que mais de um método de desenvolvimento ou avaliação, bem como critérios de avaliação, seja utilizado. Para organizar os processos de desenvolvimento de classificação/ontologias, são recomendadas abordagens bem estabelecidas, como a Metontologia. Os métodos de avaliação mais prevalentes aplicados neste domínio estão bem ajustados aos métodos de avaliação de ontologia biomédica, mas também é recomendável aplicar algumas abordagens de avaliação, como lógica, regras e processamento de linguagem natural (PLN) em combinação com outros métodos de avaliação. Esta pesquisa pode auxiliar pesquisadores de domínio a desenvolver ou avaliar ontologias de domínio usando metodologias mais completas. Há também uma falta de consistência na literatura, e os mesmos métodos ou critérios foram relatados com diferentes terminologias. 

Introduction: Patient safety classifications/ontologies enable patient safety information systems to receive and analyze patient safety data to improve patient safety. Patient safety classifications/ontologies have been developed and evaluated using a variety of methods. The purpose of this review was to discuss and analyze the methodologies for developing and evaluating patient safety classifications/ontologies. Methods: Studies that developed or evaluated patient safety classifications, terminologies, taxonomies, or ontologies were searched through Google Scholar, Google search engines, National Center for Biomedical Ontology (NCBO) BioPortal, Open Biological and Biomedical Ontology (OBO) Foundry and World Health Organization (WHO) websites and Scopus, Web of Science, PubMed, and Science Direct. We updated our search on 30 February 2021 and included all studies published until the end of 2020. Studies that developed or evaluated classifications only for patient safety and provided information on how they were developed or evaluated were included. Systems with covered patient safety terms (such as ICD-10) but are not specifically developed for patient safety were excluded. The quality and the risk of bias of studies were not assessed because all methodologies and criteria were intended to be covered. In addition, we analyzed the data through descriptive narrative synthesis and compared and classified the development and evaluation methods and evaluation criteria according to available development and evaluation approaches for biomedical ontologies. Results: We identified 84 articles that met all of the inclusion criteria, resulting in 70 classifications/ontologies, nine of which were for the general medical domain. The most papers were published in 2010 and 2011, with 8 and 7 papers, respectively. The United States (50) and Australia (23) have the most studies. The most commonly used methods for developing classifications/ontologies included the use of existing systems (for expanding or mapping) (44) and qualitative analysis of event reports (39). The most common evaluation methods were coding or classifying some safety report samples (25), quantitative analysis of incidents based on the developed classification (24), and consensus among physicians (16). The most commonly applied evaluation criteria were reliability (27), content and face validity (9), comprehensiveness (6), usability (5), linguistic clarity (5), and impact (4), respectively. Conclusions: Because of the weaknesses and strengths of the development/evaluation methods, it is advised that more than one method for development or evaluation, as well as evaluation criteria, should be used. To organize the processes of developing classification/ontologies, well-established approaches such as Methontology are recommended. The most prevalent evaluation methods applied in this domain are well fitted to the biomedical ontology evaluation methods, but it is also advised to apply some evaluation approaches such as logic, rules, and Natural language processing (NLP) based in combination with other evaluation approaches. This research can assist domain researchers in developing or evaluating domain ontologies using more complete methodologies. There is also a lack of reporting consistency in the literature and same methods or criteria were reported with different terminologies.