Confiabilidade e acurácia do rastreamento de eventos adversos em hospitais brasileiros
Objetivo: Analisar a confiabilidade e acurácia do rastreamento de eventos adversos (EAs) realizado por enfermeiros, tomando-se como referência a avaliação por médicos residentes.
Desenho: Estudo de validação da fase de rastreamento de um estudo de coorte retrospectivo anterior, baseado na revisão de prontuários médicos, que estimou a incidência de EAs (estudo de base).
Ambiente: Três hospitais gerais de ensino do estado do Rio de Janeiro, Brasil.
Participantes: Uma subamostra de 242 prontuários médicos foi selecionada aleatoriamente de uma amostra original de 1103 prontuários previamente avaliados.
Principais medidas de desfecho: Nesta análise, utilizamos uma abordagem em duas etapas: identificação de, no mínimo, um critério de rastreamento (primeiro desfecho) e validação de cada critério identificado (segundo desfecho), tomando como referência a avaliação por médicos residentes. Foram calculados o coeficiente Kappa (k), a concordância percentual simples, a sensibilidade, a especificidade e os valores preditivos positivo e negativo.
Resultados: A concordância total entre os médicos residentes e os enfermeiros quanto à presença de critérios de rastreamento foi moderada (78,9%, k = 0,55). A especificidade (81,6%) foi mais alta do que a sensibilidade (74,4%). Os enfermeiros detectaram mais critérios de rastreamento posteriormente confirmados como verdadeiros EAs (179 vs. 171, respectivamente). Foram observadas diferenças significativas na detecção dos critérios de rastreamento: "Outras complicações", "Lesão durante a internação" e "Internação prévia".
Conclusão: Os resultados sugerem um bom desempenho por parte dos enfermeiros no rastreamento de EAs e mostram diferenças significativas entre os revisores na detecção de critérios de rastreamento específicos. O estudo promove uma melhor compreensão sobre o processo de rastreamento e o desempenho dos revisores.
Objective: To analyze the reliability and accuracy of the screening for adverse events (AEs) conducted by nurses taking the assessment by medical residents as the reference.
Design: A validation study of the screening phase of a previous retrospective cohort study based on the patient record review that estimated the incidence of AEs (base study).
Setting: Three general teaching hospitals in the State of Rio de Janeiro, Brazil.
Participants: A subsample of 242 medical records randomly selected from an original sample of 1103 previously evaluated records.
Main Outcome Measure(s): A two-step approach was used for analysis: the identification of at least one screening criterion (first endpoint) and the validation of each identified criterion (second endpoint), taking the assessment by medical residents as the reference. Kappa coefficient; simple percentage agreement; sensitivity; specificity; positive and negative predictive values were calculated.
Results: The total agreement between medical residents and nurses on the presence of screening criteria was moderate (78.9%, k = 0.55). Specificity (81.6%) was higher than sensitivity (74.4%). Nurses detected more screening criteria that were later confirmed as true AEs (179 vs. 171, respectively). Significant differences in the detection of the screening criteria: "Other complications", "Hospitalization injury" and "Prior admission" were observed.
Conclusion: The results suggested a good performance of the nurses in the screening for detection of AE and showed significant differences in relation to detection of specific screening criteria among reviewers. A better understanding of the screening process and the performance of reviewers was provided.
