Os indicadores de desempenho preveem as avaliações dos prestadores de cuidado de saúde pelas agências reguladoras? Estudo transversal em hospitais de cuidado agudo na Inglaterra
OBJETIVO: Determinar se um grande conjunto de indicadores de desempenho do cuidado (“Intelligent Monitoring [IM]”) pode ser usado para prever as classificações dos prestadores do cuidado de saúde por parte da Care Quality Commission (CQC). DESENHO: Utilizamos o conjunto de dados do IM e as classificações de primeira inspeção para construir modelos de regressão logística lineares e ordenados para todo o conjunto de dados (todos os trusts). O processo foi repetido para subconjuntos dos trusts, e esses modelos foram então aplicados para prever as classificações nas inspeções dos trusts restantes. AMBIENTE: O Department of Health and Social Care's Care Quality Commission do Reino Unido é a agência reguladora de todos os serviços de saúde e sociais na Inglaterra. Consideramos o seu primeiro ciclo de inspeções dos trusts hospitalares de cuidado agudo (2013-2016). PARTICIPANTES: Todos os 156 trusts hospitalares de cuidado agudo do NHS inglês. INTERVENÇÕES: Nenhuma. DESFECHOS PRINCIPAIS: Porcentagem de previsões corretas e kappa ponderado. RESULTADOS: Só 24% das classificações globais previstas para a amostra de teste estiveram corretas, e o kappa ponderado de 0,01 indica uma concordância muito baixa entre as classificações previstas e reais. Esta falta de poder preditivo também foi encontrada em cada um dos domínios de classificação. CONCLUSÃO: Embora as inspeções hospitalares se baseiem num conjunto muito mais amplo de informações, a baixa capacidade dos indicadores de desempenho de prever as classificações de inspeção subsequentes pode levantar dúvidas sobre a validade dos indicadores, das classificações ou de ambos. Concluímos que uma série de mudanças na forma como os indicadores de desempenho são coletados e utilizados poderia melhorar o seu valor preditivo e sugerimos que é preciso realizar uma avaliação prospectiva do poder preditivo no momento em que os conjuntos de indicadores estão sendo projetados e selecionados pelos reguladores.
OBJECTIVE: To determine whether a large set of care performance indicators ('Intelligent Monitoring (IM)') can be used to predict the Care Quality Commission's (CQC) acute hospital trust provider ratings. DESIGN: The IM dataset and first-inspection ratings were used to build linear and ordered logistic regression models for the whole dataset (all trusts). This was repeated for subsets of the trusts, with these models then applied to predict the inspection ratings of the remaining trusts. SETTING: The United Kingdom Department of Health and Social Care's Care Quality Commission is the regulator for all health and social care services in England. We consider their first-inspection cycle of acute hospital trusts (2013-2016). PARTICIPANTS: All 156 English NHS acute hospital trusts. INTERVENTION(S): None. MAIN OUTCOME MEASURE(S): Percentage of correct predictions and weighted kappa. RESULTS: Only 24% of the predicted overall ratings for the test sample were correct and the weighted kappa of 0.01 indicates very poor agreement between predicted and actual ratings. This lack of predictive power is also found for each of the rating domains. CONCLUSION: While hospital inspections draw on a much wider set of information, the poor power of performance indicators to predict subsequent inspection ratings may call into question the validity of indicators, ratings or both. We conclude that a number of changes to the way performance indicators are collected and used could improve their predictive value, and suggest that assessing predictive power should be undertaken prospectively when the sets of indicators are being designed and selected by regulators.
