Acessibilidade / Reportar erro

Risco de queda relacionado a medicamentos em hospitais: abordagem de aprendizado de máquina

Riesgo de caída relacionado con medicamentos en hospitales: enfoque de aprendizaje de máquina

Resumo

Objetivo

Comparar o desempenho de modelos de aprendizado de máquina com o Medication Fall Risk Score (MFRS) na previsão de risco de queda relacionado a medicamentos prescritos.

Métodos

Trata-se de um estudo caso-controle retrospectivo de pacientes adultos e idosos de um hospital terciário de Porto Alegre, RS, Brasil. Medicamentos prescritos e classes de medicamentos foram investigados. Os dados foram exportados para o software RStudio para análise estatística. As variáveis foram analisadas por meio dos algoritmos de Regressão Logística, Naive Bayes, Random Forest e Gradient Boosting. A validação do algoritmo foi realizada usando validação cruzada de 10 vezes. O índice de Youden foi a métrica selecionada para avaliar os modelos. O projeto foi aprovado pelo Comitê de Ética em Pesquisa.

Resultados

O modelo de aprendizado de máquina que apresentou melhor desempenho foi o desenvolvido pelo algoritmo Naive Bayes. O modelo construído a partir de um conjunto de dados de um hospital específico apresentou melhores resultados para a população estudada do que o MFRS, uma ferramenta generalizável.

Conclusão

Ferramentas de previsão de risco que dependem de aplicação e registro adequados por parte dos profissionais demandam tempo e atenção que poderiam ser alocados ao cuidado do paciente. Modelos de previsão construídos por meio de algoritmos de aprendizado de máquina podem ajudar a identificar riscos para melhorar o atendimento ao paciente.

Acidentes por quedas; Uso de medicamentos; Aprendizado de máquina supervisionado; Segurança do paciente

Resumen

Objetivo

Comparar el desempeño de modelos de aprendizaje de máquina con Medication Fall Risk Score (MFRS) para la previsión del riesgo de caída relacionado con medicamentos prescriptos.

Métodos

Se trata de un estudio caso-control retrospectivo de pacientes adultos y adultos mayores de un hospital terciario de Porto Alegre, estado de Rio Grande do Sul, Brasil. Se investigaron los medicamentos prescriptos y las clases de medicamentos. Los datos fueron exportados al software RStudio para el análisis estadístico. Las variables se analizaron a través de los algoritmos de regresión logística Naive Bayes, Random Forest y Gradient Boosting. La validación del algoritmo se realizó usando validación cruzada de 10 veces. El índice de Youden fue la métrica seleccionada para evaluar los modelos. El proyecto fue aprobado por el Comité de Ética en Investigación.

Resultados

El modelo de aprendizaje de máquina que presentó el mejor desempeño fue el desarrollado por el algoritmo Naive Bayes. El modelo construido a partir de un conjunto de datos de un hospital específico presentó mejores resultados en la población estudiada que el MFRS, una herramienta generalizada.

Conclusión

Herramientas de previsión de riesgo que dependen de la aplicación y el registro adecuados por parte de los profesionales demandan tiempo y atención que podría ser destinado al cuidado del paciente. Modelos de previsión construidos mediante algoritmos de aprendizaje de máquina pueden ayudar a identificar riesgos para mejorar la atención al paciente.

Accidentes por caídas; Utilización de medicamentos; Aprendizaje automático supervisado; Seguridad del paciente

Abstract

Objective

To compare the performance of machine-learning models with the Medication Fall Risk Score (MFRS) in predicting fall risk related to prescription medications.

Methods

This is a retrospective case-control study of adult and older adult patients in a tertiary hospital in Porto Alegre, RS, Brazil. Prescription drugs and drug classes were investigated. Data were exported to the RStudio software for statistical analysis. The variables were analyzed using Logistic Regression, Naive Bayes, Random Forest, and Gradient Boosting algorithms. Algorithm validation was performed using 10-fold cross validation. The Youden index was the metric selected to evaluate the models. The project was approved by the Research Ethics Committee.

Results

The machine-learning model showing the best performance was the one developed by the Naive Bayes algorithm. The model built from a data set of a specific hospital showed better results for the studied population than did MFRS, a generalizable tool.

Conclusion

Risk-prediction tools that depend on proper application and registration by professionals require time and attention that could be allocated to patient care. Prediction models built through machine-learning algorithms can help identify risks to improve patient care.

Accidental falls; Drug utilization; Supervised machine learning; Patient safety

Introdução

As quedas são a segunda principal causa de morte por lesão não intencional no mundo, e a cada ano ocorrem aproximadamente 684.000 quedas fatais. Indivíduos com 60 anos ou mais sofrem o maior número de quedas fatais.(11. World Health Organization (WHO). Falls: fact sheet: WHO Media Center. Geneva: WHO; 2021 [cited 2022 Aug 4]. Available from: https://www.who.int/en/news-room/fact-sheets/detail/falls
https://www.who.int/en/news-room/fact-sh...
)Existem mais de 700 milhões de idosos (idade ≥ 65 anos) no mundo, e esse número deverá dobrar até 2050.(22. World Health Organization (WHO). Ageing and Health: Fact Sheets: WHO Media Center. Geneva: WHO; 2018 [cited 2022 Aug 4]. Available from: https://www.who.int/news-room/fact-sheets/detail/ageing-and-health
https://www.who.int/news-room/fact-sheet...
)

As quedas são definidas como inadvertidamente parar no solo ou em outro nível inferior.(11. World Health Organization (WHO). Falls: fact sheet: WHO Media Center. Geneva: WHO; 2021 [cited 2022 Aug 4]. Available from: https://www.who.int/en/news-room/fact-sheets/detail/falls
https://www.who.int/en/news-room/fact-sh...
)As quedas são multifatoriais, e os aspectos relacionados à ocorrência de quedas podem ser modificáveis e não modificáveis.(33. Sociedade Brasileira de Gerontologia e Gerontologia. Quedas em idosos: prevenção. São Paulo: SBGG; 2019 [citado 2022 Ago 4]. Available from: https://sbgg.org.br/wp-content/uploads/2014/10/queda-idosos.pdf
https://sbgg.org.br/wp-content/uploads/2...
) Os medicamentos são destacados como fatores de risco modificáveis.

As quedas podem ser uma das consequências do uso de medicamentos de risco e/ou interações medicamentosas, e a hospitalização aumenta consideravelmente o risco entre os idosos. Medicamentos com efeitos no sistema nervoso central, como opioides, hipnóticos, ansiolíticos, antidepressivos, antipsicóticos e sedativos de procedimentos, aumentam significativamente o risco de quedas.(44. Associação Nacional de Hospitais Privados (ANAHP). Manual de Gerenciamento e Assistência ao Idoso. Recomendações dos Hospitais da Associação Nacional de Hospitais Privados. São Paulo: ANAHP; 2018 [citado 2022 Ago 4]. Available from: https://www.eejauditoriaemsaude.com.br/wp-content/uploads/2018/12/manual-de-gerenciamento-e-assistencia-ao-idoso.pdf
https://www.eejauditoriaemsaude.com.br/w...
)

A única ferramenta encontrada na literatura que avalia o risco de queda relacionada a medicamentos foi o Medication Fall Risk Score (MFRS). Esse escore foi desenvolvido como parte de um programa farmacêutico de prevenção de quedas e gera um escore baseado no grau de risco dos medicamentos em uso. A recomendação é considerar os pacientes que pontuam seis ou mais em risco. Os autores do MFRS recomendam o uso dessa ferramenta em conjunto com outras ferramentas de avaliação de risco de queda, considerando outros fatores de risco relacionados a quedas além da medicação.(55. Beasley B, Patatanian E. Development and Implementation of a Pharmacy Fall Prevention Program. Hospital Pharmacy. 2009;44(12):1095-102.) Um estudo analisou a validade preditiva do uso de uma escala de risco de queda em conjunto com o MFRS. Os resultados mostraram melhora na especificidade, sem comprometer a sensibilidade em relação ao uso individual da escala de risco de queda.(66. Yazdani C, Hall S. Evaluation of the “medication fall risk score”. Am J Health Syst Pharm. 2017;74(1):e32-9.)

Os registros eletrônicos de saúde contêm uma gama de informações sobre as condições de saúde dos pacientes e permitem novas abordagens para identificar fatores de risco.(77. Lucero RJ, Lindberg DS, Fehlberg EA, Bjarnadottir RI, Li Y, Cimiotti JP, et al. A data-driven and practice-based approach to identify risk factors associated with hospital-acquired falls: applying manual and semi- and fully-automated methods. Int J Med Inform. 2019;122:63-9.)Algoritmos de aprendizado de máquina supervisionados e não supervisionados mostraram grande potencial na aquisição de conhecimento de grandes conjuntos de dados.(88. Alloghani M, Al-Jumeily D, Mustafina J, Hussain A, Aljaaf AJ. A systematic review on supervised and unsupervised machine learning algorithms for data science. In: Berry M, Mohamed A, Yap B. (eds) Supervised and Unsupervised Learning for Data Science. Unsupervised and Semi-Supervised Learning. Switzerland: Springer, Cham; 2020. pp 3–21.)O aprendizado de máquina é um campo da inteligência artificial no qual os sistemas obtêm conhecimento automaticamente, sem programação explícita.(99. Saravanan R, Sujatha P. A state of art techniques on machine learning algorithms: a perspective of supervised learning approaches in data classification. In: 2018 Second International Conference on Intelligent Computing and Control Systems (ICICCS), 14-15 June 2018. Madurai, India: 2018, pp. 945-9.)O aprendizado supervisionado, a técnica aplicada neste estudo, reflete a capacidade de um algoritmo de generalizar o conhecimento a partir de dados disponíveis sobre uma variável alvo para que possa ser usado para prever novos casos.(88. Alloghani M, Al-Jumeily D, Mustafina J, Hussain A, Aljaaf AJ. A systematic review on supervised and unsupervised machine learning algorithms for data science. In: Berry M, Mohamed A, Yap B. (eds) Supervised and Unsupervised Learning for Data Science. Unsupervised and Semi-Supervised Learning. Switzerland: Springer, Cham; 2020. pp 3–21.)

A aplicação de escores ainda demanda tempo e interpretação dos profissionais, sendo mais um entre os muitos processos que envolvem a atenção à saúde. O desenvolvimento de modelos de previsão por meio de aprendizado de máquina pode trazer informações importantes e um atendimento ainda mais qualificado, sem depender da aplicação correta de pontuações. Nenhum modelo de previsão de risco de queda baseado em medicamentos desenvolvido por meio de algoritmos de aprendizado de máquina foi identificado. Este estudo foi desenvolvido com a hipótese de que a previsão de risco de queda relacionada à medicação baseada em modelos de aprendizado de máquina tem melhor desempenho do que o MFRS. Para tanto, objetivou-se comparar o desempenho de modelos de aprendizado de máquina com o do MFRS na previsão de risco de quedas relacionadas a medicamentos prescritos.

Métodos

Este estudo foi reportado de acordo com as recomendações do Transparent Reporting of a multivariable prediction model for Individual Prognosis Or Diagnosis (TRIPOD), uma vez que recomendações específicas para modelos desenvolvidos a partir de aprendizado de máquina ainda estão em construção.(1010. Collins GS, Reitsma JB, Altman DG, Moons KG. Transparent reporting of a multivariable prediction model forindividual prognosis or diagnosis (TRIPOD): the TRIPOD statement. BMC Medicine. 2015;13(1):1-10.,1111. Riley RD, Moons KG, Snell KI, Ensor J, Hooft L, Altman DG, et al. A guide to systematic review and meta-analysis of prognostic factor studies. BMJ. 2019;364:k4597.)

Trata-se de um estudo caso-controle vinculado a um projeto guarda-chuva, realizado em um hospital terciário da região sul do Brasil. A população foi composta por 9.037 pacientes adultos (≥18 anos) e idosos (≥60 anos) internados em 2016. Foram incluídos no grupo queda (caso) pacientes com notificação de queda e prescrição médica 48 horas antes da queda. Todos os pacientes sem notificação de queda compuseram o grupo sem queda (controle). Medicamentos prescritos e classes de medicamentos foram investigados. Não foi possível identificar os medicamentos administrados porque a instituição do estudo não possui controle eletrônico de medicamentos. Os medicamentos foram classificados de acordo com o American Hospital Formulary Service (AHFS) Pharmacologic-Therapeutic Classification System, uma classificação usada no MFRS.(1212. American Society of Health System Pharmacists (ASHP). AHFS Drug Information. Bethesda, Maryland, EUA: ASHP; 2019 [cited 2022 Aug 4]. Available from: https://www.ashp.org/products-and-services/ahfs-di
https://www.ashp.org/products-and-servic...
)

Todas as variáveis foram extraídas de um banco de dados previamente estabelecido, originário do prontuário eletrônico dos pacientes. As quedas foram extraídas do sistema informatizado de notificação de incidentes de segurança da instituição. Os medicamentos foram extraídos de prescrições eletrônicas. Os medicamentos prescritos 48 horas antes da queda foram identificados para o grupo queda. Quanto ao grupo sem queda, foi calculada a média de dias desde a admissão hospitalar até o dia em que ocorreu a queda para os participantes do grupo de queda, e os medicamentos usados 48 horas antes dessa média foram então extraídos. A média de dias desde a internação até o dia em que ocorreu a queda foi de 11. Os medicamentos prescritos 48 horas antes do 11º dia de internação foram extraídos para o grupo sem queda.

Os dados coletados foram organizados em planilhas do Microsoft Excel 2010 e importados para o software RStudio, edição 1.3.1093, para análise estatística.(1313. R Core Team. R: A Language and Environment for Statistical Computing. Vienna, Austria: R Foundation for Statistical Computing; 2020., 1414. Team R. RStudio: Integrated Development Environment for R. Boston, MA: RStudio, PBC; 2020 [cited 2022 Aug 25].)Foram calculados dados descritivos com frequências absolutas e relativas. O desenvolvimento e validação do modelo foram realizados utilizando o pacote caret, versão 6.0-86, para ajuste de hiperparâmetros, e os pacotes glmnet, versão 4.1-1, Naive Bayes, versão 0.9.7, Random Forest, versão 4.6-24 e gbm, versão 2.1.8, para ajuste de modelo. Para definir o melhor ponto de corte, foi utilizado o pacote cutpointr, versão 1.1.0.(1515. Kuhn M. caret: Classification and Regression Training. R package version 6.0-86. 2020.Available from: https://github.com/topepo/caret/
https://github.com/topepo/caret/...

16. Friedman J, Hastie T, Tibshirani R. Regularization Paths for Generalized Linear Models via Coordinate Descent. J Statistical Software. 2010;33(1):1-22.

17. Majka M. naivebayes: High Performance Implementation of the Naive Bayes Algorithm in R. R package version 0.9.7. 2019 [cited 2022 Aug 25]. Available from: https://github.com/majkamichal/naivebayes
https://github.com/majkamichal/naivebaye...

18. Liaw A, Wiener M. Classification and Regression by randomForest. R News. 2002;2(3):18-22.

19. Greenwell B, Boehmke B, Cunningham J. GBM Developers. gbm: Generalized Boosted Regression Models. R package version 2.1.8. 2020 [cited 2022 Aug 25]. Available from: https://github.com/gbm-developers/gbm
https://github.com/gbm-developers/gbm...
-2020. Thiele C. cutpointr: Determine and Evaluate Optimal Cutpoints in BinaryClassification Tasks. R package version 1.0.32. 2020. [cited 2022 Aug 25]. Available from: https://github.com/thie1e/cutpointr
https://github.com/thie1e/cutpointr...
)

As características selecionadas para o modelo de predição foram medicamentos pertencentes às classes de medicamentos analgésicos, antipsicóticos, anticonvulsivantes, benzodiazepínicos, anti-hipertensivos, medicamentos cardíacos, antiarrítmicos, antidepressivos e diuréticos, as mesmas classes de medicamentos incluídas no MFRS. Na análise do MFRS, cada medicamento foi pontuado de acordo com o MFRS, e uma nova variável foi gerada com a pontuação total de cada participante. Cada medicamento de alto risco recebe três pontos e inclui analgésicos, antipsicóticos, anticonvulsivantes e benzodiazepínicos. Medicamentos de médio risco recebem dois pontos cada e englobam anti-hipertensivos, medicamentos cardíacos, antiarrítmicos e antidepressivos. Os diuréticos são considerados de baixo risco e recebem um ponto cada.(55. Beasley B, Patatanian E. Development and Implementation of a Pharmacy Fall Prevention Program. Hospital Pharmacy. 2009;44(12):1095-102.) O desfecho alvo foi risco de queda, e os valores possíveis foram zero (não) e um (sim).

Os dados foram divididos em dados de treinamento e teste, 80% e 20%, respectivamente, para evitar superestimar o desempenho dos modelos. Os dados de treinamento foram usados para a criação do modelo e os dados de teste foram usados para avaliação de desempenho. A divisão ocorreu de forma aleatória, com base no desfecho queda. A amostra de treinamento foi igual a 7.230 internações, e a amostra de teste foi igual a 1.807 internações.

As variáveis foram analisadas nos seguintes algoritmos: Regressão Logística, Naive Bayes, Random Forest e Gradient Boosting. O resultado dos modelos foi queda e sem queda.

O algoritmo de regressão logística é um método estatístico baseado em verossimilhança usado para problemas de classificação. O objetivo é criar uma linha reta que melhor se ajuste aos dados.(2121. Kobylarz J, Santos HD, Barletta H, Silva MC, Vieira R, Morales HM, et al. A Machine Learning Early Warning System: Multicenter Validation in Brazilian Hospitals. In: IEEE 33rd International Symposium on Computer Based Medical Systems (CBMS), 28-30 July 2020. Rochester, MN, USA: CBMS; p. 321-6.)

O algoritmo Naive Bayes é um algoritmo probabilístico baseado no Teorema de Bayes. Esse algoritmo procura atribuir um conjunto de dados a uma classe específica.(77. Lucero RJ, Lindberg DS, Fehlberg EA, Bjarnadottir RI, Li Y, Cimiotti JP, et al. A data-driven and practice-based approach to identify risk factors associated with hospital-acquired falls: applying manual and semi- and fully-automated methods. Int J Med Inform. 2019;122:63-9.)

Os algoritmos Random Forest e Gradient Boosting são dois métodos ensemble. Os métodos ensemble combinam vários algoritmos de aprendizado de máquina para tomada de decisão. A combinação de vários modelos permite que o erro de um único algoritmo seja compensado pelos outros, resultando em melhor desempenho em relação a modelos únicos.(2222. Sagi O, Rokach L. Ensemble learning: a survey. WIREs Data Mining Knowl Discov. 2018;8:e1249.)

O algoritmo Random Forest constrói modelos de árvore de múltiplas decisões; cada modelo vota em uma decisão e a escolha de um resultado é um consenso entre todas as árvores. As árvores de decisão classificam os objetos de acordo com o valor das variáveis. Cada nó em uma árvore de decisão representa uma variável e os ramos representam os valores que o nó pode assumir.(2323. Muhammad I, Yan Z. Supervised Machine Learning Approaches: a survey. ICTACT J Soft Computing. 2015;5(3):946-52.)

O algoritmo Gradient Boosting também é o resultado de árvores de múltiplas decisões; entretanto, a construção de cada árvore depende das árvores previamente construídas. Cada nova árvore aprenderá com os erros da árvore anterior.(2323. Muhammad I, Yan Z. Supervised Machine Learning Approaches: a survey. ICTACT J Soft Computing. 2015;5(3):946-52.)

Algoritmos como Naive Bayes e Regressão Logística são mais simples e requerem menos poder computacional.(2323. Muhammad I, Yan Z. Supervised Machine Learning Approaches: a survey. ICTACT J Soft Computing. 2015;5(3):946-52.) Random Forest e Gradient Boosting melhoram o desempenho preditivo de um único modelo treinando vários modelos e combinando suas previsões. No entanto, requer mais poder computacional.(2222. Sagi O, Rokach L. Ensemble learning: a survey. WIREs Data Mining Knowl Discov. 2018;8:e1249.)

A validação do algoritmo foi realizada usando validação cruzada de 10 vezes. A validação cruzada é um método de reamostragem de dados para avaliar a capacidade de generalização de modelos de previsão e evitar sobre-ajuste (quando o modelo se ajusta muito bem aos dados de treinamento, mas o desempenho diminui significativamente ao analisar novos dados).(2424. Yazdani C, Hall S. Evaluation of the “medication fall risk score”. Am J Health Syst Pharm. 2017;74(1):e32-9.)

Na avaliação dos modelos e do MFRS, utilizou-se o método de maximização da função métrica selecionada como resumo dos pontos de corte ótimos em cada reamostragem para determinar o melhor ponto de corte em cada modelo. A métrica selecionada foi o índice de Youden, pois foi utilizado no trabalho que avaliou o MFRS.(66. Yazdani C, Hall S. Evaluation of the “medication fall risk score”. Am J Health Syst Pharm. 2017;74(1):e32-9.)O MFRS também foi avaliado em uma pontuação de corte de 6, o ponto de corte especificado pelos desenvolvedores do MFRS.

O projeto foi aprovado pela Comissão Científica da Faculdade de Medicina da Pontifícia Universidade Católica do Rio Grande do Sul e está vinculado ao projeto de doutorado “Detecção automática de eventos adversos utilizando processamento de linguagem natural nos prontuários eletrônicos de um hospital terciário”, aprovado pelo Comitê de Ética em Pesquisa (CAEE: 71571717.7.0000.5530). Os pesquisadores assinaram um termo de compromisso para uso dos dados, comprometendo-se e responsabilizando-se pelo manuseio e armazenamento das informações com o único objetivo da análise proposta e absoluto sigilo quanto à identificação dos pacientes envolvidos.

Resultados

A população foi composta por 9.037 pacientes. Desses, 4,9% (n = 442) estavam no grupo queda e 95,1% (n = 8.595) estavam no grupo sem queda. Em relação à análise de medicamentos, o medicamento menos prescrito apareceu em quatro prescrições e o mais prescrito, em 7.741 prescrições. De acordo com o MFRS, 24 pertenciam à categoria de alto risco, 19 pertenciam à categoria de médio risco e três pertenciam à categoria de baixo risco. A mediana da MFRS foi de nove pontos (0-26). A maioria dos pacientes (83,9%) foi classificada como de alto risco para quedas, de acordo com o MFRS. No grupo queda, a mediana da MFRS foi de 10 pontos (2-25). Os quatro algoritmos foram treinados e, quando testados, o modelo que apresentou melhor desempenho foi o modelo Naive Bayes. Os modelos baseados em MFRS foram gerados com ponto de corte seis, conforme recomendado pelos autores, e 11, o melhor ponto de corte para maximizar o índice de Youden. Os resultados relacionados ao modelo são mostrados na tabela 1 e figura 1. A tabela 1 mostra as métricas para análise de desempenho do modelo, de acordo com o índice de Youden, AUC, sensibilidade e especificidade, e a figura 1 mostra as curvas ROC dos modelos gerados a partir dos algoritmos e MFRS.

Tabela 1
Area under the curve (AUC), índice de Youden, sensibilidade e especificidade dos modelos de aprendizado de máquina e MFRS com os dois pontos de corte aplicados

Figura 1
Curvas ROC dos modelos gerados a partir dos algoritmos e MFRS

A figura 2 apresenta a matriz de confusão para aplicação do MFRS. A figura 3 apresenta a matriz de confusão para a aplicação do modelo Naive Bayes, que apresentou melhor desempenho.

Figura 2
Matriz de confusão para aplicação do Medication Fall Risk Score

Figura 3
Matriz de confusão para aplicação do modelo Naive Bayes

Discussão

O MFRS, apesar de apresentar baixa capacidade discriminatória, foi desenvolvido para complementar outras formas de avaliação do risco de queda.(66. Yazdani C, Hall S. Evaluation of the “medication fall risk score”. Am J Health Syst Pharm. 2017;74(1):e32-9.)Quando utilizada em conjunto com a Morse Fall Scale (escala de avaliação do risco de queda), apresentou melhor desempenho do que quando esta foi utilizada individualmente. MFRS, no entanto, é limitado a algumas classes de medicamentos. Relaxantes musculares, quimioterápicos, insulina e medicamentos oftálmicos, identificados como fatores de risco em outros estudos, não estão incluídos.(2525. Instituto para práticas seguras no uso de medicamentos. Medicamentos associados à ocorrência de quedas. Belo Horizonte: ISMP; 2017. 6 p.

26. Maly J, Dosedel M, Kubena AA, Mala-Ladova K, Vosatka J, Brabcova I, et al. Analysis of the fall-related risk of pharmacotherapy in Czech hospitals: a case control study. J Eval Clin Pract. 2020;26(3):973-82.

27. Najafpour Z, Godarzi Z, Arab M, Yaseri M. Risk factors for falls in hospital in-patients: a prospective nested case control study. Int J Health Policy Manag. 2019;8(5):300-6.
-2828. O’Neil CA, Krauss MJ, Bettale J, Kessels A, Costantinou E, Dunagan WC, et al. Medications and Patient Characteristics Associated With Falling in the Hospital. J Patient Saf. 2018;14(1):27-33.)

Quando os mesmos medicamentos utilizados para calcular o MFRS foram analisados nos quatro algoritmos de aprendizado de máquina, o que apresentou melhor desempenho foi o modelo desenvolvido por meio do algoritmo Naive Bayes. A área sob a curva ROC foi de 0,678 e o índice de Youden alcançado foi de 0,274, superando os respectivos escores de 0,603 e 0,218. O resultado do algoritmo Naive Bayes apresentando melhor desempenho em relação aos dois métodos ensemble surpreendeu os autores. Os métodos ensemble geralmente mostram melhor desempenho preditivo.(2222. Sagi O, Rokach L. Ensemble learning: a survey. WIREs Data Mining Knowl Discov. 2018;8:e1249.)

O MFRS identificou maior número de valores verdadeiros positivos. No entanto, muitos pacientes foram classificados erroneamente em risco. Quando muitas pessoas são classificadas como em risco, pode haver a possibilidade de uma banalização do risco. Isso pode levar a uma diminuição das estratégias de prevenção, o que pode levar a mais eventos de queda.

Diferentes instituições podem acolher populações com diferentes características. Ferramentas generalizáveis de previsão de riscos podem não funcionar adequadamente porque não atendem às individualidades de cada instituição.(2929. Yu S, Farooq F, van Esbroeck A, Fung G, Anand V, Krishnapuram B. Predicting readmission risk with institution-specific prediction models. Artif Intell Med. 2015;65(2):89-96.)Este estudo provou que, na população estudada, um modelo construído a partir do conjunto de dados de um hospital específico tem melhor desempenho do que uma ferramenta generalizável. Dois estudos desenvolveram modelos de previsão de risco de readmissão hospitalar e realizaram uma análise comparativa com um método amplamente utilizado para calcular o risco de readmissão. Ambos identificaram que os modelos desenvolvidos tiveram melhor desempenho.(2929. Yu S, Farooq F, van Esbroeck A, Fung G, Anand V, Krishnapuram B. Predicting readmission risk with institution-specific prediction models. Artif Intell Med. 2015;65(2):89-96.,3030. Tukpah AC, Cawi E, Wolf L, Nehorai A, Cummings-Vaughn L. Development of an Institution-Specific Readmission Risk Prediction Model for Real-time Prediction and Patient-Centered Interventions. J Gen Intern Med. 2021;36(12):3910-2.) Uma revisão sistemática identificou 26 estudos que compararam modelos de aprendizado de máquina com pontuações de risco existentes. A maioria (24 estudos) relatou que os modelos tiveram melhor desempenho.(3131. Goldstein BA, Navar AM, Pencina MJ, Ioannidis JP. Opportunities and challenges in developing risk prediction models with electronic health records data: a systematic review. J Am Med Inform Assoc. 2017;24(1):198-208. Review.)

Ferramentas como o MFRS se restringem a algumas variáveis, tendo em vista que os próprios profissionais de saúde devem avaliar e calcular o escore.(3232. Obermeyer Z, Emanuel EJ. Predicting the Future - Big Data, Machine Learning, and Clinical Medicine. N Engl J Med. 2016;375(13):1216-9.)O aumento do volume de dados presentes nos prontuários eletrônicos permite que os modelos considerem um número maior de variáveis preditoras. Além disso, o preenchimento dessas ferramentas exige tempo e dedicação desses profissionais, que poderiam ser aplicados na prestação de cuidados.

Modelos de previsão de risco de queda foram desenvolvidos por meio de aprendizado de máquina e os dados foram extraídos dos registros eletrônicos de saúde.(77. Lucero RJ, Lindberg DS, Fehlberg EA, Bjarnadottir RI, Li Y, Cimiotti JP, et al. A data-driven and practice-based approach to identify risk factors associated with hospital-acquired falls: applying manual and semi- and fully-automated methods. Int J Med Inform. 2019;122:63-9.,3333. Yokota S, Ohe K. Construction and evaluation of FiND, a fall risk prediction model of inpatients from nursing data. Jpn J Nurs Sci. 2016;13(2):247-55.) No entanto, esses modelos dependem da qualidade dos registros eletrônicos. Estudo analisou a qualidade do registro de quedas no prontuário eletrônico em relação às notificações e identificou lacuna no registro, bem como inconsistências entre os registros do sistema de notificação e o prontuário eletrônico.(3434. Maciel CO, Burin HM, Silva AP, Santos HP, Vieira R, Urbanetto JS. Análise da concordância entre prontuário eletrônico e notificações no registro de quedas: estudo de coorte. Res Soc Dev. 2020;9(11): e5091210773.)

Este estudo desenvolveu e validou modelos de predição de risco de queda baseados em medicamentos prescritos, mas não necessariamente administrados. Essa é a principal limitação do estudo. Os autores não incluíram todos os medicamentos prescritos, de modo que a comparação com o escore existente foi justa. Além disso, outros fatores de risco de queda, interações medicamentosas, doses administradas, análise de uma série de prescrições, importância do recurso não foram incluídos neste estudo. Além disso, a análise do modelo construído em combinação com outras escalas de avaliação de risco de queda não foi realizada.

Modelos de previsão criados usando algoritmos de aprendizado de máquina podem ajudar a identificar riscos e melhorar o atendimento ao paciente. O modelo desenvolvido neste estudo pode ser aplicado a dados de prescrição e gerar alertas. Essa abordagem pode ajudar os profissionais a identificar e prevenir riscos. O trabalho dos profissionais de saúde não será substituído, e o tempo gasto na aplicação das escalas pode ser alocado em outros aspectos importantes da saúde.

Conclusão

Este estudo comprovou a hipótese de pesquisa de que o modelo de predição desenvolvido especialmente para a população frequentadora da instituição estudada apresentou melhor desempenho em relação ao MFRS. Os algoritmos usados são métodos bem estabelecidos, no entanto sua utilização na previsão do risco de queda relacionado aos medicamentos prescritos é uma novidade. Identificou-se a necessidade de mais estudos considerando outras medicações além daquelas relacionadas ao risco de quedas por MFRS, bem como novos aspectos, como interações medicamentosas, doses administradas, análise de uma série de prescrições e importância do recurso. Características como sexo e idade são fáceis de obter e têm influência relevante no risco de queda. Esses recursos podem ser implementados em estudos futuros, bem como técnicas de seleção de recursos e desenvolvimento de modelos, por meio de algoritmos mais avançados. Além disso, sugere-se que os modelos construídos sejam aplicados e analisados como complementares às escalas de previsão de queda utilizadas nas instituições.

Agradecimentos

Este estudo foi financiado em parte pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior – Brasil (CAPES) – Código Financeiro 001 e Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq). Agradecemos ao Grupo Interdisciplinar de Pesquisa em Segurança do Paciente (GIPESP) e ao Grupo de Inteligência Artificial na Saúde (GIAs) pelas valiosas contribuições.

Referências

  • 1
    World Health Organization (WHO). Falls: fact sheet: WHO Media Center. Geneva: WHO; 2021 [cited 2022 Aug 4]. Available from: https://www.who.int/en/news-room/fact-sheets/detail/falls
    » https://www.who.int/en/news-room/fact-sheets/detail/falls
  • 2
    World Health Organization (WHO). Ageing and Health: Fact Sheets: WHO Media Center. Geneva: WHO; 2018 [cited 2022 Aug 4]. Available from: https://www.who.int/news-room/fact-sheets/detail/ageing-and-health
    » https://www.who.int/news-room/fact-sheets/detail/ageing-and-health
  • 3
    Sociedade Brasileira de Gerontologia e Gerontologia. Quedas em idosos: prevenção. São Paulo: SBGG; 2019 [citado 2022 Ago 4]. Available from: https://sbgg.org.br/wp-content/uploads/2014/10/queda-idosos.pdf
    » https://sbgg.org.br/wp-content/uploads/2014/10/queda-idosos.pdf
  • 4
    Associação Nacional de Hospitais Privados (ANAHP). Manual de Gerenciamento e Assistência ao Idoso. Recomendações dos Hospitais da Associação Nacional de Hospitais Privados. São Paulo: ANAHP; 2018 [citado 2022 Ago 4]. Available from: https://www.eejauditoriaemsaude.com.br/wp-content/uploads/2018/12/manual-de-gerenciamento-e-assistencia-ao-idoso.pdf
    » https://www.eejauditoriaemsaude.com.br/wp-content/uploads/2018/12/manual-de-gerenciamento-e-assistencia-ao-idoso.pdf
  • 5
    Beasley B, Patatanian E. Development and Implementation of a Pharmacy Fall Prevention Program. Hospital Pharmacy. 2009;44(12):1095-102.
  • 6
    Yazdani C, Hall S. Evaluation of the “medication fall risk score”. Am J Health Syst Pharm. 2017;74(1):e32-9.
  • 7
    Lucero RJ, Lindberg DS, Fehlberg EA, Bjarnadottir RI, Li Y, Cimiotti JP, et al. A data-driven and practice-based approach to identify risk factors associated with hospital-acquired falls: applying manual and semi- and fully-automated methods. Int J Med Inform. 2019;122:63-9.
  • 8
    Alloghani M, Al-Jumeily D, Mustafina J, Hussain A, Aljaaf AJ. A systematic review on supervised and unsupervised machine learning algorithms for data science. In: Berry M, Mohamed A, Yap B. (eds) Supervised and Unsupervised Learning for Data Science. Unsupervised and Semi-Supervised Learning. Switzerland: Springer, Cham; 2020. pp 3–21.
  • 9
    Saravanan R, Sujatha P. A state of art techniques on machine learning algorithms: a perspective of supervised learning approaches in data classification. In: 2018 Second International Conference on Intelligent Computing and Control Systems (ICICCS), 14-15 June 2018. Madurai, India: 2018, pp. 945-9.
  • 10
    Collins GS, Reitsma JB, Altman DG, Moons KG. Transparent reporting of a multivariable prediction model forindividual prognosis or diagnosis (TRIPOD): the TRIPOD statement. BMC Medicine. 2015;13(1):1-10.
  • 11
    Riley RD, Moons KG, Snell KI, Ensor J, Hooft L, Altman DG, et al. A guide to systematic review and meta-analysis of prognostic factor studies. BMJ. 2019;364:k4597.
  • 12
    American Society of Health System Pharmacists (ASHP). AHFS Drug Information. Bethesda, Maryland, EUA: ASHP; 2019 [cited 2022 Aug 4]. Available from: https://www.ashp.org/products-and-services/ahfs-di
    » https://www.ashp.org/products-and-services/ahfs-di
  • 13
    R Core Team. R: A Language and Environment for Statistical Computing. Vienna, Austria: R Foundation for Statistical Computing; 2020.
  • 14
    Team R. RStudio: Integrated Development Environment for R. Boston, MA: RStudio, PBC; 2020 [cited 2022 Aug 25].
  • 15
    Kuhn M. caret: Classification and Regression Training. R package version 6.0-86. 2020.Available from: https://github.com/topepo/caret/
    » https://github.com/topepo/caret/
  • 16
    Friedman J, Hastie T, Tibshirani R. Regularization Paths for Generalized Linear Models via Coordinate Descent. J Statistical Software. 2010;33(1):1-22.
  • 17
    Majka M. naivebayes: High Performance Implementation of the Naive Bayes Algorithm in R. R package version 0.9.7. 2019 [cited 2022 Aug 25]. Available from: https://github.com/majkamichal/naivebayes
    » https://github.com/majkamichal/naivebayes
  • 18
    Liaw A, Wiener M. Classification and Regression by randomForest. R News. 2002;2(3):18-22.
  • 19
    Greenwell B, Boehmke B, Cunningham J. GBM Developers. gbm: Generalized Boosted Regression Models. R package version 2.1.8. 2020 [cited 2022 Aug 25]. Available from: https://github.com/gbm-developers/gbm
    » https://github.com/gbm-developers/gbm
  • 20
    Thiele C. cutpointr: Determine and Evaluate Optimal Cutpoints in BinaryClassification Tasks. R package version 1.0.32. 2020. [cited 2022 Aug 25]. Available from: https://github.com/thie1e/cutpointr
    » https://github.com/thie1e/cutpointr
  • 21
    Kobylarz J, Santos HD, Barletta H, Silva MC, Vieira R, Morales HM, et al. A Machine Learning Early Warning System: Multicenter Validation in Brazilian Hospitals. In: IEEE 33rd International Symposium on Computer Based Medical Systems (CBMS), 28-30 July 2020. Rochester, MN, USA: CBMS; p. 321-6.
  • 22
    Sagi O, Rokach L. Ensemble learning: a survey. WIREs Data Mining Knowl Discov. 2018;8:e1249.
  • 23
    Muhammad I, Yan Z. Supervised Machine Learning Approaches: a survey. ICTACT J Soft Computing. 2015;5(3):946-52.
  • 24
    Berrar D. Cross-validation. Encyclopedia Bioinformatics Computational Biology. 2019;1:542-5.
  • 24
    Yazdani C, Hall S. Evaluation of the “medication fall risk score”. Am J Health Syst Pharm. 2017;74(1):e32-9.
  • 25
    Instituto para práticas seguras no uso de medicamentos. Medicamentos associados à ocorrência de quedas. Belo Horizonte: ISMP; 2017. 6 p.
  • 26
    Maly J, Dosedel M, Kubena AA, Mala-Ladova K, Vosatka J, Brabcova I, et al. Analysis of the fall-related risk of pharmacotherapy in Czech hospitals: a case control study. J Eval Clin Pract. 2020;26(3):973-82.
  • 27
    Najafpour Z, Godarzi Z, Arab M, Yaseri M. Risk factors for falls in hospital in-patients: a prospective nested case control study. Int J Health Policy Manag. 2019;8(5):300-6.
  • 28
    O’Neil CA, Krauss MJ, Bettale J, Kessels A, Costantinou E, Dunagan WC, et al. Medications and Patient Characteristics Associated With Falling in the Hospital. J Patient Saf. 2018;14(1):27-33.
  • 29
    Yu S, Farooq F, van Esbroeck A, Fung G, Anand V, Krishnapuram B. Predicting readmission risk with institution-specific prediction models. Artif Intell Med. 2015;65(2):89-96.
  • 30
    Tukpah AC, Cawi E, Wolf L, Nehorai A, Cummings-Vaughn L. Development of an Institution-Specific Readmission Risk Prediction Model for Real-time Prediction and Patient-Centered Interventions. J Gen Intern Med. 2021;36(12):3910-2.
  • 31
    Goldstein BA, Navar AM, Pencina MJ, Ioannidis JP. Opportunities and challenges in developing risk prediction models with electronic health records data: a systematic review. J Am Med Inform Assoc. 2017;24(1):198-208. Review.
  • 32
    Obermeyer Z, Emanuel EJ. Predicting the Future - Big Data, Machine Learning, and Clinical Medicine. N Engl J Med. 2016;375(13):1216-9.
  • 33
    Yokota S, Ohe K. Construction and evaluation of FiND, a fall risk prediction model of inpatients from nursing data. Jpn J Nurs Sci. 2016;13(2):247-55.
  • 34
    Maciel CO, Burin HM, Silva AP, Santos HP, Vieira R, Urbanetto JS. Análise da concordância entre prontuário eletrônico e notificações no registro de quedas: estudo de coorte. Res Soc Dev. 2020;9(11): e5091210773.

Editado por

Editor Associado (Avaliação pelos pares): Edvane Birelo Lopes De Domenico (https://orcid.org/0000-0001-7455-1727) Escola Paulista de Enfermagem, Universidade Federal de São Paulo, São Paulo, SP, Brasil

Datas de Publicação

  • Publicação nesta coleção
    06 Fev 2023
  • Data do Fascículo
    2023

Histórico

  • Recebido
    27 Abr 2022
  • Aceito
    31 Ago 2022
Escola Paulista de Enfermagem, Universidade Federal de São Paulo R. Napoleão de Barros, 754, 04024-002 São Paulo - SP/Brasil, Tel./Fax: (55 11) 5576 4430 - São Paulo - SP - Brazil
E-mail: actapaulista@unifesp.br