SciELO - Scientific Electronic Library Online

 
vol.22Congenital anomalies in Rio Grande do Sul State: a time series analysisSleep bruxism: population based study in people with 18 years or more in the city of Rio Grande, Brazil author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

Indicators

Related links

Share


Revista Brasileira de Epidemiologia

Print version ISSN 1415-790XOn-line version ISSN 1980-5497

Rev. bras. epidemiol. vol.22  São Paulo  2019  Epub Apr 29, 2019

http://dx.doi.org/10.1590/1980-549720190037 

ARTIGO ORIGINAL

Validade e confiabilidade da versão brasileira da Johns Hopkins Fall Risk Assessment Tool para avaliação do risco de quedas

Maria Carmen MartinezI 
http://orcid.org/0000-0002-4427-5976

Viviane Ernesto IwamotoII 

Maria do Rosário Dias de Oliveira LatorreIII 
http://orcid.org/0000-0002-5189-3457

Adriana Moreira Noronha SimõesII 

Ana Paula de Sousa OliveiraIV 

Carlos Eduardo Alves CardosoII 

Ifigênia Augusta Braga MarquesII 

Patrícia VendramimV 

Paula Cristina LopesVI 

Thais Helena Saes de Sant’AnaVII 

IWAF Informática - São Paulo (SP), Brasil.

IIGerência de Serviços de Enfermagem, Hospital Samaritano - São Paulo (SP), Brasil.

IIIDepartamento de Epidemiologia, Faculdade de Saúde Pública, Universidade de São Paulo - São Paulo (SP), Brasil.

IVNúcleo de Epidemiologia, Hospital Samaritano - São Paulo (SP), Brasil.

VDivisão de Pneumologia, Instituto do Coração do Hospital das Clínicas, Faculdade de Medicina, Universidade de São Paulo - São Paulo (SP), Brasil.

VIFlourishing, Love, Optimism & Wellness - São Paulo (SP), Brasil.

VIIServiços Diagnósticos, 9 de Julho Endoscopia Ltda. - São Paulo (SP), Brasil.

RESUMO:

Objetivo:

Avaliar a validade e a confiabilidade da escala Johns Hopkins Fall Risk Assessment Tool (JH-FRAT) para avaliação do risco de quedas em pacientes hospitalizados.

Método:

Estudo retroativo com 297 pacientes de um hospital privado de São Paulo usando dados de 2014. A validade foi avaliada por meio da acurácia (sensibilidade, especificidade, valores preditivos positivo - VPP e negativo - VPN), da validade de critério, verificando-se as associações entre a classificação do risco pelas escalas JH-FRAT e Morse, e da análise discriminante (comparação dos pacientes com e sem quedas em relação aos itens da escala e verificação de situações prévias de risco em relação ao dano ocorrido). Foram utilizados os testes de associação χ2. A confiabilidade foi avaliada por meio da reprodutibilidade teste-reteste interobservadores, usando as estatísticas Kappa ponderado quadrático e prevalence-adjusted and bias-adjusted Kappa (PABAK).

Resultados:

A sensibilidade foi de 97,0%, a especificidade, 14,6%, o VPP, 36,2%, e o VPN, 90,6%. A análise de critério mostrou associação (p < 0,0001) entre as avaliações pelas duas escalas. Cinco dos oito itens da escala e a classificação geral mostraram capacidade de discriminação do risco (p < 0,050). A reprodutibilidade interobservadores variou entre itens (PABAK de 0,25 a 1,00) e foi substancial na classificação do risco global (PABAK = 0,71).

Conclusão:

A JH-FRAT apresentou validade e confiabilidade esperadas para um instrumento de triagem do risco de quedas, podendo contribuir na aplicação de estratégias para a gestão de quedas em hospitais.

Palavras-chave: Acurácia dos dados; Reprodutibilidade dos testes; Confiabilidade e validade; Pesquisa metodológica em enfermagem; Acidentes por quedas; Qualidade da assistência à saúde

INTRODUÇÃO

Quedas de pacientes hospitalizados são eventos adversos com repercussões negativas para pacientes e instituições1,2,3,4,5, cuja prevenção deve adotar práticas baseadas em evidências, tais como campainha de chamada ao alcance do paciente, leito hospitalar em posição baixa e tratamento de causas de confusão mental2,3,6,7,8. Entre as práticas preconizadas está o uso de escalas que identificam condições de risco para ocorrência de quedas, seja na forma de riscos específicos, seja na de estratificação do risco, direcionando intervenções compatíveis com as necessidades identificadas2,3,4,7,8.

Entre os instrumentos disponíveis na literatura internacional, duas escalas passaram pelo processo de adaptação transcultural para uso no Brasil, a Morse Fall Scale9 e a Johns Hopkins Fall Risk Assessment Tool (JH-FRAT)5, ambas sem relato quanto às propriedades de medida da versão brasileira. Neste estudo, optou-se por avaliar as propriedades de medida da escala JH-FRAT por ser um instrumento com validade de conteúdo já demonstrada na versão brasileira, apresentando aplicabilidade em protocolos sistematizados e operacionalização simples5.

A JH-FRAT foi estruturada por profissionais do Johns Hopkins Hospital e da Johns Hopkins University School of Nursing para integração ao programa institucional de gestão de quedas em pacientes adultos hospitalizados6,10,11. Essa escala foi estruturada com base em fatores de risco identificados na literatura - disponibilizando uma classificação do risco para direcionamento de medidas preventivas -, testada em pacientes e ajustada por um grupo de consenso10. Após dois anos de uso na instituição, foram avaliados a aceitabilidade e o conteúdo da escala, enfocando o relacionamento entre itens, o modelo de pontuação e a clareza e pertinência dos itens, resultando na definição da sua forma final e garantindo sua validade de conteúdo11.

As propriedades de medida da escala foram avaliadas em pacientes hospitalizados na Coreia do Sul12 e em idosos em casas de saúde americanas13, mostrando sensibilidade e especificidade aceitáveis12,13. Esses estudos, porém, apresentam limitações metodológicas que dificultam a generalização dos resultados para outras populações.

Considerando que estudos prévios mostraram a JH-FRAT com propriedades de medida aceitáveis10,11,12,13 e que há carência de avaliações de escalas de risco para quedas no Brasil, este estudo objetivou analisar as propriedades de medida da JH-FRAT para avaliação do risco de quedas em pacientes adultos hospitalizados.

MÉTODO

O estudo foi aprovado pelo Comitê de Ética em Pesquisa do Hospital Samaritano e seguiu os princípios da Declaração de Helsinki. Por utilizar dados secundários, ­dispensou-se o Termo de Consentimento Livre e Esclarecido. Foi obtida autorização dos autores da JH-FRAT e da versão brasileira da escala Morse para uso no estudo.

A população-alvo foi composta de pacientes adultos internados em um hospital privado de alta complexidade na cidade de São Paulo que utiliza um protocolo de gerenciamento de quedas desde 2005, com implantação da JH-FRAT no fim de 2013. O protocolo prevê a avaliação diária dos riscos individuais por meio da JH-FRAT, com adoção de medidas preventivas de acordo com os riscos de cada paciente e de medidas de precauções universais, como manutenção de luzes noturnas ativadas, sinalização do risco e ambiente livre de obstáculos. A avaliação era realizada por enfermeiros e registrada em prontuário eletrônico. Para este estudo foram usados os dados de 2014, após um período de treinamento e consolidação da rotina pela equipe de enfermagem.

Trata-se de um estudo caso-controle. Foram incluídos pacientes dos setores de internação de pacientes adultos (clínico, cirúrgico, oncologia, ginecologia e obstetrícia e tratamento intensivo), com ampla variedade de condições clínicas. Foram selecionados 100,0% dos pacientes com registro de quedas em 2014 (99 casos) e 198 pacientes sem quedas (dois controles para cada caso), totalizando uma amostra de 297 indivíduos. Para controles foram selecionados pacientes internados no quarto ao lado do paciente com evento de queda, no mesmo setor de internação e na mesma data da queda, de forma a homogeneizar as características da assistência recebida. Não foram utilizados outros critérios de pareamento, visando preservar diferenças quanto a outros potenciais fatores de risco que integram a estrutura operacional da JH-FRAT. Alguns pacientes tiveram mais de um evento de queda, sendo cada um deles avaliado independentemente. Para os pacientes com quedas, considerou-se a última avaliação dentro das 24 horas anteriores à queda. Para os pacientes sem quedas, foi utilizada a mesma data correspondente aos pacientes com quedas. Foram excluídos indivíduos com menos de 18 anos de idade e/ou permanência de internação inferior a 24 horas.

Cinco enfermeiros pesquisadores coletaram os dados retroativamente a partir do prontuário eletrônico, utilizando um formulário composto de campos de identificação (nº de prontuário, nº de atendimento, idade, data de avaliação, setor de internação), pelos itens da escala JH-FRAT e da escala Morse. Também foram obtidos dados a partir das fichas de notificação de queda, preenchidas por enfermeiras assistenciais.

A escala JH-FRAT é composta de oito aspectos de risco para queda11:

  1. situações prévias definidoras do risco: paralisia/imobilização completa; história de duas ou mais quedas nos seis meses anteriores à internação; história de uma queda durante a internação; e paciente ser considerado de alto risco de acordo com protocolos específicos. Se o paciente apresentar paralisia/imobilização completa, é classificado como baixo risco; se apresentar uma das outras condições, é classificado como alto risco. Nesses casos, a avaliação é encerrada e o restante da escala é aplicado somente a pacientes que não estão classificados nessas condições;

  2. idade na ocasião da internação: 0-3 pontos;

  3. história de uma queda nos seis meses anteriores à internação: 0-5 pontos;

  4. eliminações intestinais e urinárias (aumento de frequência, urgência, incontinência): 0-4 pontos;

  5. uso de medicamentos de alto risco de quedas: 0-7 pontos;

  6. presença de equipamentos assistenciais que possam comprometer a mobilidade do paciente: 0-3 pontos;

  7. comprometimento da mobilidade: 0-6 pontos;

  8. comprometimento na cognição: 0-7 pontos.

A somatória dos pontos dos itens 2 a 8 fornece um escore de 0 a 35 pontos, que é categorizado em risco baixo (0-5 pontos), moderado (6-13 pontos) e alto (≥ 14 pontos)11. O item 1 da escala não entra no cômputo, apenas na classificação do risco. Mais detalhes sobre a escala são descritos na literatura5,6,11.

A escala Morse14 mostrou acurácia satisfatória na identificação de pacientes com alto risco de quedas em estudos internacionais15,16. Ela é composta de seis aspectos (histórico de quedas; diagnósticos secundários; auxílio na deambulação; terapia/dispositivos endovenosos; marcha; e estado mental), com pontuações variando de 0 a 30, fornecendo um escore de 0 a 125 pontos categorizado em risco baixo (0-24 pontos), médio (25-44 pontos) e alto (≥ 45 pontos)9.

Neste estudo, a validade foi avaliada por meio das análises de acurácia, de critério (análise concorrente) e discriminante, e a confiabilidade, por meio da análise de reprodutibilidade.

Escalas para a avaliação do risco de quedas são consideradas testes diagnósticos do risco para o evento (queda)17. A validade dos testes diagnósticos é analisada por meio de estudos de acurácia, nos quais os resultados de um teste aplicado a uma população são comparados aos obtidos por um padrão ouro17,18,19. Nesse caso, o teste é a JH-FRAT e o padrão ouro, a ocorrência de queda. A análise de acurácia verificou a sensibilidade, a especificidade, os valores preditivos positivo (VPP) e negativo (VPN) e as razões de verossimilhança positiva (RVP) e negativa (RVN). A sensibilidade avalia a probabilidade de um teste ser positivo quando existe a doença e consiste no cálculo da prevalência de expostos entre os eventos; a especificidade avalia a probabilidade de um teste ser negativo quando não existe a doença e consiste no cálculo da prevalência de não expostos entre os não eventos; o VPP avalia a probabilidade de existir a doença quando o teste foi positivo e consiste no cálculo da prevalência de eventos entre os expostos; e o VPN avalia a probabilidade de não existir a doença quando o teste foi negativo e consiste no cálculo da prevalência de não eventos entre os não expostos. A RVP informa a probabilidade de um resultado positivo ocorrer em uma pessoa com a doença em relação à probabilidade de ocorrência em uma pessoa sem a doença. A RVN informa a probabilidade de um resultado negativo ocorrer em uma pessoa com a doença em relação à probabilidade de ocorrência em uma pessoa sem a doença3,20,21. Como exposição foi considerado o risco de quedas (escala JH-FRAT), e as análises consideraram dois cenários:

  1. ponto de corte > 6 pontos (risco moderado/alto versus risco baixo);

  2. ponto de corte > 13 pontos (risco alto versus risco moderado/baixo) na JH-FRAT.

A validade de critério compara a escala em escrutínio a um padrão válido que prediga o mesmo desempenho22,23, sendo concorrente quando instrumento e critério são aplicados simultaneamente22. A validade de critério concorrente investigou as associações entre a classificação do risco pela JH-FRAT e pela Morse utilizando o teste do χ2.

A análise discriminante verifica se um teste é capaz de identificar diferenças quanto a uma característica dos sujeitos22. Verificou-se se cada um dos oito itens da escala era capaz de discriminar a presença do risco específico entre os pacientes com e sem quedas utilizando o teste do χ2.

Ainda na análise discriminante, verificou-se se situações prévias definidoras do risco (item 1 da escala) estavam associadas à gravidade do dano entre os eventos de queda, por meio do teste do χ2. A gravidade do dano foi classificada, a partir de uma adaptação de Schwendimann et al.1 em:

  1. sem dano;

  2. dano leve: pequenos cortes, sangramento leve, escoriação de pele, dor, edema, traumatismo cranioencefálico (TCE) leve, hiperemia e hematoma(s);

  3. dano moderado: sangramento excessivo, laceração requerendo sutura, TCE moderado, luxação e entorse;

  4. dano grave: fratura, hematoma subdural, TCE grave, morte.

A análise da reprodutibilidade foi realizada por meio da comparação teste-reteste interobservadores, com uma subamostra aleatória de 60 pacientes. Dois pesquisadores avaliaram de forma independente o mesmo paciente por meio da escala JH-FRAT, com base na mesma data de referência, a partir de dados registrados em prontuário eletrônico. Foram utilizadas as estatísticas Kappa ponderado quadrático e prevalence-adjusted and bias-adjusted Kappa (PABAK). Para a interpretação dos resultados, foram usados os critérios de Landis & Koch24.

Em todas as análises foi considerado nível de significância de 5%. Foram utilizados os softwares SPSS (versão 23), STATA (versão 14) e WinPepi (versão 11.65).

RESULTADOS

A Tabela 1 mostra que a população de estudo foi composta de 297 pacientes, sendo 50,8% mulheres e 49,2% homens; 55,9% com idade a partir de 60 anos; 63,0% casadas(os)/com companheiros(as); 46,1% com ensino superior completo; 14,1% em unidades de terapia intensiva; e 85,9% em unidades abertas. Os pacientes com e sem quedas não apresentaram diferenças quanto a sexo (p = 0,870), faixa etária (p = 0,200), estado civil (0,159), escolaridade (0,189) e procedência da internação (p = 0,667). Observou-se que 10,8% dos pacientes tinham baixo risco de quedas, sendo 3,0% entre aqueles com quedas e 14,6% entre os sem quedas. Pacientes com alto risco de quedas tiveram maior percentual de ocorrência de eventos (62,6%) do que os demais (44,9%) (p = 0,002).

Tabela 1. Estatística descritiva da população de estudo segundo a ocorrência de quedas, hospital privado, São Paulo, 2014. 

Variáveis Com quedas Sem quedas Total Valor p*
% % %
Sexo
Feminino 51 51,5 100 50,5 151 50,8 0,870
Masculino 48 48,5 98 49,5 146 49,2
Faixa etária
< 50 20 20,2 66 33,3 86 29,0 0,200
50 a 59 17 17,2 28 14,1 45 15,2
60 a 69 17 17,2 30 15,2 47 15,8
70 a 79 26 26,3 47 23,7 73 24,6
80 e mais 19 19,2 27 13,6 46 15,5
Estado civil
Casado(a)/Com companheiro(a) 66 66,7 121 61,1 187 63,0 0,159
Solteiro(a) 13 13,1 36 18,2 49 16,5
Desquitado(a)/Divorciado(a)/Separado(a)/Viúvo(a) 20 20,2 34 17,2 54 18,2
Outros/Não informado 0 0,0 7 3,5 7 2,4
Escolaridade
Ensino superior completo 44 44,4 93 47,0 137 46,1 0,189
Ensino médio/técnico completo 34 34,3 73 36,9 107 36,0
Até ensino fundamental 18 18,2 20 10,1 38 12,8
Não informado 3 3,0 12 6,1 15 5,1
Procedência
Outros 33 33,3 71 35,9 104 35,0 0,667
Pronto-socorro 66 66,7 127 64,1 193 65,0
Setor
Baixo risco: 0-5 pontos 3 3,0 29 14,6 32 10,8 0,002
Risco moderado: 6-13 pontos 34 34,3 80 40,4 114 38,4
Alto risco: > 13 pontos 62 62,6 89 44,9 151 50,8
Total 99 100,0 198 100,0 297 100,0

*Teste de associação pelo χ2.

A análise de acurácia do cenário 1 mostrou sensibilidade = 97,0%; especificidade = 14,6%; VPP = 36,2%; VPN = 90,6%; RVP = 1,14; e RPN = 4,83. O cenário 2 mostrou sensibilidade = 62,6%; especificidade = 55,1%; VPP = 41,1%; VPN = 74,7%; RVP = 1,39; e RVN = 1,47.

A Tabela 2 mostra que, na validade de critério concorrente, houve associação estatisticamente significativa entre as duas escalas (p < 0,001). A maior proporção de pacientes classificados como baixo risco pela JH-FRAT foi classificada como baixo risco pela Morse (46,9%); a maior proporção de pacientes classificados como risco moderado pela JH-FRAT foi classificada dessa forma pela Morse (53,5%); e a maior proporção de pacientes classificados como alto risco pela JH-FRAT foi assim classificada pela Morse (57,6%). Quando risco moderado e alto são agrupados, a semelhança nos resultados entre as duas escalas sobe para 90,2%.

Tabela 2. Análise comparativa da classificação do risco de quedas segundo as escalas Johns Hopkins Fall Risk Assessment Tool e Morse, hospital privado, São Paulo, 2014. 

Classificação do risco Risco baixo Risco médio Risco alto Total Valor p*
% % % %
Escala JH-FRAT Escala Morse
Baixo risco: 0-5 pontos 15 46,9 14 43,8 3 9,4 32 100,0 < 0,001
Risco moderado: 6-13 pontos 12 10,5 61 53,5 41 36,0 114 100,0
Alto risco: > 13 pontos 14 9,3 50 33,1 87 57,6 151 100,0
Total 41 13,8 125 42,1 131 44,1 297 100,0

JH-FRAT: Johns Hopkins Fall Risk Assessment Tool; *teste de associação pelo χ2.

A análise discriminante mostrou quais itens da escala tiveram diferença estatisticamente significativa quanto à presença do risco específico (Tabela 3). No item “histórico de quedas”, 18,2% dos pacientes com evento tiveram história de uma queda nos seis meses anteriores à internação contra 2,5% daqueles sem queda (p < 0,001). No item “uso de medicamentos de alto risco para quedas”, a categoria “2 ou mais medicamentos” foi observada em 70,7% dos pacientes com evento e em 53,5% daqueles sem evento, e a sedação nas últimas 24 horas ocorreu em 3,0% dos pacientes com quedas e em 9,1% daqueles sem quedas (p = 0,027). Os resultados da categoria “sedação nas últimas 24 horas” são diferentes do esperado, mas o pequeno número de casos de queda (3 pacientes) não tem estabilidade estatística. O item “equipamentos comprometendo a mobilidade” mostrou que ≥ 3 equipamentos estiveram presentes em 5,1% dos pacientes com evento e em 11,1% daqueles sem evento (p = 0,040). Novamente, os resultados podem sofrer viés do pequeno número de sujeitos com quedas (cinco pacientes). No item “mobilidade comprometida”, os pacientes com eventos tiveram maiores percentuais do que aqueles sem eventos em todas as categorias avaliadas (p = 0,003). O mesmo ocorreu no item “cognição” (p < 0,001).

Tabela 3. Estatística descritiva entre pacientes com e sem evento de quedas segundo a presença dos riscos de queda identificados pela escala Johns Hopkins Fall Risk Assessment Tool, hospital privado, São Paulo, 2014. 

Item componente da JH-FRAT Com quedas Sem quedas Total Valor p*
% % %
Situações prévias de risco
Não pontuada /sem classificação 59 59,6 122 61,6 181 60,9 0,601
Baixo risco 1 1,0 5 2,5 6 2,0
Alto risco 39 39,4 71 35,9 110 37,0
Faixa etária (anos)
Não pontuada (< 60) 36 36,4 88 44,4 124 41,8 0,270
60-69 18 18,2 34 17,2 52 17,5
70-79 22 22,2 47 23,7 69 23,2
80 e mais 23 23,2 29 14,6 52 17,5
Histórico de queda
Não pontuada (sem histórico) 81 81,8 193 97,5 274 92,3 < 0,001
Uma queda nos seis meses anteriores 18 18,2 5 2,5 23 7,7
Eliminações
Não pontuada (sem problemas) 53 53,5 109 55,1 162 54,5 0,970
Urgência/aumento da frequência ou incontinência 45 45,5 87 43,9 132 44,4
Urgência/aumento da frequência e incontinência 1 1,0 2 1,0 3 1,0
Uso de medicamentos de alto risco para quedas
Não pontuada 8 8,1 25 12,6 33 11,1 0,027
1 medicamento de alto risco 18 18,2 49 24,7 67 22,6
2 ou mais medicamentos de alto risco 70 70,7 106 53,5 176 59,3
Sedação nas últimas 24 horas 3 3,0 18 9,1 21 7,1
Equipamentos comprometendo a mobilidade
Não pontuada (sem equipamentos) 12 12,1 14 7,1 26 8,8 0,040
1 equipamento 55 55,6 127 64,1 182 61,3
2 equipamentos 27 27,3 35 17,7 62 20,9
3 ou mais equipamentos 5 5,1 22 11,1 27 9,1
Mobilidade comprometida**
Não pontuada (sem alterações) 12 12,1 57 28,8 69 23,2 0,003
1 item pontuado 55 55,6 101 51,0 156 52,5
2 itens pontuados 28 28,3 38 19,2 66 22,2
3 itens pontuados 4 4,0 2 1,0 6 2,0
Cognição***
Não pontuada (sem alterações) 53 53,5 152 76,8 205 69,0 < 0,001
1 ou 2 pontos 19 19,2 30 15,2 49 16,5
3 a 5 pontos 15 15,2 14 7,1 29 9,8
6 ou 7 pontos 12 12,1 2 1,0 14 4,7
Classificação final do risco
Baixo risco: 0-5 pontos 3 3,0 29 14,6 32 10,8 < 0,001
Risco moderado: 6-13 pontos 34 34,3 80 40,4 114 38,4
Alto risco: > 13 pontos 62 62,6 89 44,9 151 50,8
Total 99 100,0 198 100,0 297 100,0

JH-FRAT: Johns Hopkins Fall Risk Assessment Tool; *teste de associação pelo χ2; **questão com múltiplas opções: necessita auxílio/supervisão e/ou marcha instável e/ou comprometimento visual/auditivo; ***questão com múltiplas opções: percepções alteradas e/ou impulsividade e/ou falta de entendimento das limitações.

Ainda na análise da validade discriminante, as situações prévias definidoras do risco (item 1 da escala) não apresentaram associação com o(s) dano(s) decorrentes da queda (p = 0,557).

A Tabela 4 mostra os resultados da análise de confiabilidade por meio da reprodutibilidade interobservadores. Os valores do Kappa ponderado quadrático variaram de 0,15 a 1,00. Houve melhora após ajuste por prevalência e viés, com PABAK variando de 0,25 a 1,00. O item “situações prévias de risco” apresentou reprodutibilidade razoável (PABAK = 0,24). Para os demais itens foi observada reprodutibilidade substancial ou quase perfeita (PABAK de 0,60 a 1,00), e a classificação do risco global apresentou reprodutibilidade substancial (PABAK = 0,71).

Tabela 4. Concordância no teste-reteste para cada item e para a classificação de risco final da escala Johns Hopkins Fall Risk Assessment Tool, hospital privado, São Paulo, 2014 (N = 60). 

Item Kappa ponderado quadrático IC95% PABAK ponderado quadrático
Situações prévias de risco 0,21 -0,04 - 0,46 0,24
Idade na ocasião da queda 1,00 -- 1,00
Histórico de queda 0,20 -0,21 - 0,61 0,80
Eliminações 0,15 -0,09 - 0,39 0,77
Uso de medicamentos de alto risco para quedas 0,23 -0,07 - 0,53 0,84
Equipamentos que comprometem a mobilidade 0,37 0,07 - 0,67 0,84
Mobilidade 0,36 0,01 - 0,39 0,74
Cognição 0,34 0,03 - 0,65 0,87
Classificação do risco global (escala total) 0,27 -0,01 - 0,56 0,71

IC95%: intervalo de confiança de 95%; PABAK: prevalence-adjusted and bias-adjusted Kappa.

DISCUSSÃO

O estudo analisou se a escala JH-FRAT é válida e confiável para a avaliação do risco de quedas em pacientes adultos internados. Os resultados sugerem que a JH-FRAT tem melhor sensibilidade no ponto de corte > 6 do escore, agrupando pacientes de risco moderado e alto na mesma categoria. Uma explicação para tal é a existência de um protocolo gerenciado para quedas na instituição de estudo, onde pacientes em determinadas condições (risco de sangramento, fragilidade óssea, entre outras) são classificados como de alto risco segundo o item 1 da escala (situações prévias definidoras de risco). Uma versão modificada da JH-FRAT avaliando 107 pacientes ambulatoriais a partir de 65 anos em casas de saúde no sul da Califórnia mostrou sensibilidade de 100,0% no ponto de corte > 6 e de 86,2% no ponto de corte > 1313. Um estudo utilizando a JH-FRAT com 356 pacientes maiores de 18 anos em cinco hospitais-escola gerais na Coreia do Sul, com ponto de corte > 13 pontos, mostrou sensibilidade de 62,0%12.

A JH-FRAT mostrou melhor especificidade no ponto de corte > 13, separando os pacientes de risco alto dos demais. Sensibilidade e especificidade são inversamente proporcionais19,21, e a sensibilidade foi elevada. Considerando que as ações sistematizadas preveniram a ocorrência de quedas, houve aumento do número de falso-positivos (pacientes em risco, porém sem quedas), com consequente diminuição da especificidade. O diagnóstico de uma condição e a exclusão dos falso-positivos são definidos por exames confirmatórios que devem ter alta especificidade, mas são subsequentes aos exames de rastreamento21. O estudo no sul da Califórnia mostrou especificidade de 0,0% no ponto de corte > 6 e de 49,3% no ponto de corte > 13 pontos13. O estudo na Coreia do Sul, com ponto de corte > 13 pontos, mostrou especificidade de 69,5%12.

Os VPPs mostram que 63,8% (no corte > 6) e 58,9% (no corte > 13) dos pacientes com teste positivo para risco receberam cuidados preventivos desnecessários para quedas. Essa interpretação deve ser cautelosa. O aumento da prevalência do evento determina o aumento do VPP e a diminuição do VPN, e ambos dependem do contexto em que o teste é aplicado16,18,20. Considerando que o efeito da população “tratada” reduz a ocorrência de quedas entre os portadores de risco, pode ocorrer viés ao diminuir o VPP e elevar o VPN. O estudo no sul da Califórnia mostrou VPP de 39,7% e VPN de 92,9% no ponto de corte > 13 pontos13. O estudo na Coreia do Sul, com ponto de corte > 13 pontos, mostrou VPP de 33,6% e VPN de 86,0%12.

A RV oferece uma medida de razão de chances, combinando sensibilidade e especificidade no mesmo indicador20. Os resultados foram maiores que 1,00 e, portanto, contribuem para a identificação do risco20, especialmente a RVN do cenário 1, em que os pacientes sem quedas tiveram 4,83 vezes a chance de obter classificação de baixo risco quando comparados aos demais.

Para um teste de triagem, a característica mais importante é a sensibilidade, com elevada taxa de verdadeiro-positivos e baixa taxa de falso-negativos20,21. A JH-FRAT, instrumento para triagem de risco, mostrou elevada sensibilidade.

A análise da validade de critério concorrente mostrou equivalências entre as classificações do risco das duas escalas (JH-FRAT e Morse), com melhor desempenho quando os riscos moderado e alto são agrupados, sugerindo que a JH-FRAT tem maior validade ao separar os pacientes de baixo risco dos demais.

Cinco dos oito itens da JH-FRAT e a classificação geral do risco discriminaram o risco, com maiores prevalências entre pacientes com quedas do que entre aqueles sem quedas, conforme o esperado.

As situações prévias definidoras do risco (item 1 da escala) não foram capazes de discriminar o tipo de dano decorrente da queda. Esses resultados podem ter viés decorrente do protocolo institucional, reduzindo tanto a ocorrência quanto a gravidade das quedas.

A prevalência de pacientes classificados como risco moderado/alto, tanto pela JH-FRAT quanto pela Morse, foi de 90,2%. Um paradoxo nas análises de reprodutibilidade por meio do Kappa pode ser induzido por elevada prevalência da condição analisada, podendo ser ajustado pela estatística PABAK25. A reprodutibilidade entre testes mostrou substancial concordância após ajuste por essa estatística.

As medidas teste-reteste interobservadores mostraram concordância substancial ou quase perfeita após o uso da estatística PABAK em todos os itens, exceto nas “situações prévias de risco”. Os resultados obtidos pelo Kappa ponderado quadrático apresentaram melhora após correção pela estatística PABAK, apontando para o paradoxo já citado. O estudo no sul da Califórnia também mostrou concordância substancial ou quase perfeita na maioria dos itens e na classificação geral (ponto de corte ≥ 14)13.

O estudo apresenta algumas limitações. A mais importante é o fato de reunir uma população “tratada”, já que intervenções preventivas reduzem a ocorrência e a gravidade dos eventos, podendo alterar os desfechos e a acurácia de uma escala de avaliação de risco26,27. Outra limitação refere-se à utilização de dados coletados retrospectivamente, tipo de coleta que é afetado pela qualidade dos dados disponíveis28. Por fim, o número relativamente pequeno de quedas avaliado pode ter gerado algum viés.

Quedas são eventos sensíveis às práticas assistenciais e podem ser prevenidas por meio de abordagens sistematizadas em programas institucionais2,3,4,5,15,26. Os melhores resultados são obtidos pela combinação de múltiplas intervenções, inclusive a avaliação individualizada dos riscos e as precauções universais4,8. O uso de intervenções multifacetadas pode reduzir em até 18,0% a ocorrência de quedas, mas essa redução pode variar em função da quantidade e do tipo de ações2. Os resultados mostraram a JH-FRAT como válida e confiável em termos de acurácia, capacidade discriminante e concordância na reprodutibilidade, confirmando-a como instrumento para triagem do risco de quedas e trazendo contribuições para profissionais e instituições interessados no uso de estratégias baseadas em evidências para a gestão de quedas em hospitais.

Há poucos estudos sobre a validade e a confiabilidade da JH-FRAT, e a presente pesquisa é a primeira no Brasil. É recomendável a realização de novos estudos com maiores grupos de pacientes hospitalizados, preferencialmente com corte prospectivo. Não ocorrendo conflitos éticos, são desejáveis a realização de estudos em populações “não tratadas” e a comparação de resultados antes e após a implantação de protocolos preventivos.

CONCLUSÕES

O estudo sugere que a versão brasileira da escala JH-FRAT tem validade e confiabilidade satisfatórias em termos de acurácia, critério, capacidade discriminante e reprodutibilidade. Ela pode ser utilizada na avaliação do risco de quedas em pacientes internados, subsidiando o direcionamento de ações preventivas. Este é o primeiro estudo no Brasil a avaliar a JH-FRAT e apresenta limitações, sendo desejáveis novas pesquisas.

AGRADECIMENTOS

Os autores agradecem ao Hospital Samaritano de São Paulo pelo apoio e suporte no desenvolvimento do estudo por meio da disponibilização de equipamentos, materiais e recursos humanos, sem os quais a pesquisa não seria possível.

REFERÊNCIAS

1. Schwendimann R, Bühler H, De Geest S, Milisen K. Falls and consequent injuries in hospitalized patients: effects of an interdisciplinary falls prevention program. BMC Health Serv Res 2006; 6: 69. https://dx.doi.org/10.1186%2F1472-6963-6-69Links ]

2. National Health Services. National Patient Safety Agency. Slips, trips and falls in hospital: The third report from the Patient Safety Observatory. London: National Health Services; 2007. [ Links ]

3. Oliver D, Healy F. Falls risk prediction tools for hospital inpatients: do they work? Nurs Times 2009; 105(7): 18-21. [ Links ]

4. Cumbler EU, Simpson JR, Rosenthal LD, Likosky DJ. Inpatient falls: defining the problem and identifying possible solutions. Part I: An evidence-based review. Neurohospitalist 2013; 3(3): 135-43. https://doi.org/10.1177/1941874412470665Links ]

5. Martinez MC, Iwamoto VE, Latorre MRDO, Noronha AM, Oliveira APS, Cardoso CEA, et al. Transcultural adaptation of the Johns Hopkins Fall Risk Assessment Tool. Rev Latino-Am Enfermagem 2016; 24: e2783. http://dx.doi.org/10.1590/1518-8345.1158.2783Links ]

6. Johns Hopkins Hospital. Fall risk assessment, prevention and management, adult. In: Johns Hopkins Hospital, editor. Nursing practice and organization manual: clinical protocols and procedures. Baltimore: Johns Hopkins Hospital; 2011. v. 2. [ Links ]

7. Martinez MC, Iwamoto VE, Noronha AM, Oliveira APS, Sant'Ana THS, Cardoso CEA. Avaliação do risco de quedas em pacientes internados: por que realizar e como conduzir? Revista ACRED 2016; 6(11): 136-45. [ Links ]

8. Agency for Healthcare Research and Quality. Preventing falls in hospitals: a toolkit for improving quality of care. Rockvilee: Agency for Healthcare Research and Quality; 2013. [ Links ]

9. Urbanetto JS, Creutzberg M, Franz F, Ojeda BS, Gustavo AS, Bittencourt HR, et al. Morse fall scale: translation and transcultural adaptation for the Portuguese language. Rev Esc Enferm USP 2013; 47(3): 569-75. http://dx.doi.org/10.1590/S0080-623420130000300007Links ]

10. Poe SS, Cvach MM, Gartrell DG, Radzik BR, Joy TL. An Evidence-based Approach to Fall Risk Assessment, Prevention and Management: Lessons Learned. J Nurs Care Qual 2005; 20(2): 107-16. [ Links ]

11. Poe SS, Cvach MM, Dawson PB, Straus H, Hill EE. The Johns Hopkins Fall Risk assessment Tool: Postimplementation Evaluation. J Nurs Care Qual 2007; 22(4): 293-8. https://doi.org/10.1097/01.NCQ.0000290408.74027.39Links ]

12. Kim KS, Kim JA, Choi YK, Kim YJ, Park MH, Kim HY, et al. A Comparative Study on the Validity of Fall Risk assessment Scales in Korean Hospitals. Asian Nurs Res 2011; 5(1): 28-37. https://doi.org/10.1016/S1976-1317(11)60011-XLinks ]

13. Hnizdo S, Archuleta RA, Taylor B, Kim SC. Validity and reliability of the modified John Hopkins Fall Risk Assessment Tool for elderly patients in home health care. Geriatr Nurs 2013; 34(5): 423-7. https://doi.org/10.1016/j.gerinurse.2013.05.011Links ]

14. Morse JM. Preventing patient falls. California: Thousand Oaks; 1997. [ Links ]

15. Baek S, Piao J, Jin Y, Lee SM. Validity of the Morse Fall Scale implemented in an electronic medical record system. J Clin Nurs 2014; 23(17-18): 2434-40. https://doi.org/10.1111/jocn.12359Links ]

16. Costa-Dias MJM, Martins T, Araújo F. Study of the cut-off point of the Morse Fall Scale (MFS). Rev Enf Ref 2014; serIV(1): 65-74. http://dx.doi.org/10.12707/RIII13101Links ]

17. Aranda-Gallardo M, Morales-Asencio JM, Canca-Sanchez JC, Barrero-Sojo S, Perez-Jimenez C, Morales-Fernandez A, et al. Instruments for assessing the risk of falls in acute hospitalized patients: a systematic review and meta-analysis. BMC Health Serv Res 2013; 13: 122. https://dx.doi.org/10.1186%2F1472-6963-13-122Links ]

18. Glaros AG, Kline RB. Understanding the accuracy of tests with cutting scores: the sensitivity, specificity, and predictive value model. J Clin Psychol 1988; 44(6): 1013-23. [ Links ]

19. Parikh R, Mathai A, Parikh S, Sekhar GC, Thomas R. Understanding and using sensitivity, specificity and predictive values. Indian J Ophthalmol 2008; 56(1): 45-50. [ Links ]

20. Streiner DL. Diagnosing Tests: Using and Misusing Diagnostic and Screening Tests. J Personal Assess 2003; 81(3): 209-9. https://doi.org/10.1207/S15327752JPA8103_03Links ]

21. Brasil. Ministério da Saúde. Secretaria de Atenção à Saúde. Departamento de Atenção Básica. Parte I - Introdução a conceitos teóricos. In: Brasil. Ministério da Saúde. Secretaria de Atenção à Saúde. Departamento de Atenção Básica, editor. Série A. Normas e Manuais Técnicos: Cadernos de Atenção Primária: Rastreamento. Brasília: Ministério da Saúde; 2010. n. 29. p. 17-23. [ Links ]

22. Pasquali L. Validade dos testes psicológicos: será possível reencontrar o caminho? Psic Teor e Pesq 2007; 23(n. esp.):99-107. http://dx.doi.org/10.1590/S0102-37722007000500019Links ]

23. Mokkink LB, Terwee CB, Patrick DL, Alonso J, Stratford PW, Knol DL, et al. COSMIN checklist manual. COSMIN. Amsterdam: University Medical Center, Department of Epidemiology and Biostatistics, Institute for Health and Care Research; 2012. [ Links ]

24. Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics 1977; 33(1): 159-74. [ Links ]

25. Sim J, Wright CC. The Kappa statistic in reliability studies: use, interpretation, and sample size requirements. Phys Ther 2005; 85(3): 257-68. [ Links ]

26. Oliver D, Daly F, Martin FC, McMurdo MET. Risck factors and risk assessment tools for falls in hospital in-patients: a systematic review. Age Ageing 2004; 33(2): 122-30. https://doi.org/10.1093/ageing/afh017Links ]

27. Milisen K, Staelens N, Schwendimann R, De Paepe L, Verhaeghe J, Braes T, et al. Fall Prediction in Inpatients by Bedside Nurses Using the St. Thomas's Risk Assessment Tool in Falling Elderly Inpatients (STRATIFY) Instrument: A Multicenter Study. J Am Geriatr Soc 2007; 55(5): 725-33. https://doi.org/10.1111/j.1532-5415.2007.01151.xLinks ]

28. Dawson-Saunder B, Trapp RG. Reading the medical literature. In: Dawson-Saunder B, Trapp RG, editores. Basic & Clinical Biostatistics. Connecticut: Appleton & Lange; 1994. p. 268-88. [ Links ]

Fonte de financiamento: nenhuma.

3Número de identificação/aprovação do Comitê de Ética em Pesquisa: 678.566 de 27/05/2014 pelo Comitê de Ética em Pesquisa da Sociedade Hospital Samaritano de São Paulo.

Recebido: 25 de Maio de 2017; Revisado: 24 de Fevereiro de 2018; Aceito: 15 de Maio de 2018

Autor para correspondência: Viviane Ernesto Iwamoto. Gerência de Serviços de Enfermagem. Hospital Samaritano. Rua Conselheiro Brotero, 1.486, Higienópolis, CEP: 01232-010, São Paulo, SP, Brasil. E-mail: viviane.iwamoto@amaritano.org.br

Conflito de interesses: nada a declarar

Contribuição dos autores: Maria Carmen Martinez: coordenação do projeto de pesquisa, treinamentos da equipe de trabalho, análise estatística dos dados, discussão dos resultados e redação do texto. Viviane Ernesto Iwamoto: coordenação do projeto de pesquisa, treinamentos da equipe de trabalho, supervisão da coleta de dados, discussão dos resultados e redação do texto. Maria do Rosário Dias de Oliveira Latorre: participação na elaboração do projeto de pesquisa, na definição dos métodos estatísticos, na discussão dos resultados e na redação do texto. Ana Paula de Sousa Oliveira: participação na elaboração do projeto de pesquisa, preparo e consolidação de bancos de dados, participação na coleta e análise de dados, na discussão dos resultados e na redação do texto. Adriana Moreira Noronha, Carlos Eduardo Alves Cardoso, Ifigênia Augusta Braga Marques, Patrícia Vendramim, Paula Cristina Lopes, Thais Helena Saes de Sant’ Ana: participação na elaboração do projeto de pesquisa, realização de coleta de dados, participação na discussão dos resultados e na redação do texto.

Creative Commons License Este é um artigo publicado em acesso aberto sob uma licença Creative Commons