Avaliando a confiabilidade interavaliadores de um instrumento para classificação de pacientes: coeficiente Kappa

Assessing the interrater reliability of an instrument for classifying patients: kappa quotient

Evaluando la confiabilidad interevaluadores de un instrumento para clasificación de pacientes: coeficiente kappa

Avaliando a confiabilidade interavaliadores de um instrumento para classificação de pacientes - coeficiente Kappa^*

Assessing the interrater reliability of an instrument for classifying patients - kappa quotient

Evaluando la confiabilidad interevaluadores de un instrumento para clasificación de pacientes - coeficiente kappa

Márcia Galan Perroca^I; Raquel Rapone Gaidzinski^II

^IDoutora em enfermagem. Docente do Departamento de Enfermagem Especializada da FAMERP, S. José Rio Preto. [e-mail]

^IIProfessor Livre Docente do Departamento de Orientação Profissional da EEUSP-SP. Orientadora

RESUMO

Este estudo teve como objetivo determinar a confiabilidade interavaliadores do instrumento de classificação de pacientes proposto por Perroca. Cinqüenta pacientes escolhidos aleatoriamente foram avaliados por enfermeiras lotadas na UTI de um hospital de ensino. O coeficiente Kappa foi utilizado para a avaliação do grau de concordância nos escores totais obtidos pelas enfermeiras. A análise de confiabilidade revelou um Kappa entre 0,68 e 0,90 com IC de 95%, indicando uma boa concordância. O estudo permitiu concluir que o instrumento apresenta evidência de confiabilidade.

Palavras-chave: Avaliação em enfermagem. Confiabilidade e validade.

SUMAMRY

This study aimed to determine the reliability of Perroca's instrument model for classifying patients. Fifty patients randomly chosen were assessed by the nurses of the General Intensive Unit Care of a medical school hospital. Kappa's quotient was used to observe the concordance degree of the total scores by the nurses. The reliability analysis showed a Kappa between 0.68 and 0.90 with 95% of CI, showing a good concordance. Therefore, this study showed that this instrument model has drawn evidence of reliability.

Keywords: Nursing assessment. Reproducibility of results.

RESUMEN

Este estudio tuvo por objetivo determinar la confiabilidad interevaluadores del instrumento de clasificación de pacientes propuesto por Perroca. Cincuenta pacientes escogidos aleatoriamente fueron evaluados por enfermeras que trabajan en la UCI de un hospital-escuela. El coeficiente Kappa se usó para evaluar el grado de concordancia de las puntuaciones totales obtenidas pelas enfermeras. El análisis de confiabilidad reveló un Kappa entre 0,68 y 0,90 con IC de 95%, indicando uma buena concordancia. El estudio permitió concluir que el instrumento manifiesta evidencia de confiabilidad.

Palabras-clave: Evaluación en enfermería. Reproducibilidad de resultados.

INTRODUÇÃO

Os instrumentos de classificação são utilizados para categorizar pacientes de acordo com a quantidade de cuidado de enfermagem requerida, ou seja, baseado no grau de complexidade da assistência de enfermagem. Possuem inestimável valor para a prática assistencial e gerencial do enfermeiro, uma vez que proporcionam embasamento sistematizado e racional para o processo decisório relacionado à alocação quanti/qualitativa de pessoal de enfermagem, planejamento de custos da assistência e qualidade do cuidado proporcionado^(1-3). Também contribuem para o planejamento da assistência de enfermagem⁽⁴⁾, o estabelecimento do perfil do cliente para cada tipo de cuidado ⁽⁵⁾ bem como para o fortalecimento do processo de comunicação das diferentes necessidades de atenção de enfermagem dos pacientes e a argumentação no processo de negociação^(1,6).

O instrumento de classificação de pacientes de Perroca⁽⁷⁾ e Perroca; Gaidzinski⁽⁸⁾ foi construído com o intuito de nortear a classificação de pacientes por tipo de cuidado e, inicialmente, foi submetido a teste de validação de conteúdo por juízes ^(7-8). Em fase posterior, emergiu a necessidade de se monitorar a confiabilidade e a validade deste instrumento para determinar a exatidão das informações fornecidas pelo mesmo.

Um dos principais critérios para avaliação da qualidade de um instrumento é a sua confiabilidade e esta pode ser considerada maior quando, em repetidas mensurações de um atributo, se obtiver uma menor variação⁽⁹⁾. Existem vários formas para estimativa da confiabilidade. A confiabilidade interavaliadores (interrater reliability), possibilita a verificação do grau de correspondência entre as avaliações independentes de dois ou mais enfermeiros que classificam o mesmo paciente, utilizando o mesmo instrumento de classificação. A comparação dos resultados pode ser efetuada entre as enfermeiras da mesma unidade, de unidades diferentes ou ainda entre enfermeiras que atuam em diferentes instituições ^(4,10).

A estimativa da confiabilidade e da validade de um instrumento para classificação de pacientes pode ser determinada quando: um novo sistema está sendo desenvolvido; após sua implementação, em intervalos regulares, para monitorar o seu correto uso; ou ainda quando um sistema existente é modificado para se adaptar às novas exigências do serviço ou para ser utilizado em outro local ⁽¹⁰⁾. A realização de testes de confiabilidade na própria unidade de internação e entre as diferentes unidades de internação tem sido recomendada ⁽¹¹⁾ com periodicidade, no mínimo, trimestral, como forma de garantir a consistência do instrumento.

Assim, dando continuidade ao estudo do instrumento de classificação de pacientes proposto por Perroca ⁽⁷⁾ realizou-se esta pesquisa com o intuito de mensurar o seu grau de confiabilidade pela concordância de Tipos de cuidados (Kappa) e de tipos de cuidados nos indicadores críticos quando de sua utilização por diferentes enfermeiras- avaliadoras.

TRAJETÓRIA METODOLÓGICA

O instrumento de classificação de pacientes elaborado por Perroca⁽⁷⁾ está baseado nas necessidades individualizadas de cuidados de enfermagem e destina-se a pacientes adultos. Para compor o instrumento de classificação foram considerados 13 indicadores críticos de cuidados: Estado Mental e Nível de Consciência, Oxigenação, Sinais Vitais, Nutrição e Hidratação, Motilidade, Locomoção, Cuidado Corporal, Eliminações, Terapêutica, Educação à Saúde, Comportamento, Comunicação e Integridade Cutâneo-Mucosa. Cada um dos indicadores varia de uma pontuação de 1 a 5, objetivando apontar a intensidade crescente de complexidade do cuidado, de forma que, o valor 1 corresponde ao menor nível de atenção de enfermagem e o valor 5, ao nível máximo de complexidade assistencial.

O paciente é classificado em todos os indicadores, em um dos cinco níveis, na opção que melhor descreva a sua situação com relação à assistência de enfermagem. O valor obtido individualmente, em cada um dos indicadores, é então somado e o total obtido é comparado com pontuações propostas conduzindo, dessa forma, a uma classe ou categoria de cuidado a que este paciente pertence, tais como: cuidados mínimos (13-26 pontos), cuidados intermediários (27-39 pontos), cuidados semi-intensivos (40-52 pontos) e cuidados intensivos (53-65 pontos).

Vários enfoques estatísticos podem ser utilizados para se determinar a confiabilidade entre avaliadores. A escolha do método depende do tipo de sistema de classificação empregado e de seus dados resultantes, dos recursos e especialistas disponíveis como também de rigor metodológico^(10-11). Com o intuito de se mensurar o grau de confiabilidade do instrumento de classificação de pacientes proposto por Perroca⁽⁷⁾, quando de sua utilização por diferentes enfermeiras-avaliadoras, foram utilizados, o Coeficiente de Correlação de Pearson (descrito em estudo anterior) ⁽¹²⁾ e o Coeficiente Kappa.

O Coeficiente Kappa pode ser definido como uma medida de associação usada para descrever e testar o grau de concordância (confiabilidade e precisão) na classificação ⁽¹³⁾. Apesar de largamente utilizado para o estudo de confiabilidade, este método estatístico apresenta limitações na medida em que não fornece informações a respeito da estrutura de concordância e discordância, muitas vezes, não considerando aspectos importantes presentes nos dados. Dessa forma, não deve ser utilizado indiscriminadamente como uma única medida de concordância e outras abordagens devem ser incorporadas com o objetivo de complementar a análise⁽¹⁴⁾. Landis; Koch⁽¹⁵⁾ caracterizaram diferentes faixas para os valores kappa, segundo o grau de concordância que eles sugerem. Assim valores maiores que 0,75 representam excelente concordância. Valores abaixo de 0,40 representam baixa concordância e valores situados entre 0,40 e 0,75 representam concordância mediana.

Operacionalização do Teste de Confiabilidade Interavaliadores

O instrumento de classificação de pacientes foi aplicado na Unidade de Terapia Intensiva Geral de um hospital de ensino da cidade de São José do Rio Preto, estado de São Paulo. A escolha desta unidade teve por base o número significativo de enfermeiros atuantes no mesmo turno de trabalho - condição esta indispensável para a efetivação do teste de confiabilidade para este estudo, ou seja, a concordância entre as avaliações das enfermeiras.

A coleta de informações somente foi iniciada após parecer favorável do Comitê de Ética em Pesquisa da instituição campo de estudo, aprovação formal da Gerência de Enfermagem e consentimento livre e esclarecido das enfermeiras participantes na pesquisa.

Os sujeitos foram quatro enfermeiras lotadas no plantão da manhã que anuíram em participar do estudo, sendo: uma enfermeira supervisora, uma enfermeira assistencial e duas aprimorandas de enfermagem, as quais doravante serão designadas por enfermeira V, enfermeira L, enfermeira R e enfermeira MS. Estas enfermeiras atuaram como avaliadoras para classificar o grau de complexidade assistencial de 50 pacientes, internados nessa unidade, escolhidos aleatoriamente, no mes de junho de 1999. O tamanho amostral foi definido estatisticamente.

Visto se tratar de um teste de confiabilidade, em que a interpretação dos sujeitos sobre o instrumento utilizado é parte fundamental dos resultados, os esclarecimentos foram breves e sucintos. As enfermeiras foram esclarecidas a não consultarem as demais colegas durante este processo, assim como, para não comunicarem às demais os escores obtidos em suas avaliações a fim de se evitar influências nas respostas.

Diariamente era entregue às enfermeiras um formulário para registro dos dados referentes a: identificação do paciente (nome, idade, registro, unidade, quarto, leito), data e horário da coleta de dados; escore obtido pelas enfermeiras avaliadoras, individualmente, em cada um dos indicadores; total da pontuação obtida, a categoria de cuidado à qual o paciente pertencia, bem como, o nome da enfermeira que procedeu a classificação. Solicitou-se a cada enfermeira avaliadora, a aplicação do instrumento sob forma de exame físico e entrevista aos pacientes cujos leitos estavam assinalados no formulário, no mesmo turno de trabalho, em horários os mais próximos possíveis.

Os formulários devidamente preenchidos eram recolhidos ao final de cada dia pela pesquisadora. A organização e análise estatística dos dados foram processadas em computador através do programa MINITAB versão 12.2.

RESULTADOS E DISCUSSÃO

Os dados serão apresentados a seguir considerando-se as duas abordagens do teste de confiabilidade interavaliadores, nesta investigação, ou seja, o estudo sobre a concordância de tipos de cuidado (Kappa) e de tipos de cuidados nos indicadores críticos.

Estudo Sobre a Concordância de Tipos de Cuidado (Kappa)

Os dados abaixo se referem aos cruzamentos entre as classificações das enfermeiras V, L, R e MS. São apresentados todos os cruzamentos, dois a dois com os respectivos coeficientes kappa, objetivando determinar a intensidade da concordância, nas classificações, no escore geral e por tipo de complexidade de cuidado. Iniciou-se com os cruzamentos entre as classificações da enfermeira V com a enfermeira L, da enfermeira V com a enfermeira R, da enfermeira V com a enfermeira MS e, assim, sucessivamente.

Conforme os dados apresentados na tabela 1, o nível de concordância entre a enfermeira V e a enfermeira L foi alto (Kappa 0,82), para todas as categorias de cuidados, principalmente na categoria de Cuidados Intensivos (95,24%) e Cuidados Mínimos (100%).

Para a categoria de cuidados Semi-Intensivos, as duas enfermeiras concordaram na classificação de 15 pacientes (78,95%), havendo uma acentuada dispersão na classificação dos demais entre as categorias de Cuidados Mínimos, Intermediários e Intensivos. Já na categoria de pacientes de Cuidados Intermediários, a concordância é de 88,89% e a dispersão é notadamente menor.

Pode-se notar pelos dados da tabela 2 que o coeficiente Kappa obtido foi de 0,90, evidenciando uma alta concordância entre as classificações da enfermeira-avaliadora V e a enfermeira avaliadora R.

Nas categorias de Cuidados Intensivos e Semi-Intensivos houve uma intensidade de concordância em respectivamente 95,24% e 100% dos pacientes classificados.

A categoria de Cuidados Intermediários apresentou uma menor concordância (77,78%) com dispersão, na classificação dos pacientes, para a categoria de Cuidados Semi-Intensivos.

Não houve concordância na categoria de Cuidados Mínimos entre estas duas enfermeiras.

A tabela 3 revela que a intensidade de concordância entre os diagnósticos das enfermeiras V e MS é boa, com um coeficiente kappa de 0,68. Na categoria de Cuidados Intensivos, ocorreu uma maior concordância (95,24%), com dispersão nas classificações, para a categoria de Cuidados Semi-Intensivos.A categoria de cuidados Semi-Intensivos, com uma concordância de 84,21%, apresentou uma maior dispersão nas classificações entre as diversas categorias. A menor intensidade de concordância obtida (44,44%) ocorreu na categoria de Cuidados Intermediários com um acentuado índice de dispersão nas respostas. Não houve concordância na classificação de pacientes na categoria de Cuidados Mínimos.

Os resultados apresentados na tabela 4 evidenciaram que a concordância pode ser considerada boa (kappa de 0,72) entre as classificações realizadas pela enfermeira L e a enfermeira R. A maior intensidade de concordância apareceu na classificação dos pacientes de Cuidados Intensivos (90,48%) e a menor, na classificação dos pacientes de Cuidados Intermediários (60%).

Mais uma vez não houve concordância na classificação de pacientes na categoria de Cuidados Mínimos.A maior dispersão nas classificações dos pacientes ocorreu na categoria de Cuidados Semi-Intensivos e Intermediários.

A tabela 5 mostra que entre as enfermeiras-avaliadoras L e MS, o coeficiente de concordância kappa obtido foi de 0,69.

A categoria de Cuidados Intensivos e Semi-Intensivos evidenciou uma maior concordância, respectivamente de 95,24% e 88,24% nas classificações. A categoria de Cuidados Intermediários apresentou uma baixa concordância, 50%.

Ainda mais uma vez, não houve concordância na classificação de pacientes na categoria de Cuidados Mínimos.

As categorias de Cuidados Semi-Intensivos e Intermediários apresentaram uma acentuada dispersão nas classificações entre as demais categorias de cuidados.

Através da tabela 6 pode-se observar que as classificações realizadas pela enfermeira R e pela enfermeira MS revelaram um coeficiente kappa de 0,83, o que significa que houve uma alta concordância entre as classificações destas duas enfermeiras.

A concordância mais alta (100%) ocorreu na categoria de Cuidados Intensivos e a mais baixa (62,5%), na categoria de Cuidados Intermediários. Não houve qualquer concordância entre estas enfermeiras no que se refere à classificação dos pacientes de Cuidados Mínimos. A maior dispersão entre as classificações nas diversas categorias pode ser percebida na categoria de Cuidados Semi-Intensivos.

Analisando os cruzamentos das classificações das enfermeiras (V, L, R, MS) foi, ainda, possível observar que a intensidade de concordância para cada categoria de cuidados apresentou variação da seguinte forma: Cuidados Intensivos de 90,48 a 95,24% ; Cuidados Semi-Intensivos de 78,95 a 100% ; Cuidados Intermediários de 40,44 a 88,89% e Cuidados Mínimos concordância entre as enfermeiras V e L (100%) e nenhuma concordância entre as 3 demais enfermeiras.

No que se refere à dispersão das respostas entre as diversas categorias, esta se apresentou baixa para a categoria de Cuidados Intensivos e acentuada para as categorias de Cuidados Semi-Intensivos e Intermediários.

Estes achados nos permitiram concluir que parece ser mais fácil para as enfermeiras classificarem os pacientes nas categorias de Cuidados Intensivos e Mínimos por se tratarem de opostos, facilmente identificáveis pela gravidade ou falta de gravidade evidente. No entanto, quando se depararam com pacientes em níveis intermediários de grau de complexidade, a disparidade nas classificações tornou-se evidente. Há de se lembrar que os pacientes na Unidade de Terapia Intensiva são, em sua maioria, de cuidados intensivos ou mesmo semi-intensivos e o instrumento se mostrou sensível para captar esta classificação. Seria necessário, em uma próxima etapa utilizá-lo em outras unidades para se averiguar a sua confiabilidade quando classificando pacientes de cuidados intermediários e mínimos.

De acordo com Polit, Hungler⁽⁹⁾, a confiabilidade de um instrumento está associada à heterogeneidade da amostra. Explicam estas autoras que, quando uma amostra é muito homogênea, ou seja, os membros de uma amostra se assemelham muito uns aos outros, o coeficiente de confiabilidade será mais reduzido, pois se torna difícil para o instrumento discriminar os graus variados do atributo mensurado.

Alguns autores ^(9,16) enumeram alguns fatores que contribuem para os erros de mensuração, entre eles: 1- contaminantes situacionais (presença de um observador, fatores ambientais como temperatura, umidade, iluminação ou hora do dia); 2- tendenciosidade no conjunto das respostas; 3- fatores pessoais transitórios (fadiga, fome, ansiedade, estado de ânimo);4 - variações de administração (alterações nos métodos de coleta de dados de um sujeito para outro); 5- Clareza do instrumento. Diferenças nos resultados entre classificações podem ocorrer, também, quando enfermeiras emitem julgamentos utilizando seus critérios individuais. Esta questão pode ser corrigida quando os indicadores críticos estão bem definidos no instrumento ⁽¹⁷⁾.

Alguns fatores poderiam ter interferido nos resultados do grau de concordância entre as enfermeiras avaliadoras durante a realização desta pesquisa. Dentre eles poderiam ser mencionados o intervalo acentuado nos horários de classificação, que poderia ter captado mudanças no estado de saúde do paciente entre as classificações realizadas; inabilidade das enfermeiras em lidar com o instrumento; diferenças na qualificação das enfermeiras, e conhecimento não aprofundado das condições clínicas do paciente para obtenção de dados legítimos e confiáveis.

Estudo sobre a Concordância de Tipos de Cuidados nos Indicadores Críticos

Com o objetivo de verificar em quais indicadores críticos de cuidados houve maior ou menor grau de concordância, foi realizada uma avaliação entre os escores obtidos pelas enfermeiras para cada um dos indicadores críticos.

É interessante notar que dos 13 indicadores que compõem o instrumento de classificação, os indicadores Estado Mental e Nível de Consciência, Oxigenação, Motilidade, Educação à Saúde e Comunicação foram os que apresentaram maior índice de concordância (Kappa). Isto pode ser explicado pela similaridade de perfil dos pacientes em UTI, sendo facilmente identificáveis no exame físico e entrevista.

Os dados abaixo se referem aos cruzamentos entre as classificações das enfermeiras V, L, R e MS nos indicadores acima citados. São apresentados todos os cruzamentos, dois a dois com os respectivos coeficientes "Kappa".

Iniciou-se com os cruzamentos entre as classificações da enfermeira V com a enfermeira L, da enfermeira V com a enfermeira R, da enfermeira V com a enfermeira MS e, assim, sucessivamente.

Conforme os dados apresentados no quadro 1 foi possível observar que o nível de concordância entre as enfermeiras V, L, R e MS quanto ao indicador Estado Mental e Nível de Consciência variou de 0,72 a 0,89.

Pode-se notar, também, pelos dados deste quadro, que o coeficiente Kappa obtido nas classificações das enfermeiras quanto ao indicador Oxigenação sofre uma variação de 0,84 a 0,94.

A intensidade de concordância das enfermeiras no indicador Motilidade sofre uma variação de 0,52 a 0,90.

Constatamos, ainda, pelos resultados apresentados que a concordância entre as enfermeiras quanto ao indicador Educação à Saúde pode ser considerada entre os valores mínimos de 0,59 e o valor máximo de 0,87 e que o coeficiente de concordância kappa entre as enfermeiras, relativo ao indicador crítico Comunicação varia de 0,56 a 0,84.

CONCLUSÃO

Considerando-se os resultados obtidos nos testes de confiabilidade entre avaliadores a que foi submetido o instrumento de classificação de pacientes de Perroca ⁽⁷⁾, de uma maneira sucinta podemos destacar os seguintes aspectos:

• Grau de concordância nos escores totais obtidos pelas 4 enfermeiras (coeficiente Kappa) variou entre 0,68 (concordância mediana) a 0,90 (concordância excelente );

• A intensidade de concordância com relação a cada categoria de cuidado revelou uma baixa dispersão para a categoria de cuidados intensivos e acentuada dispersão para as categorias de cuidados semi - intensivos e intermediários;

• Os indicadores críticos Estado Mental e Nível de Consciência, Oxigenação, Motilidade, Educação à Saúde e Comunicação foram os que apresentaram maior índice de concordância (Kappa);

Estes dados demonstram evidências suficientes que este instrumento apresenta confiabilidade para ser utilizado na prática gerencial do enfermeiro como instrumento diagnóstico de categoria de cuidado a que o paciente pertence, bem como da carga de trabalho da equipe de enfermagem.

Recebido: 09/05/2001

Aprovado: 31/03/2003

• (1) Alward RR. Patient classification system: the ideal vs. reality. J Nurs Adm 1983; 13(2):14-9.
• (2) De Groot HA. Patient classification system evaluation. Part 1: Essential system elements. J Nurs Adm 1989; 19(6):30-5.
• (3) Van Slyck A. A systems approach to the management of nursing services - Part II: patient classification systems. Nurs Manag 1991; 22(4):23-5.
• (4) Giovannetti P. Understanding patient classification systems. J Nurs Adm 1979; 9(2):4-9.
• (5) Gaidzinski RR. Dimensionamento do pessoal de enfermagem. In: Kurcgant P, coordeadora. Administração emenfermagem. São Paulo: EPU; 1991. p.91-6.
• (6) Wrona-Sexton S. Patient classification systems: another perspective. Nurs Manag 1992; 23(12):38-9.
• (7) Perroca MG. Sistema de classificação de pacientes: construção e validação de um instrumento. [dissertação].São Paulo (SP): Escola de Enfermagem da USP; 1996.
• (8) Perroca MG, Gaidzinski RR. Sistema de classificação de pacientes: construção e validação de um instrumento. Rev Esc Enferm USP 1998; 32(2):153-68.
• (9) Polit DF, Hungler BP. Qualidade dos dados. In: Polit DF, Hungler BP. Fundamentos de esquisa em enfermagem. 3 ed. Porto Alegre: Artes Médicas; 1995. p.223-67.
• (10) Whitney JD, Killien MG. Establishing predictive validity of a patient classification system. Nurs Manag 1987; 18(5):80-6.
• (11)Giovannetti P, Mayer GG. Building confidence in patient classification systems. Nurs Manag 1984; 15(8):31-4.
• (12) Perroca MG, Gaidzinski RR. Instrumento de classificação de pacientes de Perroca: teste de confiabilidade pela concordância entre avaliadores - correlação. Rev Esc Enferm USP 2002; 36(3):245-52.
• (13) Kotz S, Johnson NL. Encyclopedia of statistical sciences. New York: John Wiley & Sons; 1983. v.4, p.352-4.
• (14) Silva EF da, Pereira MG. Avaliação das estruturas de concordância e discordância nos estudos de confiabilidade. Rev Saúde Publ 1998; 32(4):383-93.
• (15) Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics 1977; 33:159-75.
• (16) Waltz C, Bausell RB. Measurement. In: Waltz C, Bausell RB. Nursing research: design, statistics and computer analysis. Philadelphia: F.A. Davis; 1981. p.39-82.
• (17) Williams MA. When you don't develop your own validation methods for patient classification systems. Nurs Manag 1988; 19(3):91-6.

*

Parte da Tese de Doutorado apresentada à EEUSP-SP, 2001.

Datas de Publicação

• Publicação nesta coleção
  04 Dez 2008
• Data do Fascículo
  Mar 2003

Histórico

• Recebido
  09 Maio 2001
• Aceito
  31 Mar 2003