Concordância interobservadores em um checklist de cuidados em terapia nutricional enteral

Concordancia interobservadores en una checklist de cuidados en terapia nutricional enteral

Resumo

Objetivo

Avaliar a concordância interobservadores na aplicação um checklist de cuidados em Terapia Nutricional Enteral (TNE).

Métodos

Estudo de confiabilidade que precedeu um ensaio clínico (NCT03497221), realizado em hospital universitário do sul do Brasil (junho e julho de 2017). Checklist de 25 itens relacionado aos cuidados em TNE foi realizado por uma enfermeira (Padrão de Referência) e por nove Assistentes de Pesquisa (AP). As avaliações foram feitas concomitantemente e de modo independente. A concordância foi testada utilizando-se o Statistical Package for the Social Sciences versão 21.0. Valores de Kappa (k) foram considerados como concordância entre: pobre (0 a 0,19); relativa (0,20 a 0,39); moderada (0,40 a 0,59); substancial (0,60 e 0,79); quase perfeita (0,80 a 0,99); e perfeita (1). O estudo foi aprovado pelo Comitê de Ética da Instituição (nº 16-0534).

Resultados

Foram realizadas 351 observações em duplicata, sendo o menor número de observações foi com a AP 5 (n=35) e o maior com a AP 8 (n=45). Foram avaliados itens relacionados a TNE em três blocos: identificação dos frascos de infusões e bomba de infusão; materiais de apoio para administração da terapia; e cuidados ao paciente em uso de TNE. Houve concordância quase perfeita ou perfeita em todos os pares de observação, com o menor Kappa para AP 6 (k=0,890; IC95%=0.86, 0.92) e o maior para AP 3 (k=0,965; IC95%=0.93, 0.99).

Conclusão

A concordância interobservadores ao aplicar um checklist contendo 25 itens foi excelente, o que minimiza a ocorrência de viés de aferição nas etapas subsequentes.

Terapia nutricional; Nutrição enteral; Lista de checagem; Viés

Resumen

Objetivo

Evaluar la concordancia interobservadores en la aplicación de una checklist de cuidados en terapia nutricional enteral (TNE).

Métodos

Estudio de fiabilidad que precedió un ensayo clínico (NCT03497221), realizado en un hospital universitario de la región Sur de Brasil (junio y julio de 2017). Una checklist de 25 ítems relacionados con los cuidados en TNE fue realizada por una enfermera (Estándar de Referencia) y por nueve Asistentes de Investigación (AI). Las evaluaciones fueron llevadas a cabo simultánea e independientemente. La concordancia se comprobó utilizando el Statistical Package for the Social Sciences versión 21.0. Los valores de Kappa (k) se consideraron como concordancia entre: pobre (0 a 0,19); relativa (0,20 a 0,39); moderada (0,40 a 0,59); considerable (0,60 a 0,79); casi perfecta (0,80 a 0,99); y perfecta (1). El estudio fue aprobado por el Comité de Ética de la institución (n.° 16-0534).

Resultados

Se realizaron 351 observaciones duplicadas, de las cuales el menor número de observaciones fue de la AI 5 (n=35) y el mayor de la AI 8 (n=45). Se evaluaron ítems relacionados con la TNE en tres grupos: identificación de los frascos de infusiones y bomba de infusión, material de apoyo para la administración de la terapia y cuidados del paciente en uso de TNE. Se observó concordancia casi perfecta o perfecta en todos los pares de observación, con el menor Kappa de la AI 6 (k=0,890; IC95 %=0.86, 0.92) y el mayor de la AI 3 (k=0,965; IC95 %=0.93, 0.99).

Conclusión

La concordancia interobservadores al aplicar una checklist de 25 ítems fue excelente, lo que minimiza la ocurrencia de sesgo de medición en las etapas subsiguientes.

Terapia nutricional; Nutrición enteral; Lista de verificación; Sesgo

Abstract

Objective

To assess interobserver agreement in the application of a checklist of care in enteral nutritional therapy (ENT).

Methods

This is a reliability study that preceded a clinical trial (NCT03497221), carried out at a university hospital in southern Brazil (June and July 2017). A checklist of 25 items related to care in ENT was performed by a nurse (reference standard) and nine research assistants (RA). Assessments were carried out concurrently and independently. Agreement was tested using the Statistical Package for the Social Sciences, version 21.0. Kappa values (k) were considered as poor (0 to 0.19), relative (0.20 to 0.39), moderate (0.40 to 0.59), substantial (0.60 and 0.79), almost perfect (0.80 to 0.99), and perfect (1). The study was approved by an Institutional Review Board (number 16-0534).

Results

Three hundred fifty-one observations were made in duplicate; the lowest number of observations was with RA, 5 (n = 35) and the highest with RA, 8 (n = 45). Items related to ENT were assessed in three blocks: identification of infusion bottles and infusion pump; support materials for administering the therapy; care for patients using ENT. There was almost perfect or perfect agreement in all observation pairs, with lowest Kappa for RA 6 (k = 0.890; 95% CI = 0.86, 0.92) and the highest for RA 3 (k = 0.965; 95% CI = 0.93, 0.99).

Conclusion

Interobserver agreement, when applying a checklist containing 25 items, was excellent, which minimizes the occurrence of measurement bias in subsequent steps.

Nutrition therapy; Enteral nutrition; Checklist; Bias

Introdução

Em estudos clínicos, a confiabilidade na aplicação de instrumentos é influenciada pela variabilidade dos sujeitos. Para minimizar possíveis vieses de aferição, devido esta variedade, é aplicada a avaliação da concordância, que pode ser para o mesmo indivíduo ou fenômeno, por avaliadores, em tempos ou por instrumentos diferentes ou pelo conjunto dessas situações, afim de que os resultados obtidos sejam mais pariformes.(¹) Para isso, deve-se tomar medidas a fim de minimizar a ocorrência de vieses e garantir a confiabilidade dos dados, dentre os quais, os relacionados à aferição das variáveis do estudo estão a calibração de equipamentos, a padronização de métodos e a capacitação e certificação da equipe.(²)

O método de concordância interobservadores foi aplicado em alguns estudos que utilizaram a avaliação clínica dos sujeitos(³,⁴) ou a análise por imagens de exames diagnósticos, sejam eles, ultrassonografia, ressonância magnética (RM), tomografia computadorizada (TC) e/ou radiografia (RX), na identificação de nódulos, massas, tumores e fraturas, com diferença de grau de experiência dos avaliadores.(⁵–⁸) Ainda considerando-se a concordância por meio de imagens, há também alguns estudos que utilizam recursos visuais tanto ao olho nu quanto telescopicamente na avaliação do grau de lesões por pressão ou para quantificar a evolução da decomposição de cadáveres.(⁹,¹⁰) Corroborando com a importância da aplicação destes estudos em diferentes áreas, um estudo afirma que a avaliação interobservadores foi fundamental para garantir a qualidade do processo, assim como a prática deve ser rotina em estudos para a devida transparência na condução da pesquisa.(¹¹)

Entretanto, sabe-se que estes estudos ainda são mais disseminados na área médica, sendo pioneiros no âmbito da enfermagem e infrequentes no que se refere mais especificamente em Terapia Nutricional Enteral (TNE).(¹²-¹⁷) Entende-se como de suma importância que equipes multiprofissionais de saúde também desenvolvam e divulguem estudos de concordância, a fim de auxiliar pesquisadores em seus estudos clínicos como uma ferramenta para assegurar a confiabilidade e reprodutibilidade dos dados obtidos.(¹⁸) Dessa forma, justifica-se a avaliação da concordância como forma de garantir a “calibração” daqueles que avaliam as variáveis independentes e dependentes em questão.(²)

Além da questão metodológica, estudos de concordância podem ser a base para implantação de protocolos assistenciais que auxiliem profissionais na área da saúde a atuarem de forma mais segura na assistência prestada ao paciente e sabe-se que para a aplicação de instrumentos, a avaliação da concordância interobservadores é uma etapa que permite estabelecer sua reprodutibilidade.(¹⁹)A nível de TNE, apesar de saber-se que o uso de protocolos adequados são preconizados para promover a recuperação mais rápida e segura do paciente(²⁰) o desenvolvimento de estudos são escassos nesse domínio, permanecendo mais à nível de avaliação de inquéritos alimentares, medidas antropométricas e confiabilidade de testes que confirmam o posicionamento da sonda.(⁸,²¹)

Sendo assim, o objetivo do presente estudo, como etapa que precedeu um ensaio clínico, foi avaliar a concordância interobservadores na aplicação um checklist de cuidados em TNE de adultos hospitalizados em uso de Sonda Nasoenteral (SNE).

Métodos

Trata-se de um estudo de confiabilidade que ocorreu em um hospital universitário e de alta complexidade da região Sul do Brasil. É uma etapa preliminar de um ensaio clínico aprovado pelo Comitê de Ética da Instituição (nº16-0534) e registrado no Clinical Trials (NCT03497221).

Em junho e julho de 2017, foram avaliados adultos (idade igual ou superior a 18 anos) em uso de SNE de quatro unidades de internação (duas clínicas e duas cirúrgicas), excetuando-se os confusos e/ou desorientados que estavam sem um acompanhante responsável, dos quais não foi possível a obtenção do termo de consentimento. A identificação dos pacientes em uso de dieta por SNE ocorreu por meio do mapa de dietas da Central de Alimentação Enteral, que consiste de uma lista de todos os usuários de dieta enteral do hospital, que é gerada a partir do sistema de informações da instituição que integra as prescrições médica e da nutricionista.

Todas avaliações foram realizadas por dois avaliadores concomitantemente, que foram realizadas por uma enfermeira (padrão de referência), trabalhadora no hospital e aluna do curso de doutorado, enquanto a avaliação procedida por cada um dos nove acadêmicos do curso de graduação em enfermagem foi considerada como “avaliação em teste”, ou seja, testada como concordante ou não em relação a avaliação realizada pela enfermeira referência.

Antes da etapa da concordância, previu-se uma capacitação prévia dos Assistentes de Pesquisa (AP), a fim de padronizar a coleta de dados. Estes foram diretamente treinados e supervisionados pela enfermeira responsável do estudo, por um período de três meses antes do início da etapa da concordância. O treinamento era realizado a beira do leito com o mesmo checklist que foi aplicado ao estudo maior e teve como objetivo padronizar: (a) o convite aos pacientes e a obtenção do consentimento; (b) a coleta de dados; (c) a avaliação e monitorização das variáveis do estudo; (d) os registros nos formulários de pesquisa. Foram elaborados manuais de orientação, que permaneceram disponíveis para consulta da equipe de coleta de dados durante todo o período do treinamento e após. Esses manuais tinham a finalidade de padronizar a coleta e o preenchimento das variáveis do instrumento.

Escolheu-se capacitar acadêmicos de enfermagem a partir do 5º até o 8º semestre do curso, já que todos tinham passado por estágios práticos no hospital e por ser se tratar de uma coleta exclusivamente operacional. Nessa primeira etapa de concordância, consideramos que o que estava em teste era a padronização da coleta de dados, a fim de não alterar os resultados obtidos posteriormente à intervenção realizada no ensaio clínico. A seleção destes alunos se deu, a partir da divulgação nas universidades locais da oportunidade de participação como bolsista voluntário vinculado ao projeto maior, com posterior análise de currículo e entrevista.

A observação dos cuidados a pacientes em uso de SNE consistiu na aplicação de um checklist contendo 25 itens, embasado nos Protocolos Operacionais Padrão (POPs) de cuidados em TNE da instituição, que seguem as diretrizes da Resolução 63/2000, especialmente ao que se refere ao roteiro de inspeção para atividades de administração em TNE, para os quais haviam três possibilidades de resposta: (1) cumpriu, (2) não cumpriu e (3) não se aplica (quando não era de possível observação). Os conjuntos das variáveis do checklist, utilizadas para a avaliação da concordância interobservadores, foram divididas em três categorias: a) infusões (dietas e águas) e bomba de infusão; b) materiais de apoio na administração de terapia nutricional; c) cuidados com o paciente a beira do leito.(²²)

Todas as avaliações ocorreram de modo independente, em momentos subsequentes, e os pacientes e seus acompanhantes foram orientados a não emitir comentários durante as avaliações, a fim de assegurar o cegamento dos avaliadores para a avaliação oposta. Os dados foram coletados por um formulário composto pelo checklist à beira do leito, por meio de celulares conectados à Internet, através de um instrumento elaborado no Google Forms®. Estes dados foram transferidos automaticamente para uma planilha do Google Sheets®, e posteriormente exportados para uma planilha do Microsoft Excel®, onde foram tratados e codificados pela enfermeira responsável do estudo, a fim de posterior análise estatística.

A concordância entre os avaliadores foi testada mediante a obtenção do Coeficiente Kappa (k) e seus intervalos de confiança (95%). O “k” foi calculado comparando-se avaliações procedidas pela enfermeira “padrão de referência” às demais, coletadas por nove AP. Valores de Kappa (k) foram considerados como concordância: pobre (entre 0 e 0,19); relativa (0,20 a 0,39); moderada (0,40 a 0,59); substancial (0,60 e 0,79); quase perfeita (0,80 a 0,99); e perfeita (igual à 1).(²⁰) Para análise dos dados utilizou-se o programa estatístico Statistical Package for the Social Sciences – SPSS® versão 21.0. Adicionalmente, para a análise de concordância (Kappa e IC 95%) foram utilizados os softwares WinPEPI4® e Single Case Research®.

As considerações éticas foram respeitadas, aplicando-se os Termos de Consentimento Livre e Esclarecido a todos os sujeitos e o Termo de Compromisso para a Utilização de Dados foi assinado por todos os pesquisadores e assistentes de pesquisa.(²³)

Resultados

O Coeficiente Kappa (k) foi calculado comparando-se avaliações procedidas pela enfermeira autora da presente tese (“padrão de referência”) às coletadas por nove Assistentes de Pesquisa (AP). Um total de 351 observações foram realizadas em duplicata, sendo que o menor número ocorreu com a AP 5 (n=35) e o maior com a AP 8 (n=45). A concordância entre observadores foi quase perfeita entre todos os pares, mostrando-se melhor com a AP 3 (k= 0,965) e um pouco pior com a AP 6 (k = 0,890), conforme quadro 1. Dessa forma, através da análise dos dados contatou-se que o treinamento inicial tenha sido efetivo. No entanto, para identificar se havia alguma discrepância especificamente, foram avaliados todos itens individualmente e quando a concordância era muito díspar, retomou-se com cada AP especificamente os itens em que houve menor concordância.

Quadro 1
Concordância entre a enfermeira (padrão referência) e as nove assistentes de pesquisa (AP) nos itens de verificação do checklist referentes à identificação dos frascos de infusões (dietas e águas) e à bomba de infusão usadas em terapia nutricional enteral (TNE). Dados expressos pelo valor do coeficiente de Kappa (k) e seu Intervalo de Confiança (IC) de 95%

Itens do checklist	AP 1 n=38 k (IC): 0,89 (0,86– 0,92)	AP 2 n=38 k (IC): 0,91 (0,86– 0,92)	AP 3 n=42 k (IC): 0,96 (0,93– 0,99)	AP 4 n=41 k (IC): 0,95 (0,92– 0,97)	AP 5 n=35 k (IC): 0,93 (0,90– 0,96)	AP 6 n=41 k (IC): 0,89 (0,86– 0,92)	AP 7 n=39 k (IC): 0,94 (0,92–0,97)	AP 8 n=45 k (IC): 0,94 (0,92– 0,97)	AP 9 n=38 k (IC): 0,94 (0,92– 0,98)
Identificação do frasco da dieta enteral sendo administrado
Igual ao da pulseira do paciente	0,79 (0,69– 0,99)	0,89 (0,77– 1*)	0,73 (0,66– 0,93)	1,00 (0,85– 1*)	0,94 (0,81– 1*)	1,00 (0,85– 1*)	0,94 (0,81– 1*)	0,95 (0,82– 1*)	0,94 (0,81– 1*)
Na validade (até 3h)	1,00 (0,85– 1*)	0,91 (0,77– 1*)	0,89 (0,75– 1*)	0,91 (0,78– 1*)	0,94 (0,81– 1*)	1,00 (0,85– 1*)	0,95 (0,81– 1*)	0,96 (0.82– 1*)	0,95 (0.81– 1*)
Identificação do frasco de água para higienização de utensílios e SNE
Igual ao da pulseira do paciente	0,81 (0,77– 1*)	1,00 (0,85– 1*)	0,80 (0,60– 0,89)	1,00 (0,85– 1*)	0,95 (0,77– 1*)	1,00 (0,85– 1*)	1,00 (0,85– 1*)	1,00 (0,86– 1*)	1,00 (0,85– 1*)
Na validade (24h)	0,94 (0,81– 1*)	1,00 (0,85– 1*)	1,00 (0,85– 1*)	1,00 (0,85– 1*)	0,91 (0,77– 1*)	0,95 (0,81– 1*)	1,00 (0,85– 1*)	1,00 (0,86– 1*)	1,00 (0,85– 1*)
Identificação do frasco de água para hidratação
Igual ao da pulseira do paciente	1,00 (0,85–1*)	1,00 (0,85– 1*)	0,25 (0,7– 0,46)	1,00 (0,85– 1*)	0,90 (0,77– 1*)	0,94 (0,81– 1*)	1,00 (0,85– 1*)	1,00 (0,86– 1*)	1,00 (0,85– 1*)
Na validade (24h)	1,00 (0,85– 1*)	1,00 (0,85– 1*)	0,94 (0,82– 1*)	1,00 (0,85– 1*)	0,89 (0,77– 1*)	0,85 (0,74– 1*)	1,00 (0,85– 1*)	1,00 (0,86– 1*)	1,00 (0,85– 1*)
Identificação da bomba de infusão utilizada para TNE
Sem sujidade	0,93 (0,81– 1*)	0,82 (0,77– 1*)	0,92 (0,75– 1*)	0,86 (0,78– 1*)	0,87 (0,77– 1*)	0,74 (0,78– 1*)	0,92 (0,81– 1*)	0,87 (0,79– 1*)	0,91 (0,81– 1*)

• AP - Assistente de Pesquisa; k - Coeficiente Kappa - de 0 a 0,19 = concordância pobre, de 0,20-0,39 = concordância relativa, de 0,40-0,59 = concordância moderada, 0,60-0,79 = concordância substancial, 0,80-0,99 = concordância quase perfeita, e 1,00 = concordância perfeita; IC - Intervalo de Confiança (*valores de Intervalo de confiança matematicamente calculados > 1, considerados = 1)

Ao se avaliar a concordância entre observadoras em cada um dos itens do checklist relacionados à identificação dos frascos de infusões (dieta e água), e ao uso de bomba de infusão, verificou-se que foi quase perfeita entre todos os pares de observações. No que se refere às observações que avaliaram a identificação do paciente ou a validade dos frascos das dietas e águas, a concordância entre os pares foi perfeita ou quase perfeita. Já no item que avaliou a sujidade da bomba de infusão, que estava mais sujeito a subjetividade, a avaliação da concordância foi predominantemente substancial (Quadro 1).

A concordância entre observadores na avaliação dos itens relacionados às condições (presença de sujidade, identificação e validade) dos materiais e dispositivos (equipos de dieta, seringas de dieta e copos plásticos descartáveis) utilizados para a administração e manutenção de TNE mostrou-se perfeita ou quase perfeita para a maioria dos itens avaliados. Excetuam-se alguns itens isolados de verificação, como por exemplo a concordância entre a AP1 no item proteção do equipo de dieta com tampa enquanto este não estava sendo utilizado, o que demonstra concordância baixa de forma isolada. Isto se repete com uma ou outra avaliadora em itens específicos, sugerindo erros não sistemáticos de interpretação (Quadro 2).

Quadro 2
Concordância entre a enfermeira (padrão referência) e as nove assistentes de pesquisa (AP) nos itens de verificação do checklist referentes os materiais de apoio na administração de terapia nutricional enteral (TNE). Dados expressos pelo valor do coeficiente de Kappa (k) e seu Intervalo de Confiança (IC) 95%

Itens do checklist	AP 1 n=38 k (IC): 0,89 (0,86– 0,92)	AP 2 n=38 k (IC): 0,91 (0,86– 0,92)	AP 3 n=42 k (IC): 0,96 (0,93– 0,99)	AP 4 n=41 k (IC): 0,95 (0,92– 0,97)	AP 5 n=35 k (IC): 0,93 (0,90– 0,96)	AP 6 n=41 k (IC): 0,89 (0,86– 0,92)	AP 7 n=39 k (IC): 0,94 (0,92–0,97)	AP 8 n=45 k (IC): 0,94 (0,92– 0,97)	AP 9 n=38 k (IC): 0,94 (0,92– 0,98)
Identificação do equipo utilizado para administração de TNE (azul)
À beira do leito	1,00 (0,85– 1*)	1,00 (0,85– 1*)	0,73 (0,66– 0,93)	1,00 (0,85– 1*)	1,00 (0,85– 1*)	0,84 (0,70– 0,99)	1,00 (0,85– 1*)	1,00 (0,86– 1*)	1,00 (0,85– 1*)
Na validade (24h)	0,88 (0,77–1*)	0,90 (0,77– 1*)	0,93 (0,78– 1*)	0,89 (0,78– 1*)	1,00 (0,85– 1*)	0,94 (0,81, 1*)	0,93 (0,81– 1*)	0,94 (0,82– 1*)	1,00 (0,85– 1*)
Sem sujidade de dieta	0,95 (0,81–1*)	0,80 (0,69– 0,99)	0,94 (0,67– 0,96)	0,96 (0,81– 1*)	0,95 (0,77– 1*)	0,65 (0,52– 0,81)	0,67 (0,54– 0,84)	0,96 (0,82– 1*)	0,90 (0,77– 1*)
Identificação da ponta do equipo azul para TNE protegido com tampa
Quando não estiver infundindo a dieta	0,57 (0,45–0,75)	0,76 (0,69– 0,99)	1,00 (0,67– 0,96)	0,87 (0,78– 1*)	0,94 (0,81– 1*)	0,93 (0,90– 0,96)	1,00 (0,85– 1*)	0,94 (0,82– 1*)	1,00 (0,85– 1*)
Identificação da seringa utilizada para TNE (Oralpak®)
À beira do leito	1,00 (0,85–1*)	1,00 (0,85– 1*)	1,00 (0,85– 1*)	1,00 (0,85– 1*)	1,00 (0,85– 1*)	1,00 (0,85– 1*)	0,94 (0,81– 1*)	1,00 (0,86– 1*)	1,00 (0,85– 1*)
Na validade (6h)	1,00 (0,85–1*)	0,86 (0,77– 1*)	0,90 (0,78– 1*)	0,94 (0,81– 1*)	0,89 (0,77– 1*)	0,94 (0,81– 1*)	0,87 (0,73– 1*)	1,00 (0,86– 1*)	0,93 (0,90– 0,96)
Limpa e sem resíduos	0,90 (0,77–1*)	0,90 (0,77– 1*)	1,00 (0,75– 1*)	0,79 (0,67– 0,96)	0,91 (0,77– 1*)	0,66 (0,56– 0,85)	0,96 (0,81– 1*)	0,96 (0,82– 1*)	1,00 (0,85– 1*)
Rotulada (nome e nº prontuário)	0,95 (0,81–1*)	1,00 (0,85– 1*)	0,95 (0,78– 1*)	0,96 (0,81– 1*)	0,85 (0,70– 0,99)	0,92 (0,78– 1*)	0,96 (0,81– 1*)	1,00 (0,86– 1*)	1,00 (0,85– 1*)
Rotulada (leito, data e turno)	0,87 (0,77–1*)	0,94 (0,81– 1*)	1,00 (0,75– 1*)	0,94 (0,81– 1*)	0,78 (0,70– 0,99)	0,95 (0,81– 1*)	0,95 (0,81– 1*)	0,95 (0,82– 1*)	1,00 (0,85– 1*)
Identificação do copo plástico utilizado para higienização de dispositivos usados em TNE
Na validade (6h)	0,94 (0,81–1*)	0,89 (0,77– 1*)	1,00 (0,82– 1*)	1,00 (0,85– 1*)	1,00 (0,85– 1*)	0,95 (0,74– 1*)	1,00 (0,85– 1*)	1,00 (0,86– 1*)	0,94 (0,81– 1*)
Limpo e sem resíduos	0,81 (0,73–1*)	0,91 (0,77– 1*)	0,94 (0,77– 1*)	0,95 (0,81– 1*)	1,00 (0,85– 1*)	0,95 (0,81– 1*)	0,90 (0,77– 1*)	0,95 (0,82– 1*)	0,95 (0,81– 1*)
Seco	0,82 (0,69–0,99)	0,90 (0,77– 1*)	1,00 (0,78– 1*)	0,89 (0,74– 1*)	0,95 (0,81– 1*)	0,88 (0,74– 1*)	1,00 (0,85– 1*)	0,96 (0,82– 1*)	0,90 (0,77– 1*)

• AP - Assistente de Pesquisa; k - Coeficiente Kappa - de 0 a 0,19 = concordância pobre, de 0,20-0,39 = concordância relativa, de 0,40-0,59 = concordância moderada, 0,60-0,79 = concordância substancial, 0,80-0,99 = concordância quase perfeita, e 1,00 = concordância perfeita; IC - Intervalo de Confiança (*valores de Intervalo de confiança matematicamente calculados > 1, considerados = 1

Ao se avaliar a concordância entre observadoras sobre os itens referentes aos cuidados diretos com o paciente (condições da fixação da SNE e posição da cabeceira para administração da TNE), houve concordância perfeita ou quase perfeita somente para o item mais objetivo, que avaliava a data de fixação da sonda. Entretanto, no que se refere a avaliação de itens mais subjetivos, como presença de sujidade, oleosidade, tracionamento ou descolamento da fixação, com ressalva para algumas AP que tiveram concordância perfeita ou quase perfeita para alguns desses itens, a comparação na maioria dos casos foi fraca, relativa ou moderada (Quadro 3).

Quadro 3
Concordância entre a enfermeira (padrão referência) e as nove assistentes de pesquisa (AP) nos itens de verificação do checklist referentes aos cuidados com o paciente a beira do leito com terapia nutricional enteral (TNE). Dados expressos pelo valor do coeficiente de Kappa (k) e seu Intervalo de Confiança (IC) 95%

Itens do checklist	AP 1 n=38 k (IC): 0,89 (0,86– 0,92)	AP 2 n=38 k (IC): 0,91 (0,86– 0,92)	AP 3 n=42 k (IC): 0,96 (0,93– 0,99)	AP 4 n=41 k (IC): 0,95 (0,92– 0,97)	AP 5 n=35 k (IC): 0,93 (0,90– 0,96)	AP 6 n=41 k (IC): 0,89 (0,86– 0,92)	AP 7 n=39 k (IC): 0,94 (0,92–0,97)	AP 8 n=45 k (IC): 0,94 (0,92– 0,97)	AP 9 n=38 k (IC): 0,94 (0,92– 0,98)
Observação e identificação da fixação da SNE relacionado à conservação e validade
Limpa	0,76 (0,69– 0,99)	0,64 (0,77– 1*)	0,80 (0,60– 0,89)	0,87 (0,81– 1*)	1,00 (0,85– 1*)	0,45 (0,70– 0,99)	0,89 (0,81– 1*)	0,73 (0,66– 0,93)	0,28 (0,69– 0,99)
Sem oleosidade	0,69 (0,65– 0,95)	0,63 (0,57– 0,87)	0,81 (0,75– 1*)	0,57 (0,63– 0,92)	0,53 (0,47– 0,77)	0,20 (0,44– 0,72)	0,63 (0,58– 0,87)	0,61 (0,56– 0,83)	0,68 (0,61– 0,91)
Não descolada	0,27 (0,57– 0,87)	0,47 (0,61– 0,91)	1,00 (0,82– 1*)	0,84 (0,78– 1*)	0,87 (0,81– 1*)	0,41 (0,63– 0,92)	0,87 (0,81– 1*)	0,85 (0,79– 1*)	0,47 (0,61– 0,91)
Não tracionada	0,72 (0,77– 1*)	0,16 (0,61– 0,91)	1,00 (0,82– 1*)	0,65 (0,81– 1*)	0,70 (0,74– 1*)	0,74 (0,78– 1*)	0,65 (0,81– 1*)	0,41 (0,62– 0,90)	0,44 (0,69– 0,99)
Datada (até 24h anteriores)	1,00 (0,85– 1*)	1,00 (0,85– 1*)	1,00 (0,82– 1*)	0,94 (0,81– 1*)	1,00 (0,85– 1*)	0,78 (0,70– 0,99)	0,94 (0,81– 1*)	1,00 (0,86– 1*)	1,00 (0,85– 1*)
Observação e identificação da cabeceira elevada do leito do paciente = ou > 30º
Na administração de dieta/água pela SNE	0,42 (0,37– 0,67)	0,94 (0,81– 1*)	0,89 (0,64– 0,92)	0,90 (0,78– 1*)	0,83 (0,70– 0,99)	0,76 (0,67– 0,96)	0,85 (0,73– 1*)	0,86 (0,78– 1*)	0,94 (0,81– 1*)

• AP - Assistente de Pesquisa; k - Coeficiente Kappa - de 0 a 0,19 = concordância pobre, de 0,20-0,39 = concordância relativa, de 0,40-0,59 = concordância moderada, 0,60-0,79 = concordância substancial, 0,80-0,99 = concordância quase perfeita, e 1,00 = concordância perfeita; IC - Intervalo de Confiança (*valores de Intervalo de confiança matematicamente calculados > 1, considerados = 1)

Discussão

A concordância interobservadores em um checklist de cuidados em terapia nutricional enteral, sendo realizada por um enfermeiro referência e nove assistentes de pesquisa, de forma geral, demonstrou excelente concordância. Ressalta-se que as observações objetivas entre os pares foram perfeitas ou quase perfeitas. Em alguns itens isolados, especialmente os de maior subjetividade, essa concordância foi de menor força. Um estudo de confiabilidade realizado no Brasil, com o objetivo de analisar o uso do Sistema de Triagem de Manchester, mensurou a concordância com a aplicação de casos clínicos para enfermeiros. Eles foram previamente treinados, assim como ocorreu no presente estudo e foram considerados aptos para participar os enfermeiros que realizaram avaliação teórica com aproveitamento de 60% ou mais. A confiabilidade variou de moderada a substancial, com valores de Kappa, entre 0,55 e 0,72 (p <0,001) e entre 0,57 e 0,78 (p <0,05).(²⁴)Ressalta-se que o nosso estudo possuiu maiores níveis de concordância quando comparado a este; entretanto, há discrepância nesta comparação a despeito da temática. Necessita-se de mais estudos, de valor metodológico, voltados a enfermeiros, assim como à terapia nutricional enteral para melhorar futuras pesquisas no âmbito da enfermagem e consequentemente melhores práticas clínicas.

A capacitação prévia dos assistentes de pesquisa, de diferentes níveis de formação profissional, foi importante na obtenção da excelente concordância encontrada, especialmente considerando-se a inexperiência clínica ou relacionada aos cuidados instituídos no protocolo operacional padrão da instituição em que ocorreu o estudo. Ratificando isso, um estudo, com o objetivo de determinar o nível de concordância interobservadores na classificação de nódulos mamários por ultrassonografia, constatou que o nível de concordância foi maior entre os radiologistas mais experientes. A concordância foi realizada por três radiologistas com diferentes graus de experiência em imagem de mama (15 anos, oito anos e dois anos), sendo a concordância de regular a excelente (ICC=0,9503).(⁵) Outro estudo corrobora com esse achado sobre experiência profissional, visto que há maior concordância entre enfermeiros com mais experiência clínica (mesmo após treinamento), sendo significativo (<0,001) (Kappa=0,51 para menos de um ano de experiência versus Kappa=0,58 para mais de 10 anos de experiência).(²⁴)

Outro estudo, com o objetivo de avaliar a demanda de treinamento e número de repetições necessárias na realização de alguns exames de imagens para obter maior concordância interobservadores (Kappa>0,80), foi realizado com 22 estagiários de medicina e um avaliador padrão de referência. O índice de Kappa alcançado no segundo estágio do treinamento foi de k=0,80 para ecografias de carótida, k=0,39 vertebral e k=0,54 para dopller transcraniano, o que permite concluir que um treinamento fixo não garante elevada concordância interobservadores.(²⁵)Ainda que todos os auxiliares de pesquisa do presente estudo tenham recebido a mesma capacitação e supervisão antes da avaliação em duplicata, observou-se leve diferenças de desempenhos. Para alguns, a concordância comparada ao padrão referência foi perfeita, enquanto outros apresentaram mais discordâncias, em alguns itens. Isso sugere que outras condições, além da capacitação, como a subjetividade envolvida em alguns itens do checklist, possam afetar o desempenho de observadores.

São raros os estudos que avaliam a concordância interobservadores sob a perspectiva da segurança do paciente em uso de nutrição enteral. A exemplo do presente estudo que aborda essa temática, uma pesquisa avaliou a concordância entre o emprego do teste de ausculta e o raio-X na detecção do posicionamento da sonda enteral. Duas enfermeiras realizavam a ausculta e emitiam opinião sobre o posicionamento anatômico da sonda. Houve fraca concordância entre as enfermeiras (PABAK=0,054; p=0,103). Além disso, a concordância entre os métodos (ausculta e raio-X) também foi muito fraca, para ambas enfermeiras (PABAK=0,188; p=0,111 e PABAK=0,128; p=0,107).(⁸) De fato, na área da TNE, faz-se necessário realizar estudos que permitam compreender os pontos de concordância e divergência envolvendo a avaliação e as práticas de enfermeiros e técnicos de enfermagem na assistência a esses pacientes.

Observa-se que houve maior concordância interobservadores no presente estudo quando o dado observado tinha menor subjetividade, como por exemplo a data de validade de algum item, já quando o dado demandava certa interpretação, observou-se menor concordância, como quando avaliada a sujidade de algum dispositivo. Assim como em nosso estudo, que utilizou a observação a beira do leito de pacientes, outro avaliou a concordância interobservadores na observação clínica de epilepsia focal e generalizada de 512 pacientes e encontrou Kappa 0,91 (p <0,0001), o que identifica elevada concordância. Diferente do nosso estudo, a observação clínica foi considerada confiável interobservadores, utilizando apenas a avaliação da epilepsia de acordo com a imagem fornecida em vídeo. Isto demonstra que quando os conceitos estão bem definidos para o observador sobre o item avaliado, como o que é considerada epilepsia generalizada e focal, a concordância interobservadores pode ser maior, mesmo sendo um item que demande certa interpretação.(³)

Ainda no quesito de segurança, destacamos que a observação e avaliação da fixação da sonda, mesmo que em itens isolados, tiveram casos de concordância baixa ou muito baixa. A literatura demonstra a importância dessa avaliação apurada pelo profissional da saúde que presta cuidados ao paciente que faz uso de SNE, visto que uma fixação adequada pode evitar uma tração acidental da sonda.(¹⁹) Considera-se uma importante colocação neste estudo, para algumas avaliações do que era considerado um bom estado da fixação era muito subjetivo para as distintas avaliadoras.

Conclusão

Sugere-se que a elevada concordância interobservadores encontrada neste estudo apresentou relação com a capacitação prévia como metodologia aplicada para minimizar possíveis vieses, sucedendo maior rigor metodológico e maior fidedignidade dos resultados obtidos. Neste sentido, há a recomendação de que seja avaliada a concordância entre os diferentes observadores envolvidos em coletas de dados, especialmente em estudos clínicos, a fim de minimizar vieses. Estimula-se que essa seja uma etapa que preceda a coleta de dados de mais estudos deste tipo, em especial pela enfermagem, com vistas a buscar maior fidedignidade dos dados obtidos e maior credibilidade de estudos nessa área. A despeito de os assistentes de pesquisa apresentarem-se em diferentes etapas da formação, a padronização foi capaz de garantir a qualidade do dado coletado na pesquisa clínica. Recomenda-se especial atenção na obtenção de concordância entre observadores em presença de variáveis sujeitas a interpretação e valores pessoais (subjetividade).

Agradecimentos

Á Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES), com bolsa de estudos pelo Programa de Doutorado Sanduíche no Exterior (PDSE), Brasília, DF – Brasil; Grupo de Pesquisa e Pós-Graduação (GPPG) do Hospital de Clínicas de Porto Alegre (HCPA), Porto Alegre, RS – Brasil; Fundo de Incentivo à Pesquisa (FIPE) do HCPA, Porto Alegre, RS – Brasil; Membros do grupo de pesquisa Nursing Care Study Group (NUCAS) , Porto Alegre, RS – Brasil.

Referências

• ¹
  Bland JM, Altman DG. Statistical methods for assessing agreement between two methods of clinical measurement. Lancet. 1986;1(8476):307-10.
• ²
  Souza AC, Alexandre NM, Guirardello EB. Psychometric properties in instruments evaluation of reliability and validity. Epidemiol Serv Saude. 2017;26(3):649–59.
• ³
  Kumar S, Singh MB, Shukla G, Vishnubhatla S, Srivastava MV, Goyal V, et al. Effective clinical classification of chronic epilepsy into focal and generalized: A cross sectional study. Seizure. 2017;53(5): 81–8.
• ⁴
  Nielsen LG, Folkestad L, Brodersen JB, Brabrand M. Inter-observer agreement in measuring respiratory rate. PLoS One. 2015;10(6):e0129493.
• ⁵
  Fleury EF, Marcomini K. Breast elastography: diagnostic performance of computer-aided diagnosis software and interobserver agreement. Radiol Bras. 2020;53(1):27-33.
• ⁶
  Greer MD, Brown AM, Shih JH, Summers RM, Marko J, Law YM, et al. Accuracy and agreement of PIRADSv2 for prostate cancer mpMRI: a multireader study. J Magn Reson Imaging. 2017;45(2):579–85.
• ⁷
  Stirma GA, Secundino AR, Gonzalez GF, Sola WC, de Souza GA, Dau L. Inter/intra-observer evaluation between radiographs and tomographies for proximal humerus fracture. Acta Ortop Bras. 2020;28(1):36-9.
• ⁸
  Beghetto MG, Anziliero F, Leães DM, de Mello ED. Feeding tube placement: auscultatory method and x-ray agreement. Rev Gaúcha Enferm. 2015;36(4):98–103.
• ⁹
  Cortés OL, Alvarado PA, Rojas YA, Salazar LD, Acuña X, Esparza M. Digital Photography: a Tool for Nursing on the Assessment of Pressure Lesions. Invest Educ Enferm. 2018;36(2):e07.
• ¹⁰
  Dabbs GR, Connor M, Bytheway JA. Interobserver Reliability of the Total Body Score System for Quantifying Human Decomposition. J Forensic Sci. 2016;61(2):445–51.
• ¹¹
  Girianelli VR, Tomazelli JG, Nogueira MC, Corrêa CS, Souza EO, Gabrielli L, et al. Interobserver reliability in the classification of pairs of records formed by probabilistic linkage of SISMAMA databases. Rev Bras Epidemiol. 2019;22:e190045.
• ¹²
  Stuchi DP, Rossato J, Bocaccio FJ, Procianoy F. Intra- and interobserver reliability of a modified distraction test based on digital images to assess lower eyelid horizontal tension. Arq Bras Oftalmol. 2020;83(2):127-31.
• ¹³
  Tammaa A, Fritzer N, Lozano P, Krell A, Salzer H, Salama M, et al. Interobserver agreement and accuracy of non-invasive diagnosis of endometriosis by transvaginal sonography. Ultrasound Obstet Gynecol. 2015;46(6):737–40.
• ¹⁴
  Casas M, Vergara M, Brullet E, Junquera F, Bauer EM, Miquel M, et al. Concordancia inter e intraobservador en el diagnóstico de la gastropatía por hipertensión portal. Rev Esp Enferm Dig. 2018;110(3):166–71.
• ¹⁵
  Almeida VA, Fernandes CH, dos Santos JB, Schwarz-Fernandes FA, Faloppa F, Albertoni WM. Evaluation of interobserver agreement in Albertoni’s classification for mallet finger. Rev Bras Ortop. 2018;53(1):2–9.
• ¹⁶
  Lima MA, Pagliuca LM, Nascimento JC, Caetano JÁ. Comparing Interrater reliability between eye examination and eye self-examination 1. Rev Lat Am Enfermagem. 2017;25:e2966.
• ¹⁷
  Alves GR, Malaquias SG, Bachion MM. Pressure Ulcer Scale for Healing (PUSH): confiabilidade interobservadores na avaliação de úlceras venosas. Rev Eletr Enf. 2018;20(20):a33.
• ¹⁸
  Silva AF, Velo MM, Pereira AC. Importância da reprodutibilidade dos métodos para diagnóstico em odontologia. RFO UFP. 2016;21(1):115–20.
• ¹⁹
  Instituto de estudos de saúde suplementar (IESS). Erros acontecem: a força da transparência para o enfrentamento dos eventos adversos assistenciais em pacientes hospitalizados. Belo Horizonte: IESS; 2016 [citado 2021 Fev 16]. Disponível em: Acessado em: http://documents.scribd.com.s3.amazonaws.com/docs/5x5i1j985c5jwcsp.pdf
  » http://documents.scribd.com.s3.amazonaws.com/docs/5x5i1j985c5jwcsp.pdf
• ²⁰
  Brasil. Ministério da Saúde. Agência Nacional de Vigilância Sanitária. Resolução - RDC Nº 63, de 6 de julho de 2000. Regulamento Técnico para a Terapia de Nutrição Enteral. Brasília (DF): Ministério da Saúde; 2020 [citado 2021 Fev 16] Disponível em: http://bvsms.saude.gov.br/bvs/saudelegis/anvisa/2000/rdc0063_06_07_2000.html
  » http://bvsms.saude.gov.br/bvs/saudelegis/anvisa/2000/rdc0063_06_07_2000.html
• ²¹
  Braga Azambuja F, Beghetto MG, de Assis MC, de Mello ED. Food intake reported versus nursing records: is there agreement in surgical patients? Nutr Hosp. 2015;31(6):2735–9.
• ²²
  Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics. 1977;33(1):159–74.
• ²³
  Brasil. Ministério da Saúde. Conselho Nacional de Saúde. Resolução Nº 466, de 12 de dezembro de 2012. Brasília (DF): Ministério da Saúde; 2012 [citado 2021 Fev 16]. Disponível em: https://bvsms.saude.gov.br/bvs/saudelegis/cns/2013/res0466_12_12_2012.html
  » https://bvsms.saude.gov.br/bvs/saudelegis/cns/2013/res0466_12_12_2012.html
• ²⁴
  Souza CC, Chianca TC, Júnior WC, Rausch MC, Nascimento GF. Análise de confiabilidade do sistema de triagem de Manchester: acordo interobservador e intraobservador. Rev Lat Am Enfermagem. 2018;26:e3005.
• ²⁵
  Egido JA, Garcia AM, Del Prado-Gonzalez N, Fuentes-Ferrer M, Lopez-Herranz M, Simal-Hernández P, et al. Impact of clinical training on supra-aortic duplex and transcranial doppler examination concordance. J Clin Ultrasound. 2016;44(9):571–9.

Datas de Publicação

• Publicação nesta coleção
  26 Nov 2021
• Data do Fascículo
  2021

Histórico

• Recebido
  20 Jun 2020
• Aceito
  01 Mar 2021