Validação e confiabilidade: instrumento para avaliação de serviços que tratam tuberculose

Lucia Marina Scatena Anneliese Domingues Wysocki Aline Ale Beraldo Gabriela Tavares Magnabosco Maria Eugênia Firmino Brunello Antonio Ruffino Netto Jordana de Almeida Nogueira Reinaldo Antonio Silva Sobrinho Ewerton William Gomes Brito Patricia Borges Dias Alexandre Aline Aparecida Monroe Tereza Cristina Scatena Villa Sobre os autores

Resumos

OBJECTIVE

To evaluate the validity and reliability of an instrument that evaluates the structure of primary health care units for the treatment of tuberculosis.

METHODS

This cross-sectional study used simple random sampling and evaluated 1,037 health care professionals from five Brazilian municipalities (Natal, state of Rio Grande do Norte; Cabedelo, state of Paraíba; Foz do Iguaçu, state of Parana; Sao José do Rio Preto, state of Sao Paulo, and Uberaba, state of Minas Gerais) in 2011. Structural indicators were identified and validated, considering different methods of organization of the health care system in the municipalities of different population sizes. Each structure represented the organization of health care services and contained the resources available for the execution of health care services: physical resources (equipment, consumables, and facilities); human resources (number and qualification); and resources for maintenance of the existing infrastructure and technology (deemed as the organization of health care services). The statistical analyses used in the validation process included reliability analysis, exploratory factor analysis, and confirmatory factor analysis.

RESULTS

The validation process indicated the retention of five factors, with 85.9% of the total variance explained, internal consistency between 0.6460 and 0.7802, and quality of fit of the confirmatory factor analysis of 0.995 using the goodness-of-fit index. The retained factors comprised five structural indicators: professionals involved in the care of tuberculosis patients, training, access to recording instruments, availability of supplies, and coordination of health care services with other levels of care. Availability of supplies had the best performance and the lowest coefficient of variation among the services evaluated. The indicators of assessment of human resources and coordination with other levels of care had satisfactory performance, but the latter showed the highest coefficient of variation. The performance of the indicators “training” and “access to recording instruments” was inferior to that of other indicators.

CONCLUSIONS

The instrument showed feasibility of application and potential to assess the structure of primary health care units for the treatment of tuberculosis.

Health Services Evaluation; methods; Tuberculosis; prevention & control; Quality Indicators; Health Care; Indicators of Health Services; Questionnaires; utilization; Validation Studies


OBJETIVO

Analisar a validade e confiabilidade de instrumento de avaliação da estrutura dos serviços de atenção básica para o tratamento da tuberculose.

MÉTODOS

Estudo transversal com amostragem aleatória simples para 1.037 profissionais de saúde de cinco municípios (Natal, RN; Cabedelo, PB; Foz do Iguaçu, PR; São José do Rio Preto, SP e Uberaba, MG) em 2011. Foram identificados e validados indicadores estruturais, considerando as diferentes modalidades de organização do sistema de saúde de municípios de diferentes portes populacionais. A “estrutura” correspondeu aos recursos existentes para a execução dos serviços: físicos (equipamentos, materiais de consumo e instalações); humanos (número e qualificação); e fontes para manutenção da infraestrutura e da tecnologia existente, entendida como organização do serviço de saúde. Os procedimentos estatísticos utilizados no processo de validação foram análise de confiabilidade, análise fatorial exploratória e confirmatória.

RESULTADOS

O processo de validação determinou a retenção de cinco fatores com 85,9% de variância total explicada, consistência interna entre 0,6460 e 0,7802 e qualidade de ajustamento da análise confirmatória de 0,995 para ogoodness-of-fit index. Os fatores retidos compuseram os cinco indicadores estruturais: profissionais envolvidos com o atendimento de tuberculose; capacitação; acesso a instrumentos de registro; disponibilidade de insumos; e articulação do serviço de saúde com outros níveis de atenção. O indicador com melhor desempenho foi disponibilidade de insumos, com menor coeficiente de variação nos serviços avaliados. Os indicadores de avaliação dos recursos humanos e articulação com outros níveis de serviços apresentaram percentuais satisfatórios; entretanto, este último apresentou o maior coeficiente de variação. Os indicadores de capacitação e acesso a instrumentos de registro apresentaram percentuais de avaliação inferiores aos demais.

CONCLUSÕES

O instrumento apresentou viabilidade de aplicação e potencial de avaliação da estrutura dos serviços de saúde para o tratamento da tuberculose na atenção básica.

Avaliação de Serviços de Saúde; métodos; Tuberculose; prevenção; controle; Indicadores de Qualidade em Assistência à Saúde; Indicadores de Serviços; Questionários; utilização; Estudos de Validação


INTRODUÇÃO

Pela avaliação dos serviços de saúde, pode-se monitorar a capacidade de responder às necessidades em saúde, acompanhar os efeitos das intervenções, produzir evidências, identificar e corrigir problemas, retroalimentar equipes de saúde e gestores, avançar em material técnico para avaliar a atenção proporcionada ao doente,4Carvalho ALB, Souza MF, Shimizu HE, Senra IMVB, Oliveira KC. A gestão do SUS e as práticas de monitoramento e avaliação: possibilidades e desafios para a construção de uma agenda estratégica. Cienc Saude Coletiva. 2012;17(4):901-11. DOI:10.1590/S1413-81232012000400012 e subsidiar a elaboração de políticas e programas setoriais e a difusão de seus resultados.8Felisberto E. Da teoria à formulação de uma Política Nacional de Avaliação em Saúde: reabrindo o debate. Cienc Saude Coletiva. 2006;11(3):553-63. DOI:10.1590/S1413-81232006000300002

Ainda que haja discordância conceitual, a construção metodológica da avaliação de desempenho dos serviços de saúde dependerá da clareza sobre os princípios, objetivos e metas dos sistemas que se quer avaliar. Isso embasará a escolha das dimensões que serão objeto da avaliação de desempenho.2222 Viacava F, Almeida C, Caetano R, Fausto M, Macinko J, Martins M, et al. Uma metodologia de avaliação do desempenho do sistema de saúde brasileiro.Cienc Saude Coletiva. 2004;9(3):711-24. DOI:10.1590/S1413-81232004000300021

Hartz1111 Hartz ZMA. Meta-avaliação da gestão em saúde: desafios para uma “nova saúde pública”. Cienc Saude Coletiva. 2012;17(4):829-37. DOI:10.1590/S1413-81232012000400004 (2012) destaca a importância dos sistemas de saúde alcançarem metas de acordo com planos estabelecidos e possuírem indicadores relevantes para a avaliação de desempenho: “a estimação desses indicadores pode parecer simples, mas para que traduzam impactos ou efeitos não existe consenso teórico e metodológico, estando sempre no centro das preocupações dos avaliadores, dada a prioridade político-institucional, a complexidade das intervenções e das múltiplas abordagens mobilizadas”.

A estrutura do sistema foi uma dimensão introduzida no modelo proposto pelos autores brasileiros dentre o espectro de dimensões da avaliação de sistemas de serviços de saúde constatado na revisão da literatura.2222 Viacava F, Almeida C, Caetano R, Fausto M, Macinko J, Martins M, et al. Uma metodologia de avaliação do desempenho do sistema de saúde brasileiro.Cienc Saude Coletiva. 2004;9(3):711-24. DOI:10.1590/S1413-81232004000300021

Elaborar e validar instrumento de avaliação da estrutura dos serviços de atenção básica no tratamento da tuberculose (TB) pode ser a primeira etapa para a construção de indicadores relevantes para avaliação de seu desempenho.

Estudos que objetivaram validar instrumentos utilizados para a avaliação de serviços de saúde,1212 Harzheim E, Starfield B, Rajmil L, Álvarez-Dardet C, Stein AT. Consistência interna e confiabilidade da versão em português do Instrumento de Avaliação da Atenção Primária (PCATool-Brasil) para serviços de saúde infantil.Cad Saude Publica. 2006;22(8):1649-59. DOI:10.1590/S0102-311X2006000800013 de validação de indicadores psicométricos, usaram técnicas de análise de confiabilidade, análise fatorial exploratória5Carvalho HW, Patrick CJ, Krueger RF, Markon KE, Pinheiro AMV. Validade de construto da versão brasileira do Inventário Espectral de Externalização: evidências a partir de uma amostra de estudantes universitários.Rev Psiquiatr Clin. 2010;37(5):206-11. DOI:10.1590/S0101-60832010000500004,1212 Harzheim E, Starfield B, Rajmil L, Álvarez-Dardet C, Stein AT. Consistência interna e confiabilidade da versão em português do Instrumento de Avaliação da Atenção Primária (PCATool-Brasil) para serviços de saúde infantil.Cad Saude Publica. 2006;22(8):1649-59. DOI:10.1590/S0102-311X2006000800013 e confirmatória.9Fernandes HM, Vasconcelos-Raposo JJB. Análise factorial confirmatória do TEOSQp. Psicol Reflex Crit. 2010;23(1):92-101. DOI:10.1590/S0102-79722010000100012,1313 Herrero J. El Análisis Factorial Confirmatorio en el estudio de la estructura y estabilidad de los instrumentos de evaluación: un ejemplo con el Cuestionario de Autoestima CA-14. Intervención Psicosocial.2010;19(3):289-300.

O objetivo deste estudo foi analisar validade e confiabilidade de instrumento de avaliação da estrutura dos serviços de atenção básica para o tratamento da TB.

MÉTODOS

Este estudo faz parte de uma série de pesquisasa a Projeto multicêntrico intitulado “Avaliação da Atenção Básica para o tratamento da tuberculose na perspectiva dos profissionais de saúde e doentes em municípios do Brasil”, FAPESP 2011/09469-6, (GEOTB)/CNPq. realizadas em cidades das regiões do Nordeste e Sudeste do Brasil, para avaliação de serviços de saúde no tratamento da TB.

O estudo foi desenvolvido nos municípios de: São José do Rio Preto, SP, população de 419.632 habitantes e 16,4% de cobertura de equipe de saúde da família (ESF); Natal, RN, 806.203 habitantes e 30,8% ESF; Foz do Iguaçu, PR, 325.132 habitantes e 39,3% ESF; Cabedelo, PB, 57.926 habitantes e 85,0% ESF; e Uberaba, MG, 296.259 habitantes e 58,2% ESF.b b Ministério da Saúde. Departamento de Atenção Básica. Histórico de cobertura da Saúde da Família. Brasília (DF); 2012 [citado 2011 jan 1]. Disponível em:http://dab.saude.gov.br/portaldab/historico_cobertura_sf.php

Os sujeitos da pesquisa foram profissionais de saúde que compõem a equipe mínima de atenção à TB [médico – clínico geral e da família –, enfermeiro, auxiliar/técnico de enfermagem e agentes comunitários de saúde (ACS)] da atenção básica da rede de saúde dos municípios estudados.

Foi construído um instrumento estruturado com 39 questões fechadas que compuseram três componentes avaliativos: recursos humanos, recursos físicos e organização do serviço (Anexo), organizados dicotomicamente (sim; não).

A construção do instrumento foi sustentada em extensa revisão de literatura realizada a partir de consulta aos estudos de avaliação da qualidade. A “estrutura” correspondeu aos recursos existentes para a execução dos serviços: físicos (equipamentos, materiais de consumo e instalações); humanos (número e qualificação); e fontes para manutenção da infraestrutura e da tecnologia existente, entendida como organização do serviço de saúde.7Donabedian A. The effectiveness of quality assurance. Int J Qual Health Care. 1996;8(4):401-7. Foram utilizados: “Manual de Recomendações para o Controle da Tuberculose”,c c Ministério da Saúde. Secretaria de Vigilância em Saúde. Programa Nacional de Controle da Tuberculose. Manual de recomendações para o controle da Tuberculose no Brasil. Brasília (DF); 2010. Protocolo de Enfermagem para o Tratamento Diretamente Observado da Tuberculosed d Ministério da Saúde. Secretaria de Vigilância em Saúde. Departamento de Vigilância Epidemiológica. Tratamento diretamente observado (TDO) da tuberculose na atenção básica: protocolo de enfermagem. Brasília (DF); 2011. e Guia das melhores práticas para o cuidado de doentes com TB.2424 Williams G, Alarcon E, Jittimanee S, Walusinbi M, Sebek M, Berga E, et al. Guindance for the implementation of best practice for the care of patients with Tuberculosis. Int J Tuberc Lung Dis. 2008;12(3):236-40. Esses documentos trazem as ações de maior relevância para o tratamento da TB nos serviços de saúde em nível nacional e internacional.

Foram verificadas a adequação e a coerência dos itens do instrumento. Discutiu-se cada variável que compôs o componente avaliativo da estrutura. O instrumento foi submetido à apreciação de três juízes especialistas na temática que não conheciam o estudo. A avaliação ocorreu por procedimento qualitativo dos itens: organização, objetividade, clareza, facilidade de leitura e compreensão do conteúdo. Os juízes foram orientados a redigir sugestões e comentários para melhoria dos itens avaliados.1Alexandre NMC, Coluci MZO. Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas. Cienc Saude Coletiva. 2011;16(7):3061-8. DOI:10.1590/S1413-81232011000800006As adequações do instrumento foram finalizadas após a incorporação de todas sugestões dadas.

Para o cálculo da amostra, foi levantado o número de profissionais (médico – clínico geral e da família –, enfermeiro, auxiliar/técnico de enfermagem e ACS) que atuavam nos serviços de atenção básica dos municípios por meio do Cadastro Nacional de Estabelecimentos de Saúde, excluindo os que se apresentavam em duplicidade. Tendo como referencial a população de profissionais de saúde que atuavam na AB dos municípios (Uberaba = 489; São José do Rio Preto = 633; Foz do Iguaçu = 518, Cabedelo = 157 e Natal = 976), obteve-se a amostra mínima de profissionais a serem entrevistados por meio da equação.

Foram considerados: erro amostral de 0,05, intervalo de confiança de 95% e P (proporção populacional) de 50,0%. O valor obtido foi corrigido em relação à população total de profissionais utilizando a equação. Assim, definiu-se o total de 1.037 profissionais a serem entrevistados em cada município do estudo multicêntrico (239 em São José do Rio Preto, 216 em Uberaba, 225 em Foz do Iguaçu, 240 em Natal e 117 em Cabedelo). O número de profissionais de cada categoria profissional foi determinado por meio de partilha proporcional.

Utilizou-se processo de amostragem aleatório simples para seleção dos serviços de saúde. Os profissionais de saúde identificados como informantes-chave dos SS sorteados e que concordaram em participar da pesquisa foram entrevistados. Os sorteios dos serviços de saúde foram realizados até que o número de profissionais previsto no cálculo da amostra fosse atingido.

O cálculo amostral foi realizado para atender os critérios de realização das análises fatoriais, uma vez que o tamanho da amostra deve ter proporção de dez respondentes para cada item do questionário, o que permitiria trabalhar com 390 respondentes.1010 Hair Jr. JF. Multivariate Data Análysis. 5. ed. Porto Alegre: Bookman; 2005. Para variáveis com respostas dicotômicas, a orientação foi trabalhar com amostras maiores que 1.000 para evitar convergência numérica e singularidade.2020 Savalei V, Rhemtulla M. The performance of robust test statistics with categorical data. Brit J Math Stat Psy. 2013;66(2):201-23. DOI:10.1111/j.2044-8317.2012.02049.x Desta forma, a amostra calculada permitiria 3,5% para possíveis perdas.

Os dados foram analisados por técnicas descritivas. O estudo de confiabilidade do instrumento foi medido pelo índice de α de Cronbach. A validade foi medida de duas formas: por meio de análise fatorial exploratória (AFE), que visou a simplificar a estrutura dos dados e sintetizar as informações devido ao grande número de variáveis envolvidas e da análise fatorial confirmatória (AFC), que testa a hipótese preconcebida sobre a estrutura dos dados encontrada na AFE.9Fernandes HM, Vasconcelos-Raposo JJB. Análise factorial confirmatória do TEOSQp. Psicol Reflex Crit. 2010;23(1):92-101. DOI:10.1590/S0102-79722010000100012,2020 Savalei V, Rhemtulla M. The performance of robust test statistics with categorical data. Brit J Math Stat Psy. 2013;66(2):201-23. DOI:10.1111/j.2044-8317.2012.02049.x Os resultados das análises fatoriais permitiram agrupar os itens do questionário em fatores.

Foi estimado o valor médio (µ = P, Proporção de todos os serviços de saúde com as características estudadas), o desvio-padrão ( ) e o coeficiente de variação para o conjunto de itens do questionário que compuseram cada fator (indicadores de estrutura).

A utilização da AFE supõe que as variáveis podem ser agrupadas segundo suas correlações, obtendo-se fatores com todas as variáveis altamente correlacionadas entre si, mas com baixas correlações com as demais.1818 Paes NA, Santos CSA. As estatísticas de nascimento e os fatores maternos e da criança nas microrregiões do Nordeste brasileiro: uma investigação usando análise fatorial. Cad Saude Publica. 2010;26(2):311-22. DOI:10.1590/S0102-311X2010000200010,2Angelotti LCZ, Alexandre PBD, Miranzi SSC, Scatena LM. Qualidade de dados de notificação e acompanhamento dos casos de tuberculose em Minas Gerais.Rev Enferm Atenc Saude. 2013;2(2):84-98.5Carvalho HW, Patrick CJ, Krueger RF, Markon KE, Pinheiro AMV. Validade de construto da versão brasileira do Inventário Espectral de Externalização: evidências a partir de uma amostra de estudantes universitários.Rev Psiquiatr Clin. 2010;37(5):206-11. DOI:10.1590/S0101-60832010000500004No entanto, a AFE assume que as variáveis são quantitativas contínuas e utiliza o cálculo das matrizes de correlações gaussianas para estimativa dos fatores e do modelo fatorial exploratório. Sendo as variáveis dicotômicas, foram utilizadas matrizes de correlações tetracóricas, que é apropriada à métrica das variáveis para estimar fatores e estimativas do modelo fatorial.1919 Reichenheim ME, Moraes CL. Operacionalização de adaptação transcultural de instrumentos de aferição usados em epidemiologia. Rev Saude Publica. 2007;41(4):665-73. DOI:10.1590/S0034-89102006005000035,2020 Savalei V, Rhemtulla M. The performance of robust test statistics with categorical data. Brit J Math Stat Psy. 2013;66(2):201-23. DOI:10.1111/j.2044-8317.2012.02049.x

A AFE sobre a matriz das correlações tetracóricas1616 Maroco J. Análise Estatística com utilização do SPSS. 3. ed. Edições Sílabo; 2007.,1717 Nestler S. A Monte Carlo study comparing PIV, ULS and DWLS in the estimation of dichotomous confirmatory factor analysis. Brit J Math Stat Psy. 2013;66(1):127-43. DOI:10.1111/j.2044-8317.2012.02044.x utilizou o método dos componentes principais para a extração dos fatores, seguido de rotação Varimax. Os fatores comuns retidos foram os que apresentavam o autovalor (eigenvalue) > 1, em consonância com o Scree Plot e percentagem de variância retida. Recomenda-se que o número de fatores escolhidos corresponda a no mínimo 60,0% da variância total e sugere-se1212 Harzheim E, Starfield B, Rajmil L, Álvarez-Dardet C, Stein AT. Consistência interna e confiabilidade da versão em português do Instrumento de Avaliação da Atenção Primária (PCATool-Brasil) para serviços de saúde infantil.Cad Saude Publica. 2006;22(8):1649-59. DOI:10.1590/S0102-311X2006000800013reter três ou mais itens em cada fator. Isso porque a utilização de um único critério1616 Maroco J. Análise Estatística com utilização do SPSS. 3. ed. Edições Sílabo; 2007. pode levar à retenção de mais/menos fatores do que aqueles relevantes para descrever a estrutura latente.

Utilizou-se os testes Kaiser-Meyer-Olkin (KMO)1616 Maroco J. Análise Estatística com utilização do SPSS. 3. ed. Edições Sílabo; 2007. e de esfericidade de Bartlett1616 Maroco J. Análise Estatística com utilização do SPSS. 3. ed. Edições Sílabo; 2007. para avaliar a adequação dos dados para o uso da AFE. Este último examinou se a matriz de correlação da população era uma matriz identidade, i.e., que não havia correlação entre as variáveis com significância estatística p < 0,10. Valores do critério KMO são utilizados para verificar a adequação ao método podendo variar de 0 a 1 (≥ 0,80 admirável; 0,70 a 0,79 aceitável; 0,60 a 0,69 medíocre; 0,50 a 0,59 ruim e < 0,50 indicam a inadequação do método).1010 Hair Jr. JF. Multivariate Data Análysis. 5. ed. Porto Alegre: Bookman; 2005.

Outra medida de adequação dos dados à AFE são os valores da diagonal principal da matriz de anti-imagem para as correlações. É chamada de medida de adequação da amostragem (Measure of Sampling adequacy ou KMOi> 0,5) para cada variável na análise. Valores de KMOi < 0,5 indicam que essa variável não se ajustou à estrutura definida pelas outras variáveis e a variável é eliminada da AFE.1616 Maroco J. Análise Estatística com utilização do SPSS. 3. ed. Edições Sílabo; 2007. Avaliou-se a significância estatística das cargas fatoriais que representa a correlação entre uma variável original e seu fator, para a interpretação dos fatores. Para conseguir nível de poder de 80,0% e nível de significância de 0,05, sugere-se amostras de tamanho ≥ 350 e cargas fatoriais com correlação ≥ 0,30.1010 Hair Jr. JF. Multivariate Data Análysis. 5. ed. Porto Alegre: Bookman; 2005.

As comunalidades (porção da variância que uma variável compartilha com todas as outras variáveis consideradas) foram avaliadas para cada variável observando se ela atendia a níveis de explicação aceitáveis (> 0,5) e a sua contribuição para a pesquisa. Observou-se matriz de resíduos (correlações observadas menos correlações estimadas) com mais de 50,0% dos resíduos com valor absoluto < 0,05 como indicador de modelo fatorial com bom ajustamento.1616 Maroco J. Análise Estatística com utilização do SPSS. 3. ed. Edições Sílabo; 2007.

O modelo da AFC foi ajustado por distribuição assimptótica livre (ADF) ou mínimos quadrados ponderados (WLS), pois não exigiam que os itens apresentassem normalidade multivariada.2020 Savalei V, Rhemtulla M. The performance of robust test statistics with categorical data. Brit J Math Stat Psy. 2013;66(2):201-23. DOI:10.1111/j.2044-8317.2012.02049.x O programa Statistica oferece o estimador Asymptotically Distribution Free Gramian (ADFG) para essas condições.e e StatSoft Inc. STATISTICA for Windows: computer program manual. Tulsa, OK: StatSoft; 2011, versão 12.

A qualidade do modelo de AFC foi avaliada pelo índice de qualidade do ajustamentogoodness-of-fit index (GFI),1616 Maroco J. Análise Estatística com utilização do SPSS. 3. ed. Edições Sílabo; 2007. fração das correlações entre as variáveis originais que são explicadas pelo modelo. Considera-se que valores de GFI inferiores a 0,9 indicam modelos com mau ajustamento aos dados; GFI entre 0,9 e 0,95 indicam bom ajustamento; valores de GFI superiores a 0,95 são indicadores de ajustamento muito bom. GFI = 1 indica ajustamento perfeito. O GFI tem tendência a aumentar conforme aumenta a dimensão da amostra. Desta forma, foi calculado o goodness-of-fit index ajusted (AGFI), que é o valor ajustado para o número de graus de liberdade da amostra.1616 Maroco J. Análise Estatística com utilização do SPSS. 3. ed. Edições Sílabo; 2007.

A confiabilidade (reliability)f f Optamos pela tradução do termo “reliability” por confiabilidade. Em outros textos este termo tem sido traduzido por “precisão”, “fiabilidade”, “fidelidade” e “fidedignidade”. foi examinada pelo índice α deCronbach, que mede a consistência interna dos itens do questionário.1616 Maroco J. Análise Estatística com utilização do SPSS. 3. ed. Edições Sílabo; 2007. O limite inferior recomendado para o α é de 0,7, mas em pesquisas exploratórias pode-se aceitar valores a partir de 0,6.1010 Hair Jr. JF. Multivariate Data Análysis. 5. ed. Porto Alegre: Bookman; 2005.

Este projeto foi aprovado pelo Comitê de Ética em Pesquisa da Escola de Enfermagem de Ribeirão Preto da Universidade de São Paulo (Protocolo 1264/2011), em conformidade à Resolução 196/96 do Conselho Nacional de Saúde. Todos os participantes assinaram termo de consentimento livre e esclarecido.

RESULTADOS

Foram entrevistados 1.037 profissionais de saúde: 239 em São José do Rio Preto, 216 em Uberaba, 225 em Foz do Iguaçu, 117 em Cabedelo e 240 em Natal. A Tabela 1 apresenta a distribuição de frequência dos itens do questionário de avaliação dos serviços de saúde segundo a estrutura para o tratamento dos doentes de TB.

Tabela 1
Distribuição de frequência dos itens do questionário de avaliação dos serviços de saúde segundo a estrutura para o tratamento dos doentes de tuberculose. Brasil, 2011.

O processo de validação dos itens do questionário testou cinco modelos distintos na AFE com predefinição do número de fatores variando de 3 a 7. Isso porque a escala, conceitualmente, poderia identificar três componentes avaliativos ou mais. Permaneceram no modelo as variáveis com medida de adequação da amostragem KMOi > 0,5. O melhor modelo considerou a retenção de cinco fatores com KMO = 0,728, p < 0,0001 para o teste de esfericidade de Bartlett (c2Angelotti LCZ, Alexandre PBD, Miranzi SSC, Scatena LM. Qualidade de dados de notificação e acompanhamento dos casos de tuberculose em Minas Gerais.Rev Enferm Atenc Saude. 2013;2(2):84-98. = 5473,94; gl = 190), 85,9% de variância total explicada, matriz de resíduos com 44,2% dos resíduos > 0,05 e autovalores > 1.

Os cinco fatores retidos, suas cargas fatoriais, as comunalidades, oseigenvalues, a variância explicada para cada fator e o α deCronbach encontram-se na Tabela 2.

Tabela 2
Componente estrutura, fatores retidos, cargas fatoriais, comunalidades, autovalores, variância explicada e alpha de Cronbach. Brasil, 2011.

O primeiro fator, ‘Acesso a instrumentos de registro’, é composto por acessos aos itens: ficha de notificação; prontuários; ficha de acompanhamento mensal; ficha diária de tratamento diretamente observado (TDO); e ao livro verde. O segundo fator, ‘Capacitação de profissionais de saúde’, foi constituído por cinco itens: enfermeiros, auxiliares/técnicos de enfermagem, médicos, ACS, capacitados para atendimento em TB, nos últimos três anos e houve capacitação realizada pela Vigilância Epidemiológica nos últimos 12 meses. O terceiro fator, ‘Articulação do serviço de saúde com outros níveis de atenção’, apresentou quatro itens: articulação do serviço investigado com outros níveis de atenção quando o doente necessita de consultas por possuir outras comorbidades, coinfecção pelo HIV, complicações no tratamento, dificuldades na realização do TDO. O quarto fator, ‘Profissionais envolvidos com o atendimento da TB’, compreendeu três itens: presença de auxiliar/técnico de enfermagem, médico e ACS envolvidos com o atendimento aos doentes de TB nos serviços de saúde. O quinto fator, ‘Disponibilidade de insumos e equipamentos’, foi composto por três itens: disponibilidade de pote para exame de escarro, pedido de baciloscopia, pedido de cultura nos serviços de saúde.

O modelo da AFC ajustado utilizando o estimador ADFG forneceu o valor de 0,996 para o índice GFI e de 0,995 para o GFI ajustado.

Os valores de proporção média do conjunto de itens do questionário que compõem cada fator (indicadores de estrutura) e seu desvio-padrão foram apresentados naTabela 3. O indicador de articulação do serviço de saúde com outros níveis de atenção apresentou maior variabilidade dos dados nos serviços de saúde.

Tabela 3
Indicadores para avaliação da estrutura dos serviços de saúde para o tratamento da tuberculose. Brasil, 2011.

DISCUSSÃO

Vinte dos 39 itens inicialmente propostos foram validados, permitindo reduzir a estrutura dos dados (Tabela 1). Os 20 itens foram validados em cinco fatores, satisfazendo as condições para realização da AFE, teste de esfericidade de Bartlett significativo e KMO com qualidade aceitável,1616 Maroco J. Análise Estatística com utilização do SPSS. 3. ed. Edições Sílabo; 2007.variância total acima de 60,0% e pelo menos três itens retidos em cada fator,1010 Hair Jr. JF. Multivariate Data Análysis. 5. ed. Porto Alegre: Bookman; 2005.,1616 Maroco J. Análise Estatística com utilização do SPSS. 3. ed. Edições Sílabo; 2007. cargas fatoriais acima de 0,3, comunalidades maiores que 0,5 e autovalores > 11616 Maroco J. Análise Estatística com utilização do SPSS. 3. ed. Edições Sílabo; 2007. (Tabela 2).

A análise de confiabilidade forneceu valores do α de Cronbachentre 0,6460 e 0,7802 (Tabela 2). Esses resultados estão entre os valores aceitáveis pela literatura.1010 Hair Jr. JF. Multivariate Data Análysis. 5. ed. Porto Alegre: Bookman; 2005. Os fatores 4 e 5 (Tabela 2) apresentaram valores inferiores a 0,7 para o α de Cronbach devido à retenção de três itens para compor cada fator. Seria necessário maior número de itens para aumentar a confiabilidade do fator. Os itens propostos no questionário que poderiam se correlacionar com os itens do fator 4 eram ‘enfermeiros’ e ‘outros profissionais’ envolvidos com o tratamento da TB, que foram removidos na AFE. ‘O enfermeiro’ apresentou variância próxima ao valor nulo porque a maioria dos entrevistados (99,3%) reconheceu ser esse profissional o mais envolvido com o atendimento de TB. Quando a variância é nula, a medida é constante e o item é removido da AFE por não apresentar variabilidade.1616 Maroco J. Análise Estatística com utilização do SPSS. 3. ed. Edições Sílabo; 2007. O enfermeiro é reconhecido como o responsável pelas ações de controle da TB.3Caliari JS, Figueiredo RM. Tuberculose: perfil de doentes, fluxo de atendimento e opinião de enfermeiros. Acta Paul Enferm.2012;25(1):43-7.‘Outros profissionais’ foi removido por apresentar comunalidade < 0,5, possivelmente devido ao baixo reconhecimento (45,1%) pelos entrevistados de que esses profissionais estariam envolvidos com o atendimento da TB. Isso sugere a dificuldade de agregação de outras categorias profissionais nas ações de controle da TB.2323 Villa TCS, Andrade, RLP, Arakawa T, Magnabosco, GT, Beraldo AA, Monroe AA. Satisfação do usuário com os serviços de atenção à tuberculose em Ribeirão Preto, 2008. Cad Saude Coletiva.2012;20(2):234-43.

A qualidade do modelo da AFC ajustado (GFI = 0,995) foi avaliada como muito boa,1010 Hair Jr. JF. Multivariate Data Análysis. 5. ed. Porto Alegre: Bookman; 2005. considerando os cinco municípios. Os cinco fatores retidos foram adequados para avaliar a estrutura dos serviços de saúde no tratamento da TB para diferentes municípios. Esse resultado mostrou que o referencial teórico foi adequado para os dados em observação.

O indicador de capacitação apresentou o menor percentual de avaliação. A capacitação está entre os desafios institucionais do departamento de atenção básica do Ministério da Saúde, que propõe revisão dos processos de formação com ênfase na educação permanente das equipes, coordenações e gestores.g

A falta de capacitação dos profissionais de saúde no tratamento da TB foi um dos fatores que dificultavam o desempenho das equipes de saúde. Outros estudos apontam a necessidade de um processo contínuo de capacitação dos profissionais de saúde para alcançar maior qualidade dos serviços de atenção à saúde.6Cotta RMM, Schott M, Azeredo CM, Franceschini SCC, Priore SE, Dias G. Organização do trabalho e perfil dos profissionais do Programa Saúde da Família: um desafio na reestruturação da atenção básica em saúde.Epidemiol Serv Saude. 2006;15(3):7-18. O processo de atualização dos profissionais de saúde deve ser permanente com oficinas educativas e envolver a participação de profissionais de ensino e de saúde.2121 Torres HC, Amaral MA, Amorim MM, Cyrino AP, Bodstein R. Capacitação de profissionais da atenção primária à saúde para educação em Diabetes Mellitus.Acta Paul Enferm. 2010;23(6):751-6.

O indicador de acesso a instrumentos de registros foi inferior quando comparado aos demais. A qualidade dos dados dos sistemas de vigilância relaciona-se ao nível de completitude e validade dos dados registrados. Para que isso aconteça, há necessidade de acesso aos instrumentos de registro. Estudos mostram a inadequação no preenchimento dos livros de registro de dados e na alimentação dos dados na base do Sistema de Informação de Agravos de Notificação.2Angelotti LCZ, Alexandre PBD, Miranzi SSC, Scatena LM. Qualidade de dados de notificação e acompanhamento dos casos de tuberculose em Minas Gerais.Rev Enferm Atenc Saude. 2013;2(2):84-98.

A maioria dos serviços de saúde articulou-se com outros níveis de atenção quando: o doente era coinfectado pelo HIV; necessitava de consultas por possuir outras co-morbidades; havia complicações no tratamento e dificuldades no TDO. No entanto, esse indicador apresentou o maior coeficiente de variação, i.e., variou mais entre os serviços avaliados que os demais indicadores. É necessária maior atenção dos gestores nos serviços que não realizam essas ações satisfatoriamente.

O indicador com melhor desempenho foi o de disponibilidade de insumos. No entanto, não foi suficiente para garantir que todos os serviços de saúde dispusessem dos insumos necessários ao tratamento da TB.

Os itens ‘Esse serviço de saúde atende fora do horário comercial’, ‘Os doentes são orientados a procurar o serviço de saúde fora da data agendada’ e ‘Há no serviço de saúde um sistema informatizado?’ apresentaram KMOi < 0,5 e foram removidos da AFE. Isso indica que esses itens não se ajustaram à estrutura definida por outros itens, i.e., não estão consideravelmente correlacionados com os outros itens.1616 Maroco J. Análise Estatística com utilização do SPSS. 3. ed. Edições Sílabo; 2007. Os municípios que ampliaram o horário de atendimento não obtiveram ampliação do acesso das pessoas aos serviços de saúde em outro estudo.1515 Machado CV, Lima LD, Viana LS. Configuração da atenção básica e do Programa Saúde da Família em grandes municípios do Rio de Janeiro, Brasil.Cad Saude Publica. 2008;24(1):545-57. DOI:10.1590/S0102-311X2008001300010

O item referente à orientação dada aos pacientes pela procura espontânea aos serviços de saúde, caso apresentasse intercorrências advindas da doença e tratamento, ocorreu em 95,5% dos serviços de saúde. Esse foi um indicador com baixa variabilidade e, portanto, não validado.

O sistema informatizado não esteve presente na maioria dos serviços de saúde. O sistema foi informatizado com acesso on-line em centros de referência para TB, o que explica a baixa presença desses sistemas em serviços da AB.1414 Hijjar MA, Gerhardt G, Teixeira GM, Procópio MJ. Retrospect of tuberculosis control in Brazil. Rev Saude Publica. 2007;41Suppl1:50-8. DOI:10.1590/S0034-89102007000800008

Ações devem ser implementadas para melhorar os indicadores avaliados. Além disso, devem promover a capacitação dos profissionais de saúde no tratamento da TB e o acesso aos instrumentos de registro, que apresentaram as piores avaliações.

O instrumento apresentou viabilidade de aplicação e potencial de avaliação da estrutura dos serviços de saúde para o tratamento da tuberculose considerando os dados dos diferentes municípios. Os resultados foram considerados confiáveis devido ao ajuste do modelo da AFC obtido por meio de métodos de distribuição assintótica livre adequados à estimação de itens categóricos (dicotômicos) com distribuição não paramétrica. Estimativas precisas podem ser obtidas utilizando-se métodos de estimação condizentes com as características dos itens do instrumento. No entanto, o uso de variáveis dicotômicas em instrumentos de validação só será possível com grandes amostras, o que pode dificultar sua aplicação.

Anexo   AItens do questionário de avaliação dos serviços de saúde segundo a estrutura para o tratamento dos doentes de tuberculose. Brasil, 2011.

Referências bibliográficas

  • 1
    Alexandre NMC, Coluci MZO. Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas. Cienc Saude Coletiva 2011;16(7):3061-8. DOI:10.1590/S1413-81232011000800006
  • 2
    Angelotti LCZ, Alexandre PBD, Miranzi SSC, Scatena LM. Qualidade de dados de notificação e acompanhamento dos casos de tuberculose em Minas Gerais.Rev Enferm Atenc Saude 2013;2(2):84-98.
  • 3
    Caliari JS, Figueiredo RM. Tuberculose: perfil de doentes, fluxo de atendimento e opinião de enfermeiros. Acta Paul Enferm.2012;25(1):43-7.
  • 4
    Carvalho ALB, Souza MF, Shimizu HE, Senra IMVB, Oliveira KC. A gestão do SUS e as práticas de monitoramento e avaliação: possibilidades e desafios para a construção de uma agenda estratégica. Cienc Saude Coletiva 2012;17(4):901-11. DOI:10.1590/S1413-81232012000400012
  • 5
    Carvalho HW, Patrick CJ, Krueger RF, Markon KE, Pinheiro AMV. Validade de construto da versão brasileira do Inventário Espectral de Externalização: evidências a partir de uma amostra de estudantes universitários.Rev Psiquiatr Clin. 2010;37(5):206-11. DOI:10.1590/S0101-60832010000500004
  • 6
    Cotta RMM, Schott M, Azeredo CM, Franceschini SCC, Priore SE, Dias G. Organização do trabalho e perfil dos profissionais do Programa Saúde da Família: um desafio na reestruturação da atenção básica em saúde.Epidemiol Serv Saude 2006;15(3):7-18.
  • 7
    Donabedian A. The effectiveness of quality assurance. Int J Qual Health Care. 1996;8(4):401-7.
  • 8
    Felisberto E. Da teoria à formulação de uma Política Nacional de Avaliação em Saúde: reabrindo o debate. Cienc Saude Coletiva 2006;11(3):553-63. DOI:10.1590/S1413-81232006000300002
  • 9
    Fernandes HM, Vasconcelos-Raposo JJB. Análise factorial confirmatória do TEOSQp. Psicol Reflex Crit 2010;23(1):92-101. DOI:10.1590/S0102-79722010000100012
  • 10
    Hair Jr. JF. Multivariate Data Análysis. 5. ed. Porto Alegre: Bookman; 2005.
  • 11
    Hartz ZMA. Meta-avaliação da gestão em saúde: desafios para uma “nova saúde pública”. Cienc Saude Coletiva 2012;17(4):829-37. DOI:10.1590/S1413-81232012000400004
  • 12
    Harzheim E, Starfield B, Rajmil L, Álvarez-Dardet C, Stein AT. Consistência interna e confiabilidade da versão em português do Instrumento de Avaliação da Atenção Primária (PCATool-Brasil) para serviços de saúde infantil.Cad Saude Publica 2006;22(8):1649-59. DOI:10.1590/S0102-311X2006000800013
  • 13
    Herrero J. El Análisis Factorial Confirmatorio en el estudio de la estructura y estabilidad de los instrumentos de evaluación: un ejemplo con el Cuestionario de Autoestima CA-14. Intervención Psicosocial.2010;19(3):289-300.
  • 14
    Hijjar MA, Gerhardt G, Teixeira GM, Procópio MJ. Retrospect of tuberculosis control in Brazil. Rev Saude Publica 2007;41Suppl1:50-8. DOI:10.1590/S0034-89102007000800008
  • 15
    Machado CV, Lima LD, Viana LS. Configuração da atenção básica e do Programa Saúde da Família em grandes municípios do Rio de Janeiro, Brasil.Cad Saude Publica 2008;24(1):545-57. DOI:10.1590/S0102-311X2008001300010
  • 16
    Maroco J. Análise Estatística com utilização do SPSS. 3. ed. Edições Sílabo; 2007.
  • 17
    Nestler S. A Monte Carlo study comparing PIV, ULS and DWLS in the estimation of dichotomous confirmatory factor analysis. Brit J Math Stat Psy. 2013;66(1):127-43. DOI:10.1111/j.2044-8317.2012.02044.x
  • 18
    Paes NA, Santos CSA. As estatísticas de nascimento e os fatores maternos e da criança nas microrregiões do Nordeste brasileiro: uma investigação usando análise fatorial. Cad Saude Publica 2010;26(2):311-22. DOI:10.1590/S0102-311X2010000200010
  • 19
    Reichenheim ME, Moraes CL. Operacionalização de adaptação transcultural de instrumentos de aferição usados em epidemiologia. Rev Saude Publica 2007;41(4):665-73. DOI:10.1590/S0034-89102006005000035
  • 20
    Savalei V, Rhemtulla M. The performance of robust test statistics with categorical data. Brit J Math Stat Psy. 2013;66(2):201-23. DOI:10.1111/j.2044-8317.2012.02049.x
  • 21
    Torres HC, Amaral MA, Amorim MM, Cyrino AP, Bodstein R. Capacitação de profissionais da atenção primária à saúde para educação em Diabetes Mellitus.Acta Paul Enferm 2010;23(6):751-6.
  • 22
    Viacava F, Almeida C, Caetano R, Fausto M, Macinko J, Martins M, et al. Uma metodologia de avaliação do desempenho do sistema de saúde brasileiro.Cienc Saude Coletiva 2004;9(3):711-24. DOI:10.1590/S1413-81232004000300021
  • 23
    Villa TCS, Andrade, RLP, Arakawa T, Magnabosco, GT, Beraldo AA, Monroe AA. Satisfação do usuário com os serviços de atenção à tuberculose em Ribeirão Preto, 2008. Cad Saude Coletiva.2012;20(2):234-43.
  • 24
    Williams G, Alarcon E, Jittimanee S, Walusinbi M, Sebek M, Berga E, et al. Guindance for the implementation of best practice for the care of patients with Tuberculosis. Int J Tuberc Lung Dis 2008;12(3):236-40.
  • 25
    Zanella A, Seidel EJ, Lopes LFD. Validação de questionário de satisfação usando análise fatorial. Rev Ingepro 2010;2:102-12.

  • Pesquisa subvencionada pela Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP – Processo 2011/09469-6).
  • a
    Projeto multicêntrico intitulado “Avaliação da Atenção Básica para o tratamento da tuberculose na perspectiva dos profissionais de saúde e doentes em municípios do Brasil”, FAPESP 2011/09469-6, (GEOTB)/CNPq.
  • b
    Ministério da Saúde. Departamento de Atenção Básica. Histórico de cobertura da Saúde da Família. Brasília (DF); 2012 [citado 2011 jan 1]. Disponível em:http://dab.saude.gov.br/portaldab/historico_cobertura_sf.php
  • c
    Ministério da Saúde. Secretaria de Vigilância em Saúde. Programa Nacional de Controle da Tuberculose. Manual de recomendações para o controle da Tuberculose no Brasil. Brasília (DF); 2010.
  • d
    Ministério da Saúde. Secretaria de Vigilância em Saúde. Departamento de Vigilância Epidemiológica. Tratamento diretamente observado (TDO) da tuberculose na atenção básica: protocolo de enfermagem. Brasília (DF); 2011.
  • e
    StatSoft Inc. STATISTICA for Windows: computer program manual. Tulsa, OK: StatSoft; 2011, versão 12.
  • f
    Optamos pela tradução do termo “reliability” por confiabilidade. Em outros textos este termo tem sido traduzido por “precisão”, “fiabilidade”, “fidelidade” e “fidedignidade”.

Datas de Publicação

  • Publicação nesta coleção
    2015

Histórico

  • Recebido
    29 Abr 2014
  • Aceito
    7 Ago 2014
Faculdade de Saúde Pública da Universidade de São Paulo Avenida Dr. Arnaldo, 715, 01246-904 São Paulo SP Brazil, Tel./Fax: +55 11 3061-7985 - São Paulo - SP - Brazil
E-mail: revsp@usp.br