Validação e confiabilidade: instrumento para avaliação de serviços que tratam tuberculose

Resumos

OBJETIVO

Analisar a validade e confiabilidade de instrumento de avaliação da estrutura dos serviços de atenção básica para o tratamento da tuberculose.

MÉTODOS

Estudo transversal com amostragem aleatória simples para 1.037 profissionais de saúde de cinco municípios (Natal, RN; Cabedelo, PB; Foz do Iguaçu, PR; São José do Rio Preto, SP e Uberaba, MG) em 2011. Foram identificados e validados indicadores estruturais, considerando as diferentes modalidades de organização do sistema de saúde de municípios de diferentes portes populacionais. A “estrutura” correspondeu aos recursos existentes para a execução dos serviços: físicos (equipamentos, materiais de consumo e instalações); humanos (número e qualificação); e fontes para manutenção da infraestrutura e da tecnologia existente, entendida como organização do serviço de saúde. Os procedimentos estatísticos utilizados no processo de validação foram análise de confiabilidade, análise fatorial exploratória e confirmatória.

RESULTADOS

O processo de validação determinou a retenção de cinco fatores com 85,9% de variância total explicada, consistência interna entre 0,6460 e 0,7802 e qualidade de ajustamento da análise confirmatória de 0,995 para ogoodness-of-fit index. Os fatores retidos compuseram os cinco indicadores estruturais: profissionais envolvidos com o atendimento de tuberculose; capacitação; acesso a instrumentos de registro; disponibilidade de insumos; e articulação do serviço de saúde com outros níveis de atenção. O indicador com melhor desempenho foi disponibilidade de insumos, com menor coeficiente de variação nos serviços avaliados. Os indicadores de avaliação dos recursos humanos e articulação com outros níveis de serviços apresentaram percentuais satisfatórios; entretanto, este último apresentou o maior coeficiente de variação. Os indicadores de capacitação e acesso a instrumentos de registro apresentaram percentuais de avaliação inferiores aos demais.

CONCLUSÕES

O instrumento apresentou viabilidade de aplicação e potencial de avaliação da estrutura dos serviços de saúde para o tratamento da tuberculose na atenção básica.

Avaliação de Serviços de Saúde; métodos; Tuberculose; prevenção; controle; Indicadores de Qualidade em Assistência à Saúde; Indicadores de Serviços; Questionários; utilização; Estudos de Validação

OBJECTIVE

To evaluate the validity and reliability of an instrument that evaluates the structure of primary health care units for the treatment of tuberculosis.

METHODS

This cross-sectional study used simple random sampling and evaluated 1,037 health care professionals from five Brazilian municipalities (Natal, state of Rio Grande do Norte; Cabedelo, state of Paraíba; Foz do Iguaçu, state of Parana; Sao José do Rio Preto, state of Sao Paulo, and Uberaba, state of Minas Gerais) in 2011. Structural indicators were identified and validated, considering different methods of organization of the health care system in the municipalities of different population sizes. Each structure represented the organization of health care services and contained the resources available for the execution of health care services: physical resources (equipment, consumables, and facilities); human resources (number and qualification); and resources for maintenance of the existing infrastructure and technology (deemed as the organization of health care services). The statistical analyses used in the validation process included reliability analysis, exploratory factor analysis, and confirmatory factor analysis.

RESULTS

The validation process indicated the retention of five factors, with 85.9% of the total variance explained, internal consistency between 0.6460 and 0.7802, and quality of fit of the confirmatory factor analysis of 0.995 using the goodness-of-fit index. The retained factors comprised five structural indicators: professionals involved in the care of tuberculosis patients, training, access to recording instruments, availability of supplies, and coordination of health care services with other levels of care. Availability of supplies had the best performance and the lowest coefficient of variation among the services evaluated. The indicators of assessment of human resources and coordination with other levels of care had satisfactory performance, but the latter showed the highest coefficient of variation. The performance of the indicators “training” and “access to recording instruments” was inferior to that of other indicators.

CONCLUSIONS

The instrument showed feasibility of application and potential to assess the structure of primary health care units for the treatment of tuberculosis.

Health Services Evaluation; methods; Tuberculosis; prevention & control; Quality Indicators; Health Care; Indicators of Health Services; Questionnaires; utilization; Validation Studies

INTRODUÇÃO

Pela avaliação dos serviços de saúde, pode-se monitorar a capacidade de responder às necessidades em saúde, acompanhar os efeitos das intervenções, produzir evidências, identificar e corrigir problemas, retroalimentar equipes de saúde e gestores, avançar em material técnico para avaliar a atenção proporcionada ao doente,⁴ e subsidiar a elaboração de políticas e programas setoriais e a difusão de seus resultados.⁸

Ainda que haja discordância conceitual, a construção metodológica da avaliação de desempenho dos serviços de saúde dependerá da clareza sobre os princípios, objetivos e metas dos sistemas que se quer avaliar. Isso embasará a escolha das dimensões que serão objeto da avaliação de desempenho.²²

Hartz¹¹ (2012) destaca a importância dos sistemas de saúde alcançarem metas de acordo com planos estabelecidos e possuírem indicadores relevantes para a avaliação de desempenho: “a estimação desses indicadores pode parecer simples, mas para que traduzam impactos ou efeitos não existe consenso teórico e metodológico, estando sempre no centro das preocupações dos avaliadores, dada a prioridade político-institucional, a complexidade das intervenções e das múltiplas abordagens mobilizadas”.

A estrutura do sistema foi uma dimensão introduzida no modelo proposto pelos autores brasileiros dentre o espectro de dimensões da avaliação de sistemas de serviços de saúde constatado na revisão da literatura.²²

Elaborar e validar instrumento de avaliação da estrutura dos serviços de atenção básica no tratamento da tuberculose (TB) pode ser a primeira etapa para a construção de indicadores relevantes para avaliação de seu desempenho.

Estudos que objetivaram validar instrumentos utilizados para a avaliação de serviços de saúde,¹² de validação de indicadores psicométricos, usaram técnicas de análise de confiabilidade, análise fatorial exploratória^5,12 e confirmatória.^9,13

O objetivo deste estudo foi analisar validade e confiabilidade de instrumento de avaliação da estrutura dos serviços de atenção básica para o tratamento da TB.

MÉTODOS

Este estudo faz parte de uma série de pesquisas^a realizadas em cidades das regiões do Nordeste e Sudeste do Brasil, para avaliação de serviços de saúde no tratamento da TB.

O estudo foi desenvolvido nos municípios de: São José do Rio Preto, SP, população de 419.632 habitantes e 16,4% de cobertura de equipe de saúde da família (ESF); Natal, RN, 806.203 habitantes e 30,8% ESF; Foz do Iguaçu, PR, 325.132 habitantes e 39,3% ESF; Cabedelo, PB, 57.926 habitantes e 85,0% ESF; e Uberaba, MG, 296.259 habitantes e 58,2% ESF.^b

Os sujeitos da pesquisa foram profissionais de saúde que compõem a equipe mínima de atenção à TB [médico – clínico geral e da família –, enfermeiro, auxiliar/técnico de enfermagem e agentes comunitários de saúde (ACS)] da atenção básica da rede de saúde dos municípios estudados.

Foi construído um instrumento estruturado com 39 questões fechadas que compuseram três componentes avaliativos: recursos humanos, recursos físicos e organização do serviço (^Anexo), organizados dicotomicamente (sim; não).

A construção do instrumento foi sustentada em extensa revisão de literatura realizada a partir de consulta aos estudos de avaliação da qualidade. A “estrutura” correspondeu aos recursos existentes para a execução dos serviços: físicos (equipamentos, materiais de consumo e instalações); humanos (número e qualificação); e fontes para manutenção da infraestrutura e da tecnologia existente, entendida como organização do serviço de saúde.⁷ Foram utilizados: “Manual de Recomendações para o Controle da Tuberculose”,^cProtocolo de Enfermagem para o Tratamento Diretamente Observado da Tuberculose^d e Guia das melhores práticas para o cuidado de doentes com TB.²⁴ Esses documentos trazem as ações de maior relevância para o tratamento da TB nos serviços de saúde em nível nacional e internacional.

Foram verificadas a adequação e a coerência dos itens do instrumento. Discutiu-se cada variável que compôs o componente avaliativo da estrutura. O instrumento foi submetido à apreciação de três juízes especialistas na temática que não conheciam o estudo. A avaliação ocorreu por procedimento qualitativo dos itens: organização, objetividade, clareza, facilidade de leitura e compreensão do conteúdo. Os juízes foram orientados a redigir sugestões e comentários para melhoria dos itens avaliados.¹As adequações do instrumento foram finalizadas após a incorporação de todas sugestões dadas.

Para o cálculo da amostra, foi levantado o número de profissionais (médico – clínico geral e da família –, enfermeiro, auxiliar/técnico de enfermagem e ACS) que atuavam nos serviços de atenção básica dos municípios por meio do Cadastro Nacional de Estabelecimentos de Saúde, excluindo os que se apresentavam em duplicidade. Tendo como referencial a população de profissionais de saúde que atuavam na AB dos municípios (Uberaba = 489; São José do Rio Preto = 633; Foz do Iguaçu = 518, Cabedelo = 157 e Natal = 976), obteve-se a amostra mínima de profissionais a serem entrevistados por meio da equação.

Foram considerados: erro amostral de 0,05, intervalo de confiança de 95% e P (proporção populacional) de 50,0%. O valor obtido foi corrigido em relação à população total de profissionais utilizando a equação. Assim, definiu-se o total de 1.037 profissionais a serem entrevistados em cada município do estudo multicêntrico (239 em São José do Rio Preto, 216 em Uberaba, 225 em Foz do Iguaçu, 240 em Natal e 117 em Cabedelo). O número de profissionais de cada categoria profissional foi determinado por meio de partilha proporcional.

Utilizou-se processo de amostragem aleatório simples para seleção dos serviços de saúde. Os profissionais de saúde identificados como informantes-chave dos SS sorteados e que concordaram em participar da pesquisa foram entrevistados. Os sorteios dos serviços de saúde foram realizados até que o número de profissionais previsto no cálculo da amostra fosse atingido.

O cálculo amostral foi realizado para atender os critérios de realização das análises fatoriais, uma vez que o tamanho da amostra deve ter proporção de dez respondentes para cada item do questionário, o que permitiria trabalhar com 390 respondentes.¹⁰ Para variáveis com respostas dicotômicas, a orientação foi trabalhar com amostras maiores que 1.000 para evitar convergência numérica e singularidade.²⁰ Desta forma, a amostra calculada permitiria 3,5% para possíveis perdas.

Os dados foram analisados por técnicas descritivas. O estudo de confiabilidade do instrumento foi medido pelo índice de α de Cronbach. A validade foi medida de duas formas: por meio de análise fatorial exploratória (AFE), que visou a simplificar a estrutura dos dados e sintetizar as informações devido ao grande número de variáveis envolvidas e da análise fatorial confirmatória (AFC), que testa a hipótese preconcebida sobre a estrutura dos dados encontrada na AFE.^9,20 Os resultados das análises fatoriais permitiram agrupar os itens do questionário em fatores.

Foi estimado o valor médio (µ = P, Proporção de todos os serviços de saúde com as características estudadas), o desvio-padrão ( ) e o coeficiente de variação para o conjunto de itens do questionário que compuseram cada fator (indicadores de estrutura).

A utilização da AFE supõe que as variáveis podem ser agrupadas segundo suas correlações, obtendo-se fatores com todas as variáveis altamente correlacionadas entre si, mas com baixas correlações com as demais.^18,25No entanto, a AFE assume que as variáveis são quantitativas contínuas e utiliza o cálculo das matrizes de correlações gaussianas para estimativa dos fatores e do modelo fatorial exploratório. Sendo as variáveis dicotômicas, foram utilizadas matrizes de correlações tetracóricas, que é apropriada à métrica das variáveis para estimar fatores e estimativas do modelo fatorial.^19,20

A AFE sobre a matriz das correlações tetracóricas^16,17 utilizou o método dos componentes principais para a extração dos fatores, seguido de rotação Varimax. Os fatores comuns retidos foram os que apresentavam o autovalor (eigenvalue) > 1, em consonância com o Scree Plot e percentagem de variância retida. Recomenda-se que o número de fatores escolhidos corresponda a no mínimo 60,0% da variância total e sugere-se¹²reter três ou mais itens em cada fator. Isso porque a utilização de um único critério¹⁶ pode levar à retenção de mais/menos fatores do que aqueles relevantes para descrever a estrutura latente.

Utilizou-se os testes Kaiser-Meyer-Olkin (KMO)¹⁶ e de esfericidade de Bartlett¹⁶ para avaliar a adequação dos dados para o uso da AFE. Este último examinou se a matriz de correlação da população era uma matriz identidade, i.e., que não havia correlação entre as variáveis com significância estatística p < 0,10. Valores do critério KMO são utilizados para verificar a adequação ao método podendo variar de 0 a 1 (≥ 0,80 admirável; 0,70 a 0,79 aceitável; 0,60 a 0,69 medíocre; 0,50 a 0,59 ruim e < 0,50 indicam a inadequação do método).¹⁰

Outra medida de adequação dos dados à AFE são os valores da diagonal principal da matriz de anti-imagem para as correlações. É chamada de medida de adequação da amostragem (Measure of Sampling adequacy ou KMO_i> 0,5) para cada variável na análise. Valores de KMO_i < 0,5 indicam que essa variável não se ajustou à estrutura definida pelas outras variáveis e a variável é eliminada da AFE.¹⁶ Avaliou-se a significância estatística das cargas fatoriais que representa a correlação entre uma variável original e seu fator, para a interpretação dos fatores. Para conseguir nível de poder de 80,0% e nível de significância de 0,05, sugere-se amostras de tamanho ≥ 350 e cargas fatoriais com correlação ≥ 0,30.¹⁰

As comunalidades (porção da variância que uma variável compartilha com todas as outras variáveis consideradas) foram avaliadas para cada variável observando se ela atendia a níveis de explicação aceitáveis (> 0,5) e a sua contribuição para a pesquisa. Observou-se matriz de resíduos (correlações observadas menos correlações estimadas) com mais de 50,0% dos resíduos com valor absoluto < 0,05 como indicador de modelo fatorial com bom ajustamento.¹⁶

O modelo da AFC foi ajustado por distribuição assimptótica livre (ADF) ou mínimos quadrados ponderados (WLS), pois não exigiam que os itens apresentassem normalidade multivariada.²⁰ O programa Statistica oferece o estimador Asymptotically Distribution Free Gramian (ADFG) para essas condições.^e

A qualidade do modelo de AFC foi avaliada pelo índice de qualidade do ajustamentogoodness-of-fit index (GFI),¹⁶ fração das correlações entre as variáveis originais que são explicadas pelo modelo. Considera-se que valores de GFI inferiores a 0,9 indicam modelos com mau ajustamento aos dados; GFI entre 0,9 e 0,95 indicam bom ajustamento; valores de GFI superiores a 0,95 são indicadores de ajustamento muito bom. GFI = 1 indica ajustamento perfeito. O GFI tem tendência a aumentar conforme aumenta a dimensão da amostra. Desta forma, foi calculado o goodness-of-fit index ajusted (AGFI), que é o valor ajustado para o número de graus de liberdade da amostra.¹⁶

A confiabilidade (reliability)^f foi examinada pelo índice α deCronbach, que mede a consistência interna dos itens do questionário.¹⁶ O limite inferior recomendado para o α é de 0,7, mas em pesquisas exploratórias pode-se aceitar valores a partir de 0,6.¹⁰

Este projeto foi aprovado pelo Comitê de Ética em Pesquisa da Escola de Enfermagem de Ribeirão Preto da Universidade de São Paulo (Protocolo 1264/2011), em conformidade à Resolução 196/96 do Conselho Nacional de Saúde. Todos os participantes assinaram termo de consentimento livre e esclarecido.

RESULTADOS

Foram entrevistados 1.037 profissionais de saúde: 239 em São José do Rio Preto, 216 em Uberaba, 225 em Foz do Iguaçu, 117 em Cabedelo e 240 em Natal. A Tabela 1 apresenta a distribuição de frequência dos itens do questionário de avaliação dos serviços de saúde segundo a estrutura para o tratamento dos doentes de TB.

Tabela 1
Distribuição de frequência dos itens do questionário de avaliação dos serviços de saúde segundo a estrutura para o tratamento dos doentes de tuberculose. Brasil, 2011.

Recursos humanos	Sim (%)
1. Esse serviço possui um enfermeiro envolvido com o atendimento aos doentes de TB?	99,3
2. Esse serviço possui um auxiliar/técnico de enfermagem envolvido com o atendimento aos doentes de TB?	71,4*
3. Esse serviço possui um médico envolvido com o atendimento aos doentes de TB?	92,6*
4. Esse serviço possui um agente comunitário de saúde envolvido com o atendimento aos doentes de TB?	88,5*
5. Há outros profissionais (psicólogo, assistente social) envolvidos com o tratamento da TB nesse serviço?	45,1
6. Nos últimos três anos, os enfermeiros foram capacitados para atendimento em TB?	77,1*
7. Nos últimos três anos, os auxiliares/técnico de enfermagem foram capacitados para atendimento em TB?	33,9*
8. Nos últimos três anos, os médicos foram capacitados para atendimento em TB?	61,5*
9. Nos últimos três anos, os ACS foram capacitados para atendimento em TB?	47,3*
10. Nos últimos três anos, outros profissionais foram capacitados para atendimento em TB?	13,0
11. Nos últimos 12 meses houve capacitação sobre TB realizada pela Vigilância Epidemiológica de Saúde para este serviço?	60,4*
12. Nos últimos 12 meses houve capacitação sobre TB realizada por este próprio serviço de saúde aos profissionais que aqui trabalham?	34,9
13. Há nesse serviço de saúde um profissional responsável pelo TDO?	88,4
Recursos físicos	Sim (%)
14. Nesse serviço há disponibilidade de consultórios médicos para o atendimento ao doente de TB?	71,4
15. Nesse serviço há disponibilidade de salas para atendimento de enfermagem ao doente de TB?	69,1
16. Há atualmente disponibilidade de cestas básicas ou vale alimentação para entregar aos doentes?	51,0
17. Há atualmente disponibilidade de vale transporte para entregar aos doentes?	20,5
18. Os profissionais possuem acesso à ficha de notificação?	83,4*
19. Os profissionais possuem acesso a prontuários?	92,5*
20. Os profissionais possuem acesso à ficha de acompanhamento mensal de tratamento?	63,4*
21. Os profissionais possuem acesso à ficha diária de TDO?	66,5*
22. Os profissionais possuem acesso ao livro verde?	53,9*
23. O SS possui pote para exame de escarro?	89,9*
24. O SS possui pedido de baciloscopia?	95,7*
25. O SS possui pedido de cultura?	90,8*
26. O SS possui pedido de exame HIV?	92,9
27. O SS possui ficha de referência e contra referência?	91,2
28. A disponibilidade (entrega) de medicamentos para TB nessa unidade de saúde nos últimos 12 meses atendeu a demanda?	88,1
Organização do serviço	Sim (%)
29. Esse serviço de saúde atende fora do horário comercial (após as 17 horas)?	38,3
30. São realizadas discussões dos casos de TB que realizam tratamento neste serviço pela equipe de profissionais responsáveis pelo tratamento desse agravo?	73,4
31. Os doentes de TB em tratamento conseguem consulta no prazo de 24 horas nesse serviço se passarem mal por causa da medicação ou da TB?	87,1
32. Os doentes de TB em tratamento são orientados a procurar pelo serviço de saúde fora da data agendada para retorno, caso apresentem algum problema relacionado à sua doença e tratamento?	95,5
33. Existe articulação desse serviço com outros níveis de atenção quando o doente necessita de consultas por possuir outras co-morbidades (diabetes, hipertensão, doenças psiquiátricas)?	85,3*
34. Existe articulação desse serviço com outros níveis de atenção quando o doente é co-infectado pelo HIV?	87,7*
35. Existe articulação desse serviço com outros níveis de atenção quando há complicações no tratamento?	91,4*
36. Existe articulação desse serviço com outros níveis de atenção quando há dificuldades na realização do TDO?	78,6*
37. O nº de vezes que o laboratório passa para buscar os exames de TB durante o tratamento é suficiente para atender a demanda desse serviço?	64,5
38. O resultado do exame de baciloscopia fica pronto e chega a esse serviço em até 7 dias?	22,6
39. Há no serviço de saúde um sistema informatizado contendo informações sobre o doente de TB (como consultas agendadas, faltas ao serviço, falta na supervisão medicamentosa)?	21,9

• TB: tuberculose; ACS: agentes comunitários de saúde; TDO: tratamento diretamente observado; SS: serviço de saúde
• ^* Itens validados.

O processo de validação dos itens do questionário testou cinco modelos distintos na AFE com predefinição do número de fatores variando de 3 a 7. Isso porque a escala, conceitualmente, poderia identificar três componentes avaliativos ou mais. Permaneceram no modelo as variáveis com medida de adequação da amostragem KMO_i > 0,5. O melhor modelo considerou a retenção de cinco fatores com KMO = 0,728, p < 0,0001 para o teste de esfericidade de Bartlett (c² = 5473,94; gl = 190), 85,9% de variância total explicada, matriz de resíduos com 44,2% dos resíduos > 0,05 e autovalores > 1.

Os cinco fatores retidos, suas cargas fatoriais, as comunalidades, oseigenvalues, a variância explicada para cada fator e o α deCronbach encontram-se na Tabela 2.

Tabela 2
Componente estrutura, fatores retidos, cargas fatoriais, comunalidades, autovalores, variância explicada e alpha de Cronbach. Brasil, 2011.

Item do questionárioa	Cargas fatoriais dos cinco fatores validados
	1	2	3	4	5	Comunalidades
	Acesso a instrumentos de registro	Capacitação de profissionais de saúde	Articulação com outros níveis de atenção	Profissionais envolvidos com o atendimento da TB	Disponibilidade de insumos e equipamentos
2. O SS possui um auxiliar/técnico de enfermagem envolvido com o atendimento aos doentes de TB nesse serviço?	0,016	-0,001	0,013	0,912b	0,064	0,785
3. O SS possui um médico envolvido com o atendimento aos doentes de TB nesse serviço?	-0,184	0,034	0,125	0,901b	-0,141	0,801
4. O SS possui um agente comunitário de saúde envolvido com o atendimento aos doentes de TB nesse serviço?	0,089	0,157	-0,183	0,921b	0,009	0,863
6. Nos últimos três anos, os enfermeiros foram capacitados para atendimento em TB?	0,194	0,973b	0,152	0,026	0,054	0,998
7. Nos últimos três anos, os auxiliares/técnico de enfermagem foram capacitados para atendimento em TB?	-0,135	0,738b	0,024	0,552	0,258	0,895
8. Nos últimos três anos, os médicos foram capacitados para atendimento em TB?	0,140	0,835b	0,262	0,150	-0,009	0,803
9. Nos últimos três anos, os ACS foram capacitados para atendimento em TB?	-0,257	0,603b	-0,104	0,428	0,365	0,714
11. Nos últimos 12 meses houve capacitação sobre TB realizada pela Vigilância Epidemiológica de Saúde para este serviço?	0,218	0,811b	-0,044	-0,170	0,160	0,691
18. Os profissionais possuem acesso à ficha de notificação?	0,885b	0,248	0,144	-0,054	0,164	0,888
19. Os profissionais possuem acesso a prontuários?	0,941b	0,180	0,192	-0,009	0,112	0,957
20. Os profissionais possuem acesso à ficha de acompanhamento mensal de tratamento?	0,847b	-0,290	0,152	-0,225	-0,015	0,818
21. Os profissionais possuem acesso à ficha diária de TDO?	0,663b	0,061	0,083	-0,068	0,376	0,540
22. Os profissionais possuem acesso ao livro verde?	0,797b	0,161	0,134	0,126	0,108	0,648
23. O SS possui pote para exame de escarro?	0,096	0,043	0,004	0,031	0,898b	0,718
24. O SS possui pedido de baciloscopia?	0,399	0,302	0,254	0,126	0,791b	0,980
25. O SS possui pedido de cultura?	0,306	0,177	0,332	-0,140	0,787b	0,902
33. Existe articulação desse serviço com outros níveis de atenção quando o doente necessita de consultas por possuir outras co-morbidades (diabetes, hipertensão, doenças psiquiátricas)?	0,195	0,008	0,910b	0,065	0,192	0,872
34. Existe articulação desse serviço com outros níveis de atenção quando o doente é co-infectado pelo HIV?	0,235	0,051	0,895b	-0,006	-0,039	0,848
35. Existe articulação desse serviço com outros níveis de atenção quando há complicações no tratamento?	0,227	0,131	0,969b	-0,027	-0,006	0,992
36. Existe articulação desse serviço com outros níveis de atenção quando há dificuldades na realização do TDO?	-0,050	0,126	0,804b	-0,100	0,377	0,771
Autovalores	6,676	4,190	2,474	2,130	1,713	Total
Porcentagem da Variância Total	33,380	20,951	12,371	10,652	8,564	85,918
α de Cronbach padronizado	0,7535	0,7226	0,7802	0,6460	0,6732	0,7265

• SS: serviço de saúde; TB: tuberculose; ACS: agentes comunitários de saúde; TDO: tratamento diretamente observado
• Nota: A análise fatorial exploratória foi realizada utilizando extração dos fatores pelo método dos componentes principais; Rotação varimax com Kaiser normalização.
• ^a Ver Anexo.
• ^b Cargas fatoriais significativas.

O primeiro fator, ‘Acesso a instrumentos de registro’, é composto por acessos aos itens: ficha de notificação; prontuários; ficha de acompanhamento mensal; ficha diária de tratamento diretamente observado (TDO); e ao livro verde. O segundo fator, ‘Capacitação de profissionais de saúde’, foi constituído por cinco itens: enfermeiros, auxiliares/técnicos de enfermagem, médicos, ACS, capacitados para atendimento em TB, nos últimos três anos e houve capacitação realizada pela Vigilância Epidemiológica nos últimos 12 meses. O terceiro fator, ‘Articulação do serviço de saúde com outros níveis de atenção’, apresentou quatro itens: articulação do serviço investigado com outros níveis de atenção quando o doente necessita de consultas por possuir outras comorbidades, coinfecção pelo HIV, complicações no tratamento, dificuldades na realização do TDO. O quarto fator, ‘Profissionais envolvidos com o atendimento da TB’, compreendeu três itens: presença de auxiliar/técnico de enfermagem, médico e ACS envolvidos com o atendimento aos doentes de TB nos serviços de saúde. O quinto fator, ‘Disponibilidade de insumos e equipamentos’, foi composto por três itens: disponibilidade de pote para exame de escarro, pedido de baciloscopia, pedido de cultura nos serviços de saúde.

O modelo da AFC ajustado utilizando o estimador ADFG forneceu o valor de 0,996 para o índice GFI e de 0,995 para o GFI ajustado.

Os valores de proporção média do conjunto de itens do questionário que compõem cada fator (indicadores de estrutura) e seu desvio-padrão foram apresentados naTabela 3. O indicador de articulação do serviço de saúde com outros níveis de atenção apresentou maior variabilidade dos dados nos serviços de saúde.

Tabela 3
Indicadores para avaliação da estrutura dos serviços de saúde para o tratamento da tuberculose. Brasil, 2011.

Indicadores de estrutura	Proporção média	dp	Coeficiente de variação
	%	%	%
Profissionais envolvidos com o atendimento de tuberculose	84,2	3,3	3,9
Capacitação dos profissionais de saúde	56,0	4,5	8,0
Acesso a instrumentos de registro	72,0	4,1	5,7
Disponibilidade de insumos	92,2	2,4	2,6
Articulação do serviço de saúde com outros níveis de atenção	85,8	7,6	8,9

• ^g Ministério da Saúde. Departamento de Atenção Básica. Atenção Básica e a Saúde da Família. Brasília (DF); 2013 [citado 2013 nov 19]. Disponível em: http://dab.saude.gov.br/atencaobasica.php

DISCUSSÃO

Vinte dos 39 itens inicialmente propostos foram validados, permitindo reduzir a estrutura dos dados (Tabela 1). Os 20 itens foram validados em cinco fatores, satisfazendo as condições para realização da AFE, teste de esfericidade de Bartlett significativo e KMO com qualidade aceitável,¹⁶variância total acima de 60,0% e pelo menos três itens retidos em cada fator,^10,16 cargas fatoriais acima de 0,3, comunalidades maiores que 0,5 e autovalores > 1¹⁶ (Tabela 2).

A análise de confiabilidade forneceu valores do α de Cronbachentre 0,6460 e 0,7802 (Tabela 2). Esses resultados estão entre os valores aceitáveis pela literatura.¹⁰ Os fatores 4 e 5 (Tabela 2) apresentaram valores inferiores a 0,7 para o α de Cronbach devido à retenção de três itens para compor cada fator. Seria necessário maior número de itens para aumentar a confiabilidade do fator. Os itens propostos no questionário que poderiam se correlacionar com os itens do fator 4 eram ‘enfermeiros’ e ‘outros profissionais’ envolvidos com o tratamento da TB, que foram removidos na AFE. ‘O enfermeiro’ apresentou variância próxima ao valor nulo porque a maioria dos entrevistados (99,3%) reconheceu ser esse profissional o mais envolvido com o atendimento de TB. Quando a variância é nula, a medida é constante e o item é removido da AFE por não apresentar variabilidade.¹⁶ O enfermeiro é reconhecido como o responsável pelas ações de controle da TB.³‘Outros profissionais’ foi removido por apresentar comunalidade < 0,5, possivelmente devido ao baixo reconhecimento (45,1%) pelos entrevistados de que esses profissionais estariam envolvidos com o atendimento da TB. Isso sugere a dificuldade de agregação de outras categorias profissionais nas ações de controle da TB.²³

A qualidade do modelo da AFC ajustado (GFI = 0,995) foi avaliada como muito boa,¹⁰ considerando os cinco municípios. Os cinco fatores retidos foram adequados para avaliar a estrutura dos serviços de saúde no tratamento da TB para diferentes municípios. Esse resultado mostrou que o referencial teórico foi adequado para os dados em observação.

O indicador de capacitação apresentou o menor percentual de avaliação. A capacitação está entre os desafios institucionais do departamento de atenção básica do Ministério da Saúde, que propõe revisão dos processos de formação com ênfase na educação permanente das equipes, coordenações e gestores.^g

A falta de capacitação dos profissionais de saúde no tratamento da TB foi um dos fatores que dificultavam o desempenho das equipes de saúde. Outros estudos apontam a necessidade de um processo contínuo de capacitação dos profissionais de saúde para alcançar maior qualidade dos serviços de atenção à saúde.⁶ O processo de atualização dos profissionais de saúde deve ser permanente com oficinas educativas e envolver a participação de profissionais de ensino e de saúde.²¹

O indicador de acesso a instrumentos de registros foi inferior quando comparado aos demais. A qualidade dos dados dos sistemas de vigilância relaciona-se ao nível de completitude e validade dos dados registrados. Para que isso aconteça, há necessidade de acesso aos instrumentos de registro. Estudos mostram a inadequação no preenchimento dos livros de registro de dados e na alimentação dos dados na base do Sistema de Informação de Agravos de Notificação.²

A maioria dos serviços de saúde articulou-se com outros níveis de atenção quando: o doente era coinfectado pelo HIV; necessitava de consultas por possuir outras co-morbidades; havia complicações no tratamento e dificuldades no TDO. No entanto, esse indicador apresentou o maior coeficiente de variação, i.e., variou mais entre os serviços avaliados que os demais indicadores. É necessária maior atenção dos gestores nos serviços que não realizam essas ações satisfatoriamente.

O indicador com melhor desempenho foi o de disponibilidade de insumos. No entanto, não foi suficiente para garantir que todos os serviços de saúde dispusessem dos insumos necessários ao tratamento da TB.

Os itens ‘Esse serviço de saúde atende fora do horário comercial’, ‘Os doentes são orientados a procurar o serviço de saúde fora da data agendada’ e ‘Há no serviço de saúde um sistema informatizado?’ apresentaram KMOi < 0,5 e foram removidos da AFE. Isso indica que esses itens não se ajustaram à estrutura definida por outros itens, i.e., não estão consideravelmente correlacionados com os outros itens.¹⁶ Os municípios que ampliaram o horário de atendimento não obtiveram ampliação do acesso das pessoas aos serviços de saúde em outro estudo.¹⁵

O item referente à orientação dada aos pacientes pela procura espontânea aos serviços de saúde, caso apresentasse intercorrências advindas da doença e tratamento, ocorreu em 95,5% dos serviços de saúde. Esse foi um indicador com baixa variabilidade e, portanto, não validado.

O sistema informatizado não esteve presente na maioria dos serviços de saúde. O sistema foi informatizado com acesso on-line em centros de referência para TB, o que explica a baixa presença desses sistemas em serviços da AB.¹⁴

Ações devem ser implementadas para melhorar os indicadores avaliados. Além disso, devem promover a capacitação dos profissionais de saúde no tratamento da TB e o acesso aos instrumentos de registro, que apresentaram as piores avaliações.

O instrumento apresentou viabilidade de aplicação e potencial de avaliação da estrutura dos serviços de saúde para o tratamento da tuberculose considerando os dados dos diferentes municípios. Os resultados foram considerados confiáveis devido ao ajuste do modelo da AFC obtido por meio de métodos de distribuição assintótica livre adequados à estimação de itens categóricos (dicotômicos) com distribuição não paramétrica. Estimativas precisas podem ser obtidas utilizando-se métodos de estimação condizentes com as características dos itens do instrumento. No entanto, o uso de variáveis dicotômicas em instrumentos de validação só será possível com grandes amostras, o que pode dificultar sua aplicação.

Anexo AItens do questionário de avaliação dos serviços de saúde segundo a estrutura para o tratamento dos doentes de tuberculose. Brasil, 2011.

Itens do questionário Recursos humanos 1. Esse serviço possui um enfermeiro envolvido com o atendimento aos doentes de TB? 2. Esse serviço possui um auxiliar/técnico de enfermagem envolvido com o atendimento aos doentes de TB? 3. Esse serviço possui um médico envolvido com o atendimento aos doentes de TB? 4. Esse serviço possui um agente comunitário de saúde envolvido com o atendimento aos doentes de TB? 5. Há outros profissionais (psicólogo, assistente social) envolvidos com o tratamento da TB nesse serviço? 6. Nos últimos 3 anos, os enfermeiros foram capacitados para atendimento em TB? 7. Nos últimos 3 anos, os auxiliares/técnico de enfermagem foram capacitados para atendimento em TB? 8. Nos últimos 3 anos, os médicos foram capacitados para atendimento em TB? 9. Nos últimos 3 anos, os ACS foram capacitados para atendimento em TB? 10. Nos últimos 3 anos, outros profissionais foram capacitados para atendimento em TB? 11. Nos últimos 12 meses houve capacitação sobre TB realizada pela Vigilância Epidemiológica de Saúde para este serviço? 12. Nos últimos 12 meses houve capacitação sobre TB realizada por este próprio serviço de saúde aos profissionais que aqui trabalham? 13. Há nesse serviço de saúde um profissional responsável pelo TDO? Recursos físicos 14. Nesse serviço há disponibilidade de consultórios médicos para o atendimento ao doente de TB? 15. Nesse serviço há disponibilidade de salas para atendimento de enfermagem ao doente de TB? 16. Há atualmente disponibilidade de cestas básicas ou vale alimentação para entregar aos doentes? 17. Há atualmente disponibilidade de vale transporte para entregar aos doentes? 18. Os profissionais possuem acesso à ficha de notificação? 19. Os profissionais possuem acesso a prontuários? 20. Os profissionais possuem acesso à ficha de acompanhamento mensal de tratamento? 21. Os profissionais possuem acesso à ficha diária de TDO? 22. Os profissionais possuem acesso ao livro verde? 23. O SS possui pote para exame de escarro? 24. O SS possui pedido de baciloscopia? 25. O SS possui pedido de cultura? 26. O SS possui pedido de exame HIV? 27. O SS possui ficha de referência e contra referência? 28. A disponibilidade (entrega) de medicamentos para TB nessa unidade de saúde nos últimos 12 meses atendeu a demanda? Organização do serviço 29. Esse serviço de saúde atende fora do horário comercial (após as 17 horas)? 30. São realizadas discussões dos casos de TB que realizam tratamento neste serviço pela equipe de profissionais responsáveis pelo tratamento desse agravo? 31. Os doentes de TB em tratamento conseguem consulta no prazo de 24 horas nesse serviço se passarem mal por causa da medicação ou da TB? 32. Os doentes de TB em tratamento são orientados a procurar pelo serviço de saúde fora da data agendada para retorno, caso apresentem algum problema relacionado à sua doença e tratamento? 33. Existe articulação desse serviço com outros níveis de atenção quando o doente necessita de consultas por possuir outras co-morbidades (diabetes, hipertensão, doenças psiquiátricas)? 34. Existe articulação desse serviço com outros níveis de atenção quando o doente é co-infectado pelo HIV? 35. Existe articulação desse serviço com outros níveis de atenção quando há complicações no tratamento? 36. Existe articulação desse serviço com outros níveis de atenção quando há dificuldades na realização do TDO? 37. O nº de vezes que o laboratório passa para buscar os exames de TB durante o tratamento é suficiente para atender a demanda desse serviço? 38. O resultado do exame de baciloscopia fica pronto e chega a esse serviço em até 7 dias? 39. Há no serviço de saúde um sistema informatizado contendo informações sobre o doente de TB (como consultas agendadas, faltas ao serviço, falta na supervisão medicamentosa)? TB: tuberculose; ACS: agentes comunitários de saúde; TDO: tratamento diretamente observado

Itens do questionário
Recursos humanos
1. Esse serviço possui um enfermeiro envolvido com o atendimento aos doentes de TB?
2. Esse serviço possui um auxiliar/técnico de enfermagem envolvido com o atendimento aos doentes de TB?
3. Esse serviço possui um médico envolvido com o atendimento aos doentes de TB?
4. Esse serviço possui um agente comunitário de saúde envolvido com o atendimento aos doentes de TB?
5. Há outros profissionais (psicólogo, assistente social) envolvidos com o tratamento da TB nesse serviço?
6. Nos últimos 3 anos, os enfermeiros foram capacitados para atendimento em TB?
7. Nos últimos 3 anos, os auxiliares/técnico de enfermagem foram capacitados para atendimento em TB?
8. Nos últimos 3 anos, os médicos foram capacitados para atendimento em TB?
9. Nos últimos 3 anos, os ACS foram capacitados para atendimento em TB?
10. Nos últimos 3 anos, outros profissionais foram capacitados para atendimento em TB?
11. Nos últimos 12 meses houve capacitação sobre TB realizada pela Vigilância Epidemiológica de Saúde para este serviço?
12. Nos últimos 12 meses houve capacitação sobre TB realizada por este próprio serviço de saúde aos profissionais que aqui trabalham?
13. Há nesse serviço de saúde um profissional responsável pelo TDO?
Recursos físicos
14. Nesse serviço há disponibilidade de consultórios médicos para o atendimento ao doente de TB?
15. Nesse serviço há disponibilidade de salas para atendimento de enfermagem ao doente de TB?
16. Há atualmente disponibilidade de cestas básicas ou vale alimentação para entregar aos doentes?
17. Há atualmente disponibilidade de vale transporte para entregar aos doentes?
18. Os profissionais possuem acesso à ficha de notificação?
19. Os profissionais possuem acesso a prontuários?
20. Os profissionais possuem acesso à ficha de acompanhamento mensal de tratamento?
21. Os profissionais possuem acesso à ficha diária de TDO?
22. Os profissionais possuem acesso ao livro verde?
23. O SS possui pote para exame de escarro?
24. O SS possui pedido de baciloscopia?
25. O SS possui pedido de cultura?
26. O SS possui pedido de exame HIV?
27. O SS possui ficha de referência e contra referência?
28. A disponibilidade (entrega) de medicamentos para TB nessa unidade de saúde nos últimos 12 meses atendeu a demanda?
Organização do serviço
29. Esse serviço de saúde atende fora do horário comercial (após as 17 horas)?
30. São realizadas discussões dos casos de TB que realizam tratamento neste serviço pela equipe de profissionais responsáveis pelo tratamento desse agravo?
31. Os doentes de TB em tratamento conseguem consulta no prazo de 24 horas nesse serviço se passarem mal por causa da medicação ou da TB?
32. Os doentes de TB em tratamento são orientados a procurar pelo serviço de saúde fora da data agendada para retorno, caso apresentem algum problema relacionado à sua doença e tratamento?
33. Existe articulação desse serviço com outros níveis de atenção quando o doente necessita de consultas por possuir outras co-morbidades (diabetes, hipertensão, doenças psiquiátricas)?
34. Existe articulação desse serviço com outros níveis de atenção quando o doente é co-infectado pelo HIV?
35. Existe articulação desse serviço com outros níveis de atenção quando há complicações no tratamento?
36. Existe articulação desse serviço com outros níveis de atenção quando há dificuldades na realização do TDO?
37. O nº de vezes que o laboratório passa para buscar os exames de TB durante o tratamento é suficiente para atender a demanda desse serviço?
38. O resultado do exame de baciloscopia fica pronto e chega a esse serviço em até 7 dias?
39. Há no serviço de saúde um sistema informatizado contendo informações sobre o doente de TB (como consultas agendadas, faltas ao serviço, falta na supervisão medicamentosa)?

• TB: tuberculose; ACS: agentes comunitários de saúde; TDO: tratamento diretamente observado

REFERENCES

• ¹
  Alexandre NMC, Coluci MZO. Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas. Cienc Saude Coletiva 2011;16(7):3061-8. DOI:10.1590/S1413-81232011000800006
• ²
  Angelotti LCZ, Alexandre PBD, Miranzi SSC, Scatena LM. Qualidade de dados de notificação e acompanhamento dos casos de tuberculose em Minas Gerais.Rev Enferm Atenc Saude 2013;2(2):84-98.
• ³
  Caliari JS, Figueiredo RM. Tuberculose: perfil de doentes, fluxo de atendimento e opinião de enfermeiros. Acta Paul Enferm.2012;25(1):43-7.
• ⁴
  Carvalho ALB, Souza MF, Shimizu HE, Senra IMVB, Oliveira KC. A gestão do SUS e as práticas de monitoramento e avaliação: possibilidades e desafios para a construção de uma agenda estratégica. Cienc Saude Coletiva 2012;17(4):901-11. DOI:10.1590/S1413-81232012000400012
• ⁵
  Carvalho HW, Patrick CJ, Krueger RF, Markon KE, Pinheiro AMV. Validade de construto da versão brasileira do Inventário Espectral de Externalização: evidências a partir de uma amostra de estudantes universitários.Rev Psiquiatr Clin. 2010;37(5):206-11. DOI:10.1590/S0101-60832010000500004
• ⁶
  Cotta RMM, Schott M, Azeredo CM, Franceschini SCC, Priore SE, Dias G. Organização do trabalho e perfil dos profissionais do Programa Saúde da Família: um desafio na reestruturação da atenção básica em saúde.Epidemiol Serv Saude 2006;15(3):7-18.
• ⁷
  Donabedian A. The effectiveness of quality assurance. Int J Qual Health Care. 1996;8(4):401-7.
• ⁸
  Felisberto E. Da teoria à formulação de uma Política Nacional de Avaliação em Saúde: reabrindo o debate. Cienc Saude Coletiva 2006;11(3):553-63. DOI:10.1590/S1413-81232006000300002
• ⁹
  Fernandes HM, Vasconcelos-Raposo JJB. Análise factorial confirmatória do TEOSQp. Psicol Reflex Crit 2010;23(1):92-101. DOI:10.1590/S0102-79722010000100012
• ¹⁰
  Hair Jr. JF. Multivariate Data Análysis. 5. ed. Porto Alegre: Bookman; 2005.
• ¹¹
  Hartz ZMA. Meta-avaliação da gestão em saúde: desafios para uma “nova saúde pública”. Cienc Saude Coletiva 2012;17(4):829-37. DOI:10.1590/S1413-81232012000400004
• ¹²
  Harzheim E, Starfield B, Rajmil L, Álvarez-Dardet C, Stein AT. Consistência interna e confiabilidade da versão em português do Instrumento de Avaliação da Atenção Primária (PCATool-Brasil) para serviços de saúde infantil.Cad Saude Publica 2006;22(8):1649-59. DOI:10.1590/S0102-311X2006000800013
• ¹³
  Herrero J. El Análisis Factorial Confirmatorio en el estudio de la estructura y estabilidad de los instrumentos de evaluación: un ejemplo con el Cuestionario de Autoestima CA-14. Intervención Psicosocial.2010;19(3):289-300.
• ¹⁴
  Hijjar MA, Gerhardt G, Teixeira GM, Procópio MJ. Retrospect of tuberculosis control in Brazil. Rev Saude Publica 2007;41Suppl1:50-8. DOI:10.1590/S0034-89102007000800008
• ¹⁵
  Machado CV, Lima LD, Viana LS. Configuração da atenção básica e do Programa Saúde da Família em grandes municípios do Rio de Janeiro, Brasil.Cad Saude Publica 2008;24(1):545-57. DOI:10.1590/S0102-311X2008001300010
• ¹⁶
  Maroco J. Análise Estatística com utilização do SPSS. 3. ed. Edições Sílabo; 2007.
• ¹⁷
  Nestler S. A Monte Carlo study comparing PIV, ULS and DWLS in the estimation of dichotomous confirmatory factor analysis. Brit J Math Stat Psy. 2013;66(1):127-43. DOI:10.1111/j.2044-8317.2012.02044.x
• ¹⁸
  Paes NA, Santos CSA. As estatísticas de nascimento e os fatores maternos e da criança nas microrregiões do Nordeste brasileiro: uma investigação usando análise fatorial. Cad Saude Publica 2010;26(2):311-22. DOI:10.1590/S0102-311X2010000200010
• ¹⁹
  Reichenheim ME, Moraes CL. Operacionalização de adaptação transcultural de instrumentos de aferição usados em epidemiologia. Rev Saude Publica 2007;41(4):665-73. DOI:10.1590/S0034-89102006005000035
• ²⁰
  Savalei V, Rhemtulla M. The performance of robust test statistics with categorical data. Brit J Math Stat Psy. 2013;66(2):201-23. DOI:10.1111/j.2044-8317.2012.02049.x
• ²¹
  Torres HC, Amaral MA, Amorim MM, Cyrino AP, Bodstein R. Capacitação de profissionais da atenção primária à saúde para educação em Diabetes Mellitus.Acta Paul Enferm 2010;23(6):751-6.
• ²²
  Viacava F, Almeida C, Caetano R, Fausto M, Macinko J, Martins M, et al. Uma metodologia de avaliação do desempenho do sistema de saúde brasileiro.Cienc Saude Coletiva 2004;9(3):711-24. DOI:10.1590/S1413-81232004000300021
• ²³
  Villa TCS, Andrade, RLP, Arakawa T, Magnabosco, GT, Beraldo AA, Monroe AA. Satisfação do usuário com os serviços de atenção à tuberculose em Ribeirão Preto, 2008. Cad Saude Coletiva.2012;20(2):234-43.
• ²⁴
  Williams G, Alarcon E, Jittimanee S, Walusinbi M, Sebek M, Berga E, et al. Guindance for the implementation of best practice for the care of patients with Tuberculosis. Int J Tuberc Lung Dis 2008;12(3):236-40.
• ²⁵
  Zanella A, Seidel EJ, Lopes LFD. Validação de questionário de satisfação usando análise fatorial. Rev Ingepro 2010;2:102-12.

• Pesquisa subvencionada pela Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP – Processo 2011/09469-6).
• a
  Projeto multicêntrico intitulado “Avaliação da Atenção Básica para o tratamento da tuberculose na perspectiva dos profissionais de saúde e doentes em municípios do Brasil”, FAPESP 2011/09469-6, (GEOTB)/CNPq.
• b
  Ministério da Saúde. Departamento de Atenção Básica. Histórico de cobertura da Saúde da Família. Brasília (DF); 2012 [citado 2011 jan 1]. Disponível em:http://dab.saude.gov.br/portaldab/historico_cobertura_sf.php
• c
  Ministério da Saúde. Secretaria de Vigilância em Saúde. Programa Nacional de Controle da Tuberculose. Manual de recomendações para o controle da Tuberculose no Brasil. Brasília (DF); 2010.
• d
  Ministério da Saúde. Secretaria de Vigilância em Saúde. Departamento de Vigilância Epidemiológica. Tratamento diretamente observado (TDO) da tuberculose na atenção básica: protocolo de enfermagem. Brasília (DF); 2011.
• e
  StatSoft Inc. STATISTICA for Windows: computer program manual. Tulsa, OK: StatSoft; 2011, versão 12.
• f
  Optamos pela tradução do termo “reliability” por confiabilidade. Em outros textos este termo tem sido traduzido por “precisão”, “fiabilidade”, “fidelidade” e “fidedignidade”.

Datas de Publicação

• Publicação nesta coleção
  2015

Histórico

• Recebido
  29 Abr 2014
• Aceito
  7 Ago 2014