Confiabilidade teste-reteste de aspectos da rede social no Estudo Pró-Saúde

Test-retest reliability of measures of social network in the "Pró-Saúde" Study

ARTIGO ORIGINAL

Confiabilidade teste-reteste de aspectos da rede social no Estudo Pró-Saúde

Test-retest reliability of measures of social network in the "Pró-Saúde" Study

Rosane Harter Griep^I; Dóra Chor^II; Eduardo Faerstein^III; Cláudia Lopes^III

^IDepartamento de Enfermagem em Saúde Pública da Escola de Enfermagem Anna Nery da Universidade Federal do Rio de Janeiro. Rio de Janeiro, RJ, Brasil

^IIDepartamento de Epidemiologia da Escola Nacional de Saúde Pública (Fiocruz). Rio de Janeiro, RJ, Brasil

^IIIDepartamento de Epidemiologia do Instituto de Medicina Social da Universidade do Estado do Rio de Janeiro. Rio de Janeiro, RJ, Brasil

^{Endereço para correspondência}

RESUMO

OBJETIVO: Avaliar os níveis de confiabilidade teste-reteste de informações relativas à rede social no Estudo Pró-saúde.

MÉTODOS: Foi estimada a confiabilidade pelo estudo teste-reteste por meio de questionário multidimensional aplicado a uma coorte de trabalhadores de uma universidade. O mesmo questionário foi preenchido duas vezes por 192 funcionários não efetivos da universidade, com duas semanas de intervalo entre as aplicações. A concordância foi estimada pela estatística Kappa (variáveis categóricas), estatística Kappa ponderado e modelos log-lineares (variáveis ordinais), e coeficiente de correlação intraclasse (variáveis discretas).

RESULTADOS: As medidas de concordância situaram-se acima de 0,70 para a maioria das variáveis. Estratificando-se as informações segundo gênero, idade e escolaridade, observou-se que a confiabilidade não apresentou padrão consistente de variabilidade. A aplicação de modelos log-lineares indicou que, para as variáveis ordinais do estudo, o modelo de melhor ajuste foi o de "concordância diagonal mais associação linear por linear".

CONCLUSÕES: Os altos níveis de confiabilidade estimados permitem concluir que o processo de aferição dos itens sobre rede social foi adequado para as características investigadas. Estudos de validação em andamento complementarão a avaliação da qualidade dessas informações.

Descritores: Relações interpessoais. Relações interprofissionais. Trabalhadores. Reprodutibilidade de resultados. Universidades. Modelos lineares. Questionários. Rede social. Modelos log-lineares. Confiabilidade.

ABSTRACT

OBJECTIVE: To evaluate test-retest reliability of social network-related information of the" Pró-Saúde" study.

METHODS: A test-retest reliability study was conducted using a multidimensional questionnaire applied to a cohort of university employees. The same questionnaire was filled out twice by 192 non-permanent employees with two weeks apart. Agreement was estimated using kappa statistics (categorical variables), weighted kappa statistics, log-linear models (ordinal variables), and intraclass correlation coefficient (discrete variables).

RESULTS: Estimates of reliability were higher than 0.70 for most variables. Stratified analyses revealed no consistently varying patterns of reliability according to gender, age or schooling strata. Log-linear modelling showed that, for the study ordinal variables, the model of best fit was "diagonal agreement plus linear by linear association".

CONCLUSIONS: The high level of reliability estimated in this study suggests that the process of measurement of social network-related aspects was adequate. Validation studies, which are currently being conducted, will complete the quality assessment of this information.

Keywords: Interpersonal relations. Interprofessional relations. Workers. Reproducibility of results. Universities. Linear models. Questionnaires. Social network . Log-linear models. Reliability.

INTRODUÇÃO

A relação do indivíduo com seu ambiente envolve processos dinâmicos, que requerem adaptações contínuas. Desta forma, diferentes tipos de recursos são necessários para lidar com as demandas e os problemas da vida diária. Dentre estes, a disponibilidade de redes sociais constituem-se recursos sociais importantes^.8 Rede social (social network) pode ser definida como o grupo de pessoas com as quais o indivíduo mantém contato ou alguma forma de vínculo social⁴ ou ainda como a rede de relacionamentos sociais que envolvem um indivíduo e as características destas ligações.³ Características como o número de pessoas com quem se mantém contato social (parentes, amigos e vizinhos); a freqüência dessas interações; a condição de ter um cônjuge ou companheiro; a composição da família; a participação em atividades sociais em grupo; ser membro e freqüentar alguma religião ou organização de caráter voluntário têm sido utilizadas para operacionalizar esse conceito.^3,4

A associação entre relacionamentos sociais e saúde foi descrita inicialmente por Durkheim,³ que demonstrou aumento do risco de suicídios entre os indivíduos socialmente isolados. Estudos epidemiológicos mais recentes mostraram associações consistentes entre baixos escores de rede social e maiores taxas de mortalidade por doença coronariana, acidente vascular cerebral e neoplasias malignas.1,2,9. Além disso, resultados de outras investigações sugerem que o fato de estar envolvido em uma rede social de apoio está associado ao aumento da sobrevida após diagnósticos de doenças cardíacas, câncer e acidente vascular cerebral,¹⁵ e à diminuição da incidência de insônia,⁸ da freqüência de aquisição de hábitos como o tabagismo e o consumo de álcool¹⁶ e também do risco de demência.⁷

Considerando a importância do tema, recentemente foi iniciado no Rio de Janeiro, em uma universidade pública, o Estudo Pró-Saúde, cujo objetivo principal é investigar a influência de determinantes sociais nos padrões de comportamento de saúde e de morbidade.

Em estudos epidemiológicos, a acurácia dos métodos de aferição das variáveis do estudo é fundamental pela demonstração de que a medida de aferição utilizada é capaz de avaliar o que foi planejado. Nesse sentido, a estimação da confiabilidade torna-se um dos passos fundamentais. Esta estimação pode ser feita por meio de um conjunto de técnicas que refletem a quantidade de "erro" (aleatório ou sistemático), inerente ao processo de aferição.¹³ No caso de instrumentos autopreenchíveis (aplicado no Estudo Pró-Saúde), uma das maneiras de avaliar a confiabilidade de um instrumento é através do estudo teste-reteste. Esta técnica permite comparar se resultados semelhantes são reproduzidos sob as mesmas circunstâncias de aplicação do questionário em diferentes momentos no tempo.¹³

O presente artigo tem como objetivo estimar a confiabilidade teste-reteste do instrumento de rede social, como uma das etapas do processo de avaliação da mensuração desse constructo no Estudo Pró-Saúde.

MÉTODOS

Um bloco de perguntas relacionadas à rede social foi incluído no estudo longitudinal ( Estudo Pró-Saúde). Este estudo abrangeu 4.030 funcionários, técnico-administrativos de uma universidade pública no Rio de Janeiro (cerca de 91% da população elegível), em sua primeira etapa de coleta de dados, realizada em 1999.

Para o estudo teste-reteste, foi selecionada uma amostra sistemática de 20% de 1.120 funcionários contratados nessa universidade onde o Estudo Pró-Saúde (estudo principal) seria iniciado em seguida. Considerou-se que se tratava de funcionários contratados pelo regime CLT (Consolidação das Leis Trabalhistas, ou seja, sem estabilidade), que desempenhavam funções similares às dos funcionários efetivos, mas que foram considerados inelegíveis para o estudo principal, uma vez que sua inclusão poderia comprometer a meta de monitoramento do status de saúde dos participantes dessa coorte por período prolongado.

A coleta de dados do estudo teste-reteste foi realizada em junho de 1999. A estratégia de aplicação do questionário foi idêntica àquela prevista para o estudo principal, isto é, preenchimento durante o horário de trabalho após a leitura e assinatura do termo de consentimento, em salas ou auditórios, com o apoio de aplicadores treinados. Entre os 224 funcionários selecionados, 200 (89,3%) concordaram em participar do teste. Solicitou-se a cada respondente que preenchesse novamente o questionário duas semanas após, com o objetivo de testar a adequação do processo de aferição do instrumento. Assim,192 funcionários (95% dos participantes do teste) repetiram o preenchimento, passando a se constituir a população de estudo. Nas proporções de adesão ao recrutamento inicial e ao reteste não foram detectadas variações relevantes segundo idade, sexo ou escolaridade.

Os itens componentes do bloco de rede social, incluídos no Estudo Pró-Saúde, foram adaptados de instrumento elaborado em língua inglesa por Berkman & Syme.² Em outra publicação, Chor et al⁵ descrevem o processo de revisão do tema, a utilização de técnicas de discussão em grupo e tradução/retradução para adaptação do instrumento para língua portuguesa e apresentam o questionário utilizado no estudo.. O bloco de rede social foi composto pelas seguintes características: número de parentes e de amigos íntimos (definidos como "aqueles com quem você se sente à vontade e pode falar sobre quase tudo"); situação conjugal; condição de morar sozinho ou não e participação em atividades em grupo como cultos religiosos, associações civis, sindicais ou partidárias, esportes ou artes.

A concordância global e estratificada por gênero, faixa etária e escolaridade, entre as informações obtidas no teste e no reteste, foi medida pelo coeficiente de correlação intraclasse para variáveis discretas (número de amigos e parentes íntimos). Para variáveis categóricas (situação conjugal e condição de morar sozinho), estimou-se a estatística Kappa (k).¹³ No caso de variáveis ordinais (freqüência de participação em atividades sociais e cultos/atividades religiosas), estimou-se o Kappa ponderado (kw), com ponderação quadrática, por possibilitar interpretação equivalente ao coeficiente de correlação intraclasse.¹³ Para todas as estatísticas, foram estimados intervalos de 95% de confiança. Consideraram-se os critérios de Landis & Kock10 (1977) para interpretação da concordância: a) quase perfeita: 0,80 a 1,00; b) substancial: 0,60 a 0,80; c)moderada: 0,40 a 0,60; d) regular: 0,20 a 0,40; d) discreta: 0 a 0,20; e) pobre: -1,00 a 0.

Para as variáveis ordinais do estudo, além da estatística Kappa ponderado, modelos log-lineares foram aplicados para avaliar a estrutura de concordância e discordância dos dados. Esta modelagem tem sido recomendada em função das limitações da estatística Kappa ponderado como única medida de concordância.¹² Seis modelos de complexidade crescente foram testados:¹² 1) independência; 2) concordância diagonal; 3) associação linear por linear; 4) concordância diagonal mais associação linear por linear; 5) parâmetro triangular e 6) semi-independência. O ajuste de cada modelo, isto é, a comparação entre as freqüências observadas e as estimadas por este, foi avaliada pela estatística qui-quadrado da razão de verossimilhança (G²). Considerou-se que o modelo se ajustou bem aos dados para um valor de p>0,05. Entre os modelos que atenderam a essa exigência, aquele considerado de melhor ajuste aos dados foi o mais simples (pelo critério de parcimônia) e com menor valor de G² (para os respectivos graus de liberdade).

RESULTADOS

A população de estudo (192 funcionários) tinha, em média, 38 anos de idade (DP=11,7); 51% eram homens; 46% apresentavam nível superior de escolaridade; 26% completaram o segundo grau, e 28% tinham apenas o primeiro grau. Observou-se pequena proporção de ausência de respostas no questionário como um todo (máximo de 5%), dependendo da informação requerida.

Comparando-se os resultados do bloco de perguntas relativas à rede social no teste e no reteste, tanto as prevalências quanto as medidas de tendência central foram bastante similares (Tabela 1). A média de parentes e de amigos íntimos situou-se em torno de três, em ambas as aplicações. Cerca de dois terços da população não participou de atividades esportivas em grupo nos últimos doze meses, e uma proporção ainda maior não participou de reuniões de associações de moradores, sindicatos ou partidos políticos, nem de atividades de caráter voluntário. Por outro lado, cerca de 40% dos funcionários freqüentaram cultos religiosos pelo menos duas vezes por mês, no mesmo período. Apenas 14% dos respondentes informaram não haver outros moradores nos respectivos domicílios e cerca de 50% deles eram casados ou viviam em união estável (Tabela 1).

O coeficiente de correlação intraclasse (CCIC) estimado para as informações sobre o número de parentes e de amigos íntimos foi de 0,70 (IC 95% =0,62-0,77) e 0,77 (IC 95% =0,70-0,82), respectivamente. Em relação às variáveis relacionadas à freqüência de atividades sociais e religiosas, a concordância (kw) variou entre 0,59 e 0,77. O maior nível de confiabilidade foi estimado para a situação conjugal (k=0,94; IC 95% =0,89-0,98) (Tabela 2).

Com o objetivo de analisar a estabilidade das respostas segundo subgrupos da população, as informações foram estratificadas segundo gênero, faixa etária e escolaridade (Tabela 2). Não foram observadas variações consistentes de estabilidade segundo esses estratos para a maioria das variáveis. Entretanto, em relação ao "número de amigos íntimos", a estabilidade da informação fornecida pelas mulheres foi maior do que a dos homens (CCIC=0,83; IC 95% =0,75-0,88 e CCIC=0,74; IC 95% =0,63-0,82, respectivamente). O mesmo padrão foi observado para funcionários mais velhos (=0,85; IC 95% =0,77-0,90) em relação aos mais jovens (CICC=0,72; IC 95% =0,61-0,84). Além disto, observou-se também que a estabilidade das informações relativas à freqüência de "participação em cultos e atividades religiosas" e em "reuniões de associações de moradores, sindicatos ou partidos políticos" foi maior nos estratos de maior escolaridade.

Foram utilizados modelos log-lineares para investigação adicional do padrão de concordância/discordância das respostas para as variáveis ordinais do instrumento, ou seja, a freqüência de participação em diversas atividades sociais em grupo, trabalho voluntário e freqüência a cultos religiosos (Tabela 3). O modelo que melhor se ajustou para todas essas variáveis foi o de concordância diagonal mais associação linear por linear. Este resultado indica que, tanto no teste como no reteste, a tendência dos respondentes foi de fornecer exatamente a mesma informação (diagonal principal da tabela) ou informações aproximadas. Ou seja, aqueles que referiram alta freqüência de participação no teste mantiveram a informação no reteste, o mesmo ocorrendo para a informação de baixa freqüência de participação.

DISCUSSÃO

Os resultados permitem concluir que as informações fornecidas pelos respondentes sobre a maioria dos componentes de rede social investigados apresentaram altos níveis de confiabilidade.

O questionário avaliado é relativamente curto e simples e abrange as principais variáveis relacionadas à rede social, descritas na literatura como preditoras de desfechos adversos à saúde.^3,15 Utilizou-se questionário autopreenchível, uma vez que a escolaridade dos funcionários permitia tal metodologia, o que anula fontes de variabilidade atribuíveis a entrevistadores. Observou-se pequena proporção de informações ausentes em ambas as aplicações, sugerindo clareza de linguagem e boa compreensão dos itens.

As respostas mostraram-se estáveis, em níveis que variaram entre substancial a quase perfeita. O único item que apresentou estimativa moderada de confiabilidade foi a "freqüência de participação em reuniões de associação de moradores ou funcionários, sindicatos ou partidos políticos nos últimos doze meses". Algumas hipóteses podem ser apresentadas para explicar esses resultados. Acredita-se que a estabilidade possa ter sido afetada pelo fato de que a pergunta abrange diversas atividades distintas, trazendo assim algum grau de confusão à resposta, ora predominando a referência a um, ora a outro tipo de atividade. Além disso, esse resultado pode ser também explicado pela baixa prevalência da participação neste tipo de atividade, particularmente entre os mais jovens e os de baixa escolaridade, já que nesses casos a estatística kappa tende a apresentar valores menores.¹²

Os modelos log-lineares forneceram informações adicionais sobre o padrão de concordância/discordância dos dados ordinais, permitindo observar que mesmo nos casos em que os respondentes não forneceram exatamente a mesma categoria de resposta, houve proximidade entre as categorias assinaladas, isto é, altas ou baixas freqüências de participação no teste foram acompanhadas por altas ou baixas freqüências no reteste.

Os presentes resultados foram semelhantes aos encontrados no estudo de Stansfeld & Marmot,¹⁴ que utilizaram instrumento similar (questionário adaptado de Berkman & Syme²). Apesar desses autores terem utilizado metodologia diferente para a avaliação da confiabilidade, eles estimaram correlação moderada entre o número de pessoas íntimas registradas no teste e reteste (coeficiente de correlação de Pearson =0,61) e concordância variando entre moderada e quase perfeita para participação em grupos voluntários (kw=0,75), participação em atividades sociais em grupo (kw=0,75) e para freqüência de participação em atividades religiosas (kw=0,87).

Estudos de confiabilidade de instrumentos semelhantes ao utilizado na presente pesquisa não foram identificados no Brasil. Portanto, não foi possível estabelecer comparações em nível nacional. Além disso, alguns autores apontam a carência de informações sobre a confiabilidade dos instrumentos utilizados para avaliar componentes de rede social em investigações epidemiológicas realizadas em outros países.^4,11

Em alguns estudos,^{2, 9} o instrumento foi utilizado na forma de índice, que resultou na análise conjunta dos itens de rede social contidos no instrumento. No entanto, autores como Bowling⁴ e Dean et al.⁶ criticam o uso indiscriminado de índices sem a prévia análise dos itens que os compõem, que muitas vezes podem representar diferentes constructos. . De acordo com esta perspectiva, considerou-se adequado avaliar a confiabilidade de cada pergunta separadamente. Análises posteriores sobre a validade do instrumento poderão contribuir para a decisão de utilizar um índice de rede social, que represente um único constructo subjacente.

O presente estudo, junto com outras investigações prévias de confiabilidade do mesmo questionário,⁵ sugerem alta estabilidade das informações coletadas no Estudo Pró-Saúde. Nesse sentido, os resultados alcançados reforçam o uso das perguntas utilizadas sobre rede social em investigações de diversos desfechos relacionados à saúde. Estudos adicionais sobre a validade do questionário, em curso, completarão a avaliação psicométrica do instrumento.

AGRADECIMENTOS

À equipe do Estudo Pró-Saúde, por sua contribuição nas etapas dos pré-testes, estudo piloto e reteste do questionário.

Baseado em tese de doutorado apresentada ao Departamento de Epidemiologia da Escola Nacional de Saúde Pública (Fiocruz), 2003

Financiado pela Fundação de Amparo à Pesquisa do Estado do Rio de Janeiro (Faperj – Processo n. E-26/170.714/2001)

Recebido em 5/7/2002

Reapresentado em 12/11/2002

Aprovado em 9/12/2002

• 1. Avlund K, Damsgaard MT, Holstein BE. Social relations and mortality in eleven year follow-up study of 70-year-old men and women in Denmark. Soc Sci Med 1998;47:635-43.
• 2. Berkman LF, Syme SL. Social networks, host resistance, and mortality: a nine-year follow-up study of Alameda County residents. Am J Epidemiol 1979;109:186-204.
• 3. Berkman LF, Glass T. Social integration, social networks, social support and health. In: Berkman LF, Kawachi I, editors. Social epidemiology. New York: Oxford University Press; 2000. p.137-73.
• 4. Bowling A. Measuring health: a review of quality of life measurements scales 2nd ed. London: Open University Press; 1997. Measuring social networks and social suport; p. 91-109.
• 5. Chor D, Faerstein E, Griep RH, Lopes C. Medidas de rede e apoio social no Estudo Pró-Saúde I: pré-testes e estudo piloto. Cad Saúde Pública 2001;17:887-96.
• 6. Dean K, Holst E, Kreiner S, Schoenborn C, Wilson R. Measurement issues in research on social support and health. J Epidemiol Commun Health 1994;48:201-6.
• 7. Fratiglione L, Wang HX, Ericsson K, Maytan M, Winblad B. Influence of social network on occurrence of dementia: a community-based longitudinal study. Lancet 2000;355:1315-9.
• 8. Hanson BS, Ostergren PO. Different social network and social support characteristics, nervous problems and insomnia: theoretical and methodological aspects on some results from population study "Men born in 1914", Malmo, Sweden. Soc Sci Med 1987;25:849-59.
• 9. Kawachi I, Colditz G, Ascherio A, Rimm EB, Giovannucci E, Stampfer MJ, Willett WC. A prospective study of social networks in relation to total mortality and cardiovascular disease in men in the USA. J Epidemiol Commun Health 1996;50:245-51.
• 10. Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics 1977;33:159-74.
• 11. Orth-Gomér K, Undén AL. The measurement of social support in populations surveys. Soc Sci Med 1987;24:83-94.
• 12. Silva ef, Pereira MG. Avaliação das estruturas de concordância e discordância nos estudos de confiabilidade. Rev Saúde Pública 1998;32:383-93.
• 13. Streiner DL, Norman GR. Health measurement scales: a practical guide to their development and use. 2nd ed. Oxford: Oxford University Press; 1995.
• 14. Stanfeld S, Marmot M. Deriving a survey measure of social support: the reliability and valitidy of the close persons questionnaire. Soc Sci Med 1992;35:1027-35.
• 15. Vogt TM, Mullooly JP, Ernst D, Pope CR, Hollis JF. Social networks as predictors of ischemic heart disease, cancer, stroke and hypertension: incidence, survival and mortality. J Clin Epidemiol 1992;45:659-66.
• 16. Westman M, Eden D, Shirom A. Job stress, cigarette smoking and cessation: the conditioning effects of peer support. Soc Sci Med 1985;20:637-44.

Datas de Publicação

• Publicação nesta coleção
  23 Mar 2006
• Data do Fascículo
  Jun 2003

Histórico

• Aceito
  09 Dez 2002
• Revisado
  12 Nov 2002
• Recebido
  05 Jul 2002