Acessibilidade / Reportar erro

Validade de um questionário para avaliação do apoio social informal para idosos: seção 1

Resumo

Objetivos:

construir e desenvolver a validação de conteúdo (VC) e de processo baseado em respostas (VPR) de um questionário para avaliação do apoio social informal para idosos.

Método:

trata-se de uma pesquisa descritiva, observacional, do tipo quantitativa. Teve execução entre janeiro e dezembro de 2016, no município de Natal, Rio Grande do Norte, e em outras localidades do Brasil. Os critérios de inclusão foram: experiência comprovada na área de apoio social (para especialistas) ou ter 60 anos ou mais e ter capacidade cognitiva preservada (para os idosos). Na etapa de VC, avaliou-se a relevância dos itens segundo Índice de Validade de Conteúdo (IVC) geral e por item e montagem de painel com as observações feitas pelos especialistas. Na etapa de VPR, avaliou-se o entendimento referente aos itens pelo público alvo.

Resultados:

na VC, obteve-se um total de 40 entrevistados. O IVC geral foi de 0,88 e apenas um item teve IVC considerado pobre. Na VPR, obteve-se um total de 41 entrevistados.

Conclusão:

o questionário demonstrou uma boa relevância dos itens propostos e as observações feitas pelos entrevistados permitiram uma aproximação da linguagem utilizada no instrumento à linguagem usada pelos idosos.

Palavras-chaves:
Apoio Social; Saúde do Idoso; Inquéritos e Questionários; Estudos de Validação

Abstract

Objectives:

to construct and carry out content (CV) and response process (RPV) validation for a questionnaire to assess informal social support for the elderly.

Method:

a descriptive, observational, quantitative study was performed between January and December 2016 in the city of Natal (Rio Grande do Norte) and other locations in Brazil. The inclusion criteria were: proven experience in the area of social support (for experts) or 60 years of age or older and with preserved cognitive status (for the elderly). The CV stage evaluated the relevance of the items according to the general Content Validity Index (CVI) and per item as well as the assembly of the panel based on the observations of the experts. In the RPV stage, the understanding of the items by the target audience was evaluated.

Results:

the CV stage included a total of 40 interviewees. The overall CVI was 0.88 and only one item had a CVI considered poor. In the RPV stage 41 people were interviewed.

Conclusion:

the questionnaire exhibited good relevance for the proposed items and the observations of the interviewees allowed an approximation of the language used in the instrument to the language of the elderly.

Keywoods:
Social Support; Health of the Elderly; Surveys and Questionnaires; Validation Studies

INTRODUÇÃO

As relações sociais, quando realizadas de forma insuficiente, constituem evidente risco à saúde, comparável a outros que são comprovadamente nocivos, tais como fumar, a hipertensão arterial, a obesidade e o sedentarismo, os quais podem acarretar implicações clínicas para saúde das pessoas11 Andrade GRB, Vaitsman J. Apoio social e redes: conectando solidariedade e saúde. Ciênc Saúde Colet. 2002;7(4):925-34.. O Apoio Social (AS) parece ter um amplo impacto em muitos aspectos da vida das pessoas, sobretudo em população sob vulnerabilidade social, psicológica e de saúde, como é o caso dos idosos22 Johnson ER, Carson TL, Affuso O, Hardy CM, Baskin ML. Relationship between social support and body mass index among overweight and obese african american women in the rural deep south, 2011-2013. Prev Chronic Dis. 2014;11(224):1-9..

O AS compõe os recursos sociais e individuais de enfrentamento nos quais as pessoas baseiam suas respostas a necessidades cotidianas e situações estressantes33 Gonçalves TR, Pawlowski J, Bandeira DR, Piccinini CA. Avaliação de apoio social em estudos brasileiros: aspectos conceituais e instrumentos. Ciênc Saúde Colet. 2011;16(3):1755-69.. A avaliação do indivíduo sobre o AS bem sucedido tem sido relacionada a diversos desfechos positivos na saúde física e mental, influenciando a maneira de perceber situações estressantes, o bem-estar emocional e psicológico e até a longevidade dos indivíduos33 Gonçalves TR, Pawlowski J, Bandeira DR, Piccinini CA. Avaliação de apoio social em estudos brasileiros: aspectos conceituais e instrumentos. Ciênc Saúde Colet. 2011;16(3):1755-69.,44 Melchiorre MG, Chiatti C, Lamura G, Torres-Gonzales F, Stankunas M, Linder J, et al. Social support, socio-economic status, health and abuse among older people in seven european countries. PLoS ONE. 2013;8(1):548-56.,55 Boen H, Dalgard OS, Bjertness E. The importance of social support in the associations between psychological distress and somatic health problems and socio-economic factors among older adults living at home: a cross sectional study. BMC Geriatr. 2012;12(27):1-12..

A diferenciação das relações de apoio social de acordo com seu conteúdo, processo e desenvolvimento podem impactar diretamente na adaptação dos indivíduos ao seu meio social. Nesta perspectiva, o AS deve ser avaliado distinguindo-se seus tipos segundo as relações que lhe dão origem66 Ornelas J. Suporte social: origens, conceitos e áreas de investigacão. Anál Psicol. 1994;2-3(12):333-9.. É comum observar na literatura científica a diferenciação entre Apoio Social Formal (ASF), onde incluem-se os serviços estatais, de segurança social, organizações diversas, tais como grupos de igrejas, profissionais da saúde, dentre outros e Apoio Social Informal (ASI), onde inclui-se a rede de familiares, amigos e vizinhos, por exemplo77 Martins RML. A relevância do apoio social na velhice. Rev Millenium. 2005;(31):128-34.,88 Chatters LM, Taylor RJ, Jackson JS. Sizeand compositions of the informal helper networks of elderly blacks. J Gerontol. 1985;40(5):605-14.. O isolamento e a quebra dos vínculos com a rede de ASI poderiam aumentar a vulnerabilidade dos indivíduos ao adoecimento, tornando-se uma barreira para o alcance do envelhecimento ativo. O ASI, portanto, é a principal fonte de suporte para muitos idosos e, em muitas ocasiões, a única99 Maia CML, Castro FV, Fonseca AMG, Fernández MIR. Redes de apoio social e de suporte social e envelhecimento ativo. INFAD Rev Psicol. 2016;1(1):293-303.,1010 Neri AL, Vieira LAM. Envolvimento social e suporte social percebido na velhice. Rev Bras Geriatr Gerontol. 2013;16(3):419-32..

Diante do exposto até aqui e de outros pressupostos de evidências científicas para o processo de avaliação1111 Salmond SS. Evaluating the reliability and validity of measurement instruments. J Orthop Nurs. 2008;27(1):28-30., percebe-se a importância de utilizar instrumentos construídos e validados para análise do ASI, mediante a escassez de recursos de avaliação na literatura para esse construto específico33 Gonçalves TR, Pawlowski J, Bandeira DR, Piccinini CA. Avaliação de apoio social em estudos brasileiros: aspectos conceituais e instrumentos. Ciênc Saúde Colet. 2011;16(3):1755-69., considerando ainda que a maior parte dos instrumentos abordam o Apoio Social Formal ou mesmo não diferem os construtos um do outro para a população idosa1212 Squassoni CE, Matsukura TS, Panúncio-Pinto MP. Versão brasileira do Social Support Appraisals: estudos de confiabilidade e validade. Rev Ter Ocup. 2016;27(1):1-11.,1313 Domingues MAR. Mapa Mínimo de Relações do Idoso: análise de reprodutibilidade. Rev Kairos. 2011;14(6):153-66.,1414 Griep RA, Chor D, Faerstein E, Werneck GL, Lopes CS. Validade de constructo de escala de apoio social do Medical Outcomes Study adaptada para o português no Estudo Pró-Saúde. Cad Saúde Pública. 2005;21(3):703-14..

Dentro da lógica da sistematização do processo de avaliação, faz-se necessário que os instrumentos obedeçam ao rigor metodológico das etapas do processo de validação1515 American Educational Research Association. American Psychological Association (APA). National Council on Measurement in Education (NCME). The standards for educational and psychological testing. New York: AERA; 2014.,1616 Guedes MBOG, Lima KC, Caldas CP, Veras RP. Apoio social e o cuidado integral à saúde do idoso. Physis. 2017;27(4):1185-204.. A avaliação criteriosa do ASI pode se tornar complexa, demasiadamente abstrata e subjetiva, caso não sejam utilizados instrumentos de avaliação validados no processo de investigação. As variáveis de observação são múltiplas, o que pode trazer dificuldade para uma observação exclusivamente subjetiva.

A validade refere-se a capacidade de um instrumento medir com precisão o fenômeno a ser estudado, ou seja, quando ele consegue avaliar realmente seu objetivo1717 Alexandre NMC, Coluci MZO. Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas. Ciênc Saúde Colet. 2011;16(7):3061-8.. Para a construção e validação de um questionário fazem-se necessárias, dentre outras, as etapas de “validade baseada no conteúdo” e “validade baseada no processo de respostas”, que poderão ser desenvolvidas por procedimentos qualitativos e quantitativos, de acordo com a metodologia proposta1515 American Educational Research Association. American Psychological Association (APA). National Council on Measurement in Education (NCME). The standards for educational and psychological testing. New York: AERA; 2014.,1717 Alexandre NMC, Coluci MZO. Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas. Ciênc Saúde Colet. 2011;16(7):3061-8.

18 Vieira S. Como elaborar questionários. São Paulo: Atlas; 2009.
-1919 Pasquali L. Validade dos testes psicológicos: será possível reencontrar o caminho? Psicol Teor Pesqui. 2007;23(esp):99-107.. Considerando a validação como um processo, a publicação de etapas já realizadas para determinado instrumento, fomenta a discussão no meio acadêmico e, consequentemente, a elaboração de novas pesquisas que corroborem a sua validade. Outras etapas para o aperfeiçoamento deste instrumento, tais como análise Fatorial Exploratória e Confirmatória, análise de acurácia e adaptações transculturais, fazem-se necessárias e serão tratadas em seções posteriores, visto que algumas dessas etapas já foram concluídas pelo grupo de pesquisa responsável.

A validade baseada no conteúdo avalia o grau em que cada elemento de um instrumento de medida é relevante e representativo de um específico construto com um propósito particular de avaliação e é usualmente desenvolvida a partir de abrangente revisão da literatura, consulta a especialistas através de entrevistas, discussão em grupo (grupos focais) ou construção de painel, seguida de julgamento por juízes1818 Vieira S. Como elaborar questionários. São Paulo: Atlas; 2009.,2020 Pinheiro JQ, Farias TM, Abe-Lima JY. Painel de especialistas e estratégia multimétodos: reflexões, exemplos, perspectivas. Psico. 2013;44(2):184-92..

A validade baseada no processo de respostas engloba a análise de entrevistas a pessoas leigas potencialmente relacionadas com a população do estudo e posterior avaliação de juízes. Essa etapa asseguraria a correção de frases e uma aproximação da linguagem utilizada no instrumento à linguagem frequentemente usada pela população alvo, descartando-se assim termos que não ficaram muito claros para esse público1515 American Educational Research Association. American Psychological Association (APA). National Council on Measurement in Education (NCME). The standards for educational and psychological testing. New York: AERA; 2014.,1717 Alexandre NMC, Coluci MZO. Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas. Ciênc Saúde Colet. 2011;16(7):3061-8.,2020 Pinheiro JQ, Farias TM, Abe-Lima JY. Painel de especialistas e estratégia multimétodos: reflexões, exemplos, perspectivas. Psico. 2013;44(2):184-92.. Infelizmente, a maior parte dos autores não descrevem em detalhes tais etapas. Por isso, o objetivo desta seção é analisar a validade baseada no conteúdo e no processo de respostas de um questionário que busca avaliar o Apoio Social Informal para Idosos.

MÉTODO

Características da Pesquisa

Trata-se de uma pesquisa descritiva, observacional, do tipo quantitativa. O presente estudo ocorreu no período de janeiro a outubro de 2016, como parte do projeto “Construção e validação de uma escala de apoio social para idosos”. Esta pesquisa contemplou duas etapas do processo de construção e validação de questionário: validade baseada no conteúdo e validade baseada no processo de respostas1515 American Educational Research Association. American Psychological Association (APA). National Council on Measurement in Education (NCME). The standards for educational and psychological testing. New York: AERA; 2014.,1818 Vieira S. Como elaborar questionários. São Paulo: Atlas; 2009..

Coleta dos Dados

A primeira etapa referiu-se à validade baseada no conteúdo, onde procedeu-se a escolha dos itens pelos juízes, após abrangente revisão da literatura para elaboração da primeira versão do instrumento1616 Guedes MBOG, Lima KC, Caldas CP, Veras RP. Apoio social e o cuidado integral à saúde do idoso. Physis. 2017;27(4):1185-204.. Em sequência, foi realizado julgamento da relevância dos itens por especialistas. Então, a construção inicial das questões referentes ao primeiro modelo do questionário foi realizada por dois juízes estudiosos da temática Apoio Social e a escolha de cada item ocorreu sempre de maneira consensual após revisão da literatura. Em seguida, foi aplicado o questionário por internet para especialistas, tendo como critérios de inclusão: autores de artigos científicos na área, docentes dos cursos de Psicologia e Serviço Social (professores formadores de profissionais mais próximos na avaliação e manejo do apoio social entre idosos) e profissionais que trabalhassem diretamente com a temática.

A amostra nesta etapa foi selecionada por conveniência e totalizou 40 especialistas. O contato foi feito após montagem de banco de dados de e-mail dos autores responsáveis pela publicação dos artigos disponíveis na rede virtual de computadores e contato dos docentes disponíveis nas páginas da web das suas respectivas instituições de ensino superior ou convite presencial de profissionais da área. O convite foi enviado simultaneamente para todos os especialistas através da ferramenta de pesquisa SurveyMonkey®. A carta convite continha os seguintes dizeres: “O Apoio Social é um determinante importante para a saúde de diversas pessoas idosas. Esse estudo tem como objetivo construir e validar um questionário para avaliação do Apoio Social Informal para idosos. Esta é uma etapa inicial da pesquisa, na qual participam pesquisadores e especialistas na temática de Apoio Social Informal, para avaliarem a relevância dos itens propostos e possíveis alterações ou inclusões de novos itens. Sua participação é voluntária e se dará por meio das respostas realizadas neste questionário. Caso o senhor(a) se sinta a vontade em responder as questões estará dando relevante contribuição à nossa pesquisa.” Todos os participantes aceitaram o termo de consentimento livre e esclarecido.

A segunda etapa de validade baseada no processo de respostas foi realizada também com amostra por conveniência, totalizando 41 pessoas (público alvo), em entrevistas presenciais, selecionados em uma instituição de longa permanência, uma associação de idosos e um centro de consultas do sistema único de saúde, todos localizados na cidade do Natal, Rio Grande do Norte (RN).

Os critérios de inclusão foram: ter 60 anos ou mais e ter capacidade cognitiva preservada (não possuir diagnóstico clínico de deficit cognitivo). Todos os participantes assinaram o termo de consentimento livre e esclarecido. Além das questões referentes ao ASI, os entrevistados eram perguntados sobre sua idade, gênero, escolaridade e renda. Nesta etapa, os participantes eram questionados sobre o entendimento ou não de cada item, eram solicitados para repetir as questões e encorajados a sugerir alterações. Além disso, eram observadas reações não verbais dos entrevistados durante as perguntas (expressões faciais de dúvida ou estranhamento, por exemplo) e o tempo elevado de resposta1515 American Educational Research Association. American Psychological Association (APA). National Council on Measurement in Education (NCME). The standards for educational and psychological testing. New York: AERA; 2014.,1818 Vieira S. Como elaborar questionários. São Paulo: Atlas; 2009.,2121 Padilha JL, Benítez I. Validity evidence based on response processes. Psicothema. 2014;26(1):136-44.. A manutenção, alteração ou exclusão dos itens se deu por decisão consensual dos juízes após construção de um painel com as informações fornecidas pelos entrevistados1717 Alexandre NMC, Coluci MZO. Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas. Ciênc Saúde Colet. 2011;16(7):3061-8.,2222 Gibbs G. Análise de dados qualitativos. Porto Alegre: Art Med; 2009..

Análise dos Dados

O questionário dirigido aos especialistas solicitou respostas quanto ao nível de escolaridade, bem como questões de múltipla escolha e abertas referentes aos itens propostos com os seguintes dizeres: “1- Classifique cada questão abaixo segundo grau de relevância para avaliação do Apoio Social para idosos” (Respostas desta questão estruturadas em Escala Likert: 1- Irrelevante; 2- Pouco Relevante; 3- Relevante; 4- Muito Relevante; 5- Extremamente Relevante); 2- “Caso o (a) senhor (a) queira sugerir a inclusão de algum item, o faça na caixa de texto abaixo”; “3- Caso o (a) senhor (a) queira sugerir a alteração de algum item, descreva o número correspondente e como gostaria que fosse alterado na caixa de texto abaixo”1717 Alexandre NMC, Coluci MZO. Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas. Ciênc Saúde Colet. 2011;16(7):3061-8..

Para se determinar o grau de relevância dos itens e relevância geral do instrumento foi utilizado o Índice de Validade de Conteúdo (IVC) que mede a proporção de relevância de cada item, baseada nas respostas dos juízes, (respostas 3, 4 ou 5 foram consideradas adequadas), onde: IVC por item = Número de julgamentos adequados (respostas 3+4+5) / Número total de julgamentos. Itens com IVC maior ou igual a 0,8 foram mantidos2323 Terwee CB, Prinsen CAC, Chiarotto A, De Vet HCW, Bouter LM, Alonso J, et al. COSMIN methodology for assessing the content validity of PROMs . User manual version 1.0. Amsterdan: [publisher unknown]; 2018.. O IVC geral indica a proporção de relevância da média de todo o instrumento, onde IVC Geral= Média Geral de todas as Respostas Adequadas / número total de julgamentos. A manutenção, alteração ou exclusão dos itens se deu por decisão consensual dos juízes após construção de um painel com as informações fornecidas pelos entrevistados e análise do IVC dos itens2020 Pinheiro JQ, Farias TM, Abe-Lima JY. Painel de especialistas e estratégia multimétodos: reflexões, exemplos, perspectivas. Psico. 2013;44(2):184-92.,2222 Gibbs G. Análise de dados qualitativos. Porto Alegre: Art Med; 2009.,2323 Terwee CB, Prinsen CAC, Chiarotto A, De Vet HCW, Bouter LM, Alonso J, et al. COSMIN methodology for assessing the content validity of PROMs . User manual version 1.0. Amsterdan: [publisher unknown]; 2018..

Aspectos Éticos

Este projeto foi aprovado pelo Comitê de Ética em Pesquisa do Hospital Universitário Onofre Lopes, sob parecer número 1.644.533 e CAAE 54608616.8.0000.5292. Este estudo está de acordo com o que preconizam as Resoluções nº 196/96 e nº 466/2012, do Conselho Nacional de Saúde (CNS).

RESULTADOS

Quanto à análise descritiva, na etapa de validade baseada no conteúdo com especialistas, de um total de 40 entrevistados, 90,0% eram doutores, 7,5% eram mestres e 2,5% especialistas. Na etapa de validade baseada no processo de respostas com os idosos, de um total de 41 entrevistados, 17 (41,5%) eram do gênero masculino, 24 (58,5%) eram mulheres, a idade média foi de 70,87 anos (±8,01), a maior parte (39,0%) possuía ensino fundamental, seguido de ensino médio (26,8%), superior (22,0%), sem instrução (7,3%) e pós-graduação (4,9%). A renda média foi de: 2439,02 reais (±2792,86). Na Tabela 1 apresentamos os resultados de IVC geral e por item.

Tabela 1
Primeira versão dos itens propostos por juízes após revisão da literatura e Índice de Validade de Conteúdo (IVC) por item e geral, segundo julgamento de relevância por especialistas. Natal, RN, 2018.

No Quadro 1 encontram-se dispostas as sugestões para alterações e inclusões de novos itens feitas pelos especialistas. No Quadro 2 faz-se uma comparação de antes e depois das alterações dos itens após sugestões dos especialistas. No Quadro 3 faz-se uma comparação de antes e depois das alterações dos itens após sugestões dos idosos. O Quadro 4 apresenta proposta do questionário após etapas de validade baseada no conteúdo e no processo de respostas.

Quadro 1
Observações para alterações e sugestões de inclusão de itens dos especialistas aceitas pelos juízes. Natal, RN, 2018.

Quadro 2
Itens sem e com alterações, após sugestões específicas dos especialistas aceitas pelos juízes. Natal, RN, 2018.

Quadro 3
Itens Sem e com alterações após sugestões do público-alvo aceitas pelos juízes. Natal, RN, 2018.

Quadro 4
Questionário de Apoio Social Informal para Idosos após etapas de validação baseada no conteúdo e no processo de respostas. Natal, RN, 2018.

DISCUSSÃO

Para a construção e validação de instrumentos é importante destacar alguns pontos para reflexão. Referente à validação de instrumentos, é importante entendê-la como uma reunião de recursos e procedimentos que se organizam como um processo e não como um produto concluído. As etapas do processo de validação devem se complementar e o nível de evidência alcançado pelo instrumento para medir determinado construto ou fenômeno deverá estar em constante evolução15,21,24,25 .

Quanto à análise descritiva, no que diz respeito à amostra da etapa de validade baseada no conteúdo, observou-se um alto grau de instrução dos participantes especialistas, o que poderia reduzir vícios de resposta por incompreensão das perguntas ou do objetivo do estudo. Sobre os respondentes da etapa de validade baseada no processo de respostas, é importante ressaltar que tivemos respondentes de todos os níveis de escolaridade, desde “sem instrução” por educação formal a pós-graduados, com um equilíbrio no quantitativo entre os gêneros masculino e feminino. Ademais, a coleta foi realizada tanto em instituição de longa permanência, quanto em locais públicos. Esses aspectos reforçam a aplicabilidade do questionário em uma população institucionalizada ou não.

A validade baseada no conteúdo foi medida através de um painel de especialistas1717 Alexandre NMC, Coluci MZO. Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas. Ciênc Saúde Colet. 2011;16(7):3061-8.. Esta ferramenta se integrou à pesquisa como parte de uma fase preliminar, contribuindo para o estabelecimento de bases para a investigação. Essa fase foi importante para apoiar o rompimento com preconceitos e falsas evidências sobre o construto estudado1717 Alexandre NMC, Coluci MZO. Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas. Ciênc Saúde Colet. 2011;16(7):3061-8.,2020 Pinheiro JQ, Farias TM, Abe-Lima JY. Painel de especialistas e estratégia multimétodos: reflexões, exemplos, perspectivas. Psico. 2013;44(2):184-92.,2626 Davidson M, Keating J. Patient-reported outcome measures (PROMs): how should I interpret reports of measurement properties? a practical guide for clinicians and researchers who are not biostatisticians. Br J Sports Med. 2014;48:792-6..

Com relação às observações gerais feitas pelos especialistas referentes ao instrumento, as que foram acatadas resultaram em redução do tamanho de frases, tornando-as mais objetivas, o que poderá reduzir o tempo final de aplicação do questionário1818 Vieira S. Como elaborar questionários. São Paulo: Atlas; 2009.. As frases tiveram também uma linguagem aperfeiçoada, o que poderia fortalecer o vínculo entre o respondente e o processo de aplicação do instrumento e assim aumentaria a adesão para a conclusão de todas as respostas e também facilitaria o entendimento do entrevistado, reduzindo o viés de resposta2727 Amatuzzi MLL, Barreto MCC, Julio Litvoc J, Leme LEG. Linguagem metodológica. Act Ortop Bras. 2006;14(2):108-12.. Foi sugerido que no cabeçalho do questionário se restringisse o objeto de estudo para “Apoio Social Informal”, o que não estava claro na primeira versão e foi também acatado pelos juízes.

Os especialistas sugeriram ainda a inclusão de alguns itens. As sugestões aceitas abrangeram questões importantes que contemplam variáveis que influenciam diretamente no apoio social informal percebido, sendo apresentadas como parte de dimensões importantes para a avaliação do construto estudado. São elas: o “apoio emocional e participação social” e apoio instrumental ou disponibilidade28-30.

Quanto ao IVC, o índice geral foi satisfatório, demonstrando a pertinência geral dos itens incluídos inicialmente no instrumento2323 Terwee CB, Prinsen CAC, Chiarotto A, De Vet HCW, Bouter LM, Alonso J, et al. COSMIN methodology for assessing the content validity of PROMs . User manual version 1.0. Amsterdan: [publisher unknown]; 2018.. O item vinte e dois, “Quando jovem você recebia ajuda adequada de outras pessoas?”, foi o único a ter um desempenho insatisfatório segundo IVC por item2323 Terwee CB, Prinsen CAC, Chiarotto A, De Vet HCW, Bouter LM, Alonso J, et al. COSMIN methodology for assessing the content validity of PROMs . User manual version 1.0. Amsterdan: [publisher unknown]; 2018. e foi reestruturado de forma que facilitasse o entendimento e desse uma noção referente ao apoio social informal percebido ao longo da vida. A solução encontrada para esse item foi reestruturá-lo da seguinte forma: “ao longo da vida, você recebeu ajuda adequada de outras pessoas?”.

Em algumas ocasiões, os especialistas podem dominar a temática estudada, mas ao sugerir questões pertinentes ao tema, podem fazê-lo numa linguagem de compreensão discutível para o público-alvo. Daí a importância da etapa de validade baseada no processo de respostas, que objetiva aproximar a linguagem usada no instrumento, da linguagem usual do público-alvo, tornando-a potencialmente mais compreensível1515 American Educational Research Association. American Psychological Association (APA). National Council on Measurement in Education (NCME). The standards for educational and psychological testing. New York: AERA; 2014.,2121 Padilha JL, Benítez I. Validity evidence based on response processes. Psicothema. 2014;26(1):136-44..

Foi importante nessa etapa de entrevistas com os idosos, a coleta de indicadores diretos e indiretos, tais como as respostas sobre o entendimento de cada questão e a reação dos entrevistados a cada pergunta, respectivamente2121 Padilha JL, Benítez I. Validity evidence based on response processes. Psicothema. 2014;26(1):136-44.. A documentação das reações e percepções sobre o entendimento das perguntas pela população-alvo, com posterior montagem do painel para este público, permitiu capturar especificidades deste grupo, que somente através de entrevista face a face seria possível.

A escolha do formato de respostas para os idosos relativa ao entendimento ou não de cada questão foi dicotômica em vez de uma escala tipo Likert, por exemplo. Esse formato de respostas poderia facilitar o entendimento do entrevistado e reduzir a quantidade de respostas aleatórias1818 Vieira S. Como elaborar questionários. São Paulo: Atlas; 2009.. Com relação à análise das respostas da população-alvo, referente ao entendimento de cada item, a análise foi específica item a item, na direção de potencializar o entendimento da frase segundo o objetivo de avaliação proposto pela questão e na tentativa de reduzir a possibilidade de respostas do tipo “não se aplica”2222 Gibbs G. Análise de dados qualitativos. Porto Alegre: Art Med; 2009.. Desta forma, para análise sobre o aceite ou rejeição de propostas de mudanças, foi levado em consideração as especificidades da população estudada.

As perguntas tiveram uma linguagem aproximada daquela falada mais comumente pelos idosos, de forma que mantivessem ainda os princípios básicos de norma culta da língua portuguesa e que o entendimento fosse potencializado1818 Vieira S. Como elaborar questionários. São Paulo: Atlas; 2009.. Por exemplo, na pergunta “Você escuta o problema dos outros quando solicitado?”, muitos idosos entendiam “escutar o problema dos outros” como algo negativo, desta forma, a solução encontrada foi reformular a pergunta para “Você ajuda outras pessoas quando solicitado?”.

A palavra “caso” foi usada para aperfeiçoar algumas perguntas, no sentido de reduzir a possibilidade de respostas “não se aplica”. Por exemplo, na pergunta “Você tem alguém para ajudar quando tem dificuldade financeira?”, existia a possibilidade de algumas pessoas nunca terem tido dificuldade financeira. Assim sendo, a frase foi reformulada para “Caso você tenha dificuldade financeira, tem alguém para lhe ajudar?”. Situação similar ocorreu na frase que foi reformulada para “Você tem alguém para ajudar a sair de casa caso precise?”.

Em alguns momentos, termos relativamente simples geraram confusão para o respondente. Por exemplo, muitos idosos confundiam “receber visitas” com “realizar visitas”, desta forma, o termo foi reestruturado para “Você visitou outras pessoas com frequência?”. O termo “duradouro” era pouco usual para esse público e foi alterado para “permanente”. Tal qual ocorreu com o termo “confortar”, que foi modificado para “consolar”.

De modo geral, o construto Apoio Social Informal foi familiar e de fácil entendimento para os idosos entrevistados, principalmente pelo fato das perguntas serem comuns e com poucos termos técnicos ou científicos. Entretanto, a anotação de algumas reações de surpresa ou demora na resposta ou resposta negativa de entendimento ou dificuldade em repetir a pergunta que acabara de ser lida ou ainda a sugestão de alteração dada pelo entrevistado, dava um direcionamento sobre perguntas que tinham determinado problema com muita frequência e necessitavam serem reformuladas.

Como limitações do estudo, pode-se citar que as respostas com especialistas foram coletadas completamente em formato on-line, isso dificultou o profissional respondente em esclarecer dúvidas sobre os itens, o que poderá favorecer o surgimento de viés de resposta em alguns casos. Além disso, não foi solicitado ao respondente especialista sua localidade. A amostra obtida para as entrevistas presenciais com o público-alvo foi de apenas uma cidade. O ideal é que fosse de cidades e regiões diferentes do Brasil, para se contemplar uma desejável variedade cultural entre os entrevistados. É válido destacar a importância de outras etapas de validação para este instrumento, tais como a Análise Fatorial, análise de acurácia e reprodutibilidade, dentre outras, que serão contempladas em seções posteriores, no sentido de permitir que cada manuscrito não fique demasiadamente extenso, permitindo que cada etapa receba uma devida atenção.

CONCLUSÕES

A etapa de validade baseada no conteúdo demonstrou uma boa relevância dos itens propostos mediante bons indicadores do índice de validade de conteúdo geral e por item. Algumas sugestões indicadas pelos especialistas possibilitaram a inclusão de dois itens e aperfeiçoamento das demais questões inicialmente propostas. A validade baseada no processo de respostas permitiu uma aproximação da linguagem utilizada no instrumento à linguagem usada pelos idosos. Um melhor entendimento das questões pela população-alvo poderá resultar em respostas mais fidedignas e num processo de aplicação do instrumento facilitado. Outras etapas do processo de validação fazem-se necessárias.

REFERENCES

  • 1
    Andrade GRB, Vaitsman J. Apoio social e redes: conectando solidariedade e saúde. Ciênc Saúde Colet. 2002;7(4):925-34.
  • 2
    Johnson ER, Carson TL, Affuso O, Hardy CM, Baskin ML. Relationship between social support and body mass index among overweight and obese african american women in the rural deep south, 2011-2013. Prev Chronic Dis. 2014;11(224):1-9.
  • 3
    Gonçalves TR, Pawlowski J, Bandeira DR, Piccinini CA. Avaliação de apoio social em estudos brasileiros: aspectos conceituais e instrumentos. Ciênc Saúde Colet. 2011;16(3):1755-69.
  • 4
    Melchiorre MG, Chiatti C, Lamura G, Torres-Gonzales F, Stankunas M, Linder J, et al. Social support, socio-economic status, health and abuse among older people in seven european countries. PLoS ONE. 2013;8(1):548-56.
  • 5
    Boen H, Dalgard OS, Bjertness E. The importance of social support in the associations between psychological distress and somatic health problems and socio-economic factors among older adults living at home: a cross sectional study. BMC Geriatr. 2012;12(27):1-12.
  • 6
    Ornelas J. Suporte social: origens, conceitos e áreas de investigacão. Anál Psicol. 1994;2-3(12):333-9.
  • 7
    Martins RML. A relevância do apoio social na velhice. Rev Millenium. 2005;(31):128-34.
  • 8
    Chatters LM, Taylor RJ, Jackson JS. Sizeand compositions of the informal helper networks of elderly blacks. J Gerontol. 1985;40(5):605-14.
  • 9
    Maia CML, Castro FV, Fonseca AMG, Fernández MIR. Redes de apoio social e de suporte social e envelhecimento ativo. INFAD Rev Psicol. 2016;1(1):293-303.
  • 10
    Neri AL, Vieira LAM. Envolvimento social e suporte social percebido na velhice. Rev Bras Geriatr Gerontol. 2013;16(3):419-32.
  • 11
    Salmond SS. Evaluating the reliability and validity of measurement instruments. J Orthop Nurs. 2008;27(1):28-30.
  • 12
    Squassoni CE, Matsukura TS, Panúncio-Pinto MP. Versão brasileira do Social Support Appraisals: estudos de confiabilidade e validade. Rev Ter Ocup. 2016;27(1):1-11.
  • 13
    Domingues MAR. Mapa Mínimo de Relações do Idoso: análise de reprodutibilidade. Rev Kairos. 2011;14(6):153-66.
  • 14
    Griep RA, Chor D, Faerstein E, Werneck GL, Lopes CS. Validade de constructo de escala de apoio social do Medical Outcomes Study adaptada para o português no Estudo Pró-Saúde. Cad Saúde Pública. 2005;21(3):703-14.
  • 15
    American Educational Research Association. American Psychological Association (APA). National Council on Measurement in Education (NCME). The standards for educational and psychological testing. New York: AERA; 2014.
  • 16
    Guedes MBOG, Lima KC, Caldas CP, Veras RP. Apoio social e o cuidado integral à saúde do idoso. Physis. 2017;27(4):1185-204.
  • 17
    Alexandre NMC, Coluci MZO. Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas. Ciênc Saúde Colet. 2011;16(7):3061-8.
  • 18
    Vieira S. Como elaborar questionários. São Paulo: Atlas; 2009.
  • 19
    Pasquali L. Validade dos testes psicológicos: será possível reencontrar o caminho? Psicol Teor Pesqui. 2007;23(esp):99-107.
  • 20
    Pinheiro JQ, Farias TM, Abe-Lima JY. Painel de especialistas e estratégia multimétodos: reflexões, exemplos, perspectivas. Psico. 2013;44(2):184-92.
  • 21
    Padilha JL, Benítez I. Validity evidence based on response processes. Psicothema. 2014;26(1):136-44.
  • 22
    Gibbs G. Análise de dados qualitativos. Porto Alegre: Art Med; 2009.
  • 23
    Terwee CB, Prinsen CAC, Chiarotto A, De Vet HCW, Bouter LM, Alonso J, et al. COSMIN methodology for assessing the content validity of PROMs . User manual version 1.0. Amsterdan: [publisher unknown]; 2018.
  • 24
    Rios J, Welles C. Validity evidence based on internal structure. Psicothema. 2014;26(1):108-16.
  • 25
    Sireci S, Padilla JL. Validating assessments: introduction to the special section. Psicothema. 2014;26(1):97-9.
  • 26
    Davidson M, Keating J. Patient-reported outcome measures (PROMs): how should I interpret reports of measurement properties? a practical guide for clinicians and researchers who are not biostatisticians. Br J Sports Med. 2014;48:792-6.
  • 27
    Amatuzzi MLL, Barreto MCC, Julio Litvoc J, Leme LEG. Linguagem metodológica. Act Ortop Bras. 2006;14(2):108-12.
  • 28
    Rath T, Panigrahi D. Instrumental social support for the rural elderly: study of a rural block of a costal district of Odisha. Int J Community Med Public Health. 2017;4(7):2320-6.
  • 29
    Shumaker SC, Susan KF, Debra KM, Misook LC. Psychometric properties of the Multidimensional Scale of Perceived Social Support in Patients With Heart Failure. J Nurs Meas. 2017;25(1): 90-102.
  • 30
    García-Martín MA, Hombrados-Mendieta I, Gómez-Jacinto L. A Multidimensional approach to social support: the Questionnaire on the Frequency of and Satisfaction with Social Support (QFSSS). An Psicol. 2016;32(2):501-15.
  • Financiamento:

    O presente trabalho foi realizado com apoio da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - Brasil (CAPES) - Código de Financiamento 001. Bolsa social de Doutorado.

Datas de Publicação

  • Publicação nesta coleção
    Nov-Dec 2018

Histórico

  • Recebido
    24 Jun 2018
  • Revisado
    21 Set 2018
  • Aceito
    28 Set 2018
Universidade do Estado do Rio Janeiro Rua São Francisco Xavier, 524 - Bloco F, 20559-900 Rio de Janeiro - RJ Brasil, Tel.: (55 21) 2334-0168 - Rio de Janeiro - RJ - Brazil
E-mail: revistabgg@gmail.com