Accessibility / Report Error

Desenvolvimento e Investigação de Evidências de Validade para o Instrumento Marcadores de Resiliência Infantil

Development and investigation of validity evidence for Children’s Resilience Markers

Desarrollo e investigación de evidencia de validez para el instrumento Marcadores de Resiliencia Infantil

Resumo

Embora a resiliência seja considerada um construto importante para o enfrentamento de situações adversas, nenhum instrumento brasileiro encontra-se disponível para sua avaliação na infância. Assim, os objetivos deste trabalho relacionam-se à elaboração de um instrumento para avaliação da resiliência em crianças de oito a 12 anos, investigação das evidências de validade baseadas no conteúdo e realização de estudo piloto. Participaram do processo de construção 20 crianças, de escolas públicas e particulares. Do estudo de validade de conteúdo, participaram 16 juízes. E, do estudo piloto, participaram 43 crianças de uma escola pública. Os resultados possibilitaram a seleção das alternativas dos itens, bem como indicaram a pertinência de 27 dos 30 itens desenvolvidos, segundo avaliação dos juízes, bem como sua adequação à faixa etária almejada. A partir dos resultados, pode-se notar que as escolhas metodológicas tomadas no processo de construção colaboraram para que o instrumento apresentasse bom potencial. Sugere-se que novos estudos sejam realizados, a fim de aprofundar a compreensão sobre suas qualidades psicométricas.

Palavras-chave:
avaliação psicológica; resiliência; infância; validade do teste; construção do teste

Abstract

Resilience is a valuable tool for coping with adverse situations. However, there is no instrument available in Brazil to assess children’s resilience. Therefore, this study aimed to develop a resilience test for children between 8 and 12 years old, and to investigate its content validity and its adequacy to the target population, conducting a pilot study. Twenty children from public and private schools took part in the test’s construction. A total of 16 judges participated in the validity study, and 43 children from a public school took part in the pilot study. The results enabled the selection of 3 alternatives for each item, and 27 out of the 30 items were adequate for this measure. It was observed the adequacy of the instrument for the target population. These results support the perception that the methodological choices made in the instrument’s development process were adequate. Therefore, it is possible to conclude that the instrument has good potential, and further studies should be developed to deepen the understanding of its psychometric qualities.

Keywords:
psychological assessment; resilience; childhood; test validity; test construction

Resumen

Aunque se considera la resiliencia como un constructo importante para el enfrentamiento de situaciones adversas, ningún instrumento brasileño está disponible para su evaluación en la infancia. Así, los objetivos de este trabajo se relacionan con la elaboración de un instrumento para la evaluación de la resiliencia en niños de 8 a 12 años, investigación de las evidencias de validez basadas en el contenido y también se realizó el estudio piloto. Participaron 20 niños de escuelas públicas y particulares en proceso de construcción. En el estudio de validez de contenido, participaron 16 jueces. Y del estudio piloto, participaron 43 niños de una escuela pública. Los resultados posibilitaron la selección de las alternativas de los ítems, así como indicaron la pertinencia de 27 de los 30 ítems desarrollados, según evaluación de los jueces, y la adecuación del instrumento rango de edad anhelado. A partir de los resultados, se puede observar que las elecciones metodológicas realizadas en el proceso de construcción colaboraron para que el instrumento tuviera un buen potencial. Se sugiere que nuevos estudios sean realizados, a fin de profundizar la comprensión sobre sus cualidades psicométricas.

Palabras clave:
evaluación psicológica; resiliencia; infancia; validación estadística; construcción de test

O termo resiliência é amplamente investigado em diversas áreas do conhecimento (Brandão, Mahfoud, & Godoi-Nascimento, 2011Brandão, J. M., Mahfoud, M., & Gianordoli-Nasciento, I. F. (2011). A construção do conceito de resiliência em psicologia: Discutindo as origens. Paidéia, 21(49), 263-271. doi: 10.1590/S0103-863X2011000200014
https://doi.org/10.1590/S0103-863X201100...
). No que diz respeito à Psicologia, Masten (2001Masten, A. S. (2001). Ordinary magic: Resilience processes in development. American Psychologist, 56(3), 227-238. doi: 10.1037/0003-066X.56.3.227
https://doi.org/10.1037/0003-066X.56.3.2...
) e Rutter (2012Rutter, M. (2012). Resilience as a dynamic concept. Development and Psychopathology , 24(1), 335-344. doi: 10.1017/S0954579412000028
https://doi.org/10.1017/S095457941200002...
) afirmam que esta é uma temática dinâmica e complexa que tem sido estudada há, aproximadamente, 40 anos. Ao longo desse período, é possível observar alterações sensíveis e importantes no que se refere tanto à escolha do termo utilizado, que inicialmente era o de “invulnerabilidade” e “invencibilidade” (Poletto & Koller, 2011Poletto, M. & Koller, S. H. (2011). Resiliência: uma perspectiva conceitual e histórica. Em D. D. Dell’Aglio, S. H. Koller, & M. A. M. Yunes (Eds.), Resiliência e psicologia positiva: interfaces do risco a proteção (pp. 19-44). São Paulo: Casa do Psicólogo .), quanto ao modelo de investigação, que se voltava, essencialmente, à compreensão das relações entre as condições adversas e os fatores de proteção (Rutter, 2007Rutter, M. (2007). Resilience, competence, and coping. Child, Abuse, & Neglect, 31(1), 205-209. doi: 10.1016/j.chiabu.2007.02.001
https://doi.org/10.1016/j.chiabu.2007.02...
; Truffino, 2010Truffino, J. C. (2010). Resiliencia: Una aproximación al concepto. Psiquiatría y Salud Mental, 3(4), 145-151. doi: 10.1016/j.rpsm.2010.09.003
https://doi.org/10.1016/j.rpsm.2010.09.0...
). Faz-se necessário destacar que, nesse período, também foram realizados estudos voltados ao tema da resiliência junto a diferentes momentos do desenvolvimento (Garmezy, 1993Garmezy, N. (1993). Children in poverty: Resilience despite the risk. Psychiatry, 56(1), 127-136. doi: 10.1080/00332747.1993.11024627
https://doi.org/10.1080/00332747.1993.11...
; Masten, Best, & Garmezy, 1990Masten, A., Best, K. M., & Garmezy, N. (1990). Resilience and development: Contribuitions from the study of children who overcome adversity. Development and Psychopathology, 2(1), 425-444. doi: 10.1017/S0954579400005812
https://doi.org/10.1017/S095457940000581...
; Sameroff, 2005Sameroff, A. J. (2005). The science of infancy: Academic, social, and political agendas. Infancy, 7(3), 219-242. doi: 10.1207/s15327078in0703_1
https://doi.org/10.1207/s15327078in0703_...
; Vorria, Ntouma, & Rutter, 2015Vorria, P., Ntouma, M., & Rutter, M. (2015). Vulnerability and resilience after early institutional care: The Greek Metera study. Developmental and Psychopathology, 27(1), 859-866. doi: 10.1017/S0954579415000243
https://doi.org/10.1017/S095457941500024...
). Mais recentemente, sob influência do movimento da Psicologia Positiva, os estudos voltados à resiliência passaram a investigar, também, os aspectos relacionados aos processos e fatores envolvidos no desenvolvimento psicológico sadio, enfatizando aspectos relacionados às forças e as virtudes de caráter (Masten, 2018Masten, A. S. (2018). Resilience theory and research on children and families: Past, present, and promise. Journal of Family: Theory & Review, 10(1), 12-31. doi:10.1111/jftr.12255
https://doi.org/10.1111/jftr.12255...
; Poletto, 2006Poletto, M. (2006). Uma breve reflexão crítica sobre psicologia positiva e resiliência. Psicologia Escolar e Educacional, 10(1), 137-140. doi: 10.1590/S1413-85572006000100014
https://doi.org/10.1590/S1413-8557200600...
).

Embora não seja possível identificar uma definição que encontre consenso entre os pesquisadores (Brandão et al., 2011Brandão, J. M., Mahfoud, M., & Gianordoli-Nasciento, I. F. (2011). A construção do conceito de resiliência em psicologia: Discutindo as origens. Paidéia, 21(49), 263-271. doi: 10.1590/S0103-863X2011000200014
https://doi.org/10.1590/S0103-863X201100...
; Oliveira & Nakano, 2018Oliveira, K. S., & Nakano, T. C. (2018). Avaliação da resiliência em psicologia: Revisão do cenário científico brasileiro. Psicologia em Pesquisa, 12(1), 1 -11. doi: 10.5327/Z1982-1247201500020003
https://doi.org/10.5327/Z1982-1247201500...
), observa-se que a resiliência tem sido compreendida como um fenômeno psicológico (Yunes, 2011Yunes, M. A. M. (2011). Psicologia positiva e resiliência: Foco no indivíduo e na família. EmD. D. Dell’Aglio , S. H. Koller , & M. A. M. Yunes (Eds.), Resiliência e psicologia positiva: interfaces do risco a proteção (pp. 45-68). São Paulo: Casa do Psicólogo .), presente, indistintamente, nos indivíduos e em seus sistemas relacionais (Masten, 2014Masten, A. S. (2014). Global perspectives on resilience in children and youth. Child Development, 85, 6-20. doi: 10.1111/cdev.12205
https://doi.org/10.1111/cdev.12205...
, 2018Masten, A. S. (2018). Resilience theory and research on children and families: Past, present, and promise. Journal of Family: Theory & Review, 10(1), 12-31. doi:10.1111/jftr.12255
https://doi.org/10.1111/jftr.12255...
). Dentro dessa concepção, o objetivo final do processo resiliente seria a apresentação de um desfecho positivo, ou ainda, da adaptação positiva (Reppold, Mayer, Almeida, & Hutz, 2012Reppold, C. T., Mayer, J. C., Almeida, L. S., & Hutz, C. S. (2012). Avaliação da resiliência: Controvérsia em torno do uso de escalas. Psicologia: Reflexão e Crítica, 25(2), 248-255. doi: 10.1590/S0102-79722012000200006
https://doi.org/10.1590/S0102-7972201200...
), ocorrendo, segundo Yunes (2011Yunes, M. A. M. (2011). Psicologia positiva e resiliência: Foco no indivíduo e na família. EmD. D. Dell’Aglio , S. H. Koller , & M. A. M. Yunes (Eds.), Resiliência e psicologia positiva: interfaces do risco a proteção (pp. 45-68). São Paulo: Casa do Psicólogo .), sempre que um indivíduo se encontra diante de uma situação adversa, podendo ser real ou percebida (Castillo, Castillo-López, López-Sánchez, & Dias, 2016Castillo, J. A. G., Castillo-López, A. G., López-Sánchez, C., & Dias, P. C. (2016). Conceptualización teórica de la resiliencia psicosocial y su relación con la salud. Health and Addictions, 16(1), 59-68. doi: 10.21134/haaj.v16i1.263
https://doi.org/10.21134/haaj.v16i1.263...
). Tal característica possui um caráter desenvolvimental, haja vista que pode ser aprimorada ao longo do ciclo vital (Fontes, 2010Fontes, A. P. (2010). Resiliência, segundo o paradigma do desenvolvimento ao longo da vida (life-span). Kairós, 7(1), 8-20. Recuperado de https://revistas.pucsp.br/index.php/kairos/article/view/3917
https://revistas.pucsp.br/index.php/kair...
), fazendo uso de recursos sociais (Masten, 2018Masten, A. S. (2018). Resilience theory and research on children and families: Past, present, and promise. Journal of Family: Theory & Review, 10(1), 12-31. doi:10.1111/jftr.12255
https://doi.org/10.1111/jftr.12255...
) e individuais (Castillo et al., 2016Castillo, J. A. G., Castillo-López, A. G., López-Sánchez, C., & Dias, P. C. (2016). Conceptualización teórica de la resiliencia psicosocial y su relación con la salud. Health and Addictions, 16(1), 59-68. doi: 10.21134/haaj.v16i1.263
https://doi.org/10.21134/haaj.v16i1.263...
; Gloria & Steinheardt, 2014Gloria, C. T., & Steinheardt, M. A. (2014). Relationships among positive emotions, coping, resilience and mental health. Stress and Health, 32, 145-156. doi: 10.1002/smi.2589
https://doi.org/10.1002/smi.2589...
).

Lado a lado ao processo de compreensão teórica do construto, um movimento interessado no desenvolvimento de estratégias de avaliação da resiliência, pôde ser observado (Infante, 2007Infante, F. (2007). A resiliência como processo: Uma revisão da literatura recente. Em A. Melillo, & E. N. S. Ojeda (Eds.), Resiliência - descobrindo as próprias fortalezas (pp. 23-38). Porto Alegre: Artmed.; Masten, 2001Masten, A. S. (2001). Ordinary magic: Resilience processes in development. American Psychologist, 56(3), 227-238. doi: 10.1037/0003-066X.56.3.227
https://doi.org/10.1037/0003-066X.56.3.2...
; Reppold et al., 2012Reppold, C. T., Mayer, J. C., Almeida, L. S., & Hutz, C. S. (2012). Avaliação da resiliência: Controvérsia em torno do uso de escalas. Psicologia: Reflexão e Crítica, 25(2), 248-255. doi: 10.1590/S0102-79722012000200006
https://doi.org/10.1590/S0102-7972201200...
). A princípio, os pesquisadores entendiam que a forma mais adequada de avaliar a resiliência se dava pela quantificação dos fatores de risco e proteção (Benetti & Crepaldi, 2012Benetti, I. C., & Crepaldi, M. A. (2012). Resiliência revisitada: uma abordagem reflexiva para principiantes no assunto. Revista Eletrónica de Investigación y Docencia, 7(1), 7-30. Recuperado de http://www.revistareid.net/revista/n7/REID7art1.pdf.
http://www.revistareid.net/revista/n7/RE...
). Em um segundo momento, houve um refinamento das técnicas, de modo que a avaliação passou a ser realizada por meio da medida dos eventos negativos, associados às respostas adaptativas apresentadas pelos indivíduos (Masten, 2001Masten, A. S. (2001). Ordinary magic: Resilience processes in development. American Psychologist, 56(3), 227-238. doi: 10.1037/0003-066X.56.3.227
https://doi.org/10.1037/0003-066X.56.3.2...
, 2018Masten, A. S. (2018). Resilience theory and research on children and families: Past, present, and promise. Journal of Family: Theory & Review, 10(1), 12-31. doi:10.1111/jftr.12255
https://doi.org/10.1111/jftr.12255...
). Mais recentemente, há um movimento que busca mensurar os recursos pessoais e contextuais que estão associados ao enfrentamento das adversidades (Oliveira & Nakano, 2018Oliveira, K. S., & Nakano, T. C. (2018). Avaliação da resiliência em psicologia: Revisão do cenário científico brasileiro. Psicologia em Pesquisa, 12(1), 1 -11. doi: 10.5327/Z1982-1247201500020003
https://doi.org/10.5327/Z1982-1247201500...
).

Ainda na temática da avaliação da resiliência, Infante (2007Infante, F. (2007). A resiliência como processo: Uma revisão da literatura recente. Em A. Melillo, & E. N. S. Ojeda (Eds.), Resiliência - descobrindo as próprias fortalezas (pp. 23-38). Porto Alegre: Artmed.) faz uma ponderação sobre os cuidados necessários ao interpretar os resultados de um processo avaliativo. Segundo a autora, é fundamental que, em qualquer processo de avaliação da resiliência, os profissionais tenham o zelo em não atribuir à pessoa, que apresenta um bom desempenho em instrumentos dessa natureza, o rótulo de invulnerável, tomando como fixo o resultado. Complementando essa afirmação, Masten (2018Masten, A. S. (2018). Resilience theory and research on children and families: Past, present, and promise. Journal of Family: Theory & Review, 10(1), 12-31. doi:10.1111/jftr.12255
https://doi.org/10.1111/jftr.12255...
) ainda aponta para a necessidade de que sejam levados em consideração, nesse processo, aspectos individuais e subjetivos, que podem favorecer, ou não, o desenvolvimento de condutas resilientes.

A partir de todas essas considerações e com o intuito de compreender de que forma têm sido conduzidas as avaliações desse atributo, Reppold, Mayer, Almeida e Hutz (2012Reppold, C. T., Mayer, J. C., Almeida, L. S., & Hutz, C. S. (2012). Avaliação da resiliência: Controvérsia em torno do uso de escalas. Psicologia: Reflexão e Crítica, 25(2), 248-255. doi: 10.1590/S0102-79722012000200006
https://doi.org/10.1590/S0102-7972201200...
), por meio de uma investigação da literatura, identificaram as estratégias tradicionalmente utilizadas pelos pesquisadores, agrupando-as em quatro categorias. A primeira envolve a análise dos escores obtidos por meio de instrumentos, associando-os a outras medidas de desempenho. A segunda, diz respeito à análise de perfis de personalidade e temperamento. A terceira e quarta categoria, relacionam-se ao uso de estratégias qualitativas, tais como entrevistas, análise de história de vida e avaliações realizadas por terceiros. Em suas conclusões, Reppold et al. (2012Reppold, C. T., Mayer, J. C., Almeida, L. S., & Hutz, C. S. (2012). Avaliação da resiliência: Controvérsia em torno do uso de escalas. Psicologia: Reflexão e Crítica, 25(2), 248-255. doi: 10.1590/S0102-79722012000200006
https://doi.org/10.1590/S0102-7972201200...
) ainda fazem um importante apontamento referente às características psicológicas selecionadas para comporem a avaliação da resiliência. Segundo esses autores, tais características poderiam ser mais bem classificadas como medidas de ajuste social, ou ainda, de habilidades adjacentes à resiliência, não avaliando, diretamente o construto. Essa consideração realizada pelos autores questiona, na prática, a validade de conteúdo dos instrumentos utilizados com essa finalidade.

Também com o intuito de compreender as condutas referentes a avaliação da resiliência, Oliveira e Nakano (2018Oliveira, K. S., & Nakano, T. C. (2018). Avaliação da resiliência em psicologia: Revisão do cenário científico brasileiro. Psicologia em Pesquisa, 12(1), 1 -11. doi: 10.5327/Z1982-1247201500020003
https://doi.org/10.5327/Z1982-1247201500...
) realizaram uma revisão das publicações brasileiras sobre o tema. As autoras identificaram 61 instrumentos citados nos trabalhos analisados, os quais, em sua maioria, avaliavam medidas adjacentes a resiliência, tais como qualidade de vida e coping, por exemplo. Somente seis instrumentos utilizavam, em seus títulos, o termo resiliência, sendo que cinco eram voltados à população adulta e um a adolescentes. As autoras ainda apontam para o fato de que esses seis instrumentos não se encontram aprovados pelo Sistema de Avaliação de Testes Psicológicos (SATEPSI), e, portanto, não estão aprovados para uso profissional.

Assim, tomando como base as análises realizadas por Reppold et al. (2012Reppold, C. T., Mayer, J. C., Almeida, L. S., & Hutz, C. S. (2012). Avaliação da resiliência: Controvérsia em torno do uso de escalas. Psicologia: Reflexão e Crítica, 25(2), 248-255. doi: 10.1590/S0102-79722012000200006
https://doi.org/10.1590/S0102-7972201200...
) e Oliveira e Nakano (2018Oliveira, K. S., & Nakano, T. C. (2018). Avaliação da resiliência em psicologia: Revisão do cenário científico brasileiro. Psicologia em Pesquisa, 12(1), 1 -11. doi: 10.5327/Z1982-1247201500020003
https://doi.org/10.5327/Z1982-1247201500...
) sobre as características do cenário nacional no que diz respeito à avaliação da resiliência, duas importantes lacunas são observadas. A primeira diz respeito a qualidade psicométrica dos instrumentos, especificamente a validade de conteúdo (Reppold et al., 2012Reppold, C. T., Mayer, J. C., Almeida, L. S., & Hutz, C. S. (2012). Avaliação da resiliência: Controvérsia em torno do uso de escalas. Psicologia: Reflexão e Crítica, 25(2), 248-255. doi: 10.1590/S0102-79722012000200006
https://doi.org/10.1590/S0102-7972201200...
) e a segunda refere-se à ausência de instrumentos voltados à avaliação desse construto na infância (Oliveira & Nakano, 2018Oliveira, K. S., & Nakano, T. C. (2018). Avaliação da resiliência em psicologia: Revisão do cenário científico brasileiro. Psicologia em Pesquisa, 12(1), 1 -11. doi: 10.5327/Z1982-1247201500020003
https://doi.org/10.5327/Z1982-1247201500...
). Portanto, considerando a relevância da resiliência (Infante, 2007Infante, F. (2007). A resiliência como processo: Uma revisão da literatura recente. Em A. Melillo, & E. N. S. Ojeda (Eds.), Resiliência - descobrindo as próprias fortalezas (pp. 23-38). Porto Alegre: Artmed.; Masten, 2018Masten, A. S. (2018). Resilience theory and research on children and families: Past, present, and promise. Journal of Family: Theory & Review, 10(1), 12-31. doi:10.1111/jftr.12255
https://doi.org/10.1111/jftr.12255...
; Prince-Embury, 2007Prince-Embury, S. (2007). Resilience Scales for Children and Adolescents: A Profile of Personal Strenghs - test review. Canadian Journal of School Psychology, 22(2), 255-261. doi: 10.1177/0829573507305520
https://doi.org/10.1177/0829573507305520...
) e as lacunas identificadas, o presente estudo teve como objetivos: (a) desenvolver um instrumento voltado a crianças, com idades entre 8 e 12 anos, (b) investigar evidências de validade baseadas no conteúdo do instrumento e, também, (c) verificar a adequação do instrumento junto a população-alvo, por meio de condução de estudo piloto.

Método

Desenvolvimento do Instrumento Marcadores de Resiliência Infantil

Conforme as orientações de Borsa e Seize (2017Borsa, J. C., & Seize, M. M. (2017). Construção e adaptação de instrumentos psicológicos: Dois caminhos possíveis. Em B. F. Damásio, & J. C. Borsa (Eds.), Manual de Desenvolvimento de Instrumentos Psicológicos (pp. 15-37). São Paulo: Vetor.), Pacico (2015Pacico, J. C. (2015). Como é feito um teste? Produção de itens. Em C. S. Hutz, D. R. Bandeira, & C. M. Trentini (Eds.), Psicometria (pp. 55-70). Porto Alegre: Artmed .) e Pasquali (2009Pasquali, L. (2009). Psicometria. Revista da Escola de Enfermagem da USP, 43 (Esp), 992-999. doi: 10.1590/S0080-62342009000500002
https://doi.org/10.1590/S0080-6234200900...
), inicialmente, buscou-se, na literatura, modelos teóricos que pudessem sustentar o desenvolvimento de um instrumento para a avaliação da resiliência. Tendo em vista que o conceito de resiliência não encontra uma definição que seja amplamente aceita pela comunidade acadêmica, a seleção do modelo teórico se deu pela presença de indicadores que estivessem associados à uma compreensão mais atual, envolvendo a identificação dos recursos pessoais presentes em uma resposta resiliente (Infante, 2007Infante, F. (2007). A resiliência como processo: Uma revisão da literatura recente. Em A. Melillo, & E. N. S. Ojeda (Eds.), Resiliência - descobrindo as próprias fortalezas (pp. 23-38). Porto Alegre: Artmed.; Masten, 2014Masten, A. S. (2014). Global perspectives on resilience in children and youth. Child Development, 85, 6-20. doi: 10.1111/cdev.12205
https://doi.org/10.1111/cdev.12205...
, 2018Masten, A. S. (2018). Resilience theory and research on children and families: Past, present, and promise. Journal of Family: Theory & Review, 10(1), 12-31. doi:10.1111/jftr.12255
https://doi.org/10.1111/jftr.12255...
; Oliveira & Nakano, 2018Oliveira, K. S., & Nakano, T. C. (2018). Avaliação da resiliência em psicologia: Revisão do cenário científico brasileiro. Psicologia em Pesquisa, 12(1), 1 -11. doi: 10.5327/Z1982-1247201500020003
https://doi.org/10.5327/Z1982-1247201500...
). Tomando-se tal critério, o modelo apresentado por Castillo et al. (2016Castillo, J. A. G., Castillo-López, A. G., López-Sánchez, C., & Dias, P. C. (2016). Conceptualización teórica de la resiliencia psicosocial y su relación con la salud. Health and Addictions, 16(1), 59-68. doi: 10.21134/haaj.v16i1.263
https://doi.org/10.21134/haaj.v16i1.263...
) que apresenta a resiliência enquanto um construto que resulta da relação intrínseca entre seis elementos fundamentais, mostrou-se mais promissor, tendo sido selecionado. A descrição de cada elemento fundamental é apresentada no Quadro 1.

Quadro 1
Elementos fundamentais e descrição do modelo de Castillo et al. (2016Castillo, J. A. G., Castillo-López, A. G., López-Sánchez, C., & Dias, P. C. (2016). Conceptualización teórica de la resiliencia psicosocial y su relación con la salud. Health and Addictions, 16(1), 59-68. doi: 10.21134/haaj.v16i1.263
https://doi.org/10.21134/haaj.v16i1.263...
).

A fim de que o instrumento, intitulado Marcadores de Resiliência Infantil (MRI), obtivesse um caráter lúdico, os itens foram desenvolvidos em forma de pequenas histórias. Nestas, é apresentada ao avaliando uma personagem principal, que está diante de uma situação problema. As histórias são interrompidas no momento em que a personagem deve decidir como agir, e cabe ao avaliando escolher uma, dentre três alternativas, aquela que julgue ser a opção mais próxima do que ele faria, caso fosse a personagem da história. Com o intuito de que a tarefa não demandasse apenas as habilidades de leitura e escrita, os itens foram ilustrados.

Os conteúdos das histórias foram desenvolvidos a partir das definições dos elementos fundamentais apresentados por Castillo et al. (2016Castillo, J. A. G., Castillo-López, A. G., López-Sánchez, C., & Dias, P. C. (2016). Conceptualización teórica de la resiliencia psicosocial y su relación con la salud. Health and Addictions, 16(1), 59-68. doi: 10.21134/haaj.v16i1.263
https://doi.org/10.21134/haaj.v16i1.263...
). Assim, ao todo, foram desenvolvidos 30 itens, sendo cinco para cada elemento fundamental. Uma outra questão observada no processo de construção dos itens, referiu-se aos contextos nos quais ocorriam as histórias. Para que fossem apropriadas à população-alvo, extraíram-se espaços típicos do cotidiano infantil, tais como escola, bairro e convívio familiar. Com a intenção de que o instrumento obtivesse um aspecto coeso, a mesma personagem principal foi utilizada em todas as histórias. Optou-se por criar uma versão feminina e uma masculina para o instrumento, considerando que pudessem existir diferenças nas respostas de meninos e meninas. Nessas versões, as histórias são iguais, de modo que mantêm o mesmo sentido e contexto, entretanto a personagem principal chama-se Nino na versão masculina e Nina na versão feminina. A escolha do nome das personagens levou em conta ser um nome sem regionalismos, com sílabas simples e que pudessem ser facilmente compreendidas pelos avaliandos.

Importante informar que, durante o processo de construção dos itens não foram desenvolvidas as alternativas de desfecho para as histórias. Tal decisão baseou-se na ideia de que as alternativas fossem representativas das possibilidades presentes no universo infantil. Para que isso fosse possível, foram realizadas entrevistas com crianças da faixa etária almejada. Os procedimentos relacionados ao processo de desenvolvimento das alternativas serão apresentados a seguir.

Estudo 1 - Levantamento de Respostas aos Itens do MRI e Verificação da Necessidade das Versões, Feminina e Masculina, do Instrumento

Participantes

Colaboraram com este estudo, 20 crianças de ambos os sexos, sendo 11 meninas e nove meninos, com idades entre oito a 12 anos (M = 8,95; DP = 0,99) matriculadas em escolas da rede pública (n = 6) e privada (n = 14) situadas no interior do Estado de São Paulo. Maior detalhamento sobre as características da amostra são encontradas na Tabela 1.

Tabela 1
Estudo 1: Desenvolvimento das Alternativas - Detalhamento das Características dos Participantes

Instrumento

Foram utilizadas as versões masculina e feminina do instrumento MRI, compostas por 30 itens, em formato de histórias ilustradas, sem as alternativas de desfecho/resposta.

Procedimentos

Após a aprovação do estudo junto ao Comitê de Ética em Pesquisa com Seres Humanos (CAAE 66606517.5.0000.5481), foram retomados os contatos com escolas públicas e particulares e, diante da seleção da data em que a coleta de dados iria ocorrer, os termos de consentimento livre e esclarecidos (TCLE) foram enviados. Aqueles cujos pais ou responsáveis devolveram o documento assinado, participaram do processo de coleta de dados, conduzido de forma individual. Nesse encontro, liam-se os 30 itens elaborados e, ao final da leitura de cada item, era solicitado ao participante que respondesse duas questões: (a) “Se você fosse a personagem dessa história, o que você faria?” e (b) “Você mudaria sua resposta se tivéssemos lido a história com a personagem do sexo oposto?”. Assim, caso o participante fosse uma menina, primeiramente lia-se o item da versão feminina do MRI, seguido pelas duas questões. Em seguida, lia-se o mesmo item na versão masculina do MRI, repetindo-se as questões.

Resultados

Foram transcritas todas as entrevistas, sendo que tal ação deu origem a um banco de respostas composto por 600 alternativas (20 respostas possíveis para cada um dos 30 itens). Posteriormente, a avaliação da pertinência destas foi investigada por meio de análise de juízes. A fim de apresentar os procedimentos mais didaticamente, os detalhamentos relacionados à seleção das alternativas será apresentado no Estudo 2. Em seguida, realizou-se a análise das respostas dos sujeitos quanto à possível alteração de conduta, caso lessem a história com a personagem principal do sexo oposto. Dentre as respostas, observou-se que das 600 obtidas, apenas em 39 ocasiões (6,5% do total), os participantes afirmaram que mudariam os desfechos das histórias considerando o gênero da personagem principal. Nas demais 561 ocasiões, ou seja, em 93,5% das respostas, os participantes relataram que não alterariam os desfechos das histórias. Assim, entendeu-se que não se fazia necessário o versionamento do instrumento, de modo que as versões foram unificadas, e os itens ímpares apresentavam a personagem masculina (Nino) e as pares a feminina (Nina).

Estudo 2 - Seleção das Alternativas de Resposta ao MRI e Investigação das Evidências de Validade Baseadas no Conteúdo

Tendo em vista as ações realizadas pelos juízes, o Estudo 2 será apresentado em duas etapas: seleção das alternativas de resposta e investigação das evidências de validade de conteúdo.

Estudo 2, Etapa 1 - Seleção das Alternativas de Respostas

Participantes

Participaram dessa etapa 15 juízes, psicólogos especialistas (n = 1), mestres (n = 12) e doutores (n = 2), com experiência em construção de instrumentos, os quais avaliaram a adequação das alternativas, sugerindo um sistema de pontuação para estas.

Material

Cada juiz recebeu, via endereço eletrônico, um arquivo contendo o TCLE e outro contendo um conjunto de 10 itens, sendo que cada item era acompanhado de 20 alternativas diferentes, as quais foram obtidas no Estudo 1. Dessa forma, cada juiz avaliou 200 alternativas. Ao todo, foram analisadas as 600 alternativas possíveis.

Procedimentos

Os juízes foram, aleatoriamente, divididos em três grupos, contendo cinco juízes em cada grupo. A eles coube a tarefa de avaliar a pertinência das alternativas de resposta, pontuando-as com 0, caso as alternativas fossem consideradas como não resilientes diante da situação-problema apresentada, 1 para as respostas adequadas e 2 para as respostas consideradas resilientes. Desse modo foram retidas apenas as alternativas que apresentaram concordância mínima de 80%, entre os juízes, para a pontuação sugerida. Em seguida, as alternativas foram organizadas e sintetizadas, a fim de comporem os itens do instrumento, como pode ser observado na Tabela 2. Portanto, ao final dessa etapa, foi possível concluir o desenvolvimento do instrumento, de modo que, nesse ponto, o MRI era composto por 30 itens e, para cada item, havia três alternativas, as quais recebiam as pontuações 0, 1 e 2, a partir da classificação atribuída pelos juízes.

Tabela 2
Tratamento dos Dados Referentes as Alternativas/Opções de Desfecho

Estudo 2, Etapa 2 - Investigação das Evidências de Validade Baseadas no Conteúdo

Em seguida, foi dado início aos estudos relacionados às evidências baseadas no conteúdo, uma vez que estudos desta natureza buscam demonstrar se o conteúdo dos itens do instrumento é adequado para representar um domínio de comportamentos a ser mensurado e se as interpretações psicológicas derivadas dos resultados dos testes têm embasamento sólido (Alves, Souza, & Baptista, 2011Alves, G. A. S., Souza, M. S., & Baptista, M. N. (2011). Validade e precisão de testes psicológicos. Em R. A. M. Ambiel, I. S. Rabelo, S. V. Pacanaro, G. A. S. Alves, & I. F. A. S. Leme (Eds.), Avaliação psicológica: guia de consulta para estudantes e profissionais de psicologia (pp.109-128). São Paulo: Casa do Psicólogo.; American Educational Research Association [AERA], American Psychological Association [APA], & National Council of Measurement in Education [NCME], 1999American Educational Research Association [AERA], American Psychological Association [APA], & National Council of Measurement in Education [NCME]. (1999). Standards for educational and psychological testing. Washington, DC: AERA.;Primi, 2011Primi, R. (2011). Responsabilidade ética no uso de padrões de qualidade profissional na avaliação psicológica. Em Conselho Federal de Psicologia (Eds.), Ano da Avaliação Psicológica - Textos Geradores (pp. 53-58). Brasília: Conselho Federal de Psicologia).

Materiais

Os juízes receberam, também via endereço eletrônico, um arquivo contendo as informações relacionadas ao modelo teórico e as definições de cada um dos elementos fundamentais. Nesse arquivo, ainda era possível encontrar um modelo de como proceder com as avaliações e um conjunto de 10 itens que deveriam ser analisados.

Participantes

Colaboraram com o estudo 16 juízes, 15 deles contribuíram para a avaliação das alternativas de resposta, descritas anteriormente. Um dos juízes, após a realização da primeira rodada, afirmou não poder participar das rodadas seguintes. Assim, este foi substituído por outro juiz, doutor na área de avaliação psicológica, com experiência em construção de instrumentos. Dessa forma, os participantes deste estudo eram especialistas (n = 1), mestres (n = 12) e doutores (n = 3). Também é importante informar que, na última rodada realizada, apenas cinco dos 15 juízes apresentaram suas colaborações junto à pesquisa. Nessa última rodada, os juízes eram mestres (n = 2) e doutores (n = 3).

Procedimentos

Assim como na etapa anterior, os juízes foram aleatoriamente distribuídos em três grupos. É importante destacar que a contribuição foi realizada individualmente e que os juízes não foram informados a qual grupo pertenciam. Após o recebimento das avaliações dos juízes, foram criados bancos de dados referentes às análises de conteúdo dos itens do instrumento.

Foram realizadas três rodadas de avaliação até a conclusão do estudo de evidências de validade baseadas no conteúdo do instrumento. Ao final desses três momentos, realizou-se, ainda, a análise dos coeficientes de Kappa. Os cálculos foram realizados com o auxílio do programa Statistical Package for the Social Sciences (SPSS) - versão 22. Para uma análise qualitativa, considerou-se que valores de Kappa acima de 0,75 indicariam uma concordância excelente; entre 0,40 e 0,75, uma concordância satisfatória; e abaixo de 0,40, uma concordância insatisfatória, tal como recomendado na literatura (Fonseca, Silva, & Silva, 2007Fonseca, R. J. R. M. D., Silva, P. J. D. S. P. D., & Silva, R. R. D. (2007). Acordo inter-juízes: o caso do coeficiente de kappa. Laboratório de Psicologia, 5(1), 81-90. Recuperado de http://repositorio.ispa.pt/handle/10400.12/1263
http://repositorio.ispa.pt/handle/10400....
).

Resultados

Na primeira rodada de avaliação, 19 itens foram considerados adequados. Destes, 11 obtiveram concordância perfeita (100%) e oito apresentaram concordância substancial (80%). Nesse momento, a composição do instrumento se deu da seguinte forma: cinco itens aprovados para o elemento fundamental vulnerabilidade, dois itens para coping, cinco itens para inteligência emocional, dois para bem-estar subjetivo, quatro para locus de controle e um item para habilidade. Nesse processo, dois itens apresentaram concordância de 80% em um elemento fundamental diferente do qual tinham sido desenvolvidos originalmente. Isso foi observado para o item 18 (habilidade) e 27 (coping), os quais foram alocados nos elementos locus de controle e inteligência emocional, respectivamente, considerando-se a classificação feita pelos juízes.

Considerando que 11 itens não apresentaram concordância satisfatória, mas apresentaram, em sua maioria, concordância de 60%, optou-se por realizar uma nova rodada de avaliação. Após esta, cinco itens apresentaram concordância substancial e um deles concordância perfeita. Dentre os aprovados, dois itens referiam-se ao elemento fundamental coping, um ao bem-estar subjetivo e dois ao elemento habilidade. Nessa ocasião, outro item que havia sido originalmente desenvolvido para o elemento habilidade foi considerado pelos juízes como pertencente ao elemento locus de controle, com concordância de 80%, tendo sido realocado para compor essa dimensão.

Na tentativa de ampliar o número de itens, uma última rodada de análise foi conduzida com os cinco itens que ainda não tinham alcançado valor adequado de concordância. Os resultados dessa fase apontaram para a concordância de 80% para os itens de número 5 (elemento bem-estar subjetivo) e 26 (elemento habilidade). Os três itens restantes não alcançaram o percentual mínimo necessário, apresentando concordância de 20%, 40% e 60%, tendo sido excluídos. Sendo assim, somando-se esses resultados àqueles obtidos nas rodadas anteriores, é possível afirmar que 90% dos itens, ou seja, 27 dos 30 desenvolvidos para o instrumento MRI, apresentaram bom critério de concordância. Ao todo, 12 itens apresentaram concordâncias perfeitas de 100% e em 15 itens identificou-se concordâncias substanciais. O detalhamento dessas informações pode ser observado na Tabela 3.

Tabela 3
Elementos Fundamentais e Itens Aprovados nas Etapas 1, 2 e 3

Conforme informado, a análise dos coeficientes de Kappa também foi conduzida. Os resultados obtidos apontaram para valores de concordância considerados excelentes (acima de 0,75) para seis juízes (Juiz 2, 4, 5, 7, 9 e 16). Também foram identificados valores de Kappa satisfatórios (intervalo entre 0,40 e 0,75) para cinco juízes (Juiz 1, 3, 8, 11 e 12). E, por fim, foram identificados valores insuficientes (abaixo de 0,40) para os seguintes juízes: Juiz 6, 10, 13, 14 e 15. Assim, foi possível observar que 68,75% dos juízes obtiveram classificações consideradas excelentes e satisfatórias, enquanto 31,25%, por sua vez, são considerados insatisfatórios.

Estudo 3 - Estudo Piloto em Grupo Focal

Dentre as muitas ações necessárias para a investigação das qualidades de um instrumento que está sendo desenvolvido, pode-se destacar a importância do estudo piloto, o qual é realizado com amostras reduzidas (Fonseca, Gontijo, & Souza, 2015Fonseca, M. G., Gontijo, C. H., & Souza, J. C. S. (2015). O tratamento quantitativo e sua potencialidade para a construção de testes psicométricos em pesquisas de educação matemática. Perspectivas da Educação Matemática, 8(18), 770-783. Recuperado de http://seer.ufms.br/index.php/pedmat/article/view/869
http://seer.ufms.br/index.php/pedmat/art...
; Pacico, 2015Pacico, J. C. (2015). Como é feito um teste? Produção de itens. Em C. S. Hutz, D. R. Bandeira, & C. M. Trentini (Eds.), Psicometria (pp. 55-70). Porto Alegre: Artmed .). Segundo Pasquali (2009Pasquali, L. (2009). Psicometria. Revista da Escola de Enfermagem da USP, 43 (Esp), 992-999. doi: 10.1590/S0080-62342009000500002
https://doi.org/10.1590/S0080-6234200900...
), por meio dessa investigação, é possível verificar se os itens são compreensíveis à população a qual se destina o instrumento, assim como identificar falhas relacionadas aos aspectos gramaticais, ortográficos e semânticos (Fonseca et al., 2015Fonseca, M. G., Gontijo, C. H., & Souza, J. C. S. (2015). O tratamento quantitativo e sua potencialidade para a construção de testes psicométricos em pesquisas de educação matemática. Perspectivas da Educação Matemática, 8(18), 770-783. Recuperado de http://seer.ufms.br/index.php/pedmat/article/view/869
http://seer.ufms.br/index.php/pedmat/art...
) e, ainda, extrair dados preliminares da amostra-alvo (Pacico, 2015Pacico, J. C. (2015). Como é feito um teste? Produção de itens. Em C. S. Hutz, D. R. Bandeira, & C. M. Trentini (Eds.), Psicometria (pp. 55-70). Porto Alegre: Artmed .).

Participantes

Contribuíram com o estudo, alunos de uma escola pública do interior de São Paulo. Do primeiro momento, participaram 10 crianças, sendo cinco do 3º ano do Ensino Fundamental 1 (EF1) com idades de oito (n = 1) e nove anos (n = 4), três meninas e dois meninos, e outras cinco crianças, alunos do 6º ano do Ensino Fundamental 2 (EF2), com idades de 11 (n = 2) e 12 (n = 3), duas meninas e três meninos. Participaram do segundo momento 33 crianças, 19 delas frequentavam o 3º ano do EF1, com idades entre oito (n = 6) e 9 anos (n = 13), nove meninas e dez meninos, e 14 estudantes do 6º ano do EF2, com idades de 11 (n = 7) e 12 anos (n = 7), sendo cinco meninas e nove meninos. Importante informar que os 10 participantes da primeira etapa não foram incluídos na segunda etapa. A opção pelas séries selecionadas se deu em função das recomendações de que esse tipo de estudo seja conduzido com as parcelas extremas da população com a qual se deseja, posteriormente, fazer uso do instrumento.

Instrumentos

Foram utilizados os 27 itens aprovados ao longo do estudo de evidências de validade baseada no conteúdo. Os itens foram apresentados em forma de um caderno, contendo a capa com a identificação do instrumento, uma folha com as instruções para a execução da tarefa e cada item foi apresentado em uma página, na qual era possível ler a história do item, visualizar sua respectiva ilustração e as três alternativas de respostas. Juntamente ao caderno de aplicação, os participantes receberam uma folha de respostas, composta por um cabeçalho onde deveriam ser colocados os dados de identificação do participante. Abaixo deste, apresentava-se uma coluna, contendo a identificação do número do item, a ilustração deste e as letras “A”, “B” e “C”, para que o participante assinalasse sua escolha.

Procedimentos

Foram realizados todos os procedimentos éticos junto à escola e às famílias e, depois de recebidos os documentos (TCLE) assinados, foram conduzidos os encontros, em um espaço adequado, previamente preparado pelos responsáveis pela escola. Quanto ao conteúdo dos encontros, é importante informar que os participantes foram esclarecidos sobre a tarefa, sendo que primeiramente a pesquisadora procedeu com a leitura das instruções do material e convidou-os a responderem ao instrumento. Após terminarem o processo de resposta, os participantes eram convidados a apresentarem suas percepções, dificuldades e sugestões relacionadas ao instrumento. Esses procedimentos foram seguidos nos encontros com todos os grupos.

Resultados

O encontro realizado com os cinco alunos do 3º ano do EF1 apontou para a necessidade de a pesquisadora proceder com a leitura dos itens, visto que os alunos encontravam-se em processo de aquisição das habilidades de leitura e escrita. Por essa razão, o tempo de execução da tarefa variou entre 50 a 70 minutos. Esses participantes relataram dificuldades relacionadas ao uso da folha de respostas, uma vez que a identificação das alternativas “A”, “B” e “C” encontravam-se apenas acima da primeira linha da coluna. Por sua vez, os cinco participantes do 6º ano de EF2 não apresentaram dificuldades com as habilidades de leitura, realizaram a tarefa em menor tempo, variando entre 25 e 30 minutos. Quando questionados, disseram não ter experimentado dificuldades com o uso da folha de respostas, entretanto, afirmaram que seria mais fácil utilizá-la caso as opções estivessem apresentadas acima de cada linha dos itens. Os participantes, em ambos os grupos, afirmaram que o conteúdo dos itens era representativo de seus cotidianos, não apresentaram dificuldades quanto a compreensão das histórias, também, não foram identificados problemas gramaticais, ortográficos, semânticos e não relataram desconhecimento de palavras ou expressões.

Dessa forma, optou-se por realizar a alteração da folha de respostas, conforme sugerido pelos participantes. Tal alteração pode ser observada na Figura 1. Após isso, realizou-se os encontros com os grupos maiores, a fim de verificar se as alterações realizadas haviam sido suficientes e se novas dúvidas e/ou dificuldades surgiriam. Os resultados obtidos nesses encontros apontaram novamente para a necessidade da leitura dos itens para os alunos do 3º ano do EF1, os quais também se encontravam em processo de aquisição e automatização das habilidades de leitura. Nesse momento, não foram identificadas dificuldades na utilização da folha de resposta.

Figura 1
Folha de resposta utilizada nas etapas 1 e 2 do estudo piloto.

Quanto ao encontro com os alunos do 6º ano do EF2, quando questionados sobre os itens do instrumento e das situações apresentadas, os participantes não relataram dificuldades de compreensão do conteúdo dos itens e também apontaram que os desenhos auxiliaram no entendimento dos contextos das histórias/itens. O tempo de execução da tarefa para os dois grupos variou entre 25 a 38 minutos. Não foram identificadas dificuldades relacionadas a compreensão semântica dos itens, problemas ortográficos e gramaticais. Assim, é possível concluir que o instrumento, nessa versão, poderá ser submetido a outros estudos que busquem demais evidências de validade.

Discussão

A resiliência é um construto relevante para os processos adaptativos e enfrentamentos necessários nos dias atuais (Infante, 2007Infante, F. (2007). A resiliência como processo: Uma revisão da literatura recente. Em A. Melillo, & E. N. S. Ojeda (Eds.), Resiliência - descobrindo as próprias fortalezas (pp. 23-38). Porto Alegre: Artmed.; Masten, 2001Masten, A. S. (2001). Ordinary magic: Resilience processes in development. American Psychologist, 56(3), 227-238. doi: 10.1037/0003-066X.56.3.227
https://doi.org/10.1037/0003-066X.56.3.2...
, 2014Masten, A. S. (2014). Global perspectives on resilience in children and youth. Child Development, 85, 6-20. doi: 10.1111/cdev.12205
https://doi.org/10.1111/cdev.12205...
; Prince-Embury, 2007Prince-Embury, S. (2007). Resilience Scales for Children and Adolescents: A Profile of Personal Strenghs - test review. Canadian Journal of School Psychology, 22(2), 255-261. doi: 10.1177/0829573507305520
https://doi.org/10.1177/0829573507305520...
). Apesar de todas as controvérsias conceituais (Brandão et al., 2011Brandão, J. M., Mahfoud, M., & Gianordoli-Nasciento, I. F. (2011). A construção do conceito de resiliência em psicologia: Discutindo as origens. Paidéia, 21(49), 263-271. doi: 10.1590/S0103-863X2011000200014
https://doi.org/10.1590/S0103-863X201100...
), é possível afirmar que a resiliência seja também um fenômeno psicológico (Yunes, 2011Yunes, M. A. M. (2011). Psicologia positiva e resiliência: Foco no indivíduo e na família. EmD. D. Dell’Aglio , S. H. Koller , & M. A. M. Yunes (Eds.), Resiliência e psicologia positiva: interfaces do risco a proteção (pp. 45-68). São Paulo: Casa do Psicólogo .) e que, por tal motivo, sua avaliação se faz possível, considerando-se as recomendações a respeito das interpretações resultantes das avaliações da resiliência (Infante, 2007Infante, F. (2007). A resiliência como processo: Uma revisão da literatura recente. Em A. Melillo, & E. N. S. Ojeda (Eds.), Resiliência - descobrindo as próprias fortalezas (pp. 23-38). Porto Alegre: Artmed.; Masten, 2018Masten, A. S. (2018). Resilience theory and research on children and families: Past, present, and promise. Journal of Family: Theory & Review, 10(1), 12-31. doi:10.1111/jftr.12255
https://doi.org/10.1111/jftr.12255...
).

Portanto, após a verificação de que os instrumentos existentes para esse fim apresentam limitações quanto ao conteúdo avaliado (Reppold et al., 2012Reppold, C. T., Mayer, J. C., Almeida, L. S., & Hutz, C. S. (2012). Avaliação da resiliência: Controvérsia em torno do uso de escalas. Psicologia: Reflexão e Crítica, 25(2), 248-255. doi: 10.1590/S0102-79722012000200006
https://doi.org/10.1590/S0102-7972201200...
), assim como a constatação de que até o momento não foram desenvolvidos instrumentos que alcancem a população infantil brasileira (Oliveira & Nakano, 2018Oliveira, K. S., & Nakano, T. C. (2018). Avaliação da resiliência em psicologia: Revisão do cenário científico brasileiro. Psicologia em Pesquisa, 12(1), 1 -11. doi: 10.5327/Z1982-1247201500020003
https://doi.org/10.5327/Z1982-1247201500...
), o processo de construção de um instrumento com essa finalidade foi iniciado. Nesse sentido, cabe retomar os objetivos deste trabalho, que foi desenvolver um instrumento voltado à população infantil, cujo modelo embasado, foi o de Castillo et al. (2016Castillo, J. A. G., Castillo-López, A. G., López-Sánchez, C., & Dias, P. C. (2016). Conceptualización teórica de la resiliencia psicosocial y su relación con la salud. Health and Addictions, 16(1), 59-68. doi: 10.21134/haaj.v16i1.263
https://doi.org/10.21134/haaj.v16i1.263...
). Ainda quanto aos objetivos, buscou-se investigar evidências de validade baseadas no conteúdo do instrumento, assim como verificar a adequação do MRI junto a população-alvo.

Os três estudos aqui relatados apontaram para resultados positivos em relação à adequação do instrumento e do conteúdo apresentados nos itens, bem como do formato desenvolvido. A opção de se construir as alternativas de resposta a partir daquelas fornecidas pelos participantes que apresentam características semelhantes àqueles que, posteriormente, serão o público-alvo do instrumento, auxiliou os pesquisadores na elaboração de respostas mais próximas daquelas que seriam dadas livremente pelos participantes. Tal fato pôde ser constatado no estudo piloto, ocasião em que a adequação da linguagem, formato do instrumento e opções de respostas foram confirmadas junto aos participantes, tanto de menor quanto de maior idade (Fonseca et al., 2015Fonseca, M. G., Gontijo, C. H., & Souza, J. C. S. (2015). O tratamento quantitativo e sua potencialidade para a construção de testes psicométricos em pesquisas de educação matemática. Perspectivas da Educação Matemática, 8(18), 770-783. Recuperado de http://seer.ufms.br/index.php/pedmat/article/view/869
http://seer.ufms.br/index.php/pedmat/art...
; Pacico, 2015Pacico, J. C. (2015). Como é feito um teste? Produção de itens. Em C. S. Hutz, D. R. Bandeira, & C. M. Trentini (Eds.), Psicometria (pp. 55-70). Porto Alegre: Artmed ., Pasquali, 2009Pasquali, L. (2009). Psicometria. Revista da Escola de Enfermagem da USP, 43 (Esp), 992-999. doi: 10.1590/S0080-62342009000500002
https://doi.org/10.1590/S0080-6234200900...
).

Por sua vez, o estudo de busca por evidências de validade baseadas no conteúdo teve como objetivo investigar a clareza, representatividade e relevância dos itens por meio da análise de juízes. Os resultados indicaram a adequação da maior parte dos itens do instrumento às áreas que pretende avaliar, confirmando o modelo teórico adotado, tal como recomendado pela literatura científica (AERA, APA, & NCME, 1999; Primi, 2011Primi, R. (2011). Responsabilidade ética no uso de padrões de qualidade profissional na avaliação psicológica. Em Conselho Federal de Psicologia (Eds.), Ano da Avaliação Psicológica - Textos Geradores (pp. 53-58). Brasília: Conselho Federal de Psicologia). Dentre as dimensões, chama a atenção o fato dos elementos vulnerabilidade e inteligência emocional terem todos seus itens aprovados já na primeira rodada de análise dos juízes. Provavelmente tais dimensões sejam mais conhecidas pelos juízes, ou a definição fornecida a eles se encontrava mais clara e precisa, facilitando o processo de julgamento. Por outro lado, as dimensões coping, bem-estar subjetivo e habilidade foram as que, mesmo após três rodadas de avaliação, não alcançaram concordância em todos os itens, ficando com somente quatro itens cada. Entretanto, perante o fato da maioria dos itens terem alcançado valores adequados, tal dado permitiu inferir que, de modo geral, as definições que foram fornecidas para os juízes se mostraram adequadas e suficientes para a realização da tarefa solicitada.

Os resultados do segundo método utilizado, isto é, a análise dos coeficientes de Kappa apontaram para resultados excelentes ou satisfatórios obtidos pela maior parte dos juízes, considerando-se os valores sugeridos por Fonseca et al. (2007Fonseca, R. J. R. M. D., Silva, P. J. D. S. P. D., & Silva, R. R. D. (2007). Acordo inter-juízes: o caso do coeficiente de kappa. Laboratório de Psicologia, 5(1), 81-90. Recuperado de http://repositorio.ispa.pt/handle/10400.12/1263
http://repositorio.ispa.pt/handle/10400....
). Cinco juízes (31,25% da amostra) apresentaram valores considerados insuficientes, de modo que seu julgamento pode ser considerado inadequado. Quanto a isso, é possível ponderar que, em função da complexidade do construto (Masten, 2001Masten, A. S. (2001). Ordinary magic: Resilience processes in development. American Psychologist, 56(3), 227-238. doi: 10.1037/0003-066X.56.3.227
https://doi.org/10.1037/0003-066X.56.3.2...
; Rutter, 2012Rutter, M. (2012). Resilience as a dynamic concept. Development and Psychopathology , 24(1), 335-344. doi: 10.1017/S0954579412000028
https://doi.org/10.1017/S095457941200002...
) e da presença de diferentes definições do termo na literatura (Brandão et al., 2011Brandão, J. M., Mahfoud, M., & Gianordoli-Nasciento, I. F. (2011). A construção do conceito de resiliência em psicologia: Discutindo as origens. Paidéia, 21(49), 263-271. doi: 10.1590/S0103-863X2011000200014
https://doi.org/10.1590/S0103-863X201100...
; Oliveira & Nakano, 2018Oliveira, K. S., & Nakano, T. C. (2018). Avaliação da resiliência em psicologia: Revisão do cenário científico brasileiro. Psicologia em Pesquisa, 12(1), 1 -11. doi: 10.5327/Z1982-1247201500020003
https://doi.org/10.5327/Z1982-1247201500...
), as avaliações podem ter sofrido vieses referentes à experiências prévias dos avaliadores.

Dentro das ações relacionadas ao processo de construção do instrumento, nota-se que as etapas realizadas junto ao estudo piloto foram valiosas para a verificação da adequação do material à faixa etária alvo (Pasquali, 2009Pasquali, L. (2009). Psicometria. Revista da Escola de Enfermagem da USP, 43 (Esp), 992-999. doi: 10.1590/S0080-62342009000500002
https://doi.org/10.1590/S0080-6234200900...
). A realização das etapas em amostras reduzidas (Fonseca et al., 2015Fonseca, M. G., Gontijo, C. H., & Souza, J. C. S. (2015). O tratamento quantitativo e sua potencialidade para a construção de testes psicométricos em pesquisas de educação matemática. Perspectivas da Educação Matemática, 8(18), 770-783. Recuperado de http://seer.ufms.br/index.php/pedmat/article/view/869
http://seer.ufms.br/index.php/pedmat/art...
) favoreceram a identificação de necessidades experimentadas pelo extrato mais baixo da população almejada. Por sua vez, a aplicação em amostras maiores (Pasquali, 2009Pasquali, L. (2009). Psicometria. Revista da Escola de Enfermagem da USP, 43 (Esp), 992-999. doi: 10.1590/S0080-62342009000500002
https://doi.org/10.1590/S0080-6234200900...
) contribuiu para a compreensão das potencialidades do instrumento junto aos participantes. Por fim, após a realização de todas essas ações, entende-se que essa versão do instrumento deve ser submetida a outros estudos de investigação de evidências de validade, tais como a investigação da sua estrutura interna, das relações com variáveis externas e com populações critério.

Considerações Finais

Diante do exposto, é possível afirmar que os objetivos deste estudo foram alcançados. Ainda assim, é fundamental refletir sobre as limitações encontradas ao longo do processo. Apesar da relevância da resiliência para os dias atuais, há ainda muitas lacunas conceituais, pouco consenso relacionado às melhores definições do termo, dentre outras características que se apresentam como aspectos desafiadores para a consolidação de uma linguagem comum. Essa questão pode também ter sido observada junto ao grupo de juízes. Isto por que, ainda que se tenha buscado formar um grupo composto por avaliadores experientes e apresentar os conceitos necessários para o processo de avaliação dos conteúdos, o modelo teórico utilizado e a definição empregada, que se fazem valer de termos utilizados em outras fontes teóricas, podem ter gerado dificuldades conceituais. Pode ser citada também a mudança de juízes ao longo das três etapas, de modo que tal situação pode ter exercido alguma influência sobre os resultados.

Por fim, é possível afirmar que os resultados dos estudos mostraram-se promissores e é importante destacar que eles apontaram para evidências positivas de validade de construto para o MRI, de modo que a primeira versão pode ser considerada como pronta e adequada para ser testada, de forma empírica, em outros estudos. Almeja-se que sua disponibilização, após novos estudos, possam sanar, em partes, a escassez de instrumental para avaliação da resiliência infantil, especialmente no Brasil.

Referências

  • Alves, G. A. S., Souza, M. S., & Baptista, M. N. (2011). Validade e precisão de testes psicológicos. Em R. A. M. Ambiel, I. S. Rabelo, S. V. Pacanaro, G. A. S. Alves, & I. F. A. S. Leme (Eds.), Avaliação psicológica: guia de consulta para estudantes e profissionais de psicologia (pp.109-128). São Paulo: Casa do Psicólogo.
  • American Educational Research Association [AERA], American Psychological Association [APA], & National Council of Measurement in Education [NCME]. (1999). Standards for educational and psychological testing. Washington, DC: AERA.
  • Benetti, I. C., & Crepaldi, M. A. (2012). Resiliência revisitada: uma abordagem reflexiva para principiantes no assunto. Revista Eletrónica de Investigación y Docencia, 7(1), 7-30. Recuperado de http://www.revistareid.net/revista/n7/REID7art1.pdf
    » http://www.revistareid.net/revista/n7/REID7art1.pdf
  • Borsa, J. C., & Seize, M. M. (2017). Construção e adaptação de instrumentos psicológicos: Dois caminhos possíveis. Em B. F. Damásio, & J. C. Borsa (Eds.), Manual de Desenvolvimento de Instrumentos Psicológicos (pp. 15-37). São Paulo: Vetor.
  • Brandão, J. M., Mahfoud, M., & Gianordoli-Nasciento, I. F. (2011). A construção do conceito de resiliência em psicologia: Discutindo as origens. Paidéia, 21(49), 263-271. doi: 10.1590/S0103-863X2011000200014
    » https://doi.org/10.1590/S0103-863X2011000200014
  • Castillo, J. A. G., Castillo-López, A. G., López-Sánchez, C., & Dias, P. C. (2016). Conceptualización teórica de la resiliencia psicosocial y su relación con la salud. Health and Addictions, 16(1), 59-68. doi: 10.21134/haaj.v16i1.263
    » https://doi.org/10.21134/haaj.v16i1.263
  • Fonseca, M. G., Gontijo, C. H., & Souza, J. C. S. (2015). O tratamento quantitativo e sua potencialidade para a construção de testes psicométricos em pesquisas de educação matemática. Perspectivas da Educação Matemática, 8(18), 770-783. Recuperado de http://seer.ufms.br/index.php/pedmat/article/view/869
    » http://seer.ufms.br/index.php/pedmat/article/view/869
  • Fonseca, R. J. R. M. D., Silva, P. J. D. S. P. D., & Silva, R. R. D. (2007). Acordo inter-juízes: o caso do coeficiente de kappa. Laboratório de Psicologia, 5(1), 81-90. Recuperado de http://repositorio.ispa.pt/handle/10400.12/1263
    » http://repositorio.ispa.pt/handle/10400.12/1263
  • Fontes, A. P. (2010). Resiliência, segundo o paradigma do desenvolvimento ao longo da vida (life-span). Kairós, 7(1), 8-20. Recuperado de https://revistas.pucsp.br/index.php/kairos/article/view/3917
    » https://revistas.pucsp.br/index.php/kairos/article/view/3917
  • Garmezy, N. (1993). Children in poverty: Resilience despite the risk. Psychiatry, 56(1), 127-136. doi: 10.1080/00332747.1993.11024627
    » https://doi.org/10.1080/00332747.1993.11024627
  • Gloria, C. T., & Steinheardt, M. A. (2014). Relationships among positive emotions, coping, resilience and mental health. Stress and Health, 32, 145-156. doi: 10.1002/smi.2589
    » https://doi.org/10.1002/smi.2589
  • Infante, F. (2007). A resiliência como processo: Uma revisão da literatura recente. Em A. Melillo, & E. N. S. Ojeda (Eds.), Resiliência - descobrindo as próprias fortalezas (pp. 23-38). Porto Alegre: Artmed.
  • Masten, A. S. (2001). Ordinary magic: Resilience processes in development. American Psychologist, 56(3), 227-238. doi: 10.1037/0003-066X.56.3.227
    » https://doi.org/10.1037/0003-066X.56.3.227
  • Masten, A. S. (2014). Global perspectives on resilience in children and youth. Child Development, 85, 6-20. doi: 10.1111/cdev.12205
    » https://doi.org/10.1111/cdev.12205
  • Masten, A. S. (2018). Resilience theory and research on children and families: Past, present, and promise. Journal of Family: Theory & Review, 10(1), 12-31. doi:10.1111/jftr.12255
    » https://doi.org/10.1111/jftr.12255
  • Masten, A., Best, K. M., & Garmezy, N. (1990). Resilience and development: Contribuitions from the study of children who overcome adversity. Development and Psychopathology, 2(1), 425-444. doi: 10.1017/S0954579400005812
    » https://doi.org/10.1017/S0954579400005812
  • Oliveira, K. S., & Nakano, T. C. (2018). Avaliação da resiliência em psicologia: Revisão do cenário científico brasileiro. Psicologia em Pesquisa, 12(1), 1 -11. doi: 10.5327/Z1982-1247201500020003
    » https://doi.org/10.5327/Z1982-1247201500020003
  • Pacico, J. C. (2015). Como é feito um teste? Produção de itens. Em C. S. Hutz, D. R. Bandeira, & C. M. Trentini (Eds.), Psicometria (pp. 55-70). Porto Alegre: Artmed .
  • Pasquali, L. (2009). Psicometria. Revista da Escola de Enfermagem da USP, 43 (Esp), 992-999. doi: 10.1590/S0080-62342009000500002
    » https://doi.org/10.1590/S0080-62342009000500002
  • Poletto, M. (2006). Uma breve reflexão crítica sobre psicologia positiva e resiliência. Psicologia Escolar e Educacional, 10(1), 137-140. doi: 10.1590/S1413-85572006000100014
    » https://doi.org/10.1590/S1413-85572006000100014
  • Poletto, M. & Koller, S. H. (2011). Resiliência: uma perspectiva conceitual e histórica. Em D. D. Dell’Aglio, S. H. Koller, & M. A. M. Yunes (Eds.), Resiliência e psicologia positiva: interfaces do risco a proteção (pp. 19-44). São Paulo: Casa do Psicólogo .
  • Primi, R. (2011). Responsabilidade ética no uso de padrões de qualidade profissional na avaliação psicológica. Em Conselho Federal de Psicologia (Eds.), Ano da Avaliação Psicológica - Textos Geradores (pp. 53-58). Brasília: Conselho Federal de Psicologia
  • Prince-Embury, S. (2007). Resilience Scales for Children and Adolescents: A Profile of Personal Strenghs - test review. Canadian Journal of School Psychology, 22(2), 255-261. doi: 10.1177/0829573507305520
    » https://doi.org/10.1177/0829573507305520
  • Reppold, C. T., Mayer, J. C., Almeida, L. S., & Hutz, C. S. (2012). Avaliação da resiliência: Controvérsia em torno do uso de escalas. Psicologia: Reflexão e Crítica, 25(2), 248-255. doi: 10.1590/S0102-79722012000200006
    » https://doi.org/10.1590/S0102-79722012000200006
  • Rutter, M. (2007). Resilience, competence, and coping. Child, Abuse, & Neglect, 31(1), 205-209. doi: 10.1016/j.chiabu.2007.02.001
    » https://doi.org/10.1016/j.chiabu.2007.02.001
  • Rutter, M. (2012). Resilience as a dynamic concept. Development and Psychopathology , 24(1), 335-344. doi: 10.1017/S0954579412000028
    » https://doi.org/10.1017/S0954579412000028
  • Sameroff, A. J. (2005). The science of infancy: Academic, social, and political agendas. Infancy, 7(3), 219-242. doi: 10.1207/s15327078in0703_1
    » https://doi.org/10.1207/s15327078in0703_1
  • Truffino, J. C. (2010). Resiliencia: Una aproximación al concepto. Psiquiatría y Salud Mental, 3(4), 145-151. doi: 10.1016/j.rpsm.2010.09.003
    » https://doi.org/10.1016/j.rpsm.2010.09.003
  • Vorria, P., Ntouma, M., & Rutter, M. (2015). Vulnerability and resilience after early institutional care: The Greek Metera study. Developmental and Psychopathology, 27(1), 859-866. doi: 10.1017/S0954579415000243
    » https://doi.org/10.1017/S0954579415000243
  • Yunes, M. A. M. (2011). Psicologia positiva e resiliência: Foco no indivíduo e na família. EmD. D. Dell’Aglio , S. H. Koller , & M. A. M. Yunes (Eds.), Resiliência e psicologia positiva: interfaces do risco a proteção (pp. 45-68). São Paulo: Casa do Psicólogo .

Datas de Publicação

  • Publicação nesta coleção
    22 Fev 2021
  • Data do Fascículo
    Oct-Dec 2020

Histórico

  • Recebido
    12 Set 2018
  • Revisado
    17 Dez 2019
  • Aceito
    03 Fev 2020
Universidade de São Francisco, Programa de Pós-Graduação Stricto Sensu em Psicologia R. Waldemar César da Silveira, 105, Vl. Cura D'Ars (SWIFT), Campinas - São Paulo, CEP 13045-510, Telefone: (19)3779-3771 - Campinas - SP - Brazil
E-mail: revistapsico@usf.edu.br