Acessibilidade / Reportar erro

Construção e validação da Escala de Identificação de Sintomas Psicopatológicos em Escolares (EISPE)

Construction and validation of the Scale for the Identification of Psychopathological Symptoms in Schoolchildren (SIPSS)

RESUMO

Objetivo

Construir e validar a Escala de Identificação de Sintomas Psicopatológicos em Escolares (EISPE).

Métodos

Trata-se de um estudo metodológico, realizado seguindo-se procedimentos teóricos: painel de juízes e estudo-piloto; experimentais, por meio de coleta com 201 crianças de seis a 12 anos; e estatísticos, com validação de construto testada por meio do Modelo Rasch e alfa de Cronbach.

Resultados

Na análise do painel de juízes quanto a clareza e representatividade, cinco itens foram excluídos e, após o teste-piloto, um item foi excluído, chegando a uma versão preliminar da EISPE de 23 itens, avaliando seis aspectos. O Modelo Rasch apresentou a EISPE como unidimensional, com a maior parte dos itens ajustados ao modelo, exceto quatro deles que apresentaram valores de correlação item-total abaixo de 0,2, e outros dois que apresentaram funcionamento diferencial conforme o sexo das crianças: A confiabilidade dos itens foi 0,97, e o valor do alfa de Cronbach, de 0,67.

Conclusão

A versão preliminar da EISPE apresentou qualidades psicométricas satisfatórias, o que sugere que esta é confiável para identificar sintomas psicopatológicos relacionados a ansiedade, humor, condutas sociais, atenção/atividade motora, padrões alimentares e uso/abuso de substâncias psicoativas em crianças com idades entre seis e 12 anos.

Criança; psicopatologia; transtornos mentais da infância; sintomas psíquicos; psicometria.

ABSTRACT

Objective

To construct and validate the Scale for the Identification of Psychopathological Symptoms in Schoolchildren (SIPSS).

Methods

This methodological study was based on the following theoretical procedures: panel of judges and pilot study; experimental procedures for collecting data from 201 children aged from six to 12 years old; statistical procedures including construction validation, tested using the Rasch model and Cronbach’s alpha.

Results

Analysis by the panel of judges resulted in the exclusion of five items. Another item was also discarded after the pilot test, resulting in a preliminary version with 23 items assessing six aspects. The Rasch model indicated that the SIPSS is a one-dimensional scale and most items are adjusted to the model, except four items that presented an item-total correlation below 0.2 and two items that presented differential functioning depending on the children’s sex: reliability of items was 0.97 and Cronbach’s alpha was – 0.67.

Conclusion

The scale’s preliminary version presented satisfactory psychometric properties, suggesting it is reliable for the identification of psychopathological symptoms related to anxiety, mood, social behavior, motor attention/activity, eating patterns, and the use/abuse of psychoactive substances among children aged from six to 12 years old.

Child; psychopathology; mental disorders of childhood; psychological symptoms; psychometrics.

INTRODUÇÃO

Avaliando os sintomas psicopatológicos, por meio da caracterização psicopatológica das funções psíquicas, distinguimos os quadros clínicos das diversas síndromes mentais11. Motta T, Wang Y, del Sant R. Funções psíquicas e sua psicopatologia. In: Psiquiatria básica. Porto Alegre: Artes Medicas; 1995. p. 33-52.. Essa avaliação faz parte do estudo da Psicopatologia, que considera a interação existente entre as diversas dimensões do ser humano, permitindo o estudo de forma integrada dos aspectos físicos e mentais do comportamento humano, por meio da avaliação das funções psíquicas, que nem sempre representam alterações.

Na infância, pressupõe-se a Psicopatologia por meio do entendimento do sujeito, suas características biológicas que são inatas do seu crescimento e desenvolvimento e da relação da criança com o ambiente que o circunda e que mantém suas necessidades vitais22. Assumpção F, Kuczynski E. Psicopatologia do Escolar. In: Atheneu, editor. Tratado de Psiquiatria da infância e adolescência. 2 ed. São Paulo; 2012.. Dessa forma, quando se analisa o psiquismo infantil, levam-se em consideração os sintomas que são apresentados durante a avaliação, dentro de um ponto de vista desenvolvimentista33. Assumpção F, Kuczynski E. Entrevista Clínica. In: Atheneu, editor. Tratado de Psiquiatria da infância e adolescência. 2 ed. São Paulo; 2012..

Durante essa avaliação, quando se identificam os problemas de saúde mental, interferências podem ocorrer no comportamento e no desenvolvimento psicológico da criança, afetando, assim, seus relacionamentos interpessoais e seu desempenho escolar. Isso se caracteriza por sintomas psicopatológicos como: medos; ansiedades; tristezas; baixa estima; isolamento, e autoagressividade, quando internalizados, e heteroagressividade e quebra de regras, quando externalizados44. Lyra G, Assis S, Njaine K, Oliveira R, Oliveira-Pires T. A relação entre professores com sofrimento psíquico e crianças escolares com problemas de comportamento. Cien Saude Cole. 2009;14(2):435-44.,55. Câmara Y. Percepção, vivência e enfrentamento de sofrimento psíquico em crianças usuárias de CAPS infantil. Universidade Federal do Ceará; 2011..

Por isso, a identificação precoce de crianças com risco de desenvolver um quadro de transtorno mental é de extrema relevância, pois permite uma intervenção precoce, que pode minimizar o sofrimento da criança e de sua família e tornar os profissionais de saúde e da educação mais vigilantes para os possíveis sinais de risco55. Câmara Y. Percepção, vivência e enfrentamento de sofrimento psíquico em crianças usuárias de CAPS infantil. Universidade Federal do Ceará; 2011..

Evidências têm apontado altas taxas de transtornos mentais em crianças33. Assumpção F, Kuczynski E. Entrevista Clínica. In: Atheneu, editor. Tratado de Psiquiatria da infância e adolescência. 2 ed. São Paulo; 2012.. Nos Estados Unidos da América, uma em cada dez crianças são afligidas por transtornos mentais33. Assumpção F, Kuczynski E. Entrevista Clínica. In: Atheneu, editor. Tratado de Psiquiatria da infância e adolescência. 2 ed. São Paulo; 2012.,44. Lyra G, Assis S, Njaine K, Oliveira R, Oliveira-Pires T. A relação entre professores com sofrimento psíquico e crianças escolares com problemas de comportamento. Cien Saude Cole. 2009;14(2):435-44.. No Brasil, estudos realizados na última década estimaram que aproximadamente 12,7% das crianças e adolescentes brasileiros possuíam alto risco de ter um transtorno mental66. Arruda M, Almeida M, Polanczyk C, Al E. Saúde mental e desenvolvimento escolar em crianças e adolescentes brasileiros: análise dos resultados e recomendação baseadas em evidências científicas. Ribeirão Preto: Instituto Glia; 2010., e, dentre as crianças de 11 a 12 anos, 10,8% apresentavam um transtorno mental77. Anselmi L, Fleitlich-Bilyk B, Menezes A, Araújo C, Rohde L. Prevalence of psychiatric disorders in a Brazilian birth cohort of 11-year-olds. Soc Psychiat Epidemiol. 2010;45(1):135-42..

Apesar das altas taxas de transtornos mentais na infância e adolescência66. Arruda M, Almeida M, Polanczyk C, Al E. Saúde mental e desenvolvimento escolar em crianças e adolescentes brasileiros: análise dos resultados e recomendação baseadas em evidências científicas. Ribeirão Preto: Instituto Glia; 2010.

7. Anselmi L, Fleitlich-Bilyk B, Menezes A, Araújo C, Rohde L. Prevalence of psychiatric disorders in a Brazilian birth cohort of 11-year-olds. Soc Psychiat Epidemiol. 2010;45(1):135-42.

8. Brauner C, Stephens C. Estimating the Prevalence of Early Childhood Serious Emotional/Behavioral Disorders: Challenges and Recommendations. Public Health Rep [Internet]. 2006;121(3):303-10. Disponível em: http://www.jstor.org/stable/20056962. Access on: Mar. 20, 2016.
http://www.jstor.org/stable/20056962...
-99. Merikangas K, He J-P, Brody D, Fisher P, Bourdon K, Koretz D. Prevalence and Treatment of Mental Disorders Among US Children in the 2001–2004 NHANES. Pediatrics. 2010;125(1):75-81., os estudos realizados com o objetivo de identificar os transtornos mentais e/ou sintomas psicopatológicos mais comuns nessa população apresentam grande variabilidade nos dados.

Isso pode ser observado nas evidências da literatura que, apesar de identificarem os transtornos mentais mais comuns na infância, apresentam prevalências variadas, que vão desde 0,6% a 32,3%. São eles: depressão; transtornos de ansiedade; transtorno de déficit de atenção e hiperatividade; transtornos por uso de substâncias, e transtornos de conduta1010. Thiengo DL, Cavalcante MT, Lovisi GM. Prevalência de transtornos mentais entre crianças e adolescentes e fatores associados: uma revisão sistemática. J Bras Psiquiatr [Internet]. Instituto de Psiquiatria da Universidade Federal do Rio de Janeiro; 2014 Dez [citado 2016 Out 17];63(4):360-72. Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0047-20852014000400360&lng=en&nrm=iso&tlng=pt. Access on: Mar. 20, 2016.
http://www.scielo.br/scielo.php?script=s...
. Tal variabilidade nas prevalências pode estar relacionada a falha, escassez ou a falta de instrumentos adequados para diagnósticos ou rastreio de sintomas psicopatológicos.

Dentre os principais instrumentos para a identificação de transtornos mentais e/ou sintomas psicopatológicos em crianças, destacamos: Strengths and Difficulties Questionnaire (SDQ)1111. Fleitlich B, Cortázar PG, Goodman R. Questionário de capacidades e dificuldades (SDQ). Infanto Rev Neuropsiquiatr Infanc Adolesc. 2000;8(1):44-50., Child Behaviour Checklist (CBCL)1212. Bordin IAS, Mari JJ, Caeiro MF. Validação da versão brasileira do “Child Behavior Checklist” (CBCL). Rev ABP-APAL. 1995;17(2):55-6., Well-Being Assessment (DAWBA)1313. Goodman R, Ford T, Richards H, Gatward R, Meltzer H. The Development and Well-Being Assessment: Description and Initial Validation of an Integrated Assessment of Child and Adolescent Psychopathology. J Child Psychol Psychiatry. 2000;41(5):645-55., e o Diagnostic Interview Schedule for Children (DISC-4)1414. Shaffer D, Fisher P, Lucas C, Dulcan MK, Schwab-Stone ME. NIMH Diagnostic Interview Schedule for Children Version IV (NIMH DISC-IV): Description, Differences From Previous Versions, and Reliability of Some Common Diagnoses. J Am Acad Child Adolesc Psychiatry. 2000;39(1):28-38..

De forma geral, observa-se que esses são instrumentos produzidos para uma faixa etária muito abrangente, o que engloba sujeitos – crianças e adolescentes – em diferentes fases do desenvolvimento, e que, portanto, não foram construídos para serem aplicados unicamente com o primeiro grupo etário, além de serem desenvolvidos em outros países e, consequentemente, em outros contextos.

Este estudo propôs-se a apresentar a construção e as qualidades psicométricas da Escala de Identificação de Sintomas Psicopatológicos em Escolares (EISPE). Estamos convictos de que ela possibilitará àqueles que desenvolvem a assistência e pesquisa com escolares nessa temática um instrumento confiável, construído no Brasil, capaz de identificar sintomas psicopatológicos em crianças em idade escolar (seis a 12 anos), e de levantar características importantes a serem trabalhadas em intervenções e cuidados futuros, tanto aqueles direcionados à criança, quanto os direcionados à família.

MÉTODOS

Trata-se de estudo metodológico de abordagem psicométrica que se propôs a construir e validar a EISPE.

A coleta de dados foi realizada de maio a junho de 2015, em uma escola estadual localizada na Zona Leste do município de São Paulo.

Para garantirmos a qualidade da análise psicométrica, determinamos que houvesse no mínimo cinco respondentes para cada item do instrumento1515. Beaton D, Bombardier C, Guillemin F, Ferraz M. Guidelines for the Process of Cross-Cultural Adaptation of Self-Report Measures. Spine (Phila Pa 1976). 2000;25(24):3186-91.. Uma vez atingido o número de respondentes preconizado, encerramos a coleta. Dessa forma, a amostra foi composta por 201 crianças, sendo que elas e seus responsáveis foram convidados a participar da pesquisa durante as reuniões de pais e filhos. A aplicação da EISPE teve uma duração de aproximadamente 25 minutos. Conforme acordado com a direção da escola, as crianças foram convidadas individualmente no período em que estavam em sala de aula, sem prejuízo das atividades escolares.

As entrevistas foram realizadas em uma sala privativa (sala de leitura), na qual o questionário foi lido em conjunto com a criança, esclarecendo-se dúvidas que pudessem surgir e reforçando a ideia de que ela não precisaria responder às perguntas, caso não quisesse.

Procedimentos para validação do instrumento

Conforme os pressupostos do modelo teórico de construção do instrumento seguido, o estudo foi realizado seguindo três eixos: procedimentos teóricos, procedimentos experimentais e procedimentos estatísticos1616. Pasquali L. Instrumentação psicológica: Fundamentos e Práticas. São Paulo: Artmed; 2009.. Neste último, a análise fatorial proposta pelo modelo teórico foi substituída pelo Modelo de Rasch.

A sistematização dos procedimentos teóricos deu-se pela escolha do sistema psicológico1616. Pasquali L. Instrumentação psicológica: Fundamentos e Práticas. São Paulo: Artmed; 2009., dos sintomas psicopatológicos em crianças (seis a 12 anos) e seguiu-se com a delimitação dos atributos do sistema, sendo eles: humor, padrões alimentares, uso/abuso de substâncias psicoativas, ansiedade, condutas sociais e atenção/atividade motora.

A fonte de itens da escala construída foram as categorias comportamentais (literatura pertinente e análise de conteúdo), e a literatura representada pelos instrumentos já disponíveis que avaliam o mesmo construto.

Para isso, realizamos um levantamento na literatura de estudos que apresentassem a epidemiologia dos transtornos mentais na infância, a descrição desses transtornos, e suas características clínicas. Na sequência, foram levantados os instrumentos já validados para uso no Brasil, que avaliam o mesmo construto deste estudo, como: Child Behaviour Checklist (CBCL), Strengths and Difficulties Questionnaire (SDQ) e Development and Well-Being Assessment (DAWBA).

Ao final desse levantamento, iniciou-se a análise do material, por meio de perguntas norteadoras, para seleção dos itens que serviriam de modelo para a proposição de itens ao novo instrumento. Por fim, foram elaborados 29 itens relacionados a ansiedade; humor; condutas sociais; atenção/atividade motora/padrões alimentares e uso/abuso de substâncias psicoativas.

Validação por meio de expertises

Para análise de conteúdo foram convidados sete juízes, previamente selecionados, com as seguintes características: professores universitários com conhecimento na metodologia utilizada e profissionais de saúde com experiência no construto que se pretendia avaliar. Assim sendo, a escala foi enviada para três psiquiatras, duas psicólogas e duas enfermeiras.

Ao final dessa etapa, além da avaliação pelos juízes, da equivalência semântica, idiomática e conceitual dos itens, foi quantificado o grau de concordância entre eles, por meio do Índice de Validade de Conteúdo (IVC), que teve como valores aceitáveis aqueles maiores ou iguais a 70%1717. Cassepp-Borges V, Balbinotti M, Teodoro M, Pasquali L. Tradução e validação de conteúdo: uma proposta para adaptação de instrumentos. In: Instrumentação psicológica – Fundamentos e práticas. Porto Alegre: Artmed; 2010. e o Prevalence Adjusted Bias Adjusted Kappa (PABAK).

Validação experimental

A etapa experimental foi realizada por meio de um estudo-piloto, utilizando a versão de 24 itens da escala. Conforme proposto pela literatura1818. Beaton D, Bombardier C, Guillemin F, Ferraz M. Recommendations for the cross-cultural adaptation of health status measures. Toronto; 2002., a amostra foi constituída por 40 crianças em idade escolar (seis a 12 anos), matriculadas em uma escola estadual, situada na zona leste da cidade de São Paulo, SP. Ao fim de todo o processo descrito, um item foi eliminado, pois mais de 15% dos participantes apresentaram dificuldade de compreensão, chegando-se a uma escala de 23 itens.

Após a realização das etapas para validade de conteúdo do instrumento, foram realizadas aquelas relativas à validação de construto, que incluíram os procedimentos experimentais (planejamento e coleta de dados) e os procedimentos analíticos, por meio do Modelo Rasch.

O instrumento de coleta de dados foi a EISPE, composta por 23 itens, os quais poderiam ser respondidos por meio de uma escala do tipo Likert, em que a criança tinha três opções de resposta: 1) Sempre, 2) Às vezes, ٣) Nunca. Foram perguntados também a idade, o sexo, e o ano escolar.

Em relação à orientação dos itens, a EISPE é composta por itens positivos, em que se espera que a criança responda positivamente (Sempre), e negativos, aos quais se intenciona que ela responda negativamente (Nunca). Dentre os 23 itens, quatro correspondem às afirmativas com sentido positivo (itens 15, 17, 19 e 24), aos quais foram atribuídas a pontuação: sempre (1 ponto), às vezes (2 pontos), e nunca (3 pontos).

As 19 afirmações com sentido negativo tiveram sua pontuação invertida, o que permitiu atribuir um mesmo sentido para todos os itens. Dessa forma, considerando a soma de pontos dos sujeitos, nos itens da escala, será possível inferirmos acerca da necessidade de a criança ser encaminhada para acompanhamento especializado, sendo que quanto maior a soma de pontos, maior o risco.

Análise estatística

Modelo Rasch

Para análise de construto da EISPE utilizamos o Modelo Rasch, que faz parte da Teoria de Resposta ao Item1919. Rasch G. Probabilistic models for some intelligence and attainment tests. University of Chicago, editor. Chicago; 1993.. Dois pressupostos foram testados previamente: a dimensionalidade da variável a ser medida, e a independência local, que avalia se a probabilidade de acertar ou errar um determinado item não foi influenciada pelo sucesso ou falha em outro item2020. Gibbons CJ, Mills RJ, Thornton EW, Ealing J, Mitchell JD, Shaw PJ, et al. Rasch analysis of the hospital anxiety and depression scale (hads) for use in motor neurone disease. Health Qual Life Outcomes. 2011;9(1):82.. Atingidos os pressupostos da unidimensionalidade e da independência local, executamos o Modelo Rasch.

Posteriormente, avaliamos a capacidade dos respondentes em realizar a discriminação das categorias de resposta (sempre, às vezes, e nunca). Em seguida, foram identificados: o índice de separação de pessoas, que aponta quantos grupos com habilidades distintas é possível identificar; e o índice de separação dos itens, que aponta quantos grupos de habilidades os itens conseguem discriminar2121. Ying-Chih W, Byers KL, Velozo CA. Rasch analysis of Minimum Data Set mandated in skilled nursing facilities. J Rehabil Res Dev. 2008;45(9):1385-400..

O modelo também mediu a confiabilidade dos itens da EISPE – replicabilidade da alocação dos itens em um contínuo do traço latente, caso sejam apresentados para um outro grupo de sujeitos com níveis de habilidade comparáveis2222. Conrad K, Smith E. International conference on objective measurement applications of Rasch Analysis in Health Care. Med Care. 2004;42(1):11-6., e a confiabilidade das pessoas – a replicabilidade da alocação de pessoas, caso fosse aplicado um outro instrumento que medisse o mesmo construto da EISPE a essa amostra.

Além disso, o modelo Rasch avaliou se os resultados estavam ajustados a ele, identificando se as crianças responderam a um item da EISPE de forma consonante com as respostas aos outros. Os desajustes próximos do nível de habilidade do respondente foram demostrados pelo índice infit2323. Oliveira S. O modelo de Rasch para avaliar o inventário de ansiedade na escola. Universidade São Francisco; 2012..

A avaliação da habilidade dos sujeitos e da dificuldade resultou no Mapa de Wright, em que ambos os elementos foram postos na mesma unidade métrica. A medida utilizada para estimar a dificuldade dos itens e a habilidade dos sujeitos chama-se logit2020. Gibbons CJ, Mills RJ, Thornton EW, Ealing J, Mitchell JD, Shaw PJ, et al. Rasch analysis of the hospital anxiety and depression scale (hads) for use in motor neurone disease. Health Qual Life Outcomes. 2011;9(1):82., que varia de valores negativos e positivos em torno do zero arbitrário da escala. Esse mapa pôde evidenciar a validade de construto do instrumento2121. Ying-Chih W, Byers KL, Velozo CA. Rasch analysis of Minimum Data Set mandated in skilled nursing facilities. J Rehabil Res Dev. 2008;45(9):1385-400..

Foi também calculado o Funcionamento Diferencial dos Itens (DIF), que identifica itens que apresentam diferença na probabilidade de acertos entre subgrupos diferentes, mas que os sujeitos têm o mesmo nível de habilidade na variável medida2424. Sisto F. O funcionamento diferencial dos itens. Rev Saúde Publ. 2008;42(2):308-16.. De acordo com Linacre (2009), o DIF vai existir se o valor do DIF contraste (D) for superior a 0,5 logit e significativo.

Para análise da confiabilidade da EISPE, em sua versão preliminar, foi mensurada sua consistência interna, por meio do alfa de Cronbach.

Aspectos éticos

O projeto foi aprovado pelo Comitê de Ética em Pesquisa da Escola de Enfermagem da Universidade de São Paulo (CAAE 40566115.8.0000.5392).

Para os responsáveis que apresentaram interesse na participação da criança, foi solicitada a assinatura do Termo de Consentimento Livre e Esclarecido (TCLE), pelo responsável, e do Termo de Assentimento, pelas crianças.

Os sujeitos da pesquisa e seus responsáveis legais receberam explicação a respeito do projeto e de seus objetivos. Orientamos a criança a não responder às questões que não compreendesse.

Após a assinatura, a EISPE foi aplicada em sua versão final.

RESULTADOS

Em relação à caracterização sociodemográfica da amostra, a maioria era composta do sexo feminino (50,7%) e com idade média de 8,16 anos (desvio-padrão = 1,50). Em relação ao ano escolar, a maior parte encontrava-se no terceiro ano (23,4%).

A seguir serão apresentados os dados relativos a validação e conteúdo e construto, bem como os do teste-piloto.

Validação de conteúdo

O Prevalence Adjusted, Bias Adjusted Kappa (PABAK) apresentou o valor de 0,40 para a representatividade e 0,65 para a clareza dos itens.

O Índice de Validade de Conteúdo (IVC) definiu a escala como unifatorial. Em relação à clareza e à representatividade, levando em consideração o valor adotado como aceitável do IVC (0,6), foram eliminados cinco itens: item 1 (não consigo tirar alguns pensamentos da cabeça), item 3 (sou medroso), item 8 (tenho vontade de desaparecer), item 9 (estou sempre preocupado com alguma coisa, o que faz me sentir triste), e item 11 (eu respeito os sentimentos das outras pessoas). Além disso, conforme orientação dos juízes, os itens 2 (me sinto preocupado ou ansioso demais) e 15 (tenho facilidade em cumprir regras) tiveram modificações na grafia, e os itens 25 (costumo fumar maconha) e 27 (costumo fumar cigarro) mudaram de posição.

Ao final da avaliação dos juízes, a EISPE estava composta por 24 itens.

Teste-piloto

No teste-piloto, o item 4 (costumo repetir alguns gestos ou ações várias vezes seguidas) foi eliminado, devido à incompreensão das crianças quanto ao sentido da afirmação e os itens 12, 16, 25, 26, 27 e 28 tiveram alterações na grafia, conforme ilustrada na Tabela 1. Os itens em asteriscos mudaram de posição.

Tabela 1
Apresentação dos itens com modificação na grafia, após o teste-piloto. São Paulo, SP, Brasil, 2016

Após a conclusão do processo de validação de conteúdo, a EISPE, em sua versão pré-final, ficou com 23 itens.

Validação de construto

Modelo Rasch

A análise da dimensionalidade da escala de 23 itens, mediante componentes principais dos resíduos, mostrou que a dimensão Rasch conseguiu explicar 32,8% da variância nos dados. Isso sugere que a dimensão primária foi predominante (Tabela 2) e não foram achados itens com dependência local.

Tabela 2
Variação residual padronizada (em unidades de valor próprio). São Paulo, SP, Brasil, 2016

Em seguida, analisou-se a qualidade psicométrica das categorias de resposta para a escala, usando o Rating Scale Model. Conforme o modelo, as frequências e a distribuição das categorias foram adequadas.

Em relação às estatísticas globais da escala, as estimativas das pessoas foram baixas, sendo a separação delas de 1,23, com uma confiabilidade de 0,60. Já as estimativas dos itens foram boas, e a separação dos itens pontuou em 5,90, com uma confiabilidade de 0,97 (Tabela 3).

Tabela 3
Parâmetros de ajuste, erro de medida do Rasch de itens e pessoas. São Paulo, SP, Brasil, 2016

A análise dos dados da Tabela 3 permite inferir que a habilidade da amostra foi consideravelmente menor (-1,68) que a dificuldade do teste (0,00).

Segundo os valores máximo e mínimo da habilidade das pessoas (0,24 e -3,42, respectivamente) e da dificuldade dos itens (3,33 e -1,66), observou-se que os valores da dificuldade eram distantes, apontando que a escala conseguiu avaliar níveis muito altos e moderadamente baixos de sintomas psicopatológicos, fato que pode ser confirmado no mapa de Wright, que será apresentado na Figura 1. O erro-padrão apresentou-se mais elevado entre as pessoas.

Figura 1
Mapa de Wright.

Na sequência, foi realizado, segundo o modelo de Rasch, o ajuste dos 23 itens. As correlações item-total obtidas foram todas positivas, não obstante, os resultados apontaram 2 itens (27 e 28) com correlação item-total igual a zero e 2 itens (25 e 12) com correlação menor que 0,2.

O mapa de Wright foi examinado para identificar se a hierarquia dos itens era consistente com a teoria (Figura 1); à esquerda, o contínuo de habilidades dos escolares e, à direita, o contínuo de dificuldade dos itens. Observou-se que a maioria dos itens encontrou-se entre 5 logit e -2 logit.

No caso das pessoas, a distribuição mostrou-se menos dispersa e abarcou o intervalo aproximado de 0 logit a -4 logit. O item 27 (fumo maconha) e 28 (uso crack) foram os mais difíceis. O item 21 (tenho medo de ganhar peso e ficar gordo) foi o mais fácil. A letra “M” de ambos os lados da figura representa os valores médios de habilidade dos escolares (à esquerda) e de dificuldade dos itens (à direita), podendo ser observado que, no geral, o teste foi de elevada dificuldade para os escolares avaliados.

Por fim, foi avaliado o funcionamento diferencial dos itens. Os critérios para a detecção do DIF foram o DIF Medida, além da prova de Welch, t e Mantel, que oferecem uma estatística de significância para o DIF (< 0,05).

Tendo em vista os critérios abordados, dois itens apresentaram DIF para gênero feminino, sendo as questões 6 (penso muito em me machucar) e 21 (tenho medo de ganhar peso e ficar gordo).

O alfa de Cronbach da EISPE foi de 0,67 (Tabela 3).

DISCUSSÃO

Este estudo objetivou a construção e a validação da EISPE, para identificar sintomas psicopatológicos de crianças em idade escolar – 6 a 12 anos, com afirmativas relacionadas ao humor, à atenção/atividade motora, aos padrões alimentares, ao uso/abuso de substâncias psicoativas, à ansiedade e às condutas sociais.

Em relação à validade de conteúdo, observou-se uma concordância mediana dos juízes em relação à clareza e à representatividade dos itens como um todo, avaliada por meio do cálculo do PABAK2525. Landis R, Koch G. The measurement of observer agreement for categorical data. Biometrics. 1977;33:159-74.. Para tanto, incorporou-se o Índice de Validade de Conteúdo (IVC) para complementar a análise do PABAK, já que se trata de um método utilizado em larga escala nas pesquisas da área da saúde2626. McGilton K. Development and psychometric evaluation of supportive leadership scales. Can J Nurs Res. 2003;35(4):72-86., o que levou a exclusão, modificação na escrita, e mudança de posição de alguns itens.

Quanto à divisão dos itens em fatores, os juízes foram unânimes em apontar a EISPE como uma escala unifatorial. Tal resultado é positivo, pois identificar o número mínimo de fatores maximiza a quantidade de variância total explicada2727. Figueiredo Filho DB, Silva Júnior JA da. Visão além do alcance: uma introdução à análise fatorial. Opin Pública. 2010;16(1):160-85..

Ao final da fase do teste-piloto, outros itens também tiveram modificações em sua grafia, pois percebeu-se, durante a entrevista, que algumas crianças não entendiam o significado de algumas palavras. Além disso, percebeu-se que itens muitos extensos confundiam as crianças em relação à resposta.

Em relação à análise dos itens da EISPE, por meio do Modelo Rasch, o fato de a dimensão primária ter sido predominante foi positivo, pois, além de demonstrar que a EISPE está medindo apenas uma variável ou construto2828. Pallant JF, Tennant A. An introduction to the Rasch measurement model: An example using the Hospital Anxiety and Depression Scale (HADS). Br J Clin Psychol. 2007;46(1):1-18., os sintomas psicopatológicos em escolares permitiram que a EISPE fosse analisada à luz da Teoria de Resposta ao Item.

Em relação às análises globais realizadas pelo modelo Rasch, os valores baixos das estatísticas das pessoas2929. Mohamad WN, Yasin R, Mokhtar M, Yaacob M, Norzaini A. Profiling Willingness to Advocate Water Conservation Behaviour: Item Validation using Rasch Measurement Model. Recent Adv Educ Technol. 2013;3:162-7. podem estar relacionados às características da amostra, pois, por reduzida, as variações de sintomas psicopatológicos foram também menores, havendo assim pouca variabilidade dos escores, fato que foi evidenciado no pequeno desvio-padrão da amostra (0,73). Porém, os parâmetros de ajuste dos itens se ajustaram ao modelo, apontando que os sujeitos do estudo responderam a esses itens conforme era esperado1919. Rasch G. Probabilistic models for some intelligence and attainment tests. University of Chicago, editor. Chicago; 1993..

Já o desajuste de quatro itens ao Modelo, com valores de correlação item-total iguais a 0,00 para os itens 27 (fumo maconha) e 28 (fumo crack), e menor que 2 para os itens 12 e 25 (fumo cigarro), apontou para a importância de se rever, em estudos futuros, a necessidade de se manter ou não esses itens, já que o valor da correlação item-total próximo de zero pode significar que eles não se relacionam ao construto medido3030. Bond T, Fox C. Applying the Rasch model. New Jersey: Lawrence Erlbaum Associates; 2007..

O mapa de Wright apresentou a média em 0,00, o que indica que valores abaixo de 0,00 – logit negativo – eram mais fáceis, e, inversamente, itens com logit positivo são mais difíceis. No caso da EISPE, os itens considerados mais fáceis representaram níveis de menor intensidade de sintomas psicopatológicos do que a média do conjunto de itens, e os mais difíceis representaram índices mais intensos da sintomatologia observada3030. Bond T, Fox C. Applying the Rasch model. New Jersey: Lawrence Erlbaum Associates; 2007..

A constatação de os itens 27 e 28 não terem apresentado resposta positiva de nenhuma criança do estudo e por isso terem sido os mais difíceis pode estar relacionada ao fato de serem drogas de menor consumo entre crianças. Conforme dados do VI Levantamento Nacional sobre o Consumo de Drogas Psicotrópicas entre Estudantes de Ensino Fundamental no Brasil, 3,7% das crianças e adolescentes pesquisados relataram ter feito uso de maconha, e 1,8%, uso da cocaína e seus derivados, no último ano3131. Carlini E, Noto A, Sanchez Z, Carlini C, Locatelli D. Levantamento Nacional sobre o Consumo de Drogas Psicotrópicas entre Estudantes do Ensino Fundamental e Médio das Redes Pública e Privada de Ensino nas 27 Capitais Brasileiras. São Paulo: Secretaria Nacional de Políticas sobre Drogas; 2010..

Observou-se também que os itens 25 e 26, relacionados ao uso de substâncias psicoativas, apresentaram-se como os mais difíceis para os participantes com níveis mais intensos de sintomas psicopatológicos. Isso pode ter ocorrido, pois o uso precoce de substâncias pode ser uma variável limitante no desenvolvimento físico e psicossocial saudável nesta fase da vida3232. Bittencourt A, Garcia L, Goldim J. Adolescência vulnerável: fatores biopsicossociais relacionados ao uso de drogas. Rev Bioét. 2015;23(2):311-9., trazendo consequências e prejuízos associados, como aparecimento de ansiedade e culpa, problemas de saúde, sanções legais, conflitos familiares e sociais, além de abandono da escola3333. Vasters GP, Pillon SC. Drugs use by adolescents and their perceptions about specialized treatment adherence and dropout. Rev Lat Am Enfermagem. 2011;19(2):317-24.,3434. Schenker M, Minayo MCS. Fatores de risco e de proteção para o uso de drogas na adolescência. Cien Saude Colet 2005;10(3):707-17..

Já o fato de o item 21 ter sido considerado o item mais fácil e relacionado a menores níveis de sintomas psicopatológicos pode estar ligado às pressões da sociedade e à influência da mídia com imagens que associam a figura esbelta a um padrão de beleza a ser seguido3535. Boyce T. The media and obesity. Obes Rev. 2007;8(s1):201-5.. Tal fato pode afetar não só os adultos, mas também crianças, fazendo com que elas considerem o ganho de peso como algo ruim e que deve ser evitado, pois assim se colocarão dentro dos padrões de beleza e serão aceitas pela sociedade.

Dessa forma, os achados levantados no mapa de Wright confirmaram a validade de construto da escala, uma vez que o ordenamento dos itens como difíceis e fáceis corroborou com dados da literatura, que apontam o uso de drogas como um fator importante no desenvolvimento de outras comorbidades psiquiátricas3333. Vasters GP, Pillon SC. Drugs use by adolescents and their perceptions about specialized treatment adherence and dropout. Rev Lat Am Enfermagem. 2011;19(2):317-24.,3434. Schenker M, Minayo MCS. Fatores de risco e de proteção para o uso de drogas na adolescência. Cien Saude Colet 2005;10(3):707-17., e o medo de ganhar peso como uma questão social, com menos consequências psicopatológicas3535. Boyce T. The media and obesity. Obes Rev. 2007;8(s1):201-5..

Em relação à questão 6 (Penso muito em me machucar), que está relacionada com o pensamento de automutilação, não existe na literatura um consenso se há diferenças de prevalência de automutilação entre os gêneros, mesmo quando considerada população clínica ou geral. Há evidências de o comportamento ser mais frequente no sexo feminino3636. De Leo D, Heller T. Who are the kids who self-harm? An Australian self-report school survey. Med J Aust. 2004;181(3):140-4., porém tal achado pode estar relacionado ao fato de as mulheres procurarem mais tratamento em relação aos homens3737. Giusti J. Automutilação: características clinicas e comparação com pacientes com transtorno obsessivo-compulsivo. Universidade de São Paulo; 2013.. Isso aponta para a necessidade da aplicação da EISPE em uma amostra maior e mais heterogênea, para que esse resultado seja reavaliado.

A questão 21 está relacionada a um sintoma da anorexia nervosa, que surge mais frequentemente na adolescência, e aproximadamente 90% dos indivíduos atingidos são do sexo feminino3838. Alves E, Vasconcelos FAG, Calvo MCM, Neves J. Prevalência de sintomas de anorexia nervosa e insatisfação com a imagem corporal em adolescentes do sexo feminino do Município de Florianópolis, Santa Catarina, Brasil. Cad Saude Publica. 2008;24(3):503-12.. Isso pode estar associado à pressão dada pela sociedade, que aponta o corpo magro como ideal de beleza para as mulheres. Dessa forma, é provável que o item 21 seja mais positivamente respondido pelas meninas.

Conforme o princípio da invariância dos itens3939. Wright B, Stone M. Best Test Design. Rasch Measurement. Mesa Press, editor. Chicago; 1979., não é recomendado que outro fator externo, como gênero, influencie na probabilidade de que essa criança responda de forma acertada a determinado item3939. Wright B, Stone M. Best Test Design. Rasch Measurement. Mesa Press, editor. Chicago; 1979.. Desse modo, é importante que a EISPE seja testada novamente em um número maior de meninos e meninas, para que se confirme a necessidade de exclusão desses itens ou sua adequação.

Em relação à análise da consistência interna, observa-se que não há consenso acerca da interpretação da confiabilidade de um questionário obtida a partir do valor do alfa. Porém, o valor de 0,67 apresentado pela EISPE é apontado em estudos prévios como um valor de alfa bom4040. Ponterotto J, Ruckdeschel D. An overview of coefficient alpha and a reliability matrix for estimating adequacy of internal consistency coefficients with psychological research measures. Percept Mot Ski. 2007;105(3):997-1014..

Limitações do estudo

Este estudo possui limitações, uma vez que a coleta de dados durante sua fase experimental foi realizada em uma única escola, o que fez da amostra pequena e pouco heterogênea. Além disso, apesar de as análises psicométricas terem apontado validade de construto da escala, elas identificaram a necessidade de que alguns ajustes sejam realizados na EISPE.

CONCLUSÃO

Conclui-se que a EISPE apresenta-se válida para identificar sintomas psicopatológicos relacionados à ansiedade, ao humor, às condutas sociais, à atenção/atividade motora, aos padrões alimentares, e ao uso/abuso de substâncias psicoativas em crianças com idades entre 6 e 12 anos, uma vez que se trata de um instrumento unidimensional e com qualidades psicométricas satisfatórias. Portanto, mostra-se capaz de identificar sintomas psicopatológicos com comprovada confiabilidade.

Essa escala permitirá que se abram perspectivas para a ampliação do referencial teórico brasileiro acerca da temática em questão, à medida que novas investigações venham a se desenvolver a partir do aprimoramento e da utilização do instrumento aqui validado. Além disso, permitirá o levantamento de características que podem ser importantes de serem trabalhadas em intervenções e cuidados futuros, tanto aqueles direcionados à própria criança e ao seu grupo, quanto os direcionados à família, que está sempre presente nas falas dos participantes.

Os resultados apontam para a importância de estudos futuros que trabalhem com os itens que apresentaram desajustes e a possibilidade da inserção de alguns itens com maior nível de dificuldade, pois, assim, será possível um instrumento com propriedades psicométricas mais robustas e propício para ser aplicado na prática dos profissionais de saúde.

AGRADECIMENTOS

Agradecemos à Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes), que, por meio do financiamento do Projeto de Doutorado, permitiu que a pesquisa acontecesse.

REFERÊNCIAS

  • 1
    Motta T, Wang Y, del Sant R. Funções psíquicas e sua psicopatologia. In: Psiquiatria básica. Porto Alegre: Artes Medicas; 1995. p. 33-52.
  • 2
    Assumpção F, Kuczynski E. Psicopatologia do Escolar. In: Atheneu, editor. Tratado de Psiquiatria da infância e adolescência. 2 ed. São Paulo; 2012.
  • 3
    Assumpção F, Kuczynski E. Entrevista Clínica. In: Atheneu, editor. Tratado de Psiquiatria da infância e adolescência. 2 ed. São Paulo; 2012.
  • 4
    Lyra G, Assis S, Njaine K, Oliveira R, Oliveira-Pires T. A relação entre professores com sofrimento psíquico e crianças escolares com problemas de comportamento. Cien Saude Cole. 2009;14(2):435-44.
  • 5
    Câmara Y. Percepção, vivência e enfrentamento de sofrimento psíquico em crianças usuárias de CAPS infantil. Universidade Federal do Ceará; 2011.
  • 6
    Arruda M, Almeida M, Polanczyk C, Al E. Saúde mental e desenvolvimento escolar em crianças e adolescentes brasileiros: análise dos resultados e recomendação baseadas em evidências científicas. Ribeirão Preto: Instituto Glia; 2010.
  • 7
    Anselmi L, Fleitlich-Bilyk B, Menezes A, Araújo C, Rohde L. Prevalence of psychiatric disorders in a Brazilian birth cohort of 11-year-olds. Soc Psychiat Epidemiol. 2010;45(1):135-42.
  • 8
    Brauner C, Stephens C. Estimating the Prevalence of Early Childhood Serious Emotional/Behavioral Disorders: Challenges and Recommendations. Public Health Rep [Internet]. 2006;121(3):303-10. Disponível em: http://www.jstor.org/stable/20056962 Access on: Mar. 20, 2016.
    » http://www.jstor.org/stable/20056962
  • 9
    Merikangas K, He J-P, Brody D, Fisher P, Bourdon K, Koretz D. Prevalence and Treatment of Mental Disorders Among US Children in the 2001–2004 NHANES. Pediatrics. 2010;125(1):75-81.
  • 10
    Thiengo DL, Cavalcante MT, Lovisi GM. Prevalência de transtornos mentais entre crianças e adolescentes e fatores associados: uma revisão sistemática. J Bras Psiquiatr [Internet]. Instituto de Psiquiatria da Universidade Federal do Rio de Janeiro; 2014 Dez [citado 2016 Out 17];63(4):360-72. Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0047-20852014000400360&lng=en&nrm=iso&tlng=pt Access on: Mar. 20, 2016.
    » http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0047-20852014000400360&lng=en&nrm=iso&tlng=pt
  • 11
    Fleitlich B, Cortázar PG, Goodman R. Questionário de capacidades e dificuldades (SDQ). Infanto Rev Neuropsiquiatr Infanc Adolesc. 2000;8(1):44-50.
  • 12
    Bordin IAS, Mari JJ, Caeiro MF. Validação da versão brasileira do “Child Behavior Checklist” (CBCL). Rev ABP-APAL. 1995;17(2):55-6.
  • 13
    Goodman R, Ford T, Richards H, Gatward R, Meltzer H. The Development and Well-Being Assessment: Description and Initial Validation of an Integrated Assessment of Child and Adolescent Psychopathology. J Child Psychol Psychiatry. 2000;41(5):645-55.
  • 14
    Shaffer D, Fisher P, Lucas C, Dulcan MK, Schwab-Stone ME. NIMH Diagnostic Interview Schedule for Children Version IV (NIMH DISC-IV): Description, Differences From Previous Versions, and Reliability of Some Common Diagnoses. J Am Acad Child Adolesc Psychiatry. 2000;39(1):28-38.
  • 15
    Beaton D, Bombardier C, Guillemin F, Ferraz M. Guidelines for the Process of Cross-Cultural Adaptation of Self-Report Measures. Spine (Phila Pa 1976). 2000;25(24):3186-91.
  • 16
    Pasquali L. Instrumentação psicológica: Fundamentos e Práticas. São Paulo: Artmed; 2009.
  • 17
    Cassepp-Borges V, Balbinotti M, Teodoro M, Pasquali L. Tradução e validação de conteúdo: uma proposta para adaptação de instrumentos. In: Instrumentação psicológica – Fundamentos e práticas. Porto Alegre: Artmed; 2010.
  • 18
    Beaton D, Bombardier C, Guillemin F, Ferraz M. Recommendations for the cross-cultural adaptation of health status measures. Toronto; 2002.
  • 19
    Rasch G. Probabilistic models for some intelligence and attainment tests. University of Chicago, editor. Chicago; 1993.
  • 20
    Gibbons CJ, Mills RJ, Thornton EW, Ealing J, Mitchell JD, Shaw PJ, et al. Rasch analysis of the hospital anxiety and depression scale (hads) for use in motor neurone disease. Health Qual Life Outcomes. 2011;9(1):82.
  • 21
    Ying-Chih W, Byers KL, Velozo CA. Rasch analysis of Minimum Data Set mandated in skilled nursing facilities. J Rehabil Res Dev. 2008;45(9):1385-400.
  • 22
    Conrad K, Smith E. International conference on objective measurement applications of Rasch Analysis in Health Care. Med Care. 2004;42(1):11-6.
  • 23
    Oliveira S. O modelo de Rasch para avaliar o inventário de ansiedade na escola. Universidade São Francisco; 2012.
  • 24
    Sisto F. O funcionamento diferencial dos itens. Rev Saúde Publ. 2008;42(2):308-16.
  • 25
    Landis R, Koch G. The measurement of observer agreement for categorical data. Biometrics. 1977;33:159-74.
  • 26
    McGilton K. Development and psychometric evaluation of supportive leadership scales. Can J Nurs Res. 2003;35(4):72-86.
  • 27
    Figueiredo Filho DB, Silva Júnior JA da. Visão além do alcance: uma introdução à análise fatorial. Opin Pública. 2010;16(1):160-85.
  • 28
    Pallant JF, Tennant A. An introduction to the Rasch measurement model: An example using the Hospital Anxiety and Depression Scale (HADS). Br J Clin Psychol. 2007;46(1):1-18.
  • 29
    Mohamad WN, Yasin R, Mokhtar M, Yaacob M, Norzaini A. Profiling Willingness to Advocate Water Conservation Behaviour: Item Validation using Rasch Measurement Model. Recent Adv Educ Technol. 2013;3:162-7.
  • 30
    Bond T, Fox C. Applying the Rasch model. New Jersey: Lawrence Erlbaum Associates; 2007.
  • 31
    Carlini E, Noto A, Sanchez Z, Carlini C, Locatelli D. Levantamento Nacional sobre o Consumo de Drogas Psicotrópicas entre Estudantes do Ensino Fundamental e Médio das Redes Pública e Privada de Ensino nas 27 Capitais Brasileiras. São Paulo: Secretaria Nacional de Políticas sobre Drogas; 2010.
  • 32
    Bittencourt A, Garcia L, Goldim J. Adolescência vulnerável: fatores biopsicossociais relacionados ao uso de drogas. Rev Bioét. 2015;23(2):311-9.
  • 33
    Vasters GP, Pillon SC. Drugs use by adolescents and their perceptions about specialized treatment adherence and dropout. Rev Lat Am Enfermagem. 2011;19(2):317-24.
  • 34
    Schenker M, Minayo MCS. Fatores de risco e de proteção para o uso de drogas na adolescência. Cien Saude Colet 2005;10(3):707-17.
  • 35
    Boyce T. The media and obesity. Obes Rev. 2007;8(s1):201-5.
  • 36
    De Leo D, Heller T. Who are the kids who self-harm? An Australian self-report school survey. Med J Aust. 2004;181(3):140-4.
  • 37
    Giusti J. Automutilação: características clinicas e comparação com pacientes com transtorno obsessivo-compulsivo. Universidade de São Paulo; 2013.
  • 38
    Alves E, Vasconcelos FAG, Calvo MCM, Neves J. Prevalência de sintomas de anorexia nervosa e insatisfação com a imagem corporal em adolescentes do sexo feminino do Município de Florianópolis, Santa Catarina, Brasil. Cad Saude Publica. 2008;24(3):503-12.
  • 39
    Wright B, Stone M. Best Test Design. Rasch Measurement. Mesa Press, editor. Chicago; 1979.
  • 40
    Ponterotto J, Ruckdeschel D. An overview of coefficient alpha and a reliability matrix for estimating adequacy of internal consistency coefficients with psychological research measures. Percept Mot Ski. 2007;105(3):997-1014.

Datas de Publicação

  • Publicação nesta coleção
    Apr-Jun 2017

Histórico

  • Recebido
    20 Dez 2016
  • Aceito
    22 Jun 2017
Instituto de Psiquiatria da Universidade Federal do Rio de Janeiro Av. Venceslau Brás, 71 Fundos, 22295-140 Rio de Janeiro - RJ Brasil, Tel./Fax: (55 21) 3873-5510 - Rio de Janeiro - RJ - Brazil
E-mail: editora@ipub.ufrj.br