Acessibilidade / Reportar erro

Intervenção com monitores de Organização Não-Governamental: diminuindo problemas de comportamento em crianças

Intervention with Non-Governmental Organization staff: reducing children's behavior problems

Resumos

Este estudo teve por objetivo avaliar os efeitos de uma intervenção com monitores de uma Organização Não-Governamental sobre os problemas de comportamento de crianças escolares. Participaram do estudo seis monitores, 24 crianças (idade variando entre oito e 11 anos), e pelo menos um de seus responsáveis. O programa de intervenção foi dividido em duas partes: (a) capacitação direcionada aos monitores para lidar com problemas de comportamento das crianças e (b) consultoria sobre aspectos organizacionais da instituição. As crianças foram avaliadas em quatro momentos: antes de qualquer intervenção, após a capacitação, após a consultoria e 10 meses após o término da consultoria. Nessas etapas de avaliação, utilizaram-se os seguintes instrumentos: Questionário de Capacidades e Dificuldades, Sistema de Avaliação de Habilidades Sociais-Versão para Professores e Protocolo de Observação dos Problemas de Comportamento Infantil. Em comparação ao pré-teste, as crianças apresentaram no pós-teste 1 e pós-teste 2: (a) diminuição estatisticamente significativa dos valores de média referentes aos problemas de comportamento, (b) aumento estatisticamente significativo dos valores de média com relação aos índices associados ao repertório de habilidades sociais. Pode-se afirmar que a intervenção foi eficaz para minimizar problemas de comportamento das crianças.

Problemas de comportamento; programa de intervenção; crianças em situação de risco; organização não-governamental


This study's main objective was to evaluate the overall effects of an intervention conducted by the staff of a Non-Governmental Organization with school children about their behavior problems. Six staff members, 24 children aged between 8 and 11 years old, and at least one of their parents or caretakers took part of the study. The intervention program was divided in two parts: (a) training targeted to the staff deal with children's behavior problems; (b) consultation on organizational aspects of the NGO. Children were assessed at four different moments: before the intervention, after training, right after the consultation, and 10 months later. The following instruments were used in all phases: Strengths and Difficulties Questionnaire, Social Skills Rating System - Teacher's Version, and Observation Protocols of Child Behavior Problems. Post-tests results when compared with pre-test showed: (a) statistically significant decreases of mean values related to behavior problems; (b) statistically significant increases of mean values regarding scores associated with social skills repertoire. It can be stated that the intervention was effective to reduce children's behavior problems.

Behavior problems; intervention program; children at-risk; non-governmental organization


AVALIAÇÃO PSICOLÓGICA

Intervenção com monitores de Organização Não-Governamental: diminuindo problemas de comportamento em crianças

Intervention with Non-Governmental Organization staff: reducing children's behavior problems

Carolina Severino Lopes da Costa* * Apoio financeiro: Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES). ; Lúcia Cavalcanti de Albuquerque Williams; Fabiana Cia

Universidade Federal de São Carlos, São Carlos, Brasil

Endereço para correspondência Endereço para correspondência: Centro de Educação e Ciências Humanas, Departamento de Psicologia, Laboratório de Análise e Prevenção da Violência, Universidade Federal de São Carlos Rodovia Washington Luís, Km 235 caixa postal: 676 São Carlos, SP, Brasil 13565905 E-mail: carollina_costa@yahoo.com.br

RESUMO

Este estudo teve por objetivo avaliar os efeitos de uma intervenção com monitores de uma Organização Não-Governamental sobre os problemas de comportamento de crianças escolares. Participaram do estudo seis monitores, 24 crianças (idade variando entre oito e 11 anos), e pelo menos um de seus responsáveis. O programa de intervenção foi dividido em duas partes: (a) capacitação direcionada aos monitores para lidar com problemas de comportamento das crianças e (b) consultoria sobre aspectos organizacionais da instituição. As crianças foram avaliadas em quatro momentos: antes de qualquer intervenção, após a capacitação, após a consultoria e 10 meses após o término da consultoria. Nessas etapas de avaliação, utilizaram-se os seguintes instrumentos: Questionário de Capacidades e Dificuldades, Sistema de Avaliação de Habilidades Sociais-Versão para Professores e Protocolo de Observação dos Problemas de Comportamento Infantil. Em comparação ao pré-teste, as crianças apresentaram no pós-teste 1 e pós-teste 2: (a) diminuição estatisticamente significativa dos valores de média referentes aos problemas de comportamento, (b) aumento estatisticamente significativo dos valores de média com relação aos índices associados ao repertório de habilidades sociais. Pode-se afirmar que a intervenção foi eficaz para minimizar problemas de comportamento das crianças.

Palavras-chave: Problemas de comportamento, programa de intervenção, crianças em situação de risco, organização não-governamental.

ABSTRACT

This study's main objective was to evaluate the overall effects of an intervention conducted by the staff of a Non-Governmental Organization with school children about their behavior problems. Six staff members, 24 children aged between 8 and 11 years old, and at least one of their parents or caretakers took part of the study. The intervention program was divided in two parts: (a) training targeted to the staff deal with children's behavior problems; (b) consultation on organizational aspects of the NGO. Children were assessed at four different moments: before the intervention, after training, right after the consultation, and 10 months later. The following instruments were used in all phases: Strengths and Difficulties Questionnaire, Social Skills Rating System - Teacher's Version, and Observation Protocols of Child Behavior Problems. Post-tests results when compared with pre-test showed: (a) statistically significant decreases of mean values related to behavior problems; (b) statistically significant increases of mean values regarding scores associated with social skills repertoire. It can be stated that the intervention was effective to reduce children's behavior problems.

Keywords: Behavior problems, intervention program, children at-risk, non-governmental organization.

No final da década de 1980, a partir da Constituição Brasileira de 1988 e com a criação do Estatuto da Criança e do Adolescente (ECA), em 1990, ocorreram reconfigurações no papel do Estado com relação à missão de assegurar os Direitos Humanos básicos, principalmente, às crianças e aos adolescentes (Alves, Amparo, Cardenas, Chaves, & Oliveira, 2007). Foi nesse período que se intensificou o surgimento de Organizações Não-Governamentais (ONGs), no Brasil, com o apoio de iniciativas empresariais, no sentido de desenvolver ações sociais para suprir a lacuna da responsabilidade que, inicialmente, seria dever exclusivo do Estado. Essas instituições tem oferecido serviços em diferentes perspectivas como abrigamento integral, atividades extracurriculares no contraturno das escolas, para crianças, adolescentes e jovens em situação de risco psicossocial.

Em uma revisão realizada nos Estados Unidos da América sobre a avaliação de impactos da participação de crianças e adolescentes em programas após a escola, Little, Wimer e Weiss (2008), membros do Harvard Family Research Project, projeto que desenvolve e mantém acessível um banco de dados sobre avaliações de programas após a escola, procuraram responder a duas questões principais: (a) participar de um programa após a escola faz diferença na vida de crianças e adolescentes?; (b) Se sim, que condições parecem ser necessárias para obter resultados positivos? Os autores selecionaram no banco de dados somente estudos realizados nos últimos dez anos que atendiam ao pré-requisito de apresentar um delineamento metodológico experimental ou quase experimental.

Os autores encontraram que a participação de crianças e adolescentes em programas após a escola associou-se a resultados positivos em áreas inter-relacionadas: acadêmica, social/emocional, prevenção, saúde e bem estar. Dentre os aspectos sociais/emocionais, por exemplo, destacaram-se a diminuição de problemas de comportamento, aumento de habilidades sociais de comunicação e de relacionamento com os outros, aumento na autoestima e autoconceito, menores níveis de depressão e ansiedade.

Com relação à segunda questão do estudo, destacaramse três condições principais: (a) garantir o acesso e participação constante e prolongada em tais programas; (b) garantir a qualidade da programação, particularmente com relação à estrutura e supervisão adequada, e equipe de funcionários bem preparada; (c) estabelecer parceria com famílias, outras organizações comunitárias e com a escola.

Entretanto, as pesquisas brasileiras revelam (Alves et al., 2007; Costa, Carneiro, & Faria, 1999; Natali & Paula, 2008; Paula & Clara, 2008) por sua vez, que as instituições que oferecem atendimento às crianças e adolescentes em situação de risco nem sempre estão preparadas para lidar com o público ao qual se propõem trabalhar e oferecer apoio. As principais dificuldades encontradas referem-se às características dos serviços prestados: não compatíveis com as necessidades do público-alvo, baixa qualificação da equipe profissional, poucos recursos financeiros para manutenção dos projetos desenvolvidos, dentre outras.

Considerando as instituições que oferecem atividades complementares às da escola regular, poderia ser feita a seguinte questão: se no contexto escolar com população relativamente heterogênea, tendo crianças de diferentes classes sociais, estruturas familiares, recursos e histórias de vida, já há grande dificuldade em relação aos comportamentos-problema dos alunos, e ao aumento das diversas formas de manifestações de violência (ver por exemplo, Beran & Tutty, 2002; Fatum & Hoyle, 1996; Maldonado & Williams, 2005; Wilson & Lipsey, 2006), o que se poderia dizer do contexto das Organizações Não-Governamentais que se propõem a atender um público de crianças e adolescentes vivendo sob situações de risco, tais como pobreza, abandono, maus-tratos, abuso de álcool e substâncias psicoativas?

Sabe-se que a frequência e gravidade de comportamentos problemáticos apresentados por crianças, na primeira e segunda infância, tem sido motivo de atenção de pesquisadores nos Estados Unidos, assim como de educadores, professores e pais, uma vez que tais problemas têm impulsionado, estudantes para o Sistema de Educação Especial, bem como para a utilização de serviços de Saúde Mental do Sistema Judiciário e outros serviços sociais (Kauffman, 2001; Kazdin, 1996). De fato, além dos problemas de comportamento prejudicarem as relações interpessoais em sala de aula, como a rejeição por pares e adultos, normalmente tais problemas são acompanhados pelo baixo desempenho acadêmico e por queixas escolares de modo geral (Brancalhone, Fogo, & Williams, 2004; Fergusson, Horwood, & Ridder, 2005; Marturano, Toller, & Elias, 2005; Patterson, Reid, & Dishion, 1992; Salvo, Silvares, & Toni, 2005; Santos & Graminha, 2006; Walker & Sprague, 1999).

Quanto aos programas de intervenção direcionados para minimizar e prevenir problemas de comportamento, a literatura aponta para a importância e eficácia da realização de intervenções direcionadas às famílias, focando especialmente o ensino de manejo comportamental aos pais e/ou professores. Por exemplo, as intervenções com pais têm mostrado impactos positivos para a ampliação do repertório de habilidades sociais educativas, uso mais frequente de reforçadores contingentes aos comportamentos dos filhos (Barros & Del Prette, 2007; Bolsoni-Silva, Salina-Brandão, Versutti-Stoque, & Rosin-Pinola, 2008; Bolsoni-Silva, Silveira, & Marturano, 2008; Bolsoni-Silva, Silveira, & Ribeiro, 2008) e melhora no repertório de habilidades sociais dos pais e maior frequência de envolvimento com os filhos (Cia, Barham, & Fontaine, 2010). Além disso, os filhos cujos pais e/ou mães participaram da intervenção apresentaram menos problemas de comportamento (Bolsoni-Silva, Silveira, & Marturano, 2008; Pinheiro, Haase, Del Prette, Amarante, & Del Prette, 2006) e melhor desempenho acadêmico (Cia et al., 2010).

No intuito de identificar a produção científica nacional sobre os impactos da participação de crianças e adolescentes em programas de complementação à escola regular, foi realizada uma pesquisa no endereço eletrônico das bases de dados Scielo, LILACS e Google Acadêmico, buscando por resultados que contivessem uma ou mais das seguintes palavras-chave no título: programas após a escola; programas extracurriculares para crianças e adolescentes; programas de complementação à escola; contraturno escolar; avaliação de impacto dos serviços prestados por ONGs que atendem crianças e adolescentes; assistência social para crianças e adolescentes.

Foram encontrados seis artigos que trataram da temática acima descrita, sendo cinco caracterizados como relato de pesquisa descritiva (Alves et al., 2007; Costa et al., 1999; Malvasi, 2008; Natali & Paula, 2008; Paula & Clara, 2008) e o sexto de caráter teórico sobre avaliação de impacto em ONGs (Campêlo, 2006). Encontrou-se também uma pesquisa de avaliação de intervenção na área da psicologia realizada em um abrigo infantil (contexto institucional) que avaliou os efeitos de um programa de práticas educativas para monitoras sobre o comportamento de interação de duas díades monitoras-crianças (Prada & Williams, 2007). Participaram de tal estudo duas monitoras com idades entre 22 e 25 anos e duas crianças com idade entre cinco e nove. Para análise do comportamento de interação das díades foram feitas 12 sessões de observação direta via filmagem. O delineamento utilizado foi do tipo AB. Os resultados mostraram que houve alterações positivas nos padrões de interação cuidadorcriança, possivelmente resultantes da diminuição da utilização pelas monitoras de práticas educativas coercitivas e pelo fortalecimento e maior utilização de práticas educativas positivas.

Considerando que a permanência da criança na escola e em outros contextos de educação não formal se configura como fator de proteção ao desenvolvimento de comportamentos problemáticos (Gallo & Williams, 2008; Little et al., 2008) considera-se importante capacitar os monitores/educadores sociais para que aprendam a lidar de modo mais eficaz com problemas de comportamento infantis, ajudando-os a serem promotores do desenvolvimento de comportamentos pró-sociais de seus alunos. Sendo assim, o objetivo deste estudo foi o de avaliar os efeitos (a curto e longo prazo) de uma intervenção com monitores de uma Organização Não-Governamental, para minimizar problemas de comportamento de crianças escolares.

Método

Participantes

Participaram do estudo seis monitores, funcionários da ONG, sendo cinco do sexo feminino e um do sexo masculino, com idade variando entre 28 e 48 anos (média = 38,8, desvio padrão = 8,37), com formações diversificadas (Magistério, Pedagogia, Educação Física e Técnico em Informática). Além disso, foram participantes deste estudo 24 crianças, sendo 16 do sexo masculino (66,66%) e oito do sexo feminino (33,33%), com faixa etária entre oito e 11 anos de idade (média = 9,66, desvio padrão = 0,86). As crianças cursavam a 3ª ou 4ª série do Ensino Fundamental. Todas as crianças eram pertencentes às classes C, D ou E do Critério de Classificação Econômica Brasil (Associação Brasileira de Empresas de Pesquisa, 2003). Adicionalmente, verificou-se por meio de consulta ao prontuário, que 16 dessas crianças eram acompanhadas pelo Conselho Tutelar do Município, sendo que duas participaram de uma audiência com o juiz da Vara da Infância e Juventude, em decorrência de denúncias de maus-tratos realizadas pela escola regular.

Dentre os responsáveis pelas crianças participantes, 20 eram mães biológicas, três avós e um padrasto, com idades variando entre 25 e 48 anos (média = 34,22, desvio padrão = 13,78). Quatro responsáveis nunca havia frequentado a escola, 12 tinham o Ensino Fundamental incompleto, cinco o Ensino Fundamental completo e três o Ensino Médio incompleto.

Local

A pesquisa foi realizada em uma ONG situada em uma cidade de médio porte do estado de São Paulo. Tal instituição oferece atividades de complementação à escola regular, como apoio pedagógico, informática, atividades esportivas e recreativas, musicalização, dança, artes, artesanato, horta e culinária. Os monitores são responsáveis por desenvolver tais atividades em grupos de aproximadamente quinze crianças/adolescentes, exercendo funções similares às do professor da escola regular. Todos os inscritos permanecem na instituição por um período de quatro horas diárias de segunda a sexta-feira, no contraturno da escola.

Delineamento do Estudo

Para medir os impactos do programa de intervenção aos monitores sobre o comportamento das crianças, utilizou-se um delineamento pré/pós-teste com um grupo de participantes (Cozby, 2006), no qual foram aplicadas medidas de avaliação antes e após a capacitação e consultoria. Antes da intervenção (avaliação pré-teste), foram aplicados os instrumentos Questionário de Capacidades e Dificuldades, Sistema de Avaliação de Habilidades Sociais e preenchimento do Protocolo de Observação dos Problemas de Comportamento Infantil.

Após realização da primeira fase da intervenção, denominada de capacitação, foi feito o mesmo procedimento de coleta de dados chamado de pós-teste 1. Após o término da segunda fase do programa de intervenção, chamada de consultoria, realizou-se outra coleta de dados chamada de pós-teste 2. Além disso, foi realizada a coleta de dados de follow-up após 10 meses da coleta de dados do pós-teste 2, período no qual não foi feito qualquer tipo de intervenção. Para todas as fases de coleta de dados foi utilizado o mesmo procedimento descrito no pré-teste.

Instrumentos

Questionário de Capacidades e Dificuldades (Strengths and Difficulties Questionnaire [SDQ], Goodman, 1997). O SDQ é um breve questionário traduzido para diferentes idiomas, inclusive o português, que pode ser utilizado para avaliar crianças e adolescentes com idade variando entre quatro e 16 anos, fornecendo indicadores sobre dificuldades e capacidades dos mesmos. Para validação cultural, foi realizado um estudo com 898 crianças e adolescente brasileiros com idades variando entre sete e 14 anos (Fleitlich & Goodman, 2001). Neste trabalho, o instrumento foi respondido pelos monitores (versão para professores) e pelos pais. O instrumento contém 25 itens, subdivididos em cinco escalas com cinco itens cada: (a) sintomas emocionais; (b) problemas de conduta; (c) hiperatividade e déficit de atenção; (d) problemas de relacionamento com os pares; (e) comportamentos pró-sociais. Os 25 itens do SDQ apresentam três opções de respostas, que variam em uma escala de três pontos (falso = 0, mais ou menos verdadeiro = 1 e verdadeiro = 2).

Conforme a pontuação total nas cinco escalas respondidas por pais e professores, o comportamento da criança pode ser definido como não-clínico (NC), subclínico (S) ou clínico (C). Os valores de pontuação variam de 0 a 40. Os dados do SDQ podem ser interpretados da seguinte maneira: (a) Versão para professores/monitores: Pontuação total das dificuldades (NC= 0-11; S = 12-15; C = 1640), Sintomas Emocionais (NC = 0-4; S = 5; C = 6-10), Problemas de Conduta (NC = 0-2; S = 3; C = 4-10), Hiperatividade (NC = 0-5; S = 6; C = 7-10), Problemas de relacionamento com os pares (NC = 0-3; S = 4; C = 510), Comportamento pró-social NC = 6-10; S = 5; C = 04); (b) Versão para pais: Pontuação total das dificuldades (NC = 0-13; S = 14-16; C = 17-40), Sintomas Emocionais (NC = 0-3; S = 4; C = 5-10), Problemas de Conduta (NC = 0-2; S = 3; C = 4-10), Hiperatividade (NC = 0-5; S = 6; C = 7-10), Problemas de relacionamento com os pares (NC = 0-2; S = 3; C = 4-10), Comportamento prósocial (NC = 6-10; S = 5; C = 0-4).

Para adaptar o instrumento à amostra em função da baixa escolaridade dos pais, o mesmo foi aplicado em forma de entrevista fechada, de modo individual. Cada entrevista teve a duração aproximada entre 10 e 15 minutos.

Sistema de Avaliação de Habilidades Sociais (Social Skills Rating System [SSRS/BR]), instrumento elaborado por Gresham e Elliot (1990), que foi traduzido e validado para o contexto brasileiro por Bandeira, Del Prette, Del Prette e Magalhães (2009), para avaliar crianças da pré-escola a 4ª série do Ensino Fundamental. Este instrumento permite uma avaliação (múltiplos avaliadores - pais, professores, próprios alunos) que visa fornecer indicadores sobre habilidades sociais, problemas de comportamento e competência acadêmica de crianças e adolescentes. O SSRS registra a frequência (0 - nunca, 1 - algumas vezes, 2 - muito frequente) percebida pelo avaliador e atribuída aos comportamentos dos alunos sobre o funcionamento adaptativo dos mesmos na escola ou no lar. Nesta pesquisa utilizou-se duas escalas tipo Likert do SSRS-Versão Professores, sendo: (a) 30 itens referentes ao repertório de habilidades sociais das crianças e (b) 18 itens relativos aos comportamentos problemáticos das crianças.

Protocolo de Observação dos Problemas de Comportamento Infantil (POPCI). O protocolo (Ormeño & Williams, 2006) contém ao todo 25 itens, subdivididos em três categorias comportamentais mais amplas (físicas - 12 itens; verbais - 5 itens; outros - 3 itens) relativas aos problemas de comportamento infantis. Foi registrada a frequência dos problemas de comportamento das crianças duas vezes na semana. As categorias físicas abrangentes são: bater no rosto, bater no corpo com utilização das mãos, bater no corpo com objeto, empurrar o outro, puxar cabelo, atirar objetos no outro, chutar o outro, cuspir, tirar objeto sem permissão, chutar objetos, danificar objetos alheios e enforcar. As categorias verbais: falar palavrões, xingar colega/monitor, zombar, insultar/provocar e gritar com colega/monitor.

Foram registradas três categorias adicionais: recusar participar da atividade, atrapalhar realização da atividade e sair da sala sem permissão. Essas categorias foram inseridas ao protocolo, após as duas primeiras sessões de observação, quando se detectou a ocorrência repetida e frequente das mesmas.

Nesse protocolo registrou-se a frequência com que a criança emitiu comportamentos problemáticos. Cada observação teve a duração de 40 min (duração da atividade de cada monitor), em atividades diferenciadas (apoio pedagógico, esportes, artes, artesanato). O procedimento de observação direta das crianças foi realizado no pré-teste, pós-teste 1, pós-teste 2 e follow-up, sendo que foram realizadas seis observações em cada uma das fases de avaliação, totalizando 24 sessões de observação direta de cada criança. A observação foi conduzida pela primeira autora, com auxílio de outro pesquisador da área.

Procedimento de Coleta de Dados

Para que os monitores e os pais dessem seu consentimento da própria participação e da de seus filhos, foram entregues os Termos de Consentimento Livre e Esclarecido (TCLE). Os pais ou responsáveis que aceitaram participar responderam apenas ao SDQ na instituição em forma de entrevista fechada em todas as fases de coleta de dados.

Os monitores preencheram os instrumentos SDQ e SSRS - Versão Professores, em grupo, em todas as fases de coleta de dados. As instruções de cada instrumento foram lidas pela primeira autora, respondendo as dúvidas com relação à compreensão dos itens e o modo de preenchimento. A realização dessas atividades teve duração aproximada de três horas com intervalo de 30 minutos. Os monitores avaliaram individualmente todas as crianças. A coleta de dados de observação direta dos comportamentos das crianças foi realizada efetuando-se o preenchimento do protocolo de observação nas diferentes fases do estudo.

Para garantir a fidedignidade dos dados de observação, 20% das sessões de observação direta foram realizadas com o auxílio de um segundo observador, obtendo-se um índice de concordância de 90%. O índice de concordância foi obtido por meio da divisão do número de discordâncias pela soma do número de concordâncias e discordâncias, multiplicado por 100. Esse procedimento seguiu idêntico para as quatro fases de coleta de dados (pré-teste, pós-teste 1, pós-teste 2 e follow-up).

Houve uma perda de participantes durante o estudo, sendo nove crianças e dois monitores entre o pós-teste 1 e pós-teste 2 e mais dois monitores entre o pós-teste 2 e o follow-up.

Intervenção

A elaboração do programa de intervenção para os monitores foi baseada no Modelo Cognitivo-Comportamental, com base nos estudos que comprovam sua eficácia para trabalhar com problemas comportamentais infantis (Baraldi & Silvares, 2003; Ormeño & Williams, 2006; Prada & Williams, 2007; Reid & Webster-Stratton, 2001; Van-Manen, Prins, & Emmelkamp, 2004).

A intervenção constou de dois procedimentos diferenciados, sendo: (a) Capacitação, com duração de três meses e duas semanas de curso (14 encontros), em encontros semanais de aproximadamente duas horas de duração; (b) Consultoria, com duração de nove meses e frequência mensal, sendo que cada encontro teve duração aproximada de duas horas. Vale ressaltar que foi elaborada uma apostila contendo as informações mais relevantes de cada sessão. A apostila continha uma descrição dos principais conceitos e tarefas práticas da capacitação, sendo entregue uma cópia a cada monitor ao final da capacitação.

A capacitação foi elaborada com base no trabalho de Prada e Williams (2007) e consistiu na realização de um programa que objetivou habilitar o monitor a lidar com problemas de comportamento das crianças, ensinando práticas educativas parentais adaptadas ao contexto de sala de aula. Foram utilizadas técnicas como exposição oral do tema e algumas técnicas cognitivo-comportamentais (modelação, reforço positivo, feedback, ensaio comportamental e tarefas de casa). Os temas trabalhados nas sessões foram: observar e recompensar o comportamento adequado, características de comportamentos inadequados, estratégias para lidar com o comportamento inadequado (retirada de privilégios, consequências, estabelecimento de regras e limites), práticas educativas negativas e práticas educativas positivas.

A consultoria ocorreu durante as reuniões pedagógicas tendo como participantes quatro monitores que também estiveram presentes na capacitação, quatro monitores que ingressaram posteriormente, os quais não avaliaram as crianças, e a coordenadora pedagógica. A consultoria objetivou consolidar informações e orientações dadas durante a capacitação, bem como planejar generalização dos resultados. Além disso, visou, ainda, reelaborar e implementar diretrizes de funcionamento interno da ONG e colaborar com organização de rotina, do horário e planejamento anual e mensal das atividades desenvolvidas.

Procedimento de Análise de Dados

Os instrumentos SSRS e SDQ foram analisados com base no manual. Como cada criança foi avaliada por pelo menos três monitores diferentes, optou-se por realizar uma escolha aleatória, por meio de sorteio, dos dados de apenas um monitor por criança. Contudo, manteve-se um mesmo monitor avaliando uma mesma criança nas três fases de coleta de dados. Na coleta de follow-up, havia somente dois monitores que estavam na instituição desde o início da intervenção. Subdividiu-se aleatoriamente (por meio de sorteio) as crianças entre os dois monitores para realização da coleta de dados de follow-up.

Os dados de observação direta das crianças foram analisados da seguinte maneira: realizou-se a somatória da frequência total de cada uma das subcategorias de problemas de comportamento infantil, agrupando-as em seis categorias mais amplas: (a) Físicas; (b) Verbais; (c) Recusar participar da atividade; (d) Atrapalhar realização da atividade; (e) Sair da sala sem permissão; e (f) Problemas de comportamento total (soma das anteriores). A frequência total corresponde à somatória da frequência das seis sessões de observação direta de quarenta minutos, de cada criança, totalizando 240 minutos de observação por criança.

Para comparar a frequência total de problemas de comportamento entre o pré-teste/pós-teste 1, pós-teste 1/pósteste 2 e pós-teste 2/follow-up, utilizou-se o teste de MANOVA (SPSS for Windows). Foi analisada uma variável dependente por vez, para comparar dois momentos de avaliação. Os dados dos pais e dos professores foram analisados separadamente.

Resultados

Desempenho das Crianças no SDQ, segundo os Monitores e os Pais

Os dados da Tabela 1 comparam as médias das crianças nas seis escalas que compõem o SDQ, segundo relatos dos monitores, por fases do estudo.

De acordo com os monitores, comparando-se o pré-teste com o pós-teste 1, observou-se que houve mudanças estatisticamente significativas nos valores das médias do grupo de crianças para todas as escalas de avaliação do SDQ (PT e PC: p<0,001; H e PRP: p<0,01 e; CPS e SE: p<0,05).

Ao se comparar os dados do pós-teste 1 com os do pósteste 2, verificou-se a ocorrência de mudanças estatisticamente significativas para as escalas de problemas totais, comportamento pró-social, problemas de relacionamento com pares (p<0,001) e problemas de conduta (p<0,05), na visão dos monitores.

Nas fases do pré-teste para o pós-teste 1 e do pós-teste 1 para o pós-teste 2, houve uma redução estatisticamente significativa nos valores de média para as escalas de problemas totais, hiperatividade, sintomas emocionais, problemas de conduta e problemas de relacionamento com os pares e um aumento estatisticamente significativo no valor de média para a escala de comportamento pró-social. A comparação entre os resultados da avaliação pósteste 2 com os do follow-up mostrou ter havido aumento estatisticamente significativo no valor de média da escala de problemas totais (p<0,05). A Tabela 2 apresenta a avaliação dos pais sobre o desempenho das crianças no SDQ, por fases do estudo.

Comparando-se o pré-teste com o pós-teste 1, observou-se que, para quase todas as escalas de avaliação, houve mudanças nos valores de média do grupo de crianças, consideradas estatisticamente significativas (PT: p<0,001; CPS, H, PC, e PRP: p<0,01), exceto para a escala de sintomas emocionais, de acordo com os pais. As escalas referentes às dificuldades das crianças (PT, H, PC e PRP) obtiveram redução no valor de média e a de comportamento pró-social apresentou aumento no valor de média do grupo de crianças.

Do pós-teste 1 para o pós-teste 2 houve uma redução nos valores de média do grupo de crianças, considerada estatisticamente significativa, para as escalas de problemas totais (p<0,001), problemas de conduta (p<0,05) e problemas de relacionamento com pares (p<0,01). Para as outras escalas não foram observadas ocorrência de mudanças consideradas estatisticamente significativas, segundo os pais.

Comparando-se a avaliação entre o pós-teste 2 e o follow-up, observou-se um aumento estatisticamente significativo nos valores de média do grupo de crianças, para as escalas de problemas totais (p<0,01), hiperatividade/ déficit de atenção (p<0,05) e problemas de conduta (p<0,05), indicando ter havido perda nos ganhos obtidos com relação a essas escalas.

Destaca-se que, na visão dos pais, as crianças apresentaram valores de média mais altos para as escalas de comportamento pró-social e sintomas emocionais e valores de média mais baixos para as escalas de problemas totais, hiperatividade/déficit de atenção, problemas de conduta e problemas de relacionamento com pares, quando comparados à avaliação dos monitores.

Repertório de Habilidades Sociais e Comportamentos Problemáticos

A Tabela 3 apresenta uma comparação do repertório de habilidades sociais e dos comportamentos problemáticos das crianças, coletados por meio do SSRS - Versão Professores, nas diferentes fases da coleta de dados, de acordo com os monitores.

Observa-se, na Tabela 3, que a comparação entre as fases de coleta de dados do pré-teste para o pós-teste 1 mostrou ter havido diferenças estatisticamente significativas para todas as escalas avaliadas (p<0,001), constatando-se aumento nos valores de médias de todos os fatores referentes às diferentes classes de habilidades sociais e diminuição expressiva nos valores de média dos fatores referentes aos comportamentos problemáticos.

Comparando-se os resultados entre o pós-teste 1 e o pós-teste 2, observou-se a ocorrência de mudanças estatisticamente significativas para todos os fatores do instrumento, incluindo os de habilidades sociais e comportamentos problemáticos: HST, F1 e F3 (habilidades sociais totais, responsabilidade/cooperação e autocontrole p<0,001), F2 (asserção positiva p<0,01), F4 (autodefesap<0,05), F5 (cooperação com os pares p<0,05), CPT (comportamentos problemáticos totais p<0,01), CPE (comportamentos problemáticos externalizantes p<0,01) e CPI (comportamentos problemáticos internalizantes p<0,05).

Os dados de comparação entre o pós-teste 2 e o followup revelaram que, em três escalas, houve um aumento no valor de média para o grupo de crianças, sendo tal aumento considerado estatisticamente significativo [escalas de habilidades sociais totais e responsabilidade/cooperação (p<0,05), asserção positiva (p<0,01), respectivamente].

A Tabela 4 apresenta a frequência de categorias específicas de comportamentos problemáticos das crianças, provenientes de dados de observação direta, nas diferentes fases da coleta de dados.

A comparação entre a frequência de problemas de comportamento do pré-teste para o pós-teste 1 mostrou ter havido mudanças estatisticamente significativas para todas as categorias observadas (p<0,001), sendo um indicativo de ter havido uma diminuição expressiva dos comportamentos problemáticos, após a capacitação dos monitores.

As diminuições na frequência média de comportamentos problemáticos das crianças também estiveram presentes, ao se comparar os valores de média do pós-teste 1 com o pós-teste 2, sendo consideradas estatisticamente significativas para todas as categorias: problemas totais, agressões verbais e sair da sala sem permissão (p<0,001), recusar participar das atividades e atrapalhar realização das atividades (p<0,01) e agressões físicas (p<0,05).

Do pós-teste 2 para o follow-up houve mudanças estatisticamente significativas apenas para as categorias problemas totais (p<0,05), problemas verbais (p<0,05) e atrapalhar realização das atividades (p<0,01), com aumento nos valores de média. Assim, esses resultados demonstram perdas nos ganhos obtidos nas fases de avaliação do pós-teste 1 e pós-teste 2.

Discussão

De modo geral, observou-se que a intervenção foi eficaz para minimizar problemas de comportamento das crianças e maximizar índices de comportamento pró-social e do repertório de habilidades sociais das mesmas, conforme demonstrado nos dados coletados por todos os instrumentos nas diferentes fases do estudo.

Os dados de avaliação dos monitores e dos pais com relação ao instrumento SDQ indicaram a ocorrência de mudanças positivas e estatisticamente significativas. Houve uma diminuição dos valores de média para as escalas relacionadas aos problemas de comportamento e um aumento dos valores de média para a escala de comportamento pró-social, especialmente nas fases de avaliação do pré-teste para o pós-teste 1 (após a capacitação) e do pós-teste 1 para o pós-teste 2 (após a consultoria).

Não houve mudança estatisticamente significativa para a escala de comportamento pró-social, na visão dos pais, após a realização da consultoria. Entretanto, supõe-se que a melhora percebida pelos monitores para a escala de comportamento pró-social represente uma manifestação do potencial de tais crianças em exibir tais comportamentos, desde que o ambiente ofereça contingências adequadas, considerando que não houve intervenção com os monitores para ensinar comportamentos pró-sociais para as crianças, e tampouco foi feita uma intervenção com as próprias crianças. Conforme apontam A. Del Prette e Del Prette (2001), monitores e crianças (cliente e entorno) são considerados integrantes de um sistema mais amplo (instituição), reconhecendo-se que alterações positivas em um subsistema são geradoras de feedback para o próprio sistema (monitores) e produzem mudanças em outros subsistemas (crianças).

Observou-se que, na visão dos pais, as crianças apresentaram valores de média mais altos para as escalas de comportamento pró-social e sintomas emocionais e valores de média mais baixos para as escalas de problemas totais, hiperatividade/déficit de atenção, problemas de conduta e problemas de relacionamento com pares, quando comparados à avaliação dos monitores. Considera-se que isso pode ser devido à existência de contingências diferenciadas presentes nos contextos familiar e institucional, que podem ter favorecido uma avaliação mais positiva dos pais para tais escalas. Contudo, Lopes (2004) refere que "as avaliações que os pais e os professores fazem dos supostos problemas (emocionais e comportamentais) dos filhos e alunos têm um baixo grau de concordância" (p. 114), lembrando que os monitores exerciam função muito próxima à do professor.

Os resultados do presente estudo seguiram uma tendência semelhante ao do estudo de Bolsoni-Silva, Marturano, Pereira e Manfrinato (2006), na qual as mães das crianças avaliaram-nas com valores de média mais baixos para as escalas relativas aos problemas de comportamento e valores mais altos de média para a escala de comportamento pró-social (SDQ).

Na avaliação do SSRS, observou-se além das alterações estatisticamente significativas para os fatores relacionados aos comportamentos problemáticos, a ocorrência de mudanças estatisticamente significativas para todos os fatores concernentes ao repertório de habilidades sociais das crianças, sugerindo que a intervenção com os monitores possa ter repercutido positivamente sobre tais índices. Lopes (2004) aponta que a promoção de condutas pró-sociais e o controle de condutas agressivas possibilitam a melhora no bem-estar pessoal e social das próprias crianças, melhora nos trabalhos em grupo (escola), bem como no relacionamento de tais crianças com os professores e colegas.

Os dados de observação direta dos comportamentos problemáticos das crianças seguiram a mesma tendência da avaliação feita pelos monitores e pelos pais, sendo que, após a capacitação houve: uma diminuição estatisticamente significativa da frequência média de emissão de comportamentos problemáticos para todas as categorias observadas e, após a consultoria, uma diminuição da frequência de emissão de comportamentos problemáticos das crianças também considerada estatisticamente significativa para todas as categorias.

Considera-se um dado de efetividade para as variáveis observadas, o fato de todos os instrumentos mostrarem convergências nas variações temporais (pré-teste, pósteste 1, pós-teste 2 e follow-up) com relação ao comportamento das crianças, avaliados pelos monitores, pelos pais e registrados por observação direta.

Pode-se observar que os efeitos da intervenção, medidos pelos monitores (SDQ e SSRS), pais (SDQ) e provenientes dos dados de observação direta, foram mais expressivos na avaliação do pós-teste 1 (após a capacitação) que do pós-teste 2 (após a consultoria). Tal observação pode ser devida ao fato de que, quando o repertório inicial dos participantes em uma intervenção é muito baixo ou muito comprometido, uma intervenção baseada nas necessidades da população-alvo teria alta probabilidade de trazer impactos positivos no desenvolvimento dos participantes, que tendem a se estabilizar (Cozby, 2006).

A avaliação de follow-up, todavia, mostrou ter havido queda nos ganhos obtidos para a escala de problemas totais, na avaliação dos monitores no SDQ; para as escalas de problemas totais, hiperatividade e problemas de conduta, na avaliação dos pais no SDQ; em três fatores do SSRS, respondido pelos monitores (asserção positiva, habilidades sociais totais e responsabilidade/ cooperação) e; em três categorias dos dados de observação direta (problemas totais e agressão verbal,e atrapalhar a realização das atividades). Tais quedas não chegaram a surpreender, uma vez que os comportamentos de risco das crianças exigem a apresentação contínua de contingências para minimizar problemas de comportamento.

Considerações Finais

De modo geral, pode-se dizer que o presente estudo produziu resultados positivos sobre os índices quantitativos dos problemas de comportamento, do repertório de habilidades sociais e comportamento pró-social das crianças, resultantes da intervenção com os monitores da ONG. Vale destacar que estudos futuros sobre intervenções em ONGs direcionadas ao atendimento de crianças e adolescentes em situação de risco psicossocial seriam desejáveis para avaliar a validade dos impactos produzidos pela presente intervenção, uma vez que esse estudo apresentou limitações, tais como: (a) ausência de um grupo controle, seja de monitores, seja de crianças; (b) a amostra (crianças) não selecionada aleatoriamente; (c) embora se tenha coletado dados entre as duas fases da intervenção, não foram avaliados os efeitos isolados da capacitação e da consultoria sobre a minimização dos problemas de comportamento infantil; (d) coleta de dados feita pelo responsável pela intervenção.

Apesar das limitações, o presente trabalho trouxe uma contribuição importante ao privilegiar um contexto pouco explorado com relação às intervenções sistemáticas em nosso país: o das Organizações Não-Governamentais, cujo foco é direcionado ao atendimento de crianças e adolescentes em situação de risco. Além da família e da escola, tais serviços sociais podem representar um espaço privilegiado da chamada educação não formal e de proteção ao desenvolvimento infantil, pois ao permanecerem com crianças e adolescentes por meio período (no contraturno escolar), os serviços podem contribuir para que eles não permaneçam sozinhos, na rua ou sob supervisão inadequada de um adulto, além do potencial para propiciar a aquisição de conhecimentos e habilidades socialmente desejáveis.

Recebido: 1º/12/2010

1ª revisão: 04/04/2011

Aceite final: 07/04/2011

  • Alves, P. B., Amparo, D. M., Cardenas, C. J., Chaves, B. M., & Oliveira, C. B. (2007). Instituições de atendimento socioeducativo à adolescentes em situação de risco do Distrito Federal: Panorama e perspectivas. Psico, 38(2),166-173.
  • Associação Brasileira de Empresas de Pesquisa. (2003). Critério de Classificação Econômica Brasil Retrieved January, 2007, from www.abep.org
  • Bandeira, M., Del Prette, Z. A. P., Del Prette, A., & Magalhães, T. (2009). Validação das Escalas de Habilidades Sociais, Comportamentos Problemáticos e Competência Acadêmica (SSRS-BR) para o ensino fundamental. Psicologia Teoria e Pesquisa, 25(2),271-282.
  • Baraldi, D. M., & Silvares, E. F. M. (2003). Treino de habilidades sociais em grupo com crianças agressivas, associado à orientação dos pais. Análise empírica de uma proposta de atendimento. In A. Del Prette & Z. A. P. Del Prette (Eds.), Habilidades sociais, desenvolvimento e aprendizagem: Questões conceituais, avaliação e intervenção Campinas, SP: Alínea.
  • Barros, S. K. S. N., & Del Prette, A. (2007). Um treinamento de habilidades sociais para pais pode beneficiar os filhos na escola? Revista da Sociedade e Psicologia do Triângulo Mineiro, 11(1),107-123.
  • Beran, T. N., & Tutty, L. (2002). Children's reports of bullying and safety at school. Canadian Journal of School Psychology, 17,1-14.
  • Bolsoni-Silva, A. T., Marturano, E. M., Pereira, V. A., & Manfrinato, J. W. S. (2006). Habilidades sociais e problemas de comportamento em pré-escolares: Comparando avaliações de mães e de professoras. Psicologia: Reflexão e Crítica, 19(3),430-436.
  • Bolsoni-Silva, A. T., Salina-Brandão, A., Rosin-Pinola, A. R., & Versuti-Stoque, F. M. (2008). Avaliação de um programa de intervenção de habilidades sociais educativas parentais: Um estudo-piloto. Psicologia: Ciência e Profissão, 28(1),18-33.
  • Bolsoni-Silva, A. T., Silveira, F. F., & Ribeiro, D. C. (2008). Avaliação dos efeitos e uma intervenção com mães/cuidadoras: Contribuições do treinamento em habilidades sociais. Revista Contextos Clínicos, 1(1),19-27.
  • Bolsoni-Silva, A. T., Silveira, F. F., & Marturano, E. M. (2008). Promovendo habilidades sociais educativas parentais na prevenção de problemas de comportamento. Revista Brasileira de Terapia Comportamental e Cognitiva, 5(2),125-142.
  • Brancalhone, P. G., Fogo, J. C., & Williams, L. C. A. (2004). Crianças expostas à vilência conjugal: Avaliação do desempenho acadêmico. Psicologia: Teoria e Pesquisa, 20(2),113-117.
  • Campêlo, A. F. (2006). Avaliação de programas sociais em ONGs: Discutindo aspectos conceituais e levantando algumas orientações sobre avaliação de impacto. Interfaces de Saberes, 6,1-14.
  • Cia, F., Barham, E. J., & Fontaine, A. M. G. V. (2010). Impactos de uma intervenção com pais: O desempenho acadêmico e comportamento das crianças na escola. Psicologia: Reflexão e Crítica, 23(3),187-197.
  • Costa, B. L. D., Carneiro, C. B. L., & Faria, C. A. P. (1999). Programas para crianças e adolescentes em situação de risco: A complexidade do objeto e a dimensão institucional. Cadernos Gestão Pública e Cidadania, 13,1-49.
  • Cozby, P. C. (2006). Métodos de pesquisa em ciências do comportamento São Paulo, SP: Atlas.
  • Del Prette, A., & Del Prette, Z. A. P. (2001). Psicologia das relações interpessoais: Vivências para o trabalho em grupo. Petrópolis, RJ: Vozes.
  • Fatum, W., & Hoyle, J. (1996). Is it violence? School violence from the student perspective: Trends and innovations. The School Counselor, 44(1),28-34.
  • Fergusson, D. M., Horwood, L. I., & Ridder, E. M. (2005). Show me the child at seven: The consequences of conduct problems in childhood for psychosocial functioning in adulthood. Journal of Child Psychology and Psychiatry, 46(8),837-849.
  • Fleitlich, B., & Goodman, R. (2001). Social factors associated with child mental health problems in Brazil: Cross sectional survey. BMJ, 323(7313),599-600.
  • Gallo, A. E., & Williams, L. C. A. (2008). A escola como fator de proteção à conduta infracional de adolescentes. Cadernos de Pesquisa, 38(133),51-59.
  • Goodman, R. (1997). The Strengths and Difficulties Questionnaire: A research note. Journal of Child Psychology and Psychiatry, 38,581-586.
  • Gresham, F., & Elliot, S. (1990). Social Skills Rating System: Manual Circle Pines, MN: American Guidance Service.
  • Kauffman, J. M. (2001). Characteristics of emotional and behavioral disorders of children and youth (7th ed.). Upper Saddle River, NJ: Merril Prentice Hall.
  • Kazdin, A. E. (1996). Problem solving and parent management in treating aggressive anda antisocial behavior. In E. D. Hibbs & P. S. Jensen (Eds.), Psychosocial treatments for child and adolescent disorders: Empirically based strategies for clinical practice (pp. 377-408). Washington, DC: American Psychological Association.
  • Little, P. M. D., Wimer, C., & Weiss, H. B. (2008). After school programs in the 21st century: Their potential and the what it takes the achieves it. Harvard Family Research Project, Harvard Graduate School of Education, 10,1-12.
  • Lopes, F. (2004). Problemas afetivos e de conduta em sala de aula. In C. Coll, A. Marchesi, & J. Palácios (Eds.), Desenvolvimento psicológico e educação: Vol. 3. Transtornos do desenvolvimento e necessidades educativas especiais (pp. 113-128). Porto Alegre, RS: Artmed.
  • Maldonado, D. A., & Williams, L. C. A. (2005). O comportamento agressivo de crianças do sexo masculino na escola e sua relação com violência doméstica? Psicologia em Estudo, 10(3),353-362.
  • Malvasi, P. A. (2008). ONGs, vulnerabilidade juvenil e reconhecimento cultural: Eficácia simbólica e dilemas. Interface (Botucatu), 12(26),605-617.
  • Marturano, E. M., Toller, G. P., & Elias, L. C. S. (2005). Gênero, adversidade e problemas socioemocionais associados à queixa escolar. Estudos de Psicologia (Campinas), 22(4),371-380.
  • Natali, P. M., & Paula, E. M. A. T. (2008). Programas de contra-turno social para crianças e adolescentes na cidade de Maringá - PR: Características e funções. Emancipação, 8(1),95-103.
  • Ormeño, G. I. R., & Williams, L. C. A. (2006). Intervenção precoce com crianças agressivas: Suporte à família e à escola. In H. H. Guilhardi & N. C. Aguirre, Sobre comportamento e cognição: Expondo a variabilidade (pp. 168-182). Santo André, SP: ESETec.
  • Patterson, G. R., Reid, M. J., & Dishion, T. J. (1992). Antisocial boys. Eugene, OR: Castalia.
  • Paula, E. M. A. T., & Clara, C. A. W. S. (2008). Projetos de educação não-formal na cidade de Ponta Grossa - PR: Análise de currículos e práticas. Práxis Educativa, 3(2),183-189.
  • Pinheiro, M. I. S., Haase, V. G., Del Prette, A., Amarante, C. L. D., & Del Prette, Z. A. P. (2006). Treinamento de habilidades sociais educativas para pais de crianças com problemas de comportamento. Psicologia: Reflexão e Crítica, 19(3),1-15.
  • Prada, C. G., & Williams, L. C. A. (2007). Efeitos de um programa de práticas educativas para monitoras de um abrigo infantil. Revista Brasileira de Terapia Comportamental e Cognitiva, 9(1),63-80.
  • Reid, M. J., & Webster-Stratton, C. (2001). The Incredible Years Parent, Teacher, and Child Intervention: Targeting multiple areas of risk for a young child with pervasive conduct problems using a flexible, manualized program. Cognitive and Behavioral Practice, 8,377-386.
  • Salvo, C. G., Silvares, E. F. M., & Toni, P. M. (2005). Práticas educativas como forma de predição de problemas de comportamento e competência social. Estudos de Psicologia (Campinas), 22(2),187-195.
  • Santos, P. L., & Graminha, S. S. V. (2006). Problemas emocionais e comportamentais associados ao baixo rendimento acadêmico. Estudos de Psicologia (Natal), 11(1),71-86.
  • Van-Manen, G., Prins, P. J. M., & Emmelkamp, P. M. G. (2004). Reducing aggressive behavior in boys with a social cognitive group treatment: Results of a randomized, controlled trial. Journal of the American Academy of Child and Adolescent Psychiatry, 43(2),478-488.
  • Walker, H. M., & Sprague, J. R. (1999). The path to school failure, delinquency, and violence: Causal factors and some potential solutions. Interventions in School and Clinic, 35,67-73.
  • Wilson, S. J., & Lipsey, M. W. (2006). The effectiveness of school-based violence prevention programs for reducing disruptive and aggressive behavior: A meta-analysis. International Journal on Violence and Schools, 1,38-50.
  • Endereço para correspondência:
    Centro de Educação e Ciências Humanas, Departamento de Psicologia, Laboratório de Análise e Prevenção da Violência, Universidade Federal de São Carlos
    Rodovia Washington Luís, Km 235
    caixa postal: 676
    São Carlos, SP, Brasil 13565905
    E-mail:
  • *
    Apoio financeiro:
    Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES).
  • Datas de Publicação

    • Publicação nesta coleção
      11 Out 2012
    • Data do Fascículo
      2012

    Histórico

    • Recebido
      01 Dez 2010
    • Aceito
      07 Abr 2011
    • Revisado
      04 Abr 2011
    Curso de Pós-Graduação em Psicologia da Universidade Federal do Rio Grande do Sul Rua Ramiro Barcelos, 2600 - sala 110, 90035-003 Porto Alegre RS - Brazil, Tel.: +55 51 3308-5691 - Porto Alegre - RS - Brazil
    E-mail: prc@springeropen.com