Comparando Indicadores Psicométricos de Duas Versões Brasileiras do Social Skills Rating System : Uma Revisão da Literatura

Comparing Psychometric Indicators of Two Brazilian Versions of the Social Skills Rating System: A Literature Review

Comparación de Indicadores Psicométricos de Dos Versiones Brasileñas del Social Skills Rating System: Una Revisión de Literatura

Resumo

O Social Skills Rating System é uma das medidas mais frequentemente mencionadas na literatura internacional na avaliação das habilidades sociais de crianças, possuindo propriedades de validade e confiabilidade bastante satisfatórias em diversos países. A versão brasileira do instrumento, o Inventário de Habilidades Sociais, Problemas de Comportamento e Competência Acadêmica, foi submetida a processos de validação em dois momentos diferentes, por dois métodos de redução de dados: Componentes Principais (SSRS-BR, 2009) e Principal Axis Factoring (PAF), com posterior Análise Fatorial Confirmatória (SSRS-BR_2, 2015). O objetivo deste artigo é comparar os indicadores psicométricos de duas versões brasileiras dessas escalas, apresentando suas diferenças e semelhanças em termos de: (a) métodos de extração e análise de dados; (b) índices psicométricos de estrutura fatorial e confiabilidade e (c) composição fatorial final e conteúdo das escalas. Possíveis refinamentos psicométricos advindos do SSRS-BR₂ são discutidos, assim como suas implicações para procedimentos de avaliação de habilidades sociais em crianças.

Palavras-chave:
habilidades sociais; análise fatorial; validação de escalas; crianças

Abstract

The Social Skills Rating System is one of the most frequently cited measures in the literature to assess social skills of children, with quite satisfactory reliability and validity properties in several countries. The Brazilian version of the instrument was subjected to validation processes at two different times, using two methods of Factor Analysis: Principal Components (SSRS-BR, 2009) and Principal Axis Factoring (PAF) with subsequent Confirmatory Factor Analysis (SSRS-BR_2, 2015). The purpose of this article is to compare the psychometric indicators of the two Brazilian versions of these scales, presenting their differences and similarities in terms of: (a) extraction methods and data analysis, (b) psychometric indices of factor structure and reliability and (c) final factorial composition and content of the scales. Possible psychometric refinements arising from the SSRS-BR2 are discussed, as well as its implications for evaluation procedures of social skills in children.

Keywords:
social skills; factor analysis; validation of scales; children

Resumen

El Social Skills Rating System es una de las medidas más frecuentemente mencionada en la literatura internacional para evaluar las habilidades sociales de niños, presentando propiedades de validez y confiabilidad bastante satisfactorias en varios países. La versión brasileña del instrumento, Inventario de Habilidades Sociales, Problemas de Comportamiento y Competencia Académica fue sometida a procesos de validación en dos momentos diferentes, usando dos métodos de reducción de datos: Componentes Principales (SSRS BR, 2009) y Principal Axis Factoring (PAF) con posterior Análisis Factorial Confirmatorio (SSRS-BR2, 2015). El objetivo de este artículo fue comparar los indicadores psicométricos de dos versiones brasileñas de esas escalas, presentando las diferencias y semejanzas en términos de: (a) métodos de extracción y análisis de datos, (b) índices psicométricos de estructura factorial y confiabilidad y (c) composición factorial final y contenido de las escalas. Se discuten posibles mejoras psicométricas provenientes del SSRS-BR2, así como sus implicaciones en procedimientos de evaluación de habilidades sociales en niños.

Palabras clave:
habilidades sociales; análisis factorial; validación de escalas; niños

Os estudos do campo do Treinamento de Habilidades Sociais (THS) com a população infantil apresenta um crescimento exponencial de produção nos últimos anos (Gil-Rodríguez, Cantero-Sánchez & Antino, 2013; Matson & Wilkins, 2009; Bolsoni-Silva et al., 2006). O investimento em pesquisas de avaliação e de treinamento de habilidades sociais com crianças se justifica, principalmente, pelas associações positivas encontradas entre um repertório elaborado de habilidades sociais e diversos indicadores de funcionamento adaptativo, tais como: relações satisfatórias com pares e adultos (Del Prette & Del Prette, 2005a), bom desempenho acadêmico (Bandeira, Rocha, Pires, Del Prette, & Del Prette, 2006), status social positivo no grupo (Molina & Del Prette, 2007), menor frequência de problemas de comportamento internalizantes (caracterizados por ansiedade, depressão, isolamento social, etc.) (Rubin, Coplan, & Bowker, 2009) e externalizantes (que envolvem comportamento agressivo, opositor, coercitivo, dentre outros) (Sorlie, Hagen, & Ogden, 2008), dentre outros indicadores (Bierman, Torres, & Schofield, 2010). Soma-se a esses elementos, o fato de que um repertório elaborado de habilidades sociais consiste em uma variável preditora de trajetórias acadêmicas positivas das crianças, conforme apontam alguns estudos longitudinais (Caprara, Barbaranelli, Pastorelli, Bandura, & Zimbardo, 2000; DiPerna & Elliott, 1999; Malecki & Elliott, 2002).

De acordo com Del Prette e Del Prette (2005a), as habilidades sociais podem ser definidas como o conjunto dos comportamentos sociais do repertório de um indivíduo que favorecem um relacionamento saudável e produtivo com as demais pessoas. Ainda conforme Del Prette e Del Prette (2009), essas habilidades apresentam alta probabilidade de maximizar reforçadores e minimizar estimulação aversiva para o indivíduo. No mesmo sentido, Elliott e Gresham (2008) conceituam as habilidades sociais como classes de comportamento específicas que um indivíduo apresenta com o objetivo de completar uma determinada tarefa social. De acordo com esses autores, as habilidades sociais são comportamentos aprendidos que, portanto, podem ser ensinados, aprimorados e generalizados por meio de procedimentos baseados nos princípios básicos de aprendizagem.

Segundo Del Prette e Del Prette (2005a), as habilidades sociais são comportamentos requeridos para a competência social do indivíduo, definida como "a capacidade de articular pensamentos, sentimentos e ações em função de objetivos pessoais e de demandas da situação e da cultura, gerando consequências positivas para o indivíduo e para a sua relação com as demais pessoas" (pág. 33). O conceito de competência social tem um caráter avaliativo, relacionado com a funcionalidade do desempenho social, diferentemente do conceito de habilidades sociais, que é descritivo das diferentes classes de comportamentos sociais disponíveis no repertório do indivíduo (Del Prette & Del Prette, 2005a; 2010/2012).

A literatura aponta que as habilidades sociais relacionam-se positivamente à competência acadêmica (Caprara et al., 2000; Feitosa, Del Prette, & Del Prette, 2012) e negativamente ao repertório de problemas de comportamento de crianças (Elliott & Gresham, 2008; Sorlie et al., 2008). Os problemas de comportamento competem ou interferem com a aquisição e/ou desempenho das habilidades sociais, podendo ser classificados como padrões externalizantes e como padrões internalizantes (Elliott & Gresham, 2008). Por outro lado, os estudantes que apresentam no seu repertório habilidades de fazer perguntas, cooperar com pares, prestar atenção, dentre outras, têm maior probabilidade de um desempenho acadêmico satisfatório (Del Prette & Del Prette, 2005a; Del Prette, Del Prette, Oliveira, Gresham, & Vance, 2012).

No contexto brasileiro, existem alguns instrumentos de avaliação de habilidades sociais e competência social para crianças, construídos no país ou validados a partir de versões originais estrangeiras. Dentre os primeiros, podem ser citados o Inventário Multimídia de Habilidades Sociais para Crianças (IMHSC-Del-Prette - Del Prette & Del Prette, 2005b), o Questionário de Respostas Socialmente Habilidosas (QRSH - Bolsoni-Silva, Marturano, & Loureiro, 2009) e o Teste de Habilidades Sociais para Crianças (Bartholomeu, Silva, & Montiel, 2011). No conjunto dos instrumentos estrangeiros validados para o Brasil, encontram-se o Sistema de Avaliação de Habilidades Sociais (SSRS-BR - Bandeira, Del Prette, Del Prette, & Magalhães, 2009), a Lista de Comportamentos da Criança (CBCL - Bordin, Mari, & Caieiro, 1995) e a Escala de Comportamentos Sociais de Pré-Escolares (PBKS-BR - Dias, Freitas, Del Prette, & Del Prette, 2011).

Dentre os diversos instrumentos existentes para avaliar habilidades sociais de crianças, destaca-se o Social Skills Rating System (SSRS, de Gresham & Elliott, 1990). Trata-se de um instrumento norte-americano, que permite comparar o julgamento de três informantes (pais, professores e a própria criança) e obter indicadores de habilidades sociais, problemas de comportamento e competência acadêmica. O SSRS já foi traduzido e/ou submetido a estudos psicométricos em diversos países, como Alemanha (Hess et al., 2013), Eslováquia (Vasil'ová & Baumgartner, 2004), Irã (Shahim, 2004), Portugal (Mota, Matos, & Lemos, 2011), Noruega (Ogden, 2003), Holanda (Van der Oord et al., 2005) e Porto Rico (Jurado, Cumba-Avilés, Collazo, & Matos, 2006). De acordo com as revisões de Crowe, Beauchamp, Catroppa e Anderson (2011), Humpfrey et al. (2011) e Matson e Wilkins (2009), o SSRS é uma das medidas mais estudadas na literatura e mais frequentemente utilizadas para se avaliar habilidades sociais de crianças em idade escolar, apresentando propriedades de validade e confiabilidade bastante satisfatórias.

A versão brasileira do instrumento (SSRS-BR) foi submetida a processos de validação em dois momentos diferentes e encontra-se validada para crianças com desenvolvimento típico e com deficiência intelectual, apresentando indicadores psicométricos adequados de validade de construto, validade de critério com base em grupos contrastantes, validade preditiva, validade experimental, correlação com outros construtos psicológicos, consistência interna e estabilidade temporal (Bandeira et al., 2009; Freitas & Del Prette, 2010a; 2010b; Del Prette, Freitas, Bandeira, & Del Prette, 2014). Mais recentemente, essa versão brasileira foi alvo de novos estudos psicométricos que geraram a versão SSRS-BR₂, intitulada Inventário de Habilidades Sociais, Problemas de Comportamento e Competência Acadêmica.

O objetivo deste artigo foi comparar teoricamente, a partir de dois estudos já publicados, os indicadores psicométricos das duas versões brasileiras do Social Skills Rating System (SSRS-BR e SSRS-BR₂), cujas evidências de validade de construto foram obtidas por diferentes métodos de redução de dados: Componentes Principais (SSRS-BR) e Principal Axis Factoring, com posterior Análise Fatorial Confirmatória (SSRS-BR₂). Especificamente, buscou-se: (1) discutir teoricamente os dois processos de validação de construto das escalas; (2) apresentar e analisar as diferenças e semelhanças entre as duas versões em termos de: (a) métodos de extração e de análise de dados; (b) índices psicométricos de estrutura fatorial (número de fatores e de itens retidos, variância explicada, cargas fatoriais obtidas) e de confiabilidade e (c) composição fatorial final e conteúdo das escalas. Serão detalhadamente discutidos os possíveis avanços e refinamentos psicométricos advindos do SSRS-BR₂, bem como as implicações da nova versão do instrumento para procedimentos de avaliação de habilidades sociais em crianças.

SSRS-BR e SSRS-BR₂ : Dois Momentos de Validação

A primeira versão brasileira das escalas do SSRS-BR foi obtida por meio da Análise de Componentes Principais, na qual foram constatadas diferenças no número de componentes, em comparação com a escala original, provavelmente relacionadas ao tamanho da amostra e a variáveis culturais (Bandeira et al., 2009). Na escala de habilidades sociais, obteve-se uma estrutura de seis componentes para os formulários dos pais (Cooperação, Amabilidade, Iniciativa/Desenvoltura Social, Asserção, Autocontrole/Civilidade e Autocontrole Passivo) e dos estudantes (Responsabilidade, Empatia, Assertividade, Autocontrole, Evitação de Problemas e Expressão de Sentimento Positivo) e cinco componentes para o formulário de avaliação pelos professores (Responsabilidade/Cooperação, Asserção Positiva, Autocontrole, Autodefesa e Cooperação com Pares). Para a escala de problemas de comportamento, foram encontrados três componentes para o formulário de pais (Hiperatividade, Problemas Externalizantes e Problemas Internalizantes) e dois componentes para o formulário dos professores (Problemas Externalizantes e Problemas Internalizantes), enquanto para a escala de competência acadêmica, segundo a avaliação dos professores, foi encontrado um único componente (Bandeira et al., 2009).

A primeira validação do SSRS-BR contribuiu para a realização de estudos de avaliação multimodal do repertório social de diferentes grupos de crianças brasileiras, incluindo crianças com deficiência intelectual (Rosin-Pinola, Del Prette, & Del Prette, 2007), deficiência visual (Ferreira, Del Prette, & Lopes, 2009), deficiência auditiva (Souza, 2008), autismo (Santos, 2011) dificuldades de aprendizagem e problemas de comportamento (Barreto, Freitas, & Del Prette, 2011), dentre outras populações (Freitas & Del Prette, 2013). O instrumento foi utilizado ainda em estudos de avaliação da efetividade de intervenções em habilidades sociais realizadas com pais de crianças com TDAH (Rocha, Del Prette, & Del Prette, 2013) e com deficiência visual (Freitas, 2005), bem como em intervenções envolvendo o treinamento direto com as próprias crianças em contexto escolar (Lopes, Del Prette, & Del Prette, 2013).

Em se tratando especificamente das propriedades psicométricas da primeira versão do SSRS-BR, Freitas e Del Prette (2015) apontaram uma lacuna nos estudos já realizados com relação à validade de construto das escalas. O estudo inicial de validação de construto (Bandeira et al., 2009), apesar de ter produzido resultados satisfatórios quanto à porcentagem de variância explicada das escalas (variando de 40% a 62%) e itens com cargas fatoriais adequadas (maiores que 0,40), usou a Análise de Componentes Principais que, segundo alguns autores, pode não ser o método mais recomendável para a validação de construto de instrumentos psicológicos (Pérez & Medrano, 2010; Reise, Waller, & Comrey, 2000; Tabachnick & Fidell, 2007).

De acordo com Tabachnick e Fidell (2007), a Análise de Componentes Principais é um método de extração que permite reduzir um grande número de variáveis a um número menor de componentes. Esse método produz uma maior quantidade de variância explicada nos dados observados (variância total), porque inclui a variância comum (ou comunalidade), a variância específica e a variância de erro (Pérez & Medrano, 2010). Reise, Waller e Comrey (2000) argumentam que, em alguns casos, a Análise de Componentes Principais pode superestimar o peso das cargas fatoriais e das correlações, inflando os valores da matriz de componentes e produzindo dados viesados.

Uma abordagem alternativa à Análise de Componentes Principais é a Análise Fatorial Exploratória, com seus vários métodos, por exemplo, o de Análise de Eixos Principais (Principal Axis Factoring), cuja ênfase recai sobre a covariância ou comunalidade das variáveis (Tabachnick & Fidell, 2007). Nesse método, somente a variância que cada variável observada compartilha com as outras é disponibilizada na análise, sendo excluídas a variância específica e a variância de erro (Tabachnick & Fidell, 2007). De acordo com Reise et al. (2000), na Análise Fatorial Exploratória, os fatores podem ser considerados como as "causas" hipotéticas das correlações entre as variáveis e não apenas como um resumo delas, como acontece na Análise de Componentes Principais. Por isso mesmo, o uso desse método inviabilizaria a análise fatorial confirmatória para novas amostras, um processo reconhecidamente importante de validação dos testes psicológicos (Marôco, 2010).

Tendo em vista suas vantagens sobre a Análise de Componentes Principais, entendeu-se que a aplicação da Análise Fatorial Exploratória nas escalas do SSRS-BR poderia gerar aperfeiçoamento na estrutura fatorial inicialmente obtida, contribuindo para o refinamento de sua validade de construto, caso apresentasse melhores indicadores psicométricos e melhor representatividade do construto avaliado. Além disso, poderia viabilizar a Análise Fatorial Confirmatória que, de acordo com Pilati e Laros (2007), deve estar baseada em teorização sólida e com validade empírica demonstrada em estudos anteriores, por exemplo, na identificação prévia dos fatores que compõem o instrumento.

Considerando essas eventuais vantagens, o estudo de Freitas e Del Prette (2015) realizou novas testagens psicométricas de validade de construto das escalas do SSRS-BR, com base em uma amostra ampliada de participantes, constituída por 1012 avaliações de crianças, 991 avaliações de professores e 638 avaliações de pais, provenientes de quatro estados brasileiros. Procederam-se, então, à verificação e à exclusão de casos atípicos (outliers), por meio de análises univariadas (escore z padronizado) e multivariadas (Teste de Distância de Mahalanobis). Foram excluídas, ainda, crianças com menos de seis e mais de 13 anos de idade e seus respectivos informantes. Após esse processo, o banco de dados final ficou constituído por 942 avaliações de crianças, 817 avaliações de professores e 562 avaliações de pais.

Essa amostra total foi dividida, aleatoriamente, em duas metades equivalentes, mantendo-se o balanceamento das variáveis idade e sexo, por meio da análise de tabelas de contingência (Crosstabs). Na primeira metade dos dados, foi realizada a Análise Fatorial Exploratória por meio do método Principal Axis Factoring (PAF), a fim de se verificar a estrutura fatorial das escalas. Após essa etapa, foram realizadas Análises Fatoriais Confirmatórias na segunda metade dos dados. O resultado final do estudo de Freitas e Del Prette (2015) gerou uma composição fatorial diferente em comparação ao estudo de Bandeira et al. (2009) com relação ao número de fatores, interpretabilidade de cada fator e índices estatísticos de variância explicada, carga fatorial e consistência interna. Essa nova versão das escalas foi denominada de Inventário de Habilidades Sociais, Problemas de Comportamento e Competência Acadêmica (SSRS-BR₂).

Comparação entre os Métodos de Análise de Dados Utilizados

A Tabela 1 apresenta a descrição dos métodos de extração e de rotação utilizados nas análises fatoriais dos dois estudos de validação com o SSRS-BR.

Tabela 1
Métodos de Análise de Redução de Dados Utilizados na Validação do SSRS-BR e SSRS-BR₂, em Termos de Tipo de Análise, Tamanho das Amostras, Métodos de Extração e Métodos de Rotação

			SSRS-BR (2009)	SSRS-BR2 (2015)
Análise Fatorial Explanatória	Tamanho das amostras*	estudantes = 416	estudantes = 469
		pais = 312	pais = 290
		professores = 416	professores = 424
	Método de extração	componentes principais	Principal Axis Factoring
	Método de rotação	Varimax	Promax
Análise Fatorial Confirmatória	Tamanho das amostras*	-	estudantes = 473
			pais = 272
			professores = 393
Método de extração	-	Máxima Verossimilhança

• * Tamanho das amostras = número de crianças avaliadas por cada tipo de informante (estudantes, pais e professores).

Nota-se que, no estudo de Bandeira et al. (2009), foi realizada somente a análise de componentes principais com rotação Varimax. O estudo de Freitas e Del Prette (2015) realizou a análise fatorial exploratória, com método Principal Axis Factoring (PAF), em um subconjunto de dados, e posteriormente, a análise fatorial exploratória confirmatória, com método de Máxima Verossimilhança, em outro conjunto de dados.

A utilização do método PAF no estudo do SSRS-BR₂ permitiu extrair uma solução que pode ser mais adequadamente denominada de estrutura fatorial, diferentemente da análise de componentes principais, que é entendida basicamente como uma técnica de redução de dados (Damásio, 2012; Tabachnick & Fidell, 2007). Além disso, o ajustamento dessa estrutura fatorial a outro subconjunto de dados via análise fatorial confirmatória, representa um forte indício de adequação da estrutura fatorial encontrada (Marôco, 2010).

Comparação quanto aos Índices de Validade e Confiabilidade

A Tabela 2 apresenta a comparação entre os índices psicométricos de validade e confiabilidade das duas versões do SSRS-BR, obtidos por meio da análise fatorial exploratória e do coeficiente alfa de Cronbach.

Pode-se observar que a segunda versão das escalas (SSRS-BR₂) apresentou-se, de modo geral, com número mais reduzido de fatores e itens em comparação ao estudo de Bandeira et al. (2009). Devido à maior exigência estatística do método PAF com relação à carga fatorial (Damásio, 2012), vários itens foram excluídos nas escalas de habilidades sociais e problemas de comportamento para estudantes (13 itens), pais (14 itens) e professores (6 itens), por apresentaram baixos coeficientes de saturação ou carga fatorial em mais de um fator. Somente na escala de competência acadêmica nenhum item foi excluído (Freitas & Del Prette, 2015).

Tabela 2
Principais Índices Psicométricos de Validade e Confiabilidade das Duas Versões do SSRS

				Professores			Pais		Estudantes
Indicadores	Versão	HS	PC	CA	HS	PC	HS
Número de Fatores	SSRS-BR	5	2	1	6	3	6
	SSRS-BR2	4	3	1	5	2	4
Número de Itens	SSRS-BR	30	18	9	37	17	27
	SSRS-BR2	25	17	9	25	16	21
Variância Explicada	SSRS-BR	62,03%	55,79%	88,60%	41,45%	45,55%	41,65%
	SSRS-BR2	61,46%	62,02%	89,28%	49,61%	42,45%	36,96%
Cargas Fatoriais	SSRS-BR	0,39-0,83	0,46-0,84	-	0,33-0,74	0,44-0,69	0,34-0,73
	SSRS-BR2	0,31-0,90	0,40-0,98	0,82-0,97	0,33-0,74	0,35-0,75	0,30-0,61
Confiabilidade (α) Global	SSRS-BR	0,94	0,91	0,98	0,86	0,83	0,78
	SSRS-BR2	0,92	0,89	0,98	0,85	0,84	0,73
Confiabilidade (α) Subescalas	SSRS-BR	0,73-0,92	0,74-0,93	-	0,59-0,79	0,60-0,75	0,46-0,62
SSRS-BR2	0,82-0,91	0,79-0,89	-	0,58-0,75	0,66-0,85	0,41-0,63

As estruturas fatoriais obtidas para o SSRS-BR₂ foram constituídas por um menor número de fatores nas escalas de habilidades sociais, comparando-se com o estudo de Bandeira et al. (2009). Houve a redução de um fator em cada uma das versões: para pais, professores e estudantes. Na escala de Problemas de Comportamento, observou-se a diminuição de um fator na versão para pais e o acréscimo de um fator na versão para professores. Na escala de competência acadêmica, não houve qualquer alteração em termos de composição fatorial. Ressalta-se que, em outras pesquisas transculturais de validação das escalas do SSRS-BR, também foram encontradas composições fatoriais diferentes das originais, como, por exemplo, nos estudos recentes com a escala para estudantes em Portugal (Mota et al., 2011) e com a escala para pais de pré-escolares na Alemanha (Hess et al., 2013). Essas diferenças provavelmente se devem, em grande parte, à natureza situacional-cultural das habilidades sociais.

O caráter situacional-cultural do construto avaliado pode ser entendido como um alicerce indispensável na construção, validação e interpretação de medidas psicológicas nesse campo, uma vez que um comportamento pode ser considerado socialmente habilidoso em um contexto, mas não em outro. Portanto, a avaliação das habilidades sociais e de alguns construtos a elas relacionados, como o de problemas de comportamento, depende, em grande parte, de variáveis do contexto sociocultural no qual o comportamento social ocorre. Del Prette et al. (2004) argumentam que, mesmo dentro de uma cultura específica, podem existir subculturas regionais que influenciam de forma diferenciada o desempenho social e as relações interpessoais dos indivíduos que delas participam. Nesse sentido, o impacto dessas diferenças nos critérios utilizados para se avaliar as habilidades sociais não deve ser desconsiderado.

As novas estruturas fatoriais obtidas para o SSRS-BR₂ apresentam-se como mais parcimoniosas e reduzidas que as anteriores, mas ainda assim com altos índices referentes à variância explicada (de pelo menos 0,40), à carga fatorial (acima de 0,30 e com valores máximos mais elevados em comparação com a primeira versão) e à confiabilidade (acima de 0,70 para todas as escalas globais). Apenas para a escala de habilidades sociais na versão para estudantes, a porcentagem de variância explicada apresentou-se abaixo do mínimo esperado (36,96%). Esse resultado mais modesto observado na escala para estudantes reproduz o padrão obtido nos estudos de validação anteriores (Gresham & Elliott, 1990; Bandeira et al., 2009) e está provavelmente relacionado a vieses associados à autoavaliação de habilidades sociais por crianças, frequentemente relatados na literatura (Barreto et al., 2011; Freitas & Del Prette, 2010c; Gresham, Elliott, Cook, Vance, & Kettler, 2010).

Com relação à confiabilidade, observa-se que os valores de alfa de Cronbach da maioria das escalas globais e subescalas do SSRS-BR₂ apresentaram-se, de modo geral, como ligeiramente inferiores em comparação ao estudo de validação anterior (em média, 0,2 ponto menor). Esse resultado pode ser explicado, principalmente, pela composição mais reduzida em termos de número de itens do SSRS-BR₂. O cálculo do alfa de Cronbach depende, fundamentalmente, das correlações entre os itens e do número de itens que compõem cada escala ou um fator, sendo que escalas com poucos itens tendem a apresentar valores menores de alfa (Damásio, 2012).

Composição Final das Subescalas/Fatores

A Tabela 3 apresenta a denominação das subescalas/fatores de habilidades sociais e problemas de comportamento para as duas versões (SSRS-BR e SSRS-BR₂), com base no conteúdo dos itens.

Tabela 3
Denominação das Subescalas/Fatores de Habilidades Sociais e Problemas de Comportamento para as Duas Versões do SSRS, com Base no Conteúdo dos Itens

Formulários		SSRS-BR	SSRS-BR2
Professores	Habilidades Sociais	1-Responsabilidade/cooperação;	1-Responsabilidade;
		2-Asseração positiva;	2-Autocontrole
		3-Autocontrole;	3-Assertividade/desevoltura social;
		4-Autodefesa;	4-Cooperação/afetividade;
		5-Cooperação com pares.
	Problemas de Comportamento	1-Problemas externalizantes;	1-Problemas externalizantes;
		2-Problemas internalizantes;	2-Hiperatividade;
			3-Problemas internalizantes.
	Competência Acadêmica	Unidimensional	Unidimensional
Pais	Habilidades Sociais	1-Cooperação;	1-Responsabilidade;
		2-Amabilidade;	2-Autocontrole;
		3-Iniciativa/civilidade;	3-Afetividade/cooperação;
		4-Asserção;	4-Desenvoltura social;
		2-Autocontrole/civilidade;	5-Civilidade.
		6-Autocontrole passivo.
	Problemas de Comportamento	1-Hiperatividade;	1-Problemas externalizantes;
		2-Problemas externalizantes;	2-Problemas internalizantes.
		3-Problemas internalizantes.
Estudantes	Habilidades Sociais	1-Responsabilidade;	1-Empatia/afetividade;
		2-Empatia	2-Responsabilidade;
		3-Assertividade;	3-Autocontrole/civilidade;
		4-Autocontrole;	4-Assertividade.
		5-Evitação de problemas;
6-Expressão de sentimento positivo.

Especialmente com relação ao conteúdo das subescalas de habilidades sociais, observa-se a inversão da ordem de alguns fatores na composição do SSRS-BR₂ devido às cargas fatoriais mais elevadas de itens que, no primeiro estudo de validação, possuíam cargas mais baixas. Para as subescalas de problemas de comportamentos, nota-se que na versão do SSRS-BR₂ a subescala Hiperatividade, que anteriormente era encontrada apenas na escala para pais, não foi mais obtida na análise fatorial realizada com os dados desses informantes, porém emergiu na análise realizada com a escala para professores. Uma possível explicação para esse resultado seria uma maior acurácia dos professores da amostra ampliada em diferenciar indicadores de hiperatividade daqueles relacionados aos problemas externalizantes.

Outro aspecto que deve ser ressaltado na composição das subescalas do SSRS-BR₂ foi a geração de versões mais facilmente comparáveis na avaliação por diferentes informantes. O conteúdo dos itens e as denominações das subescalas do SSRS-BR₂ apresentam maiores sobreposições e equivalências nos formulários para professores, pais e estudantes. Essa característica da nova versão das escalas pode ter importantes implicações para a avaliação multimodal das habilidades sociais de crianças, uma vez que permite a comparação de diferentes avaliadores sobre aspectos similares do repertório social. Na versão brasileira anterior, as composições das subescalas eram mais heterogêneas e seus conteúdos eram mais discrepantes, quando comparadas as versões dos diferentes avaliadores.

Para além de fatores psicométricos, deve-se considerar, ainda, o caráter situacional-cultural do construto Habilidades sociais, que se expressa na composição das subescalas/fatores das duas versões. Tendo em vista que o segundo estudo de validação foi realizado com uma amostra ampliada e mais diversificada em termos geográficos e sociodemográficos, o impacto dessas diferenças nos critérios utilizados para se avaliar as habilidades sociais não pode ser desconsiderado.

Considerações Finais

Por meio da comparação entre os processos e métodos de validação de construto das escalas do SSRS em dois momentos distintos, nota-se que a versão mais recente, SSRS-BR₂ representa um refinamento das propriedades psicométricas das escalas, sob quatro aspectos principais: (a) obtenção de soluções fatoriais, pelo método PAF, que podem ser mais apropriadamente denominadas de estruturas fatoriais, (b) ajustamento das estruturas fatoriais encontradas em um novo conjunto de dados, por meio da análise fatorial confirmatória, após a introdução de algumas re-especificações, (c) obtenção de escalas mais parcimoniosas em termos de número de fatores, número de itens e ausência de itens repetidos em mais de um fator, facilitando a aplicação e a análise dos resultados e (d) maior equivalência de conteúdo entre os formulários para professores, pais e estudantes, favorecendo a comparação entre diferentes avaliadores (Freitas & Del Prette, 2015).

Somados a outras evidências de validade e confiabilidade verificadas anteriormente (Bandeira et al., 2009; Freitas & Del Prette, 2010a; 2010b), os dados disponibilizados pelo segundo processo de validação, em fase de publicação em forma de um manual para aplicação, apuração e interpretação dos resultados (Del Prette et al., 2014) ampliam os bons índices psicométricos SSRS-BR e permitem sua disponibilização para a avaliação de habilidades sociais e construtos relacionados em diferentes populações de crianças brasileiras.

O impacto e a importância da validação e disponibilização da primeira versão das escalas no contexto brasileiro podem ser aferidos pela quantidade de estudos nacionais concluídos até o presente momento: em torno de 50 trabalhos, dentre artigos, dissertações e teses (ver levantamento em Del Prette et al., 2014). Salienta-se a necessidade da realização de novos estudos com a versão atualizada, SSRS-BR₂, a fim de se reforçarem as boas propriedades psicométricas já constatadas, o que poderia incluir a reanálise de dados anteriormente processados com a estrutura inicial do SSRS-BR. Além disso, a disponibilização do instrumento no contexto brasileiro introduz questões relevantes a serem investigadas por estudos futuros com relação à validade consequencial da medida, ou seja, as implicações sociais decorrentes da interpretação dos resultados do instrumento como base para a ação ou para a tomada de decisões (Messick,1996).

Referências

• Bandeira, M., Del Prette, Z. A. P., Del Prette, A., & Magalhães, T. (2009). Validação das escalas de habilidades sociais, comportamentos problemáticos e competência acadêmica (SSRS-BR) no ensino fundamental. Psicologia: Teoria e Pesquisa, 25(2), 271-282. Recuperado de http://www.scielo.br/pdf/ptp/v25n2/a16v25n2.pdf
  » http://www.scielo.br/pdf/ptp/v25n2/a16v25n2.pdf
• Bandeira, M., Rocha, S. S., Pires, L. G., Prette, Z. A. P., & Prette, A. (2006). Competência acadêmica de crianças do ensino fundamental: Características sociodemográficas e relação com habilidades sociais. Interação, 10(1), 53-62. Recuperado de http://ojs.c3sl.ufpr.br/ojs/index.php/psicologia/article/view/5773/4209
  » http://ojs.c3sl.ufpr.br/ojs/index.php/psicologia/article/view/5773/4209
• Barreto, S. O., Freitas, L. C. & Del Prette, Z. A. P. (2011). Habilidades sociais na comorbidade entre dificuldades de aprendizagem e problemas de comportamento: Uma avaliação multimodal. Psico, PUC-RS, 42(4), 503-510. Recuperado de http://bdtd.ibict.br/vufind/Record/SCAR_7d70437ef779f602d8c4fb2a4eaf7686
  » http://bdtd.ibict.br/vufind/Record/SCAR_7d70437ef779f602d8c4fb2a4eaf7686
• Bartholomeu, D., Silva, M. C. R. & Montiel, J. M. (2011). Teste de habilidades sociais para crianças: Evidências psicométricas de uma versão inicial. Psico-USF, 16(1), 33-43. doi:1590/S1413-82712011000100005
• Bierman, K. L., Torres, M. M., & Schofield, H. L. T. (2010). Developmental factor related to the assessment of social skills. Em D. W. Nangle, D. J. Hansen, C. A. Erdley & P. J. Norton (Eds.), Practioner's guide to empirically-based measures of social skills (pp.119-134). New York: Springer.
• Bolsoni-Silva, A. T., Del Prette, Z. A. P., Del Prette, G., Montanher, A. R. P., Bandeira, M., & Del Prette, A. (2006). A área das habilidades sociais no Brasil: Uma análise dos estudos publicados em periódicos. Em Bandeira, M., Del Prette, Z. A. P. & Del Prette, A. (Eds.). Estudos sobre habilidades sociais e relacionamento interpessoal (pp. 17-45). São Paulo: Casa do Psicólogo.
• Bolsoni-Silva, A. T., Marturano, E. M., & Loureiro, S. R. (2009). Construction and validation of the Brazilian questionário de respostas socialmente habilidosas segundo relato de professores (QRSH-PR). Spanish Journal of Psychology, 12, 349-359. Recuperado de http://www.producao.usp.br/handle/BDPI/24655
  » http://www.producao.usp.br/handle/BDPI/24655
• Bordin, I. A. S., Mari, J. J., & Caiero, M. (1995). Validação da versão brasileira do Child Behavior Checklist (CBCL). Inventário de comportamentos da infância e adolescência: Dados preliminares. Revista ABP-APAL, 17(2), 55-66.
• Caprara, V. G., Barbaranelli, C., Pastorelli, C., Bandura, A., & Zimbardo, P. G. (2000). Prosocial foundations of children's academic achievement. Psychological Science, 11(4), 302-306. Recuperado de http://www.ncbi.nlm.nih.gov/pubmed/11273389
  » http://www.ncbi.nlm.nih.gov/pubmed/11273389
• Crowe, L. M., Beauchamp, M. H., Catroppa, C., Anderson, V. (2011). Social function assessment tools for children and adolescents: A systematic review 1989-2011. Journal of Neurotrauma, 29, 1277-1291. doi: 10.1089/neu.2011.2144
  » https://doi.org/10.1089/neu.2011.2144
• Damásio, B. F. (2012). Uso da análise fatorial exploratória em psicologia. Avaliação Psicológica, 11(2), 213-228. Recuperado de http://pepsic.bvsalud.org/pdf/avp/v11n2/v11n2a07.pdf
  » http://pepsic.bvsalud.org/pdf/avp/v11n2/v11n2a07.pdf
• Del Prette, Z. A. P., & Del Prette, A. (2005a) Psicologia das habilidades sociais na infância: Teoria e prática. Petrópolis: Vozes.
• Del Prette, Z. A. P., & Del Prette, A. (2005b). Sistema multimídia de habilidades sociais para crianças: Manual de aplicação, apuração e interpretação. São Paulo: Casa do Psicólogo.
• Del Prette, Z. A. P., & Del Prette, A. (2009). Avaliação de habilidades sociais: Bases conceituais, instrumentos e procedimentos. Em Del Prette, Z. A. P. & Del Prette, A. (Eds.) Psicologia das habilidades sociais: Diversidade teórica e suas implicações (pp. 189-231). Petrópolis: Vozes.
• Del Prette, Z. A. P., Del Prette, A., Barreto, M. C., Bandeira, M., Rios-Saldaña, M. R., Ulian, A. L. A. O., Gerk-Carneiro, E., Falcone, E. M. O., & Villa, M. B. (2004). Habilidades sociais de estudantes de psicologia: Um estudo multicêntrico. Psicologia: Reflexão e Crítica, 17(3), 341-350. Recuperado de http://www.scielo.br/pdf/prc/v17n3/a07v17n3.pdf
  » http://www.scielo.br/pdf/prc/v17n3/a07v17n3.pdf
• Del Prette, Z. A. P., & Del Prette, A. (2010/2012). Social skills and behavior analysis: Historical proximity and new issues. Perspectivas em Análise do Comportamento, 1(2), 104-115 (English version of a portuguese paper, originally published in 2010). Recuperado de http://www.rihs.ufscar.br/wp-content/uploads/2015/10/Social-skills-and-behavior-analysis-Historical-proximity-and-new-issues.pdf
  » http://www.rihs.ufscar.br/wp-content/uploads/2015/10/Social-skills-and-behavior-analysis-Historical-proximity-and-new-issues.pdf
• Del Prette, Z. A. P., Del Prette, A., Oliveira, L. A., Gresham, F. M., & Vance, M. J. (2012). Role of social performance in predicting learning problems: Prediction of risk using logistic regression analysis. School Psychology International Journal, 2, 1-16. doi: 10.1177/0020715211430373
  » https://doi.org/10.1177/0020715211430373
• Del Prette, Z. A. P., Freitas, L. C., Bandeira, M., & Del Prette, A. (2014). Inventário de habilidades sociais, problemas de comportamento e competência acadêmica para crianças (SSRS-BR2): Manual de aplicação, apuração e interpretação. Manuscrito encaminhado para publicação.
• Dias, T. P., Freitas, L. C., Del Prette, Z. A. P., & Del Prette, A. (2011). Validação da escala de comportamentos sociais de pré-escolares para o Brasil. Psicologia em estudo, 16(3), 447-457. Recuperado de http://www.redalyc.org/articulo.oa?id=287122139011
  » http://www.redalyc.org/articulo.oa?id=287122139011
• DiPerna, J.C., & Elliott, S. N. (1999). The development and validation of the academic competence evaluation scale. Journal of Psychoeducational Assessment, 17, 207-225. doi: 10.1177/073428299901700302
  » https://doi.org/10.1177/073428299901700302
• Elliott, S. N., & Gresham, F. M. (2008). Social skills intervention guide. Bloomington: Pearson Assessments.
• Feitosa, F. B., Del Prette, Z. A. P., & Del Prette, A. (2012). Social skills and academic achievement: The mediating function of cognitive competence. Temas em Psicologia, 20(1), 61-70. Recuperado de http://pepsic.bvsalud.org/pdf/tp/v20n1/v20n1a06.pdf
  » http://pepsic.bvsalud.org/pdf/tp/v20n1/v20n1a06.pdf
• Ferreira, B. C., Del Prette, Z. A. P., & Lopes, D. C. (2009). Habilidades empáticas de crianças videntes e cegas e a possível influência de variáveis sociodemográficas. Interação em Psicologia, 13(1), 49-58. Recuperado de http://ojs.c3sl.ufpr.br/ojs/index.php/psicologia/article/viewFile/11745/10485
  » http://ojs.c3sl.ufpr.br/ojs/index.php/psicologia/article/viewFile/11745/10485
• Freitas, L. C., & Del Prette, Z. A. P. (2010a). Validade de critério do sistema de avaliação de habilidades sociais (SSRS-BR). Psicologia: Reflexão e Crítica, 23(3), 430-439. doi:10.1590/S0102-79722010000300003
  » https://doi.org/10.1590/S0102-79722010000300003
• Freitas, L. C., & Del Prette, Z. A. P. (2010b). Validade de construto do sistema de avaliação de habilidades sociais para crianças brasileiras com deficiência intelectual. Interamerican Journal of Psychology, 44(2), 312-320. Recuperado de http://www.redalyc.org/articulo.oa?id=28420641012
  » http://www.redalyc.org/articulo.oa?id=28420641012
• Freitas, L. C., & Del Prette, Z. A. P. (2010c). Comparando autoavaliação e avaliação de professores sobre as habilidades sociais de crianças com deficiência mental. Interpersona, 4(2), 183-193. Recuperado de http://interpersona.psychopen.eu/article/view/48
  » http://interpersona.psychopen.eu/article/view/48
• Freitas, L. C., & Del Prette, Z. A. P. (2013). Habilidades sociais de crianças com diferentes necessidades educacionais especiais: Avaliação e implicações para intervenção. Avances en Psicología Latinoamericana, 31(2), 344-362. Recuperado de http://www.redalyc.org/articulo.oa?id=79928611004
  » http://www.redalyc.org/articulo.oa?id=79928611004
• Freitas, L. C., & Del Prette, Z. A. P. (2015). Social skills rating system - Brazilian version: New exploratory and confirmatory factorial analyses. Avances en Psicología Latinoamericana/Bogotá (Colombia), 33(1), 135-156. doi: 10.12804/apl33.01.2015.10
  » https://doi.org/10.12804/apl33.01.2015.10
• Freitas, M. G. (2005). Desenvolvimento e avaliação de um programa de habilidades sociais com mães de crianças deficientes visuais (Tese de doutorado). Programa de Pós-Graduação em Educação Especial, Universidade Federal de São Carlos. São Carlos, SP.
• Gil-Rodríguez, F., Cantero-Sánchez, F. J., & Antino, M. (2013). Tendencias actuales en el âmbito de las habilidades sociales. Apuntes de Psicología, 31(1), 51-57. Recuperado de http://www.apuntesdepsicologia.es/index.php/revista/article/viewFile/306/286
  » http://www.apuntesdepsicologia.es/index.php/revista/article/viewFile/306/286
• Gresham, F. M., & Elliott, S. N. (1990). Social skills rating system: Manual. Circle Pines, MN: American Guidance Service.
• Gresham, F. M., Elliott, S. N., Cook, C. R., Vance, M. J., & Kettler, R. J. (2010). Cross-informant agreement for social and problem behavior ratings: An investigation of the Social Skills Improvement System Rating Scales. Psychological Assessment, 22(1), 157-166. doi: 10.1037/a0018124.
  » https://doi.org/10.1037/a0018124.
• Hess, M., Scheithauer, H., Kleiber, D., Wille, N., Erhart, M., & Ravens-Sieberer, U. (2013). The parent version of the preschool social skills rating system: Psychometric analysis and adaptation with a German preschool sample. Journal of Psychoeducational Assessment, ahead of print.
• Humphrey, N., Kalambouka, A., Wigelsworth, M., Lendrum, A., Deighton, J., & Wolpert, M. (2011). Measures of social and emotional skills for children and young people: A systematic review, Educational and Psychological Measurement, 71(4), 617-637. doi: 10.1177/0013164410382896
  » https://doi.org/10.1177/0013164410382896
• Jurado, M., Cumba-Avilé, E., Collazo, L. C., & Matos, M. (2006). Reliability and validity of a spanish version of the social skills rating system - teacher form. Journal of Psychoeducational Assessment, 24, 195-209. doi: 10.1177/0734282906288961
  » https://doi.org/10.1177/0734282906288961
• Lopes, D. C., Del Prette, Z. A. P., & Del Prette, A. (2013). Recursos multimídia na promoção de habilidades sociais de crianças com baixo rendimento acadêmico. Psicologia: Reflexão e Crítica, 26(3), no prelo.
• Malecki, C. K., & Elliott, S. N. (2002). Children's social behaviors as predictors of academic achievement: A longitudinal analysis. School Psychology Quarterly, 17(1), 1-23. Recuperado de http://psycnet.apa.org/index.cfm?fa=buy.optionToBuy&id=2002-12261-001
  » http://psycnet.apa.org/index.cfm?fa=buy.optionToBuy&id=2002-12261-001
• Maroco, J. (2010). Análise de equações estruturais: Fundamentos teóricos, software e aplicações. Lisboa: Report Number.
• Matson, J. L., & Wilkins, J. (2009). Psychometric testing methods for children's social skills. Research in Developmental Disabilities, 30(2), 249-274. doi:10.1016/j.ridd.2008.04.002
  » https://doi.org/10.1016/j.ridd.2008.04.002
• Messick, S. (1996). Validity and washback in language testing. Language Testing. 13(3): 241-256. doi: 10.1177/026553229601300302
  » https://doi.org/10.1177/026553229601300302
• Molina, R. C. M. M., & Del Prette, A. (2007). Mudança no status sociométrico negativo de alunos com dificuldades de aprendizagem. Psicologia Escolar e Educacional, 11(2), 299-310. doi: 10.1590/S1413-85572007000200009
  » https://doi.org/10.1590/S1413-85572007000200009
• Mota, C.P., Matos, P.M., & Lemos, M.S. (2011). Psychometric properties of the social skills questionnaire: Portuguese adaptation of the student form (grades 7 to 12). The Spanish Journal of Psychology, 14(1) 486-499. Recuperado de http://www.ncbi.nlm.nih.gov/pubmed/21568204
  » http://www.ncbi.nlm.nih.gov/pubmed/21568204
• Ogden, T. (2003). The validity of teacher ratings of adolescents`social skills. Scandinavian Journal of Educational Research, 47, 63-75. doi: 10.1080/00313830308605
  » https://doi.org/10.1080/00313830308605
• Pérez, E. R., & Medrano, L. (2010). Análisis factorial exploratorio: Bases conceptuales y metodológicas. Revista Argentina de Ciencias del Comportamiento, 2(1), 58-66. Recuperado de http://www.redalyc.org/articulo.oa?id=333427068006
  » http://www.redalyc.org/articulo.oa?id=333427068006
• Pilati, R., & Laros, J. A. (2007). Modelos de equações estruturais em psicologia: Conceitos e aplicações. Psicologia: Teoria e Pesquisa, 23(2), 205-216. doi: 10.1590/S0102-37722007000200011
  » https://doi.org/10.1590/S0102-37722007000200011
• Reise, S. P., Waller, N. G., & Comrey, A. L. (2000). Factor analysis and scale revision. Psychological Assessment, 12(3), 287-297. Recuperado de http://www.ncbi.nlm.nih.gov/pubmed/11021152
  » http://www.ncbi.nlm.nih.gov/pubmed/11021152
• Rocha, M. M., Del Prette, Z. A.P., & Del Prette, A. (2013). Avaliação de um programa de habilidades sociais educativas para mães de crianças com TDAH. Acta Comportamentalia, 21(3), 359-375. Recuperado de http://www.redalyc.org/articulo.oa?id=274528346006
  » http://www.redalyc.org/articulo.oa?id=274528346006
• Rosin-Pinola, A. R., Del Prette, Z. A. P., & Del Prette, A. (2007). Habilidades sociais e problemas de comportamento de alunos com deficiência mental, alto e baixo desempenho acadêmico. Revista Brasileira de Educação Especial, 13(2), 239-256. doi: 10.1590/S1413-65382007000200007.
  » https://doi.org/10.1590/S1413-65382007000200007
• Rubin, K. H., Coplan, R. J., & Bowker, J. C. (2009). Social withdrawal in childhood. Annual Review of Psychology, 60, 141-171. doi: 10.1146/annurev.psych.60.110707.163642
  » https://doi.org/10.1146/annurev.psych.60.110707.163642
• Santos, L. H. Z. (2011). Crianças do espectro autístico: Caracterização das habilidades sociais e problemas de comportamento (Dissertação de mestrado em andamento). Programa de Pós-Graduação em Educação Especial, Universidade Federal de São Carlos. São Carlos, SP.
• Shahim, S. (2004). Reliability of the social skills rating system for preschool children in Iran. Psychological Reports, 95, 1264-1266. Recuperado de http://www.ncbi.nlm.nih.gov/pubmed/15762410
  » http://www.ncbi.nlm.nih.gov/pubmed/15762410
• Sorlie, M. A., Hagen, K. A., & Ogden, T. (2008). Social competence and antisocial behavior: Continuity and distinctiveness across early adolescence. Journal of Research on Adolescence, 18(1), 121-144. doi: 10.1111/j.1532-7795.2008.00553.x
  » https://doi.org/10.1111/j.1532-7795.2008.00553.x
• Souza, T. M. P. (2008). Inclusão de crianças com deficiência auditiva na escola regular: Uma análise sob a perspectiva das habilidades sociais (Dissertação de mestrado). Programa de Pós-Graduação em Educação Especial, Universidade Federal de São Carlos. São Carlos, SP.
• Tabachnick, B. G., & Fidell, L. S. (2007). Using Multivariate Statistics (5ª Edição). New York: Allyn and Bacon.
• Urbina, S. (2007). Fundamentos da testagem psicológica. Porto Alegre: Artmed.
• Van der Oord, S., Van der Meulen, E. M., Prins, P. J. M., Oosterlaan, J., Buitelaar, J. K., & Emmelkamp, P. M. G. (2005). A psychometric evaluation of the social skill rating system in children with attention deficit hyperactivity disorder. Behaviour Research and Therapy, 43, 733-746. doi:10.1016/j.brat.2004.06.004
  » https://doi.org/10.1016/j.brat.2004.06.004
• Vasil'ová, K., & Baumğartner, F. (2004). Why is social intelligence difficult to measure? Recuperado de: http://www.saske.sk/cas/archiv/4-2005/studia_vasilova-baumgartner.html
  » http://www.saske.sk/cas/archiv/4-2005/studia_vasilova-baumgartner.html

• Nota dos autores: Este trabalho teve o apoio financeiro da Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP).

Datas de Publicação

• Publicação nesta coleção
  Jan-Apr 2016

Histórico

• Recebido
  23 Jul 2014
• Revisado
  24 Mar 2015
• Aceito
  01 Jun 2015