Avaliação psicológica: análise das publicações disponíveis na SciELO e BVS-Psi

Psychological assessment: analysis of publications in the databases SciELO and Bvs-Psi

Avaliação psicológica: análise das publicações disponíveis na SciELO e BVS-Psi

Psychological assessment: analysis of publications in the databases SciELO and Bvs-Psi

Sabrina Martins Barroso

Psicóloga. Especialista em desenvolvimento humano pela Universidade Federal de Minas Gerais, mestre em Psicologia pela Universidade Federal de Minas Gerais, atualmente é professora na Universidade Federal do Triângulo Mineiro. Endereço: Universidade Federal do Triângulo Mineiro, Departamento de Psicologia. Rua Getúlio Guaritá, nº 159 - Abadia. CEP: 38025-440 - Uberaba, MG - Brasil. E-mail: [e-mail]

RESUMO

O objetivo do presente trabalho foi analisar a produção nacional de artigos relacionados à avaliação psicológica. Realizou-se uma busca nas bases de dados SciELO e BVS-Psi, utilizando-se as palavras-chave avaliação psicológica, testes psicológicos e testagem psicológica. Foram selecionados 333 trabalhos, nos quais foram analisadas as categorias divulgação, discurso, temática, autoria e metodologia. Os resultados indicaram aumento nas publicações sobre o tema nos últimos anos, dificuldades para localizar artigos nas bases virtuais, predominância de trabalhos de natureza empírica, relacionados ao estudo dos instrumentos, especialmente dos testes psicológicos e maioria de artigos de autoria única e feminina.

Palavras-chave: metaciência; avaliação psicológica; testes psicológicos; testagem psicológica; bases de dados virtuais.

ABSTRACT

The objective of this study was to analyze the article production related to psychological assessment. It was realized a search in electronic databases SciELO and BVS-Psi, using the keywords psychological assessment, psychological tests and psychological testing. 333 articles were selected, and were analyzed in the categories divulgation, speech, topics, authors and methodology. The results showed an increase in scientific production in recent years, difficulties in locating the articles in the databases online, predominance of empirical work, related to instruments, especially the psychological tests and majority of single authors and women authors.

Keywords: metascience; psychological assessment; psychological tests; psychological testing; online databases.

Metaciência é o nome dado à investigação que avalia a produção científica sobre determinado tema (WITTER, 2003). Os estudos sobre a produção científica permitem identificar os assuntos que vêm recebendo maior destaque entre os pesquisadores de uma área, o tipo de investigação que vem sendo privilegiada, bem como a qualidade e efetividade dessas investigações (WITTER, 1999).

Ao conhecer o atual estado de produção científica sobre determinado tema, pode-se identificar lacunas que necessitam de maiores investigações, caracterizar instrumentos de investigação mais utilizados e conceitos-chave que vêm permeando as investigações científicas (MÉIS, 1996), além de tornar-se possível inferir sobre a qualidade da divulgação e o impacto dos trabalhos científicos na construção de conhecimentos em dada área. Assim, investigar a produção cientifica torna-se importante para decidir os próprios rumos da ciência e das políticas científicas e tecnológicas adotadas (JOLY et al., 2004; NORONHA; FERNANDES, 2008; WITTER, 1999).

Segundo Witter (2003), é possível realizar essa avaliação da produção científica de diversas formas, considerando a autoria, tipo de estudo, temática, discurso, metodologia, procedimento de análise de dados e enfoques teóricos. Na análise do tipo de estudo, deve-se considerar se o trabalho é teórico ou comunica os resultados de uma pesquisa de campo. Na investigação da temática, observam-se os temas abordados na investigação, sua origem, variáveis, classificações e conclusões. No discurso, investiga-se o título, resumo, palavras-chave, estrutura e referências. Ao se investigar a metodologia, observa-se o objetivo dos estudos, tipologia, amostra, materiais, procedimentos e variáveis. Pode-se ainda investigar a análise de dados utilizada (qualitativa, quantitativa ou mista), a autoria e a vinculação institucional do trabalho.

A produção científica brasileira expandiu-se enormemente nas últimas décadas, fazendo com que o Brasil esteja hoje entre os 20 países que mais produzem conhecimento no mundo (ZANCAN, 2000). Assim, faz-se ainda mais necessário avaliar a produção científica nacional, investigando os principais temas abordados e lacunas que precisarão de mais investimento intelectual.

Estudos de metaciência sobre a psicologia no Brasil têm utilizado como fontes de pesquisa os resumos de congressos (SANTOS et al., 2003), bases de dados virtuais (WITTER, 2003), além de periódicos impressos, dissertações e teses (BARIANI et al., 2004), sendo as análises de resumos de apresentações de congresso as mais frequentes. De acordo com Joly et al., (2004) essa escolha pode dever-se ao fato de 70% dos periódicos latino-americanos não estarem incluídos em bases de dados indexadas, o que dificulta seu acesso. Contudo, Yamamoto, Souza e Yamamoto (1999) apontaram que as análises dos artigos publicados em periódicos seria mais indicada do que as análises de publicações de anais de congressos, ao se realizar estudos sobre a produção científica, pois permitiria ter acesso ao trabalho completo caso as informações dos resumos não fossem suficientes.

As bases de dados virtuais são hoje uma grande fonte de disponibilização de artigos completos e, já que podem ser acessadas de qualquer parte do país, favorecem a amplitude de divulgação dos estudos científicos. Essas bases de dados são bibliotecas digitais, gratuitas ou pagas, em que se encontram indexados diversos periódicos científicos, dissertações, teses e capítulos de livros, visando garantir acesso à informação de forma rápida e precisa em espaço virtual, garantindo a visibilidade e o acesso universal à literatura científica (JOLY et al., 2004). Consistem, portanto, em fonte privilegiada ao realizar a avaliação da produção científica em determinada área.

A avaliação psicológica é uma das áreas de atuação específicas dos psicólogos e vem ganhando destaque no Brasil atualmente. Durante a última década, observou-se a criação de diversos cursos de pós-graduação lato e stricto senso sobre avaliação psicológica, houve um aumento no número de laboratórios e de docentes implicados com a temática e um maior destaque sobre o assunto foi dado pelo Conselho Federal de Psicologia (CFP, 2001).

A avaliação psicológica é um processo de caráter compreensivo, efetuado com ou sem a utilização de instrumentos padronizados. Ela visa responder questões específicas sobre o funcionamento psíquico,adaptado ou não, de uma pessoa durante determinado período de tempo ou predizer o funcionamento psicológico de uma pessoa no futuro. Um processo de avaliação psicológica deve fornecer informações fundamentadas que permitam orientar, sugerir e sustentar um processo de tomada de decisão em contexto específico em que seja necessário obter informações sobre o funcionamento psicológico (NORONHA; ALCHIERI, 2004).

Durante muito tempo a avaliação psicológica foi confundida com a mera aplicação de testes psicológicos (NORONHA; ALCHIERI, 2004). Essa confusão, vinda de um passado em que seus objetivos foram deturpados e em que se tornou associada com as formas de segregação social, fez com que fosse relegada ao segundo plano por profissionais e estudantes de psicologia (ANASTASI; URBINA, 2000). Contudo, com o aumento dos estudos sobre essa temática, a criação do Instituto Brasileiro de Avaliação Psicológica e a reformulação dos instrumentos utilizados nos processos de avaliação, tem-se observado o despertar de um novo olhar e um novo interesse sobre a avaliação psicológica (GOMES, 2004).

Considerando a relevância desta temática e os possíveis benefícios de explicitar seu estado de produção e divulgação, o presente estudo teve por objetivo analisar a produção científica brasileira sobre avaliação psicológica em duas bases de dados virtuais, utilizando como critério de consulta os unitermos avaliação psicológica, testes psicológicos e testagem psicológica.

MÉTODO

composição da amostra

As bases de dados SciELO (Scientific Eletronic Library Online) e BVS-Psi (Biblioteca Virtual em Saúde - Psicologia) foram sistematicamente consultadas no período de janeiro a abril de 2009 em busca de resumos de artigos nacionais relacionados à temática de avaliação psicológica. As fontes de dados foram selecionadas por terem sido consideradas como as mais completas para acesso à produção científica nacional, segundo Noronha e Fernandes (2008). Tais fontes podem ser acessadas por meio dos endereços eletrônicos: http://www.scielo.br e http://www.bvs-psi.org.br, respectivamente.

A consulta se deu por meio dos unitermos avaliação psicológica, testes psicológicos e testagem psicológica. Não houve limitação de período de tempo para inclusão na amostra.

Foram encontrados 237 resumos de artigos científicos utilizando o termo "avaliação psicológica'' e 137 resumos utilizando as palavras-chave "testes psicológicos''. Não foram localizados resumos com as palavras-chave "testagem psicológica''. Trinta e nove resumos foram encontrados de forma duplicada nas duas bases de dados (SciELO e BVS-Psi) ou nas buscas com diferentes unitermos, sendo considerados uma única vez para fins da amostra desse estudo. Dois artigos localizados na base de dados BVS-Psi eram de autoria portuguesa e foram publicados em periódico português (Revista Temas em Desenvolvimento), sendo também excluídos da amostra.

Para os resultados apresentados neste trabalho, o número total de resumos analisados foi de 333. Para cada resumo selecionado, buscou-se acessar os artigos completos para complementar os dados sobre filiação institucional dos autores, instrumentos utilizados e tamanho da amostra, caso esses não constassem dos resumos. Contudo, apenas 178 artigos completos foram localizados, disponibilizados digitalmente de forma gratuita, sendo então analisados. Além dos artigos completos, foram consultados 131 resumos e em 24 casos nem mesmo os resumos foram disponibilizados de forma integral, constando nas bases de dados somente as referências de autor, título, revista e ano.

Os dados foram tabulados no programa SPSS 15.0 e passaram por análises descritivas.

PROCEDIMENTO

Os resumos foram analisados com base nos critérios estabelecidos por Witter (2006), sendo considerados os seguintes itens e categorias:

Divulgação: base de dados em que o resumo/artigo está disponibilizado, revista e ano de publicação, região da publicação e as palavras-chave que possibilitaram sua localização.

Discurso: Avaliou-se o tipo de trabalho, se consistia em um artigo teórico, relato de pesquisa ou pesquisa para desenvolvimento de instrumentos de avaliação.

Temática: Analisou-se o tema investigado no artigo. Para tanto, foram criadas nove categorias, de acordo com os objetivos do trabalho descritos nos resumos, de acordo com os princípios de Bardin (1971). As categorias criadas foram: 1. avaliação psicológica geral (conceitos, histórico, formas de execução e implicações); 2. avaliação relativa à personalidade; 3. avaliação da cognição e inteligência; 4. construção, adaptação e validação de instrumentos; 5. interesses, orientação e seleção profissional; 6. avaliação de aprendizagem; 7. avaliação de necessidades especiais; 8. avaliação de problemas psicológicos (ansiedade, estresse, depressão e problemas sexuais); 9. outros. Na categoria outros foram incluídos todos os artigos que não se adequavam às outras categorias temáticas citadas quanto a seus objetivos de avaliação/discussão.

Autoria: identificou-se a natureza da autoria (individual ou múltipla), o número de artigos publicados por autor, o gênero e a filiação institucional do autor principal.

Metodologia: verificou-se o tamanho da amostra, a presença e o tipo de instrumentos utilizados na coleta dos dados.

RESULTADOS

Os resultados sobre a divulgação dos trabalhos encontram-se apresentados nas tabelas 1, 2 e 3.

Como pode ser observado na Tabela 1, os resultados indicaram que o termo de busca "avaliação psicológica" auxiliou a encontrar 61,3% dos artigos, sendo considerado mais efetivo do que os termos testes psicológicos e testagem psicológica.

Os resultados também indicaram que a base de dados BVS-Psi concentrou a maior quantidade de artigos sobre avaliação psicológica, respondendo por 72,1% dos trabalhos encontrados. Contudo, a mesma base de dados apresenta grande quantidade de artigos não disponibilizados na íntegra (N= 130) ou de trabalhos em que nem o resumo está disponível (N= 24), o que dificulta a disseminação dos conhecimentos na área. Outro resultado indicado na Tabela 1 refere-se a uma dificuldade de localização de artigos na base de dados SciELO. Entre os artigos investigados no presente estudo, 24 trabalhos (7,2% da amostra) foram encontrados apenas por meio de busca na base BVS-Psi, embora estivessem disponíveis na base SciELO.

Considerando ainda a divulgação dos trabalhos, foram encontrados 65 periódicos com publicações relacionadas à avaliação psicológica. Como pode ser observado na Tabela 2, a concentração de artigos por revista e região não seguiu uma distribuição normal. A Região Sudeste foi a responsável pela maior parte dos artigos publicados (58,5%), sendo o estado de São Paulo o responsável pela publicação de quase metade dos artigos consultados (49,5%). Contudo, foi uma revista da Região Sul do país que concentrou a maior produção individual sobre avaliação psicológica. A revista Psicologia: Reflexão e Crítica, publicada no Rio Grande do Sul, concentrou 9% dos trabalhos publicados sobre esse tema, disponíveis nas bases virtuais pesquisadas. Não foi possível localizar o estado de publicação da revista Avaliação em Curso.

Um resultado apresentado na Tabela 3, ainda relacionado à divulgação dos artigos, indicou que a produção sobre avaliação psicológica aumentou ao longo dos últimos 31 anos. Em 1977 apenas um artigo foi disponibilizado sobre esta temática, mas os números ultrapassaram os 20 artigos por ano, a partir de 2002. O ano de 2007 mostrou-se particularmente fecundo em produções sobre avaliação psicológica, tendo sido publicados 38 artigos (11,4%) sobre o tema durante esse ano.

Referente ao discurso dos artigos, a Tabela 3 mostra ainda que foram publicados mais resultados de pesquisas empíricas (N= 126) do que estudos de desenvolvimento de instrumentos (construção, adaptação e validação) e artigos teóricos ou revisões de literatura ao longo dos anos. Contudo, cabe lembrar que não foi possível identificar o tipo de trabalho de 33 resumos.

A Tabela 4 apresenta os temas abordados nos artigos. Observando essa tabela pode-se perceber que os instrumentos (37,8%) e a avaliação psicológica de forma geral (19,8%) foram as temáticas mais investigadas entre os trabalhos publicados. Outros temas abordados (13,2% da amostra) incluíram a avaliação de aspectos da autoestima, criatividade, competência social, alcoolismo, comportamento verbal, seguimento de regras, distorções visuais, psoríase, violência, consequências de abuso sexual, ordem de nascimento, queixas para buscar psicoterapia e questões éticas no uso de testes.

Não foi possível identificar a temática de 31 trabalhos, pois essas publicações não apresentavam resumos que possibilitassem acesso a seus objetivos ou os resumos não indicavam os objetivos do trabalho.

Os resultados sobre a autoria dos artigos encontram-se apresentados na Tabela 5.

Ao analisar a Tabela 5, percebe-se grande variabilidade no número de autores por artigo. A maioria dos artigos era de autoria única (34,8%), o número de autores variou de um a doze, com média de 2,27 (DP= 1,48) autores por artigo. Entre os 333 artigos investigados foram registrados 220 primeiros autores distintos. Considerando os principais autores, a média de artigos publicados foi de 3,01 (DP= 22,42) artigos por autor, com destaque para Ana Paula Porto Noronha, primeira autora de 33 artigos, Wagner Bandeira Andriola (11 artigos) e Ana Elisa Villemor Amaral (7 artigos).

Quanto ao gênero, considerando apenas o primeiro autor de cada trabalho, pode-se observar que 73% dos artigos foi de autoria feminina. Em um artigo constava como autor o termo ANON e não disponibilizava nenhum material para que a autoria fosse checada, não sendo possível identificar o número de autores ou o gênero dos mesmos.

Os resultados indicaram ainda que 21,3% dos artigos investigados tinham como autor principal alguém vinculado profissionalmente à Universidade São Francisco. Considerando apenas os artigos em que foi possível identificar a vinculação do primeiro autor (N= 177), a Universidade São Francisco respondeu por 40,1% dos artigos publicados.

Os resultados sobre o tamanho da amostra e sobre os instrumentos utilizados para a coleta de dados encontram-se apresentados na Tabela 6.

Quanto à metodologia empregada nos estudos, a Tabela 6 permitiu observar grande variabilidade nas amostras investigadas. Foi possível identificar o tamanho da amostra de 182 artigos empíricos (abrangendo relatos de pesquisa e pesquisas de desenvolvimento). Nesses estudos a amostra variou entre 1 e 61.349 sujeitos, ficando a média em 635,34 sujeitos (DP = 4.603,87) .

Entre os artigos empíricos investigados, observou-se que 178 artigos (90,3%) utilizaram algum instrumento consolidado para coletar os dados. Os demais, ou não utilizaram uma forma convencional para coletar os dados ou tratavam-se de propostas alternativas de avaliação psicológica com referencial psicodinâmico ou sociohistórico, não incluindo instrumentos pré-definidos para a coleta dos dados (8,2%). Não foi possível identificar a metodologia de três estudos empíricos, por não constarem dos resumos e não haver trabalho completo disponível gratuitamente de forma digital.

Entre os trabalhos que utilizaram alguma forma consolidada para coleta de dados (N= 178), os testes objetivos (24,7%) e os questionários com respostas dicotômicas (22,5%) foram os instrumentos mais utilizados. A categoria "outros instrumentos" incluiu os prontuários médicos, fichas de inscrição em clínicas escolas e anotações pessoais.

DISCUSSÃO E CONCLUSÕES

Os resultados do presente estudo permitiram observar um aumento na divulgação dos trabalhos sobre avaliação psicológica em âmbito nacional, caracterizar aspectos dessa produção e identificar algumas falhas nas bases de dados virtuais que precisam ser sanadas para melhorar a divulgação científica.

Foram encontrados 24 artigos através da busca na base de dados BVS-Psi, pertencentes à base SciELO, que não foram localizados quando a busca foi feita nesta última base de dados, utilizando-se as mesmas palavras-chave em ambos os casos. Este resultado indica uma falha no mecanismo de busca da SciELO que pode dificultar a disseminação dos trabalhos científicos indexados a essa biblioteca virtual. Além disso, a grande quantidade de resumos e artigos não disponíveis (N= 155) para acesso gratuito na base BVS-Psi indica que, apesar dessa base trazer grande acervo de trabalhos relacionados com Psicologia, ainda apresenta déficits no objetivo de divulgação científica que motivou sua criação.

Observou-se neste estudo um aumento na produção de trabalhos sobre avaliação psicológica ao longo dos anos. Contudo, cabe ressaltar que a amostra do presente trabalho foi conseguida exclusivamente em bases de dados virtuais e que a divulgação dos trabalhos nesse meio é recente, o que pode enviesar os resultados observados. Noronha e Fernandes (2008) já haviam constatado resultados semelhantes e indicado que os artigos publicados antes da década de 1980 praticamente não podem ser localizados virtualmente, o que dificulta sua catalogação e divulgação de seus resultados.

Outro resultado refere-se à grande concentração de artigos na Região Sudeste. O maior número de trabalhos publicados nesta região pode ser explicado pela maior concentração de periódicos na região mais desenvolvida do país e pela existência de revistas consideradas tradicionais e com boa avaliação junto à CAPES (Coordenação de Aperfeiçoamento de Pessoal de Nível Superior) nessa região, o que incentiva os autores a enviarem seus trabalhos a essas revistas.

Quanto à temática, a investigação das características dos instrumentos mostrou-se como o principal tema investigado e apresentou número expressivo de trabalhos publicados. Esses resultados podem refletir a decisão do Conselho Federal de Psicologia de realizar uma avaliação global dos testes utilizados no Brasil e de contra indicar o uso dos instrumentos que não passem por novas análises de suas qualidades psicométricas (CFP, 2001).

Os resultados também evidenciaram uma predominância de publicações feitas por mulheres. A predominância de autores femininos na área de Psicologia já havia sido observada por Noronha e Fernandes (2008) em seu trabalho de revisão da produção nacional sobre estresse laboral. Os mesmos autores apontam ainda que a autoria múltipla (dois ou mais autores), identificada como significativa no presente estudo, é desejável, pois permite o intercâmbio de experiências e reflexões.

A variabilidade da amostra observada entre os trabalhos analisados pode ser explicada pelas diferenças nos objetivos dos artigos, que iam de estudos de casos sobre contextos específicos à construção e validação de instrumentos para realização de avaliação psicológica. A análise dos estudos empíricos investigados permitiu notar que os testes padronizados, tanto objetivos quanto projetivos, receberam destaque como principais instrumentos para a coleta de dados. Este resultado corrobora com a preocupação do Conselho Federal de Psicologia em realizar novos estudos que investiguem a eficácia, adequação e qualidades psicométricas desses instrumentos (CFP, 2001).

O presente trabalho consistiu em um estudo metacientífico dos trabalhos sobre avaliação psicológica disponibilizados virtualmente no Brasil, permitindo conhecer algumas características comuns aos artigos publicados e que podem servir de subsídios para estudos futuros, incluindo tipo de autoria, tipo de estudo, tamanho de amostra, uso de instrumentos, entre outros. Permitiu também identificar pontos a serem melhorados para facilitar a difusão dos conhecimentos científicos na área de avaliação psicológica e em outros setores do conhecimento. Embora apresente as limitações de haver pesquisado apenas duas bases de dados virtuais, selecionado apenas artigos nacionais e acessado apenas os trabalhos divulgados gratuitamente, considera-se cumprido o objetivo proposto para o presente trabalho, a saber, contribuir para o entendimento da produção científica nacional sobre avaliação psicológica.

Recebido em: abril de 2009

Aceito em: abril de 2010

• ANASTASI, A.; URBINA, S. Testagem Psicológica 7. ed. Porto Alegre: Artes Médicas, 2000.
• BARDIN, L. Análise de Conteúdo São Paulo: Edições, v. 70, 1971.
• BARIANI, I. C. D. et al. Psicologia escolar e educacional no ensino superior: análise da produção científica. Psicologia Escolar e Educacional, Campinas, v. 8, p. 17-27. 2004.
• CONSELHO FEDERAL DE PSICOLOGIA. Resolução nº 25/2001 do Conselho Federal de Psicologia, CFP, 2001. Disponível em: <http://www.pol.org.br>. Acesso em: 6 abr. 2009.
• GOMES, W. B. Avaliação Psicológica no Brasil: Testes de Medeiros e Albuquerque. Avaliação Psicológica, Porto Alegre, v.3, n. 1, p. 59-68, jun. 2004.
• JOLY, M. C. R. A. et al. Análise da produção científica em avaliação psicológica informatizada. Avaliação Psicológica, Porto Alegre, v. 3, n. 2, p. 121-129, nov. 2004.
• MÉIS, L.; LETA, J. O perfil da ciência brasileira Rio de Janeiro: UFRJ, 1996.
• NORONHA, A. P. P.; ALCHIERI, J. C. Conhecimento em avaliação psicológica. Revista Estudos de Psicologia, PUC, Campinas, v. 21, n. 1, p. 43-52, jan./abr. 2004
• NORONHA, A. P. P.; FERNANDES, D. C. Estresse laboral: análise da produção científica brasileira na SciELO e BVS-Psi. Fractal, Rev. Psicol [online]. v. 20, n. 2, p. 491-501, 2008.
• SANTOS, A. A. A. et al. I Congresso nacional de Psicologia - Ciência e Profissão: o que tem sido feito na psicologia educacional. Psicologia Escolar e Educacional, Campinas, v. 7, n. 2, p. 135-144, ago./dez. 2003.
• WITTER, G. P. Metaciência e leitura. In: ______. Leitura: textos e pesquisas. Campinas: Alínea, 1999. p. 13-22.
• WITTER, G. P. Professor-estresse: análise da produção científica. Psicologia Escolar e Educacional Campinas, v. 7, n. 1, p. 33-46, jan./ago. 2003.
• WITTER, G. P. Produção científica: escalas de avaliação. In: ______. Comunicação e Produção Científica São Paulo: Angellara, 2006. p. 261-185.
• YAMAMOTO, O. H.; SOUZA, C. C.; YAMAMOTO, M. E. A produção científica na psicologia: uma análise dos periódicos brasileiros de 1990-1997. Psicologia Reflexão e Crítica, Porto Alegre, v. 12, p. 549-565, 1999.
• ZANCAN, G. Quem sabe dos institutos do milênio? Jornal da Ciência, [S.l.], v. 14, n. 443, p. 45-52, 2000.

Datas de Publicação

• Publicação nesta coleção
  27 Maio 2010
• Data do Fascículo
  Abr 2010

Histórico

• Aceito
  Abr 2010
• Recebido
  Abr 2009