Análise de instrumentos de avaliação de interesses profissionais

Analysis of assessment instruments of professional interests

Análise de instrumentos de avaliação de interesses profissionais

Analysis of assessment instruments of professional interests

Ana Paula Porto Noronha¹; Fernanda Andrade de Freitas; Fernanda Ottati

Universidade São Francisco

RESUMO

O presente trabalho analisou estudos desenvolvidos no processo de padronização e de validação de instrumentos de avaliação de interesses utilizados em processos de orientação profissional. Foram consultados oito instrumentos, avaliando-se os seguintes aspectos: autor, editor, ano de publicação, padronização, validade e precisão. As informações analisadas foram obtidas dos respectivos manuais dos testes. Os resultados indicaram a ausência de informações sobre o autor e data de publicação do manual, além de ausência de informações pertinentes aos estudos de padronização, validade e precisão. Sugere-se que estudos desta natureza sejam realizados com outros instrumentos, utilizando-se outros critérios de análise.

Palavras-chave: testes de interesse; avaliação psicológica; testes psicológicos.

ABSTRACT

The current work investigated studies developed in the process of standardization and validation of interest assessment instrument, used in processes of professional guidance. Eight instruments have been consulted, and the following aspects were verified: author, editor, date of publication, standardization, validity and precision. The analyzed information has been taken from the respective test manuals. The results have shown that it was possible to find, in the consulted instruments, the lack of information about the author and the date of publication of the manual, as well as lack of information concerned to the studies of standardization, validity and precision. It is suggested that new studies of this nature be carried out with other instruments and be used other criteria of analysis.

Key words: test of interest; psychological assessment; psychological tests.

Estudos sobre instrumentos psicológicos são indispensáveis para o desenvolvimento da área de avaliação psicológica, tendo em vista a necessidade de que as avaliações sejam mais confiáveis e precisas em todos os contextos de atuação profissional. Os testes podem ser utilizados em vários campos profissionais, como clínica, organização ou escola, uma vez que oferecem informações importantes para o avaliador sobre o avaliado. De acordo com Pasquali e cols. (2001), a avaliação é um processo integrado que utiliza técnicas mais apropriadas para diagnosticar o problema de um determinado caso, visando à intervenção.

Para Bock (1995), o psicólogo é um profissional que deve trabalhar para a promoção da saúde em suas diferentes atividades profissionais, tal como na orientação profissional (OP). A OP visa também a promoção da saúde, já que por meio dela cria-se condições para que as pessoas se conheçam melhor, percebam suas identificações, adquiram melhores condições de organizar seus projetos de vida, e conseqüentemente, façam oportunas escolhas profissionais.

Segundo Carvalho (1995), quando o adolescente procura a orientação profissional, está buscando alguém que o ajude a escolher o seu futuro por meio de papéis ocupacionais adultos. Portanto, é necessário que os profissionais responsáveis por desenvolverem programas de orientação profissional saibam que o processo tem basicamente dois objetivos, de acordo com Bohoslavsky (1996), a saber: a definição de uma carreira ou trabalho e propiciar ao adolescente a aprendizagem e a escolha de sua identidade vocacional levando em conta sua identidade pessoal. A concepção de Lucchiari e cols. (1993) acrescenta como objetivo da orientação, a facilitação do momento de escolha do jovem, auxiliando-o a compreender sua situação específica de vida, na qual estão incluídos aspectos pessoais, familiares e sociais. Neste sentido, facilitar a escolha implica auxiliar o jovem a pensar, levando-o a descobrir quais caminhos quer seguir de forma que três aspectos sejam abordados: conhecimento de si mesmo, conhecimento das profissões e a escolha propriamente dita.

A orientação pressupõe o conhecimento de teorias que embasem o processo de avaliação. Embora o presente estudo não tenha como objetivo essa discussão, vale destacar que, em 1971, John L. Holland apresentou uma teoria sobre a escolha vocacional, na qual tenta explicar porque as pessoas escolhem determinadas profissões e quais os fatores pessoais e ambientais que facilitam ou dificultam o sucesso profissional e afirma ainda que os inventários de interesses são inventários de personalidade, pois os interesses vocacionais são expressões da personalidade. Interessados no assunto poderão examinar os trabalhos de Thurstone (1938), Cattell (1949) e Holland (1963).

Os instrumentos de interesses são de fundamental importância na orientação profissional, uma vez que podem trazer informações importantes sobre os sujeitos avaliados. Para Anastasi e Urbina (2000), esses instrumentos têm como objetivo familiarizar o indivíduo em relação às ocupações adequadas para si, por meio da comparação dos itens respondidos pessoalmente com aqueles típicos de pessoas dedicadas a diferentes ocupações. As autoras afirmam ainda que os inventários de interesses revelam aspectos da personalidade de um indivíduo, que afetam substancialmente a realização educacional e ocupacional, bem como as relações interpessoais, as atividades de lazer e outras fases relevantes da vida, recebendo maior importância na avaliação educacional e vocacional. As autoras defendem a tese de que os inventários de interesse com imagens representam uma maneira inovadora de aplicar estímulos de teste e é provável que eles se desenvolvam a medida que a tecnologia melhore e aumente a necessidade de medidas alternativas para populações especiais. Afirmam, ainda, que os inventários de interesses tradicionais, ou seja, de lápis e papel são inadequados do ponto de vista psicométrico, na esfera da validade.

Os instrumentos padronizados auxiliam o trabalho do psicólogo, pois utilizados conjuntamente fornecem ao profissional uma variedade de informações sobre a pessoa (Cronbach, 1996). Segundo Sbardelini (2001), ao se utilizar os testes psicológicos, especialmente na orientação profissional, deve-se atentar para que essa utilização não seja feita de maneira estática, fechada, reforçando a visão mecanicista que os testes ainda carregam, na qual são tidos somente como instrumentos utilizados isoladamente. A autora afirma que "é importante refletir sobre esses procedimentos e estar atento às devidas dimensões do instrumento, às suas deficiências e limitações, inclusive para saber como lidar com elas" (p.87).

A autora acrescenta que a avaliação no campo da orientação profissional não deve ser realizada desvinculada do contexto priorizando apenas características e habilidades do indivíduo em questão. Os testes são uma possibilidade de enriquecer hipóteses já levantadas por outros meios e dar significados compreensivos da personalidade da pessoa, levando à compreensão dos mecanismos envolvidos no processo de escolha.

É notória a importância que se tem dado nos últimos anos à orientação profissional e às pesquisas recentes a respeito da construção e validação de testes sobre interesses profissionais. Destaque deve ser dado ao trabalho de Andrade, Braga, Hora e Aragão (2001) que desenvolveram um teste, o Teste das Dinâmicas Profissionais (TDP), destinado à mensuração das preferências profissionais em 12 áreas. Outro destaque deve ser dado ao trabalho realizado por Leitão, Silva e Miguel (2000), cujo objetivo foi abordar os interesses ocupacionais por meio da Técnica da Escolha de Cartões Ocupacionais (ECO) que funciona como um microprocesso ou experiência potencializadora de clarificação e desenvolvimento de uma relação personalizada do sujeito com o mundo. A pesquisa realizada por Balbinotti, Spindler e Barbosa (2003) visou investigar as qualidades psicométricas do Teste Visual de Interesses (TVI), inventário baseado na teoria tipológica de Holland.

Ainda no que se refere especialmente à qualidade psicométrica dos instrumentos, não são poucos os autores que estão se preocupam com o tema (Adánez, 1999; Almeida, 1999; Anastasi & Urbina, 2000; Ancona-Lopez, 1987; Bartram, 1998; Oakland, 1999; Pasquali, 1999, 2001), uma vez que qualquer instrumento de medida deve apresentar características que justifiquem a confiabilidade dos dados fornecidos (Pasquali, 2001): validade e precisão. Mais recentemente, o Conselho Federal de Psicologia (CFP, 2001, 2003) promulgou duas resoluções com o objetivo de estabelecer parâmetros de qualidade para os testes comercializados no Brasil. As resoluções propõem que os instrumentos existentes passem por verificações sistemáticas de seus parâmetros psicométricos que garantam qualidade científica. Além do que, novos instrumentos lançados no mercado profissional devem se configurar como instrumentos válidos e precisos.

A validade tem sido entendida como a possibilidade do instrumento avaliar aquilo que se propõe a avaliar. Para ­Anastasi e Urbina (2000), "a validade de um teste refere-se àquilo que o teste mede e a quão bem ele faz isso. Ela nos diz o que podemos inferir dos escores do teste" (p. 107). As autoras acrescentam que não se pode dizer apenas que um teste tem alta ou baixa validade, é necessário estabelecer tal validade considerando o uso específico para o qual é destinado. A partir das definições pode-se inferir que instrumentos que não passam pelo estudo de validade não apresentam dados confiáveis, e, portanto, não devem ser usados.

Já a precisão diz respeito à constância dos resultados dos sujeitos em ocasiões diferentes. "O problema que se enquadra sob o conceito de fidedignidade vem relatado sob uma série de outras expressões, como: precisão, fidedignidade, constância, consistência interna, confiabilidade, estabilidade, confiança, homogeneidade" (Pasquali, 2001, p. 127). Segundo Anastasi e Urbina (2000), a fidedignidade, em seu sentido mais amplo, indica se as diferenças encontradas entre indivíduos são de fato devidas às diferenças individuais ou se são atribuídas a erros casuais. Considerando que nenhum instrumento é perfeitamente confiável, todos devem vir acompanhados de uma declaração de confiabilidade a fim de que se estime o grau de precisão da medida em questão.

O presente estudo se justifica pelo necessário desenvolvimento de trabalhos que visem, de acordo com Hutz (2003), ao controle de qualidade dos instrumentos. O objetivo dessa pesquisa é ampliar as análises sobre os instrumentos que avaliam interesses como indagações em relação às preferências do indivíduo, dentro das áreas de atividades valorizadas pela comunidade, ou de seu gosto por objetos também valorizados pelo grupo; serão verificados os estudos desenvolvidos em cada instrumento, no que se refere à validade, à precisão e à padronização.

Método

Para a realização do presente estudo, foram utilizados oito instrumentos de avaliação psicológica de interesses vocacionais. Os instrumentos são: QVI - Questionário Vocacional de Interesses (Oliveira, Vetor, 1982), LIP - Levantamento de Interesses Profissionais (Del Nero, Vetor, 1975), Kuder - Inventário de Interesses (sem autor, CEPA, sem data), Inventário de Interesses (Angelini & Angelini, CEPA, sem data), GEIST - Inventário Ilustrado de Interesses (Nick, CEPA, sem data), Teste de Catálogo de Livros Bessa - Tramer (Bressa, CEPA, 1963), TEV - Teste das Estruturas Vocacionais (Minicucci, Vetor, 1983) e QUATI (Zacharias, Vetor, 2000). Autor, editor e ano de publicação do manual consultado estão identificados entre parênteses. Os critérios utilizados para a análise dos instrumentos foram: dados de identificação, validade, precisão e padronização. Todas as informações foram retiradas dos próprios manuais dos instrumentos consultados.

Resultados

A análise dos resultados foi dividida em duas partes: na primeira verificam-se os dados de identificação e na segunda analisam-se os parâmetros psicométricos (validade e precisão). Os resultados foram organizados em duas tabelas.

Na primeira análise (dados de identificação), os instrumentos receberam uma nota de acordo com a presença (1) ou ausência (0) das seguintes informações: autor do teste, editor e ano de publicação.Vale ressaltar que as notas foram atribuídas de acordo com as informações disponíveis nos próprios manuais consultados, que por sua vez, referem-se aos dados relacionados ao trabalho do manual em questão, independente de ser um manual apenas traduzido ou com padronização brasileira.

Os resultados indicaram que o editor do manual esteve presente em 100% (F=8) dos instrumentos consultados, enquanto que o autor apareceu em 87,5% (F=7) e ano de publicação em 62,5% (F=5). Os dados estão apresentados na Tabela 1.

A segunda análise realizada foi em relação aos parâmetros psicométricos que foram analisados diferentemente dos dados de identificação, conforme pode ser examinado no Quadro 1. Não se valorizou apenas a presença/ausência da informação, mas também o tipo de estudo desenvolvido. Quanto à padronização, 37,5% (F=3) dos instrumentos consultados não oferecem informações sobre os procedimentos de padronização (Q.V.I., LIP e Inventário de Interesses), enquanto 62,5% (F=5) fornecem tais dados, embora alguns o façam de forma sucinta. Vale ressaltar que os instrumentos que apresentaram informações sobre a padronização, tiveram um número de sujeitos considerado como "amostra grande" por Prieto e Muñiz (2000), ou seja, bastante satisfatória para o propósito de padronização.

No que se refere à validade, 25% (F=2) dos instrumentos não possuem nenhum dado que indique estudos realizados (Q.V.I. e T.E.V.). No entanto, embora os outros seis instrumentos tragam algum tipo de informação, não se pode afirmar que todos possuem estudos de verificação das evidências de validade dos instrumentos. E, em relação à precisão, 62,5% (F=5) dos instrumentos não apresentaram informações sobre trabalhos realizados (Q.V.I., LIP, Kuder e T.E.V.), embora nos instrumentos que relacionaram seus estudos, um deles não tenha identificado o método empregado para obtenção dos coeficientes de correlação. Os resultados não são animadores, pois apesar de validade e precisão serem considerados elementos fundamentais na etapa de construção de instrumentos de medida, muitos testes usados no mercado profissional para decisões importantes não possuem os estudos que lhes garantam a cientificidade de seus resultados (CFP, 2001, 2003).

Tomando como objeto de análise cada instrumento individualmente, dos instrumentos consultados 25% (F=2) possuem nos seus respectivos manuais as informações pertinentes à padronização, à validade e à precisão; 37,5% (F=3) apresentam apenas dados sobre dois dos aspectos e 37,5% (F=3) não apresentam quaisquer das informações estudadas.

Discussão

Este trabalho apresentou uma avaliação dos manuais de testes psicológicos, com referência especial aos estudos de validação desenvolvidos com os instrumentos de avaliação de interesses. A preocupação das autoras era apresentar uma análise crítica dos instrumentos que estão disponíveis no mercado profissional e que vêm sendo usados por muitos psicólogos.

Por mais que os resultados não sejam animadores, eles não se distanciam de outros estudos que estão sendo realizados com testes psicológicos, no sentido de se resgatar a sua legitimidade e tornar o mercado mais seletivo e crítico, de forma que os instrumentos tenham maior credibilidade por parte de pesquisadores, psicólogos e leigos (International Tests Commission - ITC, 2001; Noronha, Sartori, Freitas & Ottati, 2001; Noronha, Sbardelini & Sartori, 2001; Wechsler, 1999; Wechsler, 1999, 2001). Embora a amostra estudada tenha sido pequena, os resultados estão em concordância com outros obtidos em amostras maiores, como é o caso do trabalho desenvolvido por Noronha, Primi e Alchieri (2002) que analisou os manuais de 146 testes e encontrou que somente 28,8% (contra os 25% encontrados no presente trabalho) apresentam todas as três características, consideradas condições mínimas para se reconhecer um instrumento como cientificamente fundamentado.

O presente estudo revelou que os instrumentos, de maneira geral, não possuem as especificações necessárias relacionadas aos estudos de padronização e de validação aos quais deveriam ser submetidos, caso fossem seguidas diversas orientações de pesquisadores de renome nacional ou internacional (Adánez, 1999; Bartram, 1998; ITC, 2001; CFP, 2001, 2003; Oakland, 1999). É certo que o fato de não haver um maior controle no material que se destina à publicação, permite que materiais sem nenhuma condição de uso sejam lançados e utilizados por psicólogos que realizam avaliações e que chegam a resultados confiáveis, ou não.

Os resultados não permitem afirmar que todos os instrumentos psicológicos não possuem estudos rigorosos, tendo em vista a pequena amostra estudada, o que impossibilita a generalização dos resultados obtidos. É possível concluir que determinados instrumentos não apresentaram estudos de padronização, de validação e de precisão, segundo informações obtidas nos próprios manuais. E, essa questão merece reflexões contundentes: o que garante a confiabilidade dos resultados obtidos a partir da aplicação desses instrumentos que não foram submetidos às provas reconhecidamente científicas, que teriam por objetivo dar-lhes tal garantia.

Como afirmado anteriormente, não são poucos os autores que têm desenvolvido trabalhos sobre a validade e a precisão dos testes psicológicos (Adánez, 1999; Almeida, 1999; Anastasi & Urbina, 2000; Ancona-Lopez, 1987; Bartram, 1998; Oakland, 1999; Pasquali, 1999, 2001), uma vez que todo instrumento deve apresentar características que justifiquem a confiabilidade dos dados que oferece (Pasquali, 2001). Em relação aos instrumentos de interesse, objeto de estudo do presente trabalho, parece que nem todos podem afirmar que os resultados indicam a melhor escolha profissional para determinado indivíduo avaliado.

Finalizando, os resultados encontrados não parecem estar em consonância com as novas perspectivas da avaliação psicológica no Brasil e no mundo, as quais priorizam a qualidade do material de trabalho, a responsabilidade do profissional que o aplica e a credibilidade dos achados. Todavia, para que isto se efetive é necessário que os esforços sejam aplicados de forma que se obtenham avanços satisfatórios na área.

Recebido em 07.02.2002

Primeira decisão editorial em 19.05.2003

Versão final em 21.07.2003

Aceito em 12.08.2003

• Adánez, G.P. (1999). Procedimientos de construcción y análisis de tests psicometricos. Em S.M. Wechsler & R.S.L. Guzzo (Orgs.), Avaliação psicológica. Perspectiva internacional (pp. 57-100). São Paulo: Casa do Psicólogo.
• Almeida, L.S. (1999). Avaliação psicológica: exigências e desenvolvimentos nos seus métodos. Em S.M. Wechsler & R.S.L. Guzzo (Orgs.), Avaliação psicológica. Perspectiva internacional (pp. 41-55). São Paulo: Casa do Psicólogo.
• Anastasi, A. & Urbina, S. (2000). Testagem psicológica Porto Alegre: ArtMed Editora.
• Andrade, A.M.F., Braga, G.L., Hora, L.H.M. & Aragão, T.B.A. (2001). Desenvolvimento e validação do TDP Teste das Dinâmicas Profissionais [Resumo]. Em Sociedade Brasileira de Psicologia (Org.), Resumos de comunicações científicas, XXXI Reunião Anual de Psicologia (p.247). Rio de Janeiro: SBP.
• Ancona-Lopez, M. (Org.) (1987). Testes de Inteligência I São Paulo: E.P.U.
• Balbinotti, M.A.A., Spindler, I. & Barbosa, M.L.L. (2003). Normas para análise dos interesses profissionais: comparando idades [Resumo]. Em Sociedade Brasileira de Psicologia (Org.), Resumos de comunicações científicas, XXXI Reunião Anual de Psicologia (p.37). Rio de Janeiro: SBP.
• Bartram, D. (1998). The need for international guidelines on standards for test use a review of european and international initiatives. European Psychologist, 3(2), 155-163.
• Bock, A.M. (1995). A escolha profissional em questão. São Paulo: Casa do Psicólogo.
• Bohoslavsky, R. (1996). Orientação profissional: A estratégia clínica São Paulo: Martins Fontes.
• Carvalho, M.M.M.J. (1995). Orientação profissional em grupo: Teoria e técnica São Paulo: Editorial Psy.
• Cattell, R.B. (1949). r and other coefficients of pattern similary. Psychometrika, 14, 279-298.
• Conselho Federal de Psicologia - CFP (2001). Resolução nº 25/2001. Disponível em 04/12/2001 em .http://www.pol.org.br
• Conselho Federal de Psicologia - CFP (2003). Resolução nº 02/2003. Disponível em 02/02/2003 em http://www.pol.org.br.
• Cronbach, L.J. (1996). Fundamentos da testagem psicológica Porto Alegre: Artes Médicas.
• Holland, J.L. (1963). Explorations of a theory of vocational choice: II a four year prediction study. Psychological Reports, 12, 547-549.
• Holland, J.L. (1971). A elección vocacional, teoria de las carreras México: Editorial Trillas.
• Hutz, C.S. (2003). Avaliação psicológica no Brasil: Situação atual e desafios para o futuro [Resumo]. Em Associação de Pesquisa em Psicologia (Org.), Resumos do III Congresso Norte Nordeste de Psicologia, Construindo a psicologia brasileira: desafios da ciência e prática psicológica. (p. 18). João Pessoa: Associação de Pesquisa em Psicología.
• International Commission for Tests ITC (2001). Diretrices Internacionales para el Uso de los Tests. Disponível em 04/12/2001 em http://www.cop.es/tests/modelo.htm
• Leitão; L.M., Silva, J.T. & Miguel, J.C. (2000). Os interesses vocacionais uma proposta de avaliação dinâmica: a ECO. Papel dos interesses na tomada de decisão de carreira [Resumo]. Em V Encontro Mineiro de Avaliação Psicológica: Teorização e Prática; VIII Conferência Internacional: Avaliação Psicológica: Formas e Contextos (p.66). Belo Horizonte: PUC- MG.
• Lucchiari, D.H.P.S. (Org.) (1993). Pensando e vivendo a orientação profissional. 2Ş ed. São Paulo: Summus.
• Noronha, A.P.P., Sartori, F.A., Freitas, F.A. & Ottati, F. (2001). Informações contidas nos manuais de testes de inteligência publicados no Brasil. Psicologia em Estudo, 6(2), 101-106.
• Noronha, A.P.P., Sbardelini, E.T.B. & Sartori, F.A. (2001). Análise da qualidade de testes de inteligência. Psico-USF, 6 (2), 95-74.
• Noronha, A.P.P., Primi, R. & Alchieri, J.C. (2002). Parâmetros psicométricos: uma análise de testes psicológicos comercializados no Brasil. Manuscrito submetido.
• Oakland, T. (1999). Developing standardized tests. Em S.M. Wechsler & R.S.L. Guzzo (Orgs.), Avaliação psicológica. Perspectiva internacional (p. 101-118). São Paulo: Casa do Psicólogo.
• Pasquali, L. (Org.) (1999). Instrumentos psicológicos: manual prático de elaboração. Brasília: LabPAM / IBAPP.
• Pasquali, L. (Org.) (2001). Técnicas de exame psicológico (TEP) - manual, volume I: Fundamentos das técnicas psicológicas. São Paulo: Casa do Psicólogo, Conselho Federal de Psicologia.
• Prieto, G. & Muñiz, J. (2000). Um modelo para evaluar la calidad de los tests utilizados em España. Disponível em 04/12/2000 em http://www.cop.es/tests/modelo.htm
• Sbardelini, E.T.B. (2001). Avaliação psicológica e orientação profissional: contribuições do Teste de Fotos de Profissões - BBT. Em F.F. Sisto, E.T.B. Sbardelini & R. Primi (Orgs.), Contextos e questões da avaliação psicológica (p.XX). São Paulo: Casa do Psicólogo.
• Thurstone, L.L. (1938). Primary mental abilities. Chicago: University Chicago Press.
• Wechsler, S.M. (1999). Guia de procedimentos éticos para a avaliação psicológica. Em S. M. Wechsler & R.S.L. Guzzo (Orgs.), Avaliação psicológica. Perspectiva internacional (pp. 133-141). São Paulo: Casa do Psicólogo.
• Wechsler, S. M. (2001). Princípios éticos e deontológicos na avaliação psicológica. Em L. Pasquali (Org.), Técnicas de exame psicológico (TEP) manual, volume I, Fundamentos das técnicas psicológicas. São Paulo: Casa do Psicólogo, Conselho Federal de Psicologia.

Datas de Publicação

• Publicação nesta coleção
  02 Fev 2004
• Data do Fascículo
  Dez 2003

Histórico

• Aceito
  21 Jul 2003
• Recebido
  07 Fev 2002