Estratégias de aplicação do aprendido: análise baseada em TRI

Implementation strategies for learning : An Item Response Theory (IRT)-Based Analysis

Resumos

Este estudo teve como objetivo analisar as características psicométricas da escala "Estratégias para Aplicação no Trabalho do Aprendido em Treinamento" por meio da teoria de resposta ao item. Com um banco de dados secundário composto por 1241 participantes, foram calibrados dezoito itens, por meio do uso do modelo de resposta gradual. Dez itens pertencem à subescala Estratégias Comportamentais e oito à subescala Estratégias Cognitivo-afetivas. Os resultados sugerem que ambas as subescalas apresentaram boa acuracidade nos seus intervalos especialmente válidos, com nível de informação de moderado a alto. O instrumento apresenta evidências de validade de construto adequadas. Pode ser utilizado em pesquisas futuras, notadamente no campo da psicologia organizacional e do trabalho.

Teoria de Resposta ao Item; estratégias de transferência de treinamento; transferência de aprendizagem para o trabalho

This study aimed to analyze the psychometric features of the "Strategies for Implementation at Work of Learning at Training" scale through the Item Response Theory. With a secondary database composed of 1,241 participants, eighteen items were calibrated by using the gradual response model. Ten items belong to the Behavioral Strategies subscale and eight to the Cognitive-affective Strategies subscale. The results suggest good accuracy for both subscales, especially in their valid ranges, with an informational level from moderate to high. The instrument shows appropriate evidence of construct validity. It may be used in future research, especially in the field of organizational and work psychology.

Item Response Theory; transfer of training strategies; learning transfer to work

Os fatores de contexto são importantes preditores de efeitos de ações de treinamento e desenvolvimento (T&D). Dizem respeito, por exemplo, ao apoio que o participante recebe de seus pares e superiores para participar e, depois, para transferir o que aprendeu (Grossman & Salas, 2011). Entretanto, o papel ativo exercido por esse participante, sobre aquele contexto, ainda é pouco explorado (Pilati & Borges-Andrade, 2005). Inspirados nas questões empíricas presentes na literatura de T&D sobre as formas de possibilitar o aumento da transferência de aprendizagem para o ambiente de trabalho, esses autores propuseram um conceito para o estudo deste fenômeno: as estratégias para aplicação, no trabalho, do aprendido em treinamento (EAA).

A base conceitual das EAA relaciona-se, principalmente, ao modelo de estabelecimento de metas (Locke, Shaw, Saari, & Latham, 1981), bastante conhecido em psicologia organizacional e do trabalho, e às estratégias de enfrentamento (Marx, 1982), mencionadas em contextos de psicologia clínica. Apoia-se ainda em outros construtos, como as estratégias de aprendizagem e o comportamento proativo. O processo de estabelecimento de metas permite aos indivíduos regularem os seus comportamentos, funcionando como uma técnica motivacional eficaz para melhorar o desempenho em uma tarefa (Locke & Latham, 2002). Esse processo, visando utilizar e reter as competências recém-adquiridas em eventos de T&D, conduz a melhorias de desempenho (Payne, Youngcourt, & Beaubien, 2007). Pode ocorrer antes, durante e após tais eventos.

A prevenção de recaídas, como uma estratégia para potencializar a transferência de habilidades adquiridas ou atitudes desenvolvidas, foi sugerida por Marx (1982). Consiste na utilização de componentes cognitivos e comportamentais que visam facilitar a manutenção, em longo prazo, do que foi aprendido, para evitar recaídas de pessoas em tratamentos de droga adição, por exemplo. Em contextos de trabalho, a recaída se refere ao retorno ao desempenho na forma como era executado antes dos eventos de T&D. A inclusão, nesses eventos, de módulos de estudo sobre prevenção de recaídas se traduziria em níveis mais elevados de aprendizagem e de posterior impacto no trabalho. Há evidências de que a transferência de T&D é mais eficaz quando combinada com a prevenção de recaídas (Gaudine & Saks, 2004) e de que o efeito desta prevenção é significativo em climas organizacionais de transferência mais inibidores (Burke & Baldwin, 1999).

A existência de interação dinâmica entre a pessoa, o ambiente e o desempenho é postulada na literatura científica sobre comportamento organizacional (Bandura, 2001; Schneider, 1987). Os processos específicos por meio dos quais as pessoas poderiam influenciar, de forma intencional e direta, o seu entorno social, foram estudados por Bateman e Crant (1999). Os resultados encontrados mostraram que o comportamento proativo dos indivíduos está positivamente relacionado ao desempenho profissional e pode ter impacto positivo, por exemplo, no faturamento das empresas.

A partir desses aportes teóricos, foi descrito um conjunto de características individuais para a criação de condições necessárias à aplicação e à manutenção desses comportamentos de aplicação dos conhecimentos e habilidades adquiridas em T&D, as EAA (Pilati & Borges-Andrade, 2005). Este construto possuiria uma estrutura tripartite: cognições, afetos e comportamentos. O participante de ações de T&D avaliaria seu ambiente para selecionar a estratégia mais adequada ou para definir se o uso da EAA faria sentido - componente cognitivo do conceito. O componente afetivo funcionaria como um mecanismo de manutenção do uso de estratégias para aplicação do aprendido. Já o componente comportamental referir-se-ia à ação de modificação do ambiente para a criação da condição necessária à aplicação.

Para operacionalizar esse construto, os mencionados autores propuseram uma escala para mensurar EAA, cuja finalidade é avaliar o tipo e o nível de estratégias que indivíduos utilizam no ambiente de trabalho posterior a ações de T&D. O estudo visando obtenção de evidências de validade psicométrica desta escala resultou em um instrumento com um total de dezenove itens organizados em dois fatores hipotéticos distintos, com bons índices psicométricos. O Fator 1, denominado Estratégias Comportamentais, apresenta itens que descrevem a ação de transformação do ambiente de trabalho, como, por exemplo, a busca de condições materiais (equipamentos) que possibilitem a aplicação. O Fator 2, denominado Estratégias Cognitivo-afetivas, apresenta itens que avaliam o valor instrumental da ação de T&D para a vida profissional, a atitude frente ao seu conteúdo e, principalmente, a avaliação que o indivíduo faz do seu ambiente de trabalho.

Outros dois estudos testaram a estrutura fatorial da medida de EAA. Sua equivalência foi investigada para a Espanha e os resultados encontrados confirmaram os mesmos dois fatores com índices de consistência interna superiores a 0,80; porém, os itens se agruparam de maneira diferenciada (Pilati & Gonzaléz, 2009). No Brasil, a estrutura fatorial e o agrupamento de itens foram ratificados (Brant, 2013). Nesta ratificação, as cargas variaram de 0,39 a 0,78 para o Fator 1 (Estratégias Comportamentais) e de 0,48 a 0,94 para o Fator 2 (Estratégias Cognitivo-afetivas); os índices de consistência interna foram superiores a 0,84 e a variância total explicada foi de 41,4%, r = 0,39.

Embora os estudos descritos se constituam como evidências de validade dessa medida, os métodos clássicos da psicometria não garantem que a precisão da medição seja igualmente distribuída em todo o domínio de interesse. As propriedades obtidas por meio da teoria clássica dos testes (TCT) dependem do número de itens da escala e da amostra em estudo (Hambleton, Swaminathan, & Rogers, 1991). Isto é, na TCT, o parâmetro de dificuldade de um item altera-se em função de os participantes do estudo possuírem, mais ou menos, determinado traço latente, ou, ainda, dos itens utilizados para medi-lo (Pasquali & Primi, 2003). A psicometria moderna vem empregando novos modelos de medida, conhecidos pelo nome de Teoria da Resposta ao Item (TRI). A TRI possui como foco o estudo individualizado dos itens que compõem um conjunto maior, ao contrário da TCT, que tem como objetivo a determinação das propriedades do teste como um todo (Andriola, 2009).

Tradicionalmente a TRI foi utilizada no campo brasileiro de conhecimento da avaliação educacional em testes e provas em massa como, por exemplo, o SAEB (Sistema de Avaliação da Educação Básica) e o ENEM (Exame Nacional do Ensino Médio; Andriola, 2009). Considerada a potencialidade para avaliar e aprimorar instrumentos, seu uso vem estendendo-se para outras áreas como a psicologia (Fraley, Waller, & Brennan, 2000; Roberson-Nay, Strong, Nay, Beidel, & Turner, 2007), a gestão da produção (Bortolotti & Andrade, 2007), entre outras.

Quais são as características desta abordagem que a torna particularmente útil para o aprimoramento da medida de EAA? A TRI é um conjunto de modelos matemáticos que procuram representar a probabilidade de um indivíduo (j) dar certa resposta a um item (i) como função dos parâmetros do item (a e b) e do traço latente (θ) em análise (Andrade, Tavares, & Valle, 2000). Relaciona variáveis observáveis (e.g., itens de um teste) e traços hipotéticos não observáveis, de tal modo que, se forem conhecidas as características das variáveis observadas, pode-se estimar o nível do traço latente do indivíduo e vice-versa. Os parâmetros dos itens e o traço latente do indivíduo (θ) determinarão a probabilidade deste responder em cada uma das categorias para um dado item. Estas probabilidades podem ser mais bem identificadas por meio da Curva Característica do Item (CCI) ou Curva de Resposta à Categoria (CRC), que apresenta simultaneamente todas as curvas correspondentes à probabilidade de resposta afirmativa a cada uma das categorias. Outra medida bastante utilizada em conjunto com a CCI é a função de informação do item. Ela permite analisar quanto um item (ou teste) contém de informação para a medida geral. Isto é, identifica que itens discriminam bem ou mal o traço latente, implicando em decisões sobre a sua adequação e permanência na escala (de Ayala, 2009).

Os parâmetros que caracterizam o item, isto é, o parâmetro a(discriminação) e o parâmetro b (dificuldade) independem do nível de habilidade dos participantes que os responderam. A habilidade dos participantes independe dos itens utilizados para determiná-la, admitindo-se, nesse caso, que haja uma aptidão, um fator ou traço que seja dominante no indivíduo (Pasquali & Primi, 2003). A TRI fornece uma descrição detalhada do comportamento individual de itens em todos os níveis do traço latente em estudo. Permite ainda obter índices de fidedignidade do teste, do item e analisar as categorias utilizadas para medir o traço latente (Andriola, 2009).

A TRI veio complementar a TCT, superando as limitações relacionadas à fidedignidade da medida; sua principal vantagem é enfatizar os itens como elementos centrais da análise (Pasquali & Primi, 2003). Assim, a utilização da TRI no campo de conhecimento de organizações e trabalho pode representar um avanço na estimação dos construtos de interesse desse campo. Os pesquisadores e os profissionais precisam constantemente de instrumentos acurados, que permitam uma avaliação fidedigna de fatores potencialmente influentes nas relações estabelecidas entre comportamento humano e processo produtivo, bem como dos fatores que medeiam tal relação ou dela são decorrentes (Grossman & Salas, 2011).

No caso da escala EAA, com a TRI se procura formas de representar a relação entre a probabilidade de um indivíduo endossar uma categoria de resposta de um item (variando de acordo com a frequência de utilização de estratégias), as características do item e a utilização de estratégias enquanto traço latente presente no indivíduo. O presente estudo tem como objetivo analisar as características psicométricas da escala EAA por meio da TRI, visando obter maior acurácia nas estimativas dos seus parâmetros e reunir mais elementos que corroborem a sua validade de construto. Com isto, poderá ser dada uma contribuição relevante para o aprimoramento contínuo da mencionada escala.

Método

Participantes

Visando ao alcance da variabilidade e do número mínimo de participantes que permitisse a calibração da escala EAA por meio da TRI, utilizaram-se dados secundários originalmente coletados por Brant (2013) e Pilati (2004). Os participantes de ambos os estudos foram previamente informados dos objetivos e dos procedimentos de pesquisa e concordaram em contribuir voluntariamente. Nenhuma contingência de trabalho foi estabelecida com o objetivo de induzi-los a participar da pesquisa. Cuidados foram tomados para garantir que não fossem identificados nas organizações em que trabalhavam e a base de dados gerada não foi entregue a esta.

A amostra contém respostas de 1241 participantes de diferentes cursos ofertados por quatro órgãos da administração pública federal brasileira que responderam a questionários que visavam a analisar o relacionamento entre características pessoais (e.g., EAA, aprendizagem em T&D) e do contexto de trabalho (e.g., suporte organizacional) com a percepção de impacto de ações de T&D no trabalho. Dentre os respondentes, 54,1% eram homens com média de idade de 42,3 anos (DP= 7,21 anos); 80,8% com curso superior completo e média de experiência profissional de 17,8 anos (DP= 6,9 anos).

Instrumento

O instrumento avaliado é a escala de medida de EAA, composta por itens respondidos por meio de sete opções (1 = "nunca" e 7 = "sempre"), organizados em duas subescalas (variância total explicada = 40%): Fator 1, Estratégias Comportamentais (dez itens; cargas fatoriais entre 0,45 e 0,87; a = 0,88); e Fator 2, Estratégias Cognitivo-afetivas (nove itens; cargas fatoriais entre 0,46 e 0,71; a = 0,83). Todos os itens, cargas fatoriais, comunalidades e índices de consistência interna da EAA são descritos por Pilati e Borges-Andrade (2005).

Procedimentos de Análise de Dados

Na TRI existem diversos modelos que representam o relacionamento entre o traço latente e a resposta do indivíduo. A escolha do modelo a ser usado pelo pesquisador depende: (a) do número de categorias de respostas ao item; (b) do construto a ser medido; e (c) do tamanho da amostra (de Ayala, 2009). No que se refere ao tamanho da amostra para a calibração, esse autor sugere um mínimo de 500 participantes para a calibração de vinte itens.

Todos os itens da escala EAA possuem sete categorias de resposta e, por isso, um modelo para resposta politômica se mostra mais adequado. Considerando-se a natureza do construto a ser avaliado, autorrelatos de utilização de EAAs no contexto de trabalho, parece ser razoável supor que dificilmente os 19 itens dessa escala discriminam a população quanto ao traço latente com a mesma intensidade. Portanto, um modelo que permita que cada item tenha um valor diferente para a discriminação parece ser uma opção coerente.

Observadas tais características da escala de EAA, optou-se pela utilização do modelo de resposta gradual (MRG), apropriado quando há itens politômicos com categorias ordenadas (e.g., escalas Likert) e medidas comportamentais, cognitivas e atitudinais (Samejima, 1969). Outra característica do MRG é que o teste pode ser formado por itens com quantidade diferente de categorias. Nos testes que utilizam categorias de respostas, essa aferição pode ser particularmente útil por permitir ao pesquisador eliminar categorias que sejam pouco significativas dentro do conjunto de itens e melhorar os parâmetros do modelo (de Ayala, 2009). O MRG modela a probabilidade de um indivíduo jresponder em uma determinada categoria k (k=0, 1,..., m_i), ou superior do item i (na métrica normal), determinado o nível de habilidade (θ), e é dado pela seguinte equação:

P_i,k= probabilidade de responder ao item i na categoria k ou maior;

θ = representa o nível de utilização de estratégias comportamentais e de estratégias cognitivo-afetivas pelo indivíduo j;

a_i = parâmetro de discriminação do item; varia a cada item, mas é constante dentro dos itens. Essa restrição de igual inclinação em cada categoria tem a finalidade de evitar probabilidades negativas;

b_i,k = parâmetro de dificuldade da k-ésima categoria do item i; representa o nível de utilização de EAAs necessário para a escolha da categoria de resposta k, ou acima de k, com probabilidade igual a 0,50; é o ponto de interseção entre as categorias de respostas ordenadas;

D = constante (1,7); fator introduzido para tornar a função logística tão próxima quanto possível da função ogiva normal.

As curvas geradas pela Equação 1 (CCI) mostram a relação entre as probabilidades de respostas nas categorias de cada item e o nível do traço latente; a CCI torna possível identificar qual a categoria de resposta com maior probabilidade de ser escolhida para cada nível do traço latente. Com a aplicação desse modelo, o MRG, espera-se identificar sete parâmetros para cada item: um referente à sua discriminação e seis (número de categorias de resposta do item menos um) representando a "dificuldade" do item (de Ayala, 2009).

Os modelos multidimensionais da TRI são conhecidos por serem robustos contra a violação do pressuposto de unidimensionalidade (e.g., o MRG). Porém, desconsiderar essa suposição pode causar um viés sistemático no processo de medição (Han & Hambleton, 2007). Assim, no presente estudo, foram realizadas as análises das propriedades psicométricas das duas subescalas de EAAs. Procedimento semelhante foi realizado por Fraley et al. (2000), que estudaram quatro escalas multidimensionais usando o MRG, e é recomendado por de Ayala (2009).

Para a análise dos dados, procedeu-se, inicialmente, a verificação da exatidão de entrada dos dados, a ocorrência de casos omissos e a presença de casos extremos. O tratamento utilizado para os casos omissos relacionados a ambas subescalas foi do tipo listwise. A amostra final para o presente estudo foi composta de 552 participantes para a subescala EAAs Comportamentais e 831 respondentes para a subescala EAAs Cognitivo-afetivas. Assume-se que as cognições e os afetos do indivíduo relativos ao ambiente pós-ações de T&D e os comportamentos supostamente delas decorrentes se constituem como fatores distintos de influência nas respostas dos itens. Deste modo, Cognições e Afetos foram analisados separadamente de Comportamentos. Avaliaram-se, em primeiro lugar, os parâmetros da subescala Estratégias Comportamentais, e, depois, da subescala Estratégias Cognitivo-afetivas.

A estimativa dos parâmetros dos itens (parâmetros a e b) e o ajuste do MRG aos dados foram examinados com a ajuda do software PARSCALE 4.1. Este programa provê uma estimativa do valor de -2LL [2× log (máxima verossimilhança marginal)] para cada conjunto de itens estimado (Du Toit, 2003). A qualidade de ajuste para um modelo pode ser avaliada por meio do valor de -2LL, cujo valor mínimo é 0 e considerado como ajuste perfeito. Assim, quanto menor o valor de -2LL, melhor o ajuste do modelo (Field, 2009). Para melhorar a estimativa de máxima verossimilhança marginal, incluíram-se iterações usando o algoritmo Newton-Raphson e, assim, obteve-se a solução de convergência e o erro-padrão dos parâmetros de itens. Adotou-se, portanto, a sugestão de de Ayala (2009). Ainda com base na proposta deste autor, a estimativa expected a posteriori (EAP) foi selecionada para a localização das pessoas, uma vez que esta pode ser definida para qualquer padrão de resposta e tem um erro médio menor do que qualquer outro estimador. Visando a alcançar o melhor ajuste do modelo, algumas estratégias foram adotadas, conforme a necessidade: (a) estabeleceu-se prior; (b) categorias foram reordenadas; e (c) foram excluídos itens cujos valores do parâmetro aforam menores do que 0,8. Esse último critério visa a aproveitar apenas os itens mais discriminativos em relação ao traço latente. Definiu-se que os escores TRI tivessem média zero e desvio padrão um (escala 0,1). Quando os valores de traço latente de um grupo são transformados para a escala 0,1, os valores de b normalmente variam de - 2 a +2, sendo que os valores de b próximos de -2 correspondem aos itens que são mais fáceis de endossar; ao contrário, valores de b próximos de + 2, correspondem aos itens que são mais difíceis para o grupo de respondentes endossar (Pasquali & Primi, 2003).

Resultados

As suposições para a calibração dos parâmetros, isto é, a unidimensionalidade e a independência condicional, foram asseguradas por meio do estudo, em separado, de cada uma das duas subescalas da EAA. O pressuposto de ajuste do modelo escolhido, o MRG, foi verificado por meio da curva característica do item (CCI) e pelos valores obtidos na convergência de estimativas de máxima verossimilhança marginal (de Ayala, 2009).

Subescala Estratégias Comportamentais

Iniciou-se o procedimento de calibração da subescala EAAs Comportamentais utilizando-se todos os dez itens em um único bloco, com as sete categorias de respostas originais ("nunca" a "sempre"), critério de convergência para a iteração igual a 0, 001 e estimador EAP. Nessa fase, as correlações polisseriais foram todas superiores a 0,71, sugerindo que nenhum dos itens precisaria ser excluído para se alcançar um melhor ajuste do modelo. Sequencialmente, foram aumentados os ciclos de iteração EAP e Newton-Raphson. Por fim, foram utilizadas prior visando a alcançar o melhor ajuste do modelo.

O critério de convergência (0, 001) foi atingido após 54 ciclos de iteração. O valor de -2LL diminuiu de 36870,47, no primeiro ciclo, para -2LL=25521,36 no último, mostrando melhoria no ajuste do modelo. A Tabela 1 apresenta os parâmetros de discriminação a, o de dificuldade b para cada categoria de resposta e os respectivos erros-padrão dos dez itens da mencionada subescala.

Tabela 1
Parâmetros de Discriminação "a" e de Difi culdade "b" e seus Erros-padrão dos Dez Itens da Subescala Estratégias Comportamentais de Aplicação do Aprendido no Trabalho

Item	a	b1	b2	b3	b4	b5	b6
14. Mostro para minha chefia/supervisão as vantagens em adquirir equipamentos que possibilitem a aplicação do que aprendi.	1,43 (0,05)	1,50 (0,06)	1,09 (0,06)	0,57 (0,05)	-0,35 (0,04)	-1,06 (0,04)	-1,75 (0,05)
16. Mostro para minha chefia/supervisão quais as vantagens da aplicação, no trabalho, do que aprendi em treinamento.	1,40 (0,06)	1,85 (0,01)	1,27 (0,06)	0,53 (0,05)	-0,35 (0,04)	-1,18 (0,04)	-2,12 (0,05)
17. Mostro para os meus colegas de trabalho quais os benefícios de utilizar o que aprendi em treinamento.	1,15 (0,05)	2,33 (0,06)	1,41 (0,01)	0,65 (0,06)	-0,43 (0,05)	-1,46 (0,05)	-2,50 (0,06)
18. Procuro convencer meu chefe que para utilizar o aprendido deve-se designar tempo de dedicação.	1,43 (0,05)	1,62 (0,05)	1,18 (0,05)	0,51 (0,04)	-0,31 (0,04)	-1,09 (0,04)	-1,92 (0,06)
19. Negocio com meu chefe o tempo necessário (horas por semana) que dedicarei para aplicar o aprendido.	1,35 (0,05)	1,62 (0,05)	1,18 (0,04)	0,39 (0,04)	-0,38 (0,05)	-1,08 (0,06)	-1,73 (0,06)
20. Defino metas fáceis para aplicar o que aprendi em treinamento.	1,00 (0,04)	2,15 (0,06)	1,47 (0,06)	0,74 (0,06)	-0,39 (0,06)	-1,51 (0,06)	-2,46 (0,06)
21. Peço orientações a colegas mais experientes para aplicar o que aprendi em treinamento.	1,09 (0,04)	1,96 (0,06)	1,29 (0,06)	0,56 (0,06)	-0,45 (0,05)	-1,23 (0,05)	-2,12 (0,06)
23. Solicito a aquisição de material/equipamentos, necessários para a aplicação do que aprendi.	1,57 (0,06)	1,42 (0,05)	0,97 (0,04)	0,38 (0,03)	-0,30 (0,03)	-0,98 (0,04)	-1,53 (0,05)
24. Solicito os recursos necessários (ex: financeiros, materiais, humanos) para aplicar o que aprendi.	1,52 (0,06)	1,42 (0,04)	0,98 (0,04)	0,38 (0,03)	-0,31 (0,03)	-0,98 (0,04)	-1,50 (0,05)
25. Solicito que minha chefia/supervisão imediata defina metas para aplicação do que aprendi em treinamento.	1,42 (0,05)	1,55 (0,05)	1,11 (0,04)	0,37 (0,04)	-0,32 (0,04)	-1,00 (0,05)	-1,71 (0,06)

• Nota. Os valores entre parênteses correspondem ao erro-padrão de cada parâmetro estimado.

Esta subescala, depois de calibrada, permaneceu com os dez itens e com as sete categorias de respostas originais. Foram identificados sete parâmetros para cada item (Tabela 1): um referente à sua discriminação e seis relacionados à dificuldade do item. Todos estes itens são adequados para o instrumento e discriminam o traço latente a ser medido. O parâmetro atem valores acima de 1,04 e erro-padrão máximo de 0,06, valor considerado aceitável por Baker (2001).

Quando foram considerados, em conjunto, os resultados dos parâmetros b (b ₁ a b ₆) e do parâmetro a para cada item, observou-se que o item 23 e o item 24 são os mais informativos das EAAs Comportamentais. Os itens 20 e 21 são os menos informativos. Estes itens possuem menor poder discriminativo, além de apresentarem valores extremos de b superiores a ± 2, sugerindo que seus conteúdos são mais fáceis de endossar.

A discriminação do teste é de 1,27. A curva de informação do teste mostra que o conjunto de dez itens, com sete categorias de respostas, produz uma boa quantidade de informação entre -3 e +3 (Figura 1). O erro da medida é baixo no intervalo no qual a escala melhor discrimina [-1,5; 0,8], com pico de informação em θ = - 0,3.

Figura 1.
Curvas de informação e de erro da medida (MRG) da Escala de Estratégias Comportamentais de Aplicação do Aprendido no Trabalho.

Subescala Estratégias Cognitivo-Afetivas

Foram conduzidas as análises preliminares utilizando-se todos os nove itens da subescala EAAs Cognitivo-afetivas. Estes foram reunidos em um único bloco, estimados com as sete categorias originais ("nunca" a "sempre"), critério de convergência para a iteração igual a 0,001, estimador EAP e algoritmo Newton-Raphson.

Foram encontrados itens com percentual de frequência superior a 43% na categoria "sempre" (item 4 e 11) e, ainda, uma tendência a respostas nas categorias "às vezes", "frequentemente" e "muito frequentemente". A categoria "nunca" teve percentual de resposta baixo. Nessa primeira calibração, os valores do parâmetro a foram baixos (< 0,8) para todos os itens. As correlações polisseriais foram superiores a 0,70, exceto para o item 4 ("Admiro as pessoas que conseguem aplicar no trabalho o que aprendem em treinamento"), rho = 0,50; p < 0,001. Este valor, embora inferior àqueles alcançados pelos demais itens, ainda é considerado aceitável (Baker, 2001).

Procedeu-se nova estimação visando a melhorar o ajuste do modelo e dos parâmetros dos itens. Nessa etapa, os itens foram separados em nove blocos diferentes. As categorias foram reorganizadas, sendo reunidas aquelas com percentuais baixos de respostas. Esses nove itens tiveram as duas primeiras e as duas últimas categorias reunidas (i.e., "nunca" e "muito raramente"; "muito frequentemente" e "sempre"). Foram inseridos prior da primeira estimativa.

O item 4 ("Admiro as pessoas que conseguem aplicar no trabalho o que aprendem em treinamento"), mesmo com várias tentativas de reunir as sete categorias, permaneceu com o ajuste pobre. O melhor resultado obtido foi com as categorias "nunca", "muito raramente", "raramente" e "às vezes" reunidas. Porém, ainda assim, o valor do parâmetro a deste item permaneceu abaixo do critério de corte de 0,8 sugerido por de Ayala (2009). Nesta fase de análise, exceto pelo item 4, todos os demais itens alcançaram valores do parâmetro a acima de 1,10 com erro-padrão máximo de 0,08.

Considerando a baixa discriminação e pequena quantidade de informação do item 4, optou-se pela sua exclusão e procedeu-se nova análise dos parâmetros da subescala EAAs Cognitivo-afetivas com oito itens e cinco categorias de respostas, das sete originalmente existentes. O critério de convergência (0,001) foi atingido após 42 ciclos de iteração (-2LL=21164,20 para -2LL=9893,45), mostrando melhoria no ajuste do modelo. A Tabela 2 mostra os parâmetros a, o parâmetro b para cada categoria de resposta e os respectivos erros-padrão dos oito itens da subescala Estratégias Cognitivo-afetivas.

Tabela 2
Parâmetros de Discriminação "a" e de Difi culdade "b" e seus Erros-padrão dos Oito Itens da Subescala Estratégias Cognitivo-afetivas de Aplicação do Aprendido no Trabalho

Item	a	b1	b2	b3	b4
1. Acredito que é possível aplicar no trabalho o que aprendi nesse treinamento.	1,37 (0,05)	1,35 (0,03)	0,35 (0,06)	-0,32 (0,04)	-1,39 (0,06)
2. Identifico antecipadamente as situações que podem dificultar a aplicação do que aprendi nesse treinamento.	1,01 (0,05)	1,98 (0,04)	0,97 (0,27)	-0,62 (0,15)	-2,33 (0,15)
5. Apresento resultados da aplicação do que aprendi para meus colegas e chefe/supervisor.	1,72 (0,06)	1,01 (0,07)	0,61 (0,06)	-0,26 (0,06)	-1,36 (0,01)
6. Avalio como estou aplicando no trabalho o que aprendi nesse treinamento.	1,84 (0,06)	1,08 (0,02)	0,40 (0,03)	-0,23 (0,07)	-1,25 (0,06)
7. Busco as informações necessárias para aplicar o que aprendi.	1,39 (0,06)	1,15 (0,06)	0,41 (0,03)	-0,26 (0,03)	-1,30 (0,05)
8. Consulto material de treinamento para aplicar, no trabalho, o que aprendi nesse treinamento.	1,11 (0,04)	1,33 (0,02)	0,48 (0,05)	-0,30 (0,04)	-1,51 (0,15)
10. Identifico as dificuldades que encontro no ambiente de trabalho para aplicar o que aprendi.	1,20 (0,05)	1,47 (0,04)	0,47 (0,07)	-0,32 (0,13)	-1,62 (0,12)
11. É muito importante aplicar no trabalho o que aprendi nesse treinamento.	1,52 (0,05)	1,33 (0,03)	0,14 (0,06)	-0,23 (0,06)	-1,24 (0,03)

• Nota. Os valores entre parênteses correspondem ao erro-padrão de cada parâmetro estimado.

Esta Tabela mostra que foram identificados cinco parâmetros para cada item: um referente à sua discriminação e quatro relacionados à dificuldade do item. Nessa etapa da calibração, todos os oito itens mostraram melhoria nos parâmetros estimados quando comparados à fase 2 e parecem que se adéquam bem ao instrumento.

O parâmetro a tem valores superiores a 1,00 e erro-padrão máximo igual a 0,06. Tal resultado sugere que um bom poder discriminativo da subescala de EAAs Cognitivo-afetivas utilizadas no contexto do trabalho, visando à aplicação de conhecimentos, habilidades e atitudes adquiridas em ações de T&D.

Quando foram considerados, em conjunto, os resultados dos parâmetros b (b ₁ a b ₄) e do parâmetro a para cada item, observou-se que o item 5 e o item 6 são os mais informativos desta subescala e que os itens 2 e 8 são os menos informativos. Estes itens possuem menor poder discriminativo, além de apresentarem valores de b próximos a ± 2, sugerindo que seus conteúdos são mais fáceis de endossar.

A discriminação do teste é de 1,29. A curva de informação do teste mostra que o conjunto de oito itens produz uma boa quantidade de informação entre -3 e +2 (Figura 2). O erro da medida no intervalo no qual a escala melhor discrimina [-2,0; 0,5] é baixo, com pico de informação em θ = -0,8.

Figura 2.
Curvas de informação e de erro da medida (MRG) da Escala de Estratégias Cognitivo-afetivas de Aplicação do Aprendido no Trabalho.

Discussão

O presente estudo teve como objetivo analisar as propriedades psicométricas da escala EAA, com base na TRI. As EAAs se referem a um conjunto de ações promovidas pelos indivíduos no ambiente de trabalho com a finalidade de modificá-lo e torná-lo mais receptivo às competências desenvolvidas em ações de T&D. Esta escala possui estrutura bidimensional e, dessa forma, os fatores foram analisados separadamente, visando a atender aos pressupostos subjacentes à TRI. Este procedimento está de acordo com estudos anteriores que buscavam verificar escalas multidimensionais (e.g., Fraley et al., 2000).

Os resultados deste estudo apontam novas evidências de validade, agora a partir da TRI, à estrutura empírica da escala EAA. A avaliação dos seus itens, quanto à quantidade de informação psicométrica e ao grau de utilização do traço latente, é um ganho importante em relação à TCT. Distinguiram-se os itens mais informativos daqueles que informam menos (parâmetro a). Isto possibilita identificar que EAAs Comportamentais e Cognitivo-afetivas têm maior ou menor relevância na avaliação das ações dos indivíduos no ambiente pós-T&D.

Ambas as subescalas ajustaram-se bem ao MRG e exibiram características psicométricas aceitáveis de acordo com os critérios da TRI. Esse modelo se mostrou totalmente adequado para avaliar os itens, tanto pelas evidências das estatísticas de ajustes como, também, no conjunto de itens retidos. Foram calibrados dezoito itens da escala EAA, sendo dez pertencentes à subescala EAAs Comportamentais e oito à subescala EAAs Cognitivo-afetivas.

A primeira subescala conservou todos os seus itens e as sete categorias de respostas no processo de calibração, mostrando-se propícia para mensurar ações de transformação do ambiente de trabalho que possibilitem a aplicação de conhecimentos e habilidades adquiridas por meio de ações de T&D. A discriminação do instrumento é considerada moderada com acuracidade alta, discriminando melhor pessoas com níveis medianos de aplicação dessas estratégias (Figura 1).

Os itens mais informativos desta subescala remetem às ações que tem por objetivo obter suporte material da organização visando a aplicar o aprendido. Na área de avaliação de T&D, o suporte organizacional tem se mostrado um bom preditor de resultados (Grossman & Salas, 2011). Este suporte, no entanto, é avaliado como a percepção dos indivíduos sobre o apoio recebido. No caso dos itens referentes à subescala EAAs Comportamentais, o que se pretende analisar são as ações que o próprio indivíduo empreende para tornar seu ambiente de trabalho favorável à aplicação de conhecimentos e habilidades aprendidas em T&D. Os itens se referem a um conjunto de indicadores comportamentais relativos à proatividade, ao enfrentamento de situações cotidianas adversas, ou favoráveis, dentro do ambiente de trabalho e ao estabelecimento de metas visando à transformação ou à manutenção das condições de trabalho.

No caso dessa primeira escala, os itens mais informativos envolvem uma busca ativa, baseada integralmente no esforço individual, visando a alterar características do contexto de trabalho. Isto é o "núcleo duro" do conceito de estratégias. Os itens menos informativos são os concernentes a definir metas fáceis para a mencionada aplicação e pedir orientação a colegas mais experientes, para realizá-la. Nesses dois últimos casos, a razão pode estar no fato de serem afirmativas que podem ser consideradas socialmente pouco desejáveis. Outra razão, de natureza conceitual, tem a ver com o fato de que não são exatamente descrições de atos que levem à plena aplicação do aprendido, mas provavelmente a maquiar esta plena aplicação ou a depositar, nos outros, pelo menos parcialmente, a responsabilidade por aqueles atos. Isto é, podem ser considerados falsos atos estratégicos e estariam, portanto, mais distantes daquele "núcleo duro" do mencionado conceito.

Embora se destaquem alguns itens como mais ou menos informativos do traço latente, ao se considerarem os resultados da calibração desta subescala, observou-se que todo o conjunto de dez itens corrobora que há um conjunto de comportamentos de criação de condições de aplicação do aprendido, conforme proposto por Pilati e Borges-Andrade (2005). Do ponto de vista prático, a identificação de tais estratégias tornaria possível desenvolver tecnologias para capacitar os trabalhadores no desenvolvimento ou no fortalecimento de comportamentos proativos, bem como na criação de um ambiente de trabalho que facilitasse o uso de tais estratégias visando a aumentar a efetividade das ações de T&D nas organizações. Tais tecnologias poderiam ser utilizadas, por exemplo, antes do término dessas ações de T&D, ou em curtos momentos subsequentes, no local de trabalho, em caráter que poderia ser periódico.

No que se refere à calibração da subescala EAAs Cognitivo-afetivas, foram preservados oito dos nove itens e categorias de respostas diferenciadas da sua formulação original. Foram reunidas as categorias "nunca" e "muito raramente", e "muito frequentemente" e "sempre" em todos os itens. Com a realização dessa recategorização, o percentual de respostas por categoria dentro dos itens ficou relativamente bem distribuído e a calibração alcançou parâmetros satisfatórios. A discriminação da subescala é considerada moderada com acuracidade alta, distinguindo melhor pessoas com níveis medianos de aplicação dessas (Figura 2). O conjunto de oito itens apoia a estrutura teórica proposta por Pilati e Borges-Andrade (2005). São itens que se referem principalmente à avaliação e ao reconhecimento de situações contextuais para aplicação do aprendido no trabalho.

O item 4 ("Admiro as pessoas que conseguem aplicar no trabalho o que aprendem em treinamento"), que tinha supostamente elementos tipicamente afetivos, foi excluído da escala Cognitivo-afetiva, pois não alcançou o valor mínimo de discriminação, isto é, trata-se de um item que informa muito pouco sobre o traço latente. Analisando o seu conteúdo, pode-se inferir que induza a um alto grau de desejabilidade social e, por isso, talvez não tenha se adequado bem à subescala mencionada. Esse item 4 pode ainda ter um conteúdo que sugira ao respondente pouca iniciativa individual, expresse relativa passividade, o que não é exatamente típico da dinâmica esperada de quem deveria ser um estrategista.

Destacaram-se como itens mais informativos aqueles que envolvem a autoavaliação das estratégias utilizadas para aplicar o aprendido e apresentar resultados para pares e chefias. Tais itens descrevem processos eminentemente cognitivos (autoavaliação) e afetivos (apresentar resultados) e de iniciativa do próprio indivíduo, para alcançar um fim, isto é, tipicamente do "núcleo duro" do conceito de estratégias. Um item menos informativo é acreditar que é possível aplicar no trabalho o que foi aprendido em ações de T&D, uma crença e não um processo cognitivo. Outro item menos informativo é consultar material oriundo dessas ações, para realizar a aplicação. Esta descrição de item provavelmente sugere elementos de natureza comportamental (buscar material) mesclados com elementos de natureza cognitiva (obter, neste material, informações relevantes).

Destaca-se ainda que, no contexto deste estudo, a interpretação do parâmetro b pode ser associada, também, ao grau de dificuldade de um indivíduo utilizar, em seu cotidiano, EAAs Comportamentais e Cognitivo-afetivas visando à transferência do adquirido para o trabalho. Neste caso, o aumento no grau de dificuldade de aplicação de Estratégias Comportamentais e Cognitivo-afetivas pode conduzir a um decréscimo do seu uso. Considerando-se que o parâmetro b (dificuldade) e o traço latente (nível de utilização de estratégias) foram medidos na mesma escala, infere-se que indivíduos com baixo nível de aplicação de estratégias podem vir a ter dificuldades, no futuro, para a sua utilização.

Do ponto de vista prático, indivíduos com tais características podem ser estimulados pelos gestores, ou pelo pessoal técnico encarregado das ações de T&D, para agir de maneira mais proativa em seus ambientes de trabalho. Tomados em conjunto, os resultados obtidos adicionam elementos à busca de validade de construto da EAA e ao seu potencial de aplicação dentro do contexto do trabalho. Destaca-se que a calibração da escala de EAA permitiu, também, verificar a acuracidade desta escala, o que implica no reconhecimento de que a revisão dos itens menos informativos e a inclusão de outros novos podem torná-la mais eficiente para discriminar, também nos níveis mais altos, esse traço latente.

Uma possibilidade de aprimoramento da subescala de EAAs Cognitivo-afetivas seria a redação de itens adicionais da subdimensão afetiva, pois a subdimensão cognitiva (autoavaliação, busca de informações, identificação de situações e de dificuldades, apresentação de resultados) parece estar suficientemente coberta para a aferição do construto. Além disto, os itens com características mais próximas do componente afetivo (atribuir importância à aplicação do aprendido no trabalho e acreditar que ela é possível), menos frequentes na subescala, são mais sujeitos à desejabilidade social na resposta, fazendo com que não tenham variabilidade suficiente para análises. Tais indícios apontam para a necessidade de se buscarem alternativas para a mensuração de processos afetivos no contexto organizacional (Brief & Weiss, 2002). Uma alternativa viável para a mensuração de fenômenos afetivos nas organizações, considerando que são altamente sujeitos à influência da desejabilidade social, é o emprego de medidas implícitas de atitudes, que têm sido largamente utilizadas para mensuração de fenômenos afetivos na pesquisa em cognição social (De Houwer & Moors, 2010).

Ainda no concernente às vantagens da aplicação da TRI para o aprimoramento da escala EAA, estudos futuros poderão fazer uma análise comparativa de resultados obtidos utilizando-se outros modelos para a calibração. Um exemplo poderia ser o modelo de desdobramentos (unfolding model), o qual começou a ser testado recentemente no Brasil em pesquisas com variáveis atitudinais e relacionadas ao contexto organizacional (e.g. Bortolotti & Andrade, 2007).

O modelo proposto da TRI revelou-se uma ferramenta complementar bastante útil na análise de estratégias de aplicação do aprendido em T&D. Tratando-se de utilização de uma técnica ainda pouco relatada em estudos na área de psicologia organizacional e do trabalho, espera-se que este artigo contribua com um exemplo de método que se soma aos esforços de enfretamento para a busca de validade de construto de medidas. De forma geral, os resultados sugerem evidências de validade da escala EAA, além de apontar caminhos para o seu aprimoramento continuado.

Referências

• Andrade, D. F., Tavares, H. R., & Valle, R. C. (2000). Teoria da Resposta ao Item: Conceitos e aplicações. In XIV Simpósio Nacional de Probabilidade e Estatística. São Paulo, SP: Associação Brasileira de Estatística. Recuperado em http://www.ufpa.br/heliton/arquivos/LivroTRI.pdf
  » http://www.ufpa.br/heliton/arquivos/LivroTRI.pdf
• Andriola, W. B. (2009). Psicometria moderna: Características e tendências. Estudos em Avaliação Educacional, 20, 319-340.
• Baker, F. B. (2001). The basics of item response theory (2nd ed.). Washington, DC: Eric Clearinghouse on Assessment and Evaluation.
• Bandura, A. (2001). Social cognitive theory: An agentic perspective. Annual Review of Psychology, 52, 1-26. doi:10.1146/annurev.psych.52.1.1
  » https://doi.org/10.1146/annurev.psych.52.1.1
• Bateman, T. S., & Crant, J. M. (1999, May-June). Proactive behavior: Meanings, impact, and recommendations. Business Horizons, 63-70. doi:10.1177/014920630002600304
  » https://doi.org/10.1177/014920630002600304
• Bortolotti, S. L. V., & Andrade, D. F. (2007). Aplicação de um Modelo de Desdobramento Graduado Generalizado - GGUM da Teoria da Resposta ao Item. Estudos em Avaliação Educacional, 37, 157-188.
• Brant, S. R. C. (2013). Impacto do treinamento no trabalho: O efeito mediador das estratégias de aplicação do aprendido. Revista Psicologia: Organizações e Trabalho, 13(3), 351-362.
• Brief, A. P., & Weiss, H. M. (2002). Organizational behavior: Affect in the workplace. Annual Review of Psychology, 53, 279-307. doi:10.1146/annurev.psych.53.100901.135156
  » https://doi.org/10.1146/annurev.psych.53.100901.135156
• Burke, L. A., & Baldwin, T. T. (1999). Workforce training transfer: A study of the effect of relapse prevention training and transfer. Human Resource Management, 38, 227-243.
• De Ayala, R. J. (2009). The Theory and Practice of Item Response Theory. New York: The Guildford Press.
• De Houwer, J., & Moors, A. (2010). Implicit measures: Similarities and differences. In B. Gawronski & B. K. Payne (Eds.), Handbook of implicit social cognition: Measurement, theory, and applications (pp. 176-196). New York: Guilford.
• Du Toit, M. (2003). IRT from SSI, BILOG-MG, MULTILOG, PARSCALE, TESTFACT. Lincolnwood, IL: Scientific Software International.
• Field, A. (2009). Descobrindo a estatística usando o SPSS (2. ed). Porto Alegre, RS: Bookman.
• Fraley, R. C., Waller, N. G., & Brennan, K. E. (2000). An item response theory analysis of self-report measures of adult attachment. Journal of Personality and Social Psychology, 78, 350-365. doi:10.1037/0022-3514.78.2.350
  » https://doi.org/10.1037/0022-3514.78.2.350
• Gaudine, A. P., & Saks, A. M. (2004). A longitudinal quasi-experiment on the effects of post training transfer interventions. Human Resource Development Quarterly, 15(1), 57-76. doi:10.1002/hrdq.1087
• Grossman, R., & Salas, E. (2011). The transfer of training: What really matters. International Journal of Training and Development, 15, 103-120. doi:10.1111/j.1468-2419.2011.00373.x
  » https://doi.org/10.1111/j.1468-2419.2011.00373.x
• Hambleton, R. K., Swaminathan, H., & Rogers, H. J. (1991). Fundamentals of item response theory. Newbury Park, CA: Sage.
• Han, K. T., & Hambleton, R. K. (2007). User's Manual for WinGen: Windows software that generates IRT Model Parameters and Item Responses (Report No. 642). Amherst, MA: University of Massachusetts Amherst. Retrieved June 29, 2011, from http://www.umass.edu/remp/software/simcata/wingen/WinGen_Manual_Han_Hambleton_2007.pdf
  » http://www.umass.edu/remp/software/simcata/wingen/WinGen_Manual_Han_Hambleton_2007.pdf
• Locke, E. A., & Latham, G. P. (2002). Building a practically useful theory of goal setting and task motivation: A 35-year odyssey. American Psychologist, 57, 705-717.
• Locke, E. A., Shaw, K. N., Saari, L. M., & Latham, G. P. (1981). Goal setting and task performance: 1969-1980. Psychological Bulletin, 90, 125-152. doi:10.1177/014920630002600610
  » https://doi.org/10.1177/014920630002600610
• Marx, R. D. (1982). Relapse prevention of managerial training: A model for maintenance of behavior change. Academy of Management Review, 7, 433-441.
• Pasquali, L., & Primi, R. (2003). Fundamentos da Teoria da Resposta ao Item: TRI. Avaliação Psicológica, 2(2), 99-110
• Payne, S. C., Youngcourt, S. S., & Beaubien, J. M. (2007). A meta-analytic examination of the goal orientation nomological net. Journal of Applied Psychology, 92(1), 128-150. doi:10.1037/0021-9010.92.1.128
  » https://doi.org/10.1037/0021-9010.92.1.128
• Pilati, R. (2004). Modelo de efetividade do treinamento no trabalho: Aspectos dos treinandos e moderação do tipo de treinamento (Tese de doutorado, Universidade de Brasília, DF, Brasil).
• Pilati, R., & Borges-Andrade, J. E. (2005). Estratégias para aplicação no trabalho do aprendido em treinamento: Proposição conceitual e desenvolvimento de uma medida. Psicologia: Reflexão Crítica, 18, 207-214. doi:10.1590/S0102-79722005000200009
  » https://doi.org/10.1590/S0102-79722005000200009
• Pilati, R., & Gonzaléz, C. P. (2009). Validación y test de la equivalencia de la estructura factorial de la Escala de Estrategias de Aplicación de lo Aprendido. Revista Interamericana de Psicología, 43(1), 39-48. doi:28411918005
• Roberson-Nay, R., Strong, D., Nay, W., Beidel, B., & Turner, S. (2007). Development of an abbreviated Social Phobia and Anxiety Inventory (SPAI) using Item Response Theory: The SPAI-23. Psychological Assessment, 19(1), 133-145. doi:10.1037/1040-3590.19.1.133
  » https://doi.org/10.1037/1040-3590.19.1.133
• Samejima, F. (1969). Estimation of latent ability using a Response Pattern of Graded Scores (Psychometric Monograph No. 17). Richmond, VA: Psychometric Society. Retrieved July 22, 2011, from https://www.psychometricsociety.org/sites/default/files/pdf/MN17.pdf
  » https://www.psychometricsociety.org/sites/default/files/pdf/MN17.pdf
• Schneider, B. (1987). The people make the place. Personnel Psychology, 40, 437-453. doi:10.1111/j.1744-6570.1987.tb00609.x
  » https://doi.org/10.1111/j.1744-6570.1987.tb00609.x

Datas de Publicação

• Publicação nesta coleção
  Jan-Mar 2015

Histórico

• Recebido
  29 Nov 2012
• Revisado
  11 Maio 2013
• Aceito
  16 Out 2013