Análise fatorial confirmatória da escala de impacto do treinamento no trabalho

Confirmatory factor analysis of a scale for impact of training at work

Análise fatorial confirmatória da escala de impacto do treinamento no trabalho¹

Confirmatory factor analysis of a scale for impact of training at work

Ronaldo Pilati^I,2; Gardênia Abbad^II

^IInstituto de Ciências do Trabalho – ICTr

^IIUniversidade de Brasília

RESUMO

Impacto do treinamento no trabalho é o principal indicador da efetividade de ações de treinamento no nível individual. Nos modelos de avaliação de treinamento impacto é um indicador de mudança do comportamento no cargo. A delimitação de conceitos similares, como transferência de aprendizagem, e o teste desses construtos tornam-se relevantes para a pesquisa na área. Este estudo tem como objetivo testar a estrutura empírica de um instrumento de impacto do treinamento no trabalho por meio de modelagem por equações estruturais. Participaram do estudo 2.966 funcionários de sete organizações, divididos em três sub-amostras. Os resultados das análises sugeriram re-especificações do modelo hipotético, e a análise cruzada da estrutura foi corroborada nas três sub-amostras. Desta forma, conclui-se que existe a necessidade de aprimoramento da medida. Entretanto, a proposta conceitual de impacto do treinamento no trabalho foi corroborada.

Palavras-chave: impacto do treinamento no trabalho; transferência de aprendizagem; análise fatorial confirmatória.

ABSTRACT

Training impact at work is the main indicator of training effectiveness at the individual level. In the training evaluation models, impact is a measure of behavior change on the job. The conceptual delimitation of similar constructs, as transfer of learning, is important to research. The main objective of this study were to test the empirical structure of the training impact at work's scale with a confirmatory factor analysis and the adequacy of the construct. In this study, participated 2.966 workers of seven organizations, divided in three sub-samples. The results indicated model modifications, and the analysis was corroborated on the three sub-samples. Thus, the measurement should be improved. However, the conceptual proposition of training impact at work was corroborated.

Key words: training impact at work; transfer of learning; confirmatory factor analysis.

Treinamento possui várias definições. Borges-Andrade (2002), por exemplo, o define como uma ação organizacional planejada de modo sistemático, que possibilita a aquisição de habilidades motoras, atitudinais ou intelectuais, assim como o desenvolvimento de estratégias cognitivas que podem tornar o indivíduo mais apto a desempenhar suas funções atuais ou futuras. Goldstein (1993), na mesma direção de Borges-Andrade, define treinamento como a aquisição sistemática de conhecimentos, habilidades, atitudes, regras e conceitos que resultam em um aumento do desempenho no trabalho.

Para Bastos (1991), a diferenciação entre treinamento e outras ações, como educação e desenvolvimento, passaria pela intencionalidade de cada uma. A função de um treinamento seria a de desenvolver um conjunto de conhecimentos, habilidades e atitudes para a melhoria de desempenho atual. Enquanto educação, segundo Nadler (1984), visaria à formação profissional mais abrangente, relacionada geralmente à preparação do profissional para ocupações e trabalhos futuros e, finalmente, desenvolvimento seria uma formação mais ampla, não necessariamente ligada à profissionalização. Os limites entre esses conceitos estão cada vez mais tênues, uma vez que a necessidade de formação e atualização profissional, na atualidade, tornou esses conceitos muito sobrepostos.

Observa-se convergência dos autores acerca de alguns pontos da definição de treinamento, possibilitando que uma definição abrangente descreva treinamento como uma ação tecnológica controlada pela organização, composta de partes coordenadas entre si, inseridas no contexto organizacional, calcada em conhecimentos advindos de diversas áreas, com a finalidade de (a) promover a melhoria de desempenho, (b) capacitar o profissional para o uso de novas tecnologias e (c) prepará-lo para novas funções. Essas finalidades são atingidas por meio da aquisição sistemática intencional de competências e aplicação dessas no trabalho.

Um dos temas que mais chama a atenção dos pesquisadores na área diz respeito ao efeito do treinamento no trabalho do treinado (Abbad, 1999; Holton III, Bates, Seyler & Carvalho, 1997; Roullier & Goldstein, 1993; Salas & Cannon-Bowers, 2001; Sallorenzo, 2000). Essa atenção se deve ao grande interesse que profissionais e pesquisadores têm em compreender de que modo o treinamento produz mudanças no comportamento subseqüente do treinado, quando esse está em sua atividade laboral diária. A preocupação em mensurar esse nível de efeito pós-treinamento tem suas origens nos modelos clássicos de avaliação de treinamento (Hamblin, 1978; Kirkpatrick, 1976). Esses teóricos pressupunham que um dos objetivos do treinamento seria provocar uma modificação no comportamento do treinado na execução das atividades atinentes às suas atribuições dentro da organização. Esses conceitos têm sido relacionados e/ou renomeados de formas distintas por diferentes autores. Por tanto, são fundamentais a análise e a comparação, sobre limites e abrangências de tais conceitos. Com esse objetivo apresenta-se, a seguir, uma discussão teórico-conceitual sobre esses construtos.

A seguir são apresentadas definições de alguns conceitos relacionados que são utilizados para descrever processos de mudança de estados comportamentais em decorrência de treinamentos. A Figura 1 procura esquematizar um conjunto de construtos interdependentes, organizados de forma hierárquica. Estes são assim arranjados devido ao estreito relacionamento conceitual que mantêm entre si.

O primeiro conceito, aquisição, descreve o resultado central e imediato do treinamento no indivíduo e que é condição para a ocorrência dos outros processos descritos pelos demais conceitos da Figura 1. Aquisição pode ser definida como o processo básico de apreensão de conhecimentos, habilidades e atitudes, desenvolvidos na ação instrucional. Ele substitui a noção teórica de aprendizagem porque segundo Howard (1999) não existe consenso entre os pesquisadores sobre a definição de aprendizagem. Exatamente por esta ausência de consenso é que este autor defende que o conceito não é uma categoria natural de análise, devido às vastas diferenças entre as abordagens que estudam o fenômeno. Para Howard (1999) a forma clássica de definição de aprendizagem passa pela noção de aquisição de conhecimento a partir da experiência, que resultaria em uma mudança duradoura de comportamento. Na área de psicologia instrucional (Gagné, 1985), aprendizagem é a demonstração, por parte do treinando, da capacidade de executar ao final do evento instrucional as ações identificadas como objetivos da capacitação. Nesse sentido, a idéia de aquisição de conhecimento seria coerente com essa noção, porque essa aquisição seria induzida pelas situações de aprendizagem criadas pela instrução.

As teorias cognitivas de processamento de informação indicam que a aquisição de novos conhecimentos é apenas uma das etapas do processo de aprendizagem, que depende, para se concretizar, de memorização do que foi adquirido. Nesse contexto de concretização é que entra o segundo conceito da Figura 1, retenção, que procura descrever o processo imediatamente posterior à aquisição. Segundo modelos da psicologia cognitiva (Eysenck & Keane, 2000), esse processo de retenção passaria pelo armazenamento de informações na memória de trabalho ou de curto prazo, logo após a assimilação da informação e, posteriormente, essas informações seriam transferidas para a memória de longo prazo. Assim, retenção diz respeito ao armazenamento dos conhecimentos na memória de longo prazo. A retenção é um dos indicadores de que os conhecimentos são armazenados na memória do indivíduo e que estes podem ser recuperados a qualquer momento em que exista estimulação propícia para tal.

O próximo conceito da Figura 1 é denominado generalização e é largamente estudado em psicologia experimental, na qual vários autores já trataram de sua definição e delimitação conceitual (Hamilton, 1943; Postman, 1972). Em treinamento, desenvolvimento e educação (TD&E), Ford e Kraiger (1995) definem generalização como o grau com que os comportamentos obtidos por meio de treinamentos são exibidos pelo egresso no trabalho e aplicados a situações e condições diferentes daquelas de treinamento. Abbad (1999), ao realizar uma análise destes conceitos, encontrou que retenção e generalização são consideradas condições necessárias ao uso eficaz no trabalho dos desempenhos aprendidos no treinamento. Os ambientes para onde retornam as pessoas treinadas, na maior parte das vezes, são muito distintos do ambiente instrucional. Esse fato torna o conceito de generalização inadequado para descrever os efeitos provocados pelo treinamento no trabalho do egresso, uma vez que este vem sendo destinado a caracterizar o efeito de pequenas mudanças nas condições (estímulos) de treino ou nas tarefas (respostas). O uso do conceito de generalização, comumente adotado nas pesquisas experimentais, não é, portanto, um conceito central nas pesquisas de avaliação de treinamento. Entretanto, no contexto de TD&E esse conceito está relacionado à idéia de que o treinado pode identificar situações nas quais os conhecimentos adquiridos no ambiente instrucional podem ser aplicados no trabalho. Assim, a generalização é essencial para que possa existir a aplicação do aprendido no trabalho, pois o contexto de treinamento, na grande maioria das vezes, é diferente do contexto de trabalho.

O quarto conceito apresentado na Figura 1 é nomeado transferência de aprendizagem. Ele descreve um processo já situado no ambiente de trabalho do egresso, pois é um resultado mediato do treinamento que envolve retenção e generalização, tal como propuseram Baldwin e Ford (1988). Transferência de aprendizagem pode ser definida como a aplicação eficaz no trabalho dos conhecimentos, habilidades e atitudes adquiridos em treinamento. Esse conceito descreve um dos processos centrais de interesse dos modelos de avaliação de treinamento, no nível de comportamento no cargo. Ele foi nomeado por Hamblin (1978) de impacto do treinamento em profundidade. De forma extensa na pesquisa em TD&E a transferência de aprendizagem é o indicador mais freqüentemente utilizado, mas somente a aplicação da nova habilidade no trabalho não garante efeitos visíveis sobre o desempenho global, atitudes e motivação do participante. Uma evidência de que o treinamento produziu efeitos benéficos, sobre o trabalho, requer que o participante demonstre melhorias relevantes nos produtos e/ou nos processos de trabalho, bem como em suas atitudes e motivação. Isso significa que o conceito de transferência de aprendizagem não descreve o processo de resultado do treinamento no desempenho global do egresso, nem em suas atitudes e motivação.

Buscando uma melhor compreensão dos conceitos que descrevem mudança de comportamento no cargo Abbad (1999) empreendeu uma análise conceitual de transferência de aprendizagem, baseada em técnicas da filosofia da linguagem (Peters, 1958; Ryle, 1949). Para a autora a expressão transferência de aprendizagem vem sendo usada no sentido metafórico de transporte, movimentação, deslocamento de habilidades, capacidades e atitudes da situação de treinamento para a situação de trabalho. Falar de transferência de aprendizagem, nesse contexto é dizer algo semelhante a: "é como se habilidades, capacidades, atitudes e/ou conhecimentos fossem transportados ou carregados do treinamento para o ambiente de trabalho". Uma característica importante do uso técnico do conceito de transferência de aprendizagem, a ser destacada, é a natureza disposicional daquilo que é transferido do treinamento para o local de trabalho. Os treinamentos ensinam ou deveriam ensinar novas habilidades, capacidades e/ou atitudes, novas formas de desempenhar antigas tarefas, ações inteligentes e/ou a aplicação oportuna e eficaz dos comportamentos aprendidos, em outras situações e/ou tarefas.

Habilidades, atitudes e capacidades são disposições, conjuntos de comportamentos, padrões de desempenho e situações. Nas pesquisas da área de TD&E, o que mais interessa é examinar o efeito do treinamento em longo prazo sobre os níveis de desempenho, identificar fatores restritivos e facilitadores do uso daquelas habilidades, capacidades e atitudes e as condições necessárias para que tais níveis melhorem. Por exemplo, alguém que aprende a utilizar um processador de texto de forma eficaz aplicará a nova habilidade a contento, se algumas condições estiverem presentes e se houver motivação para utilizar essa nova habilidade nas suas tarefas do cotidiano. Em um sentido ideal, um treinamento deve ter efeito duradouro e também melhorar o nível de desempenho da pessoa treinada em atividades similares e em outras que requeiram o uso da nova habilidade, capacidade e/ou atitude.

Além de produzir efeitos favoráveis e permanentes, os treinamentos, muitas vezes, fazem parte de programas de valorização de recursos humanos e são planejados para aumentar a motivação e/ou o comprometimento organizacional, reduzir tensões e/ou conflitos internos e/ou facilitar a aceitação de mudanças organizacionais. Nesses casos, o efeito desejado não pode ser observado apenas nos níveis de desempenho do funcionário egresso de treinamento, devendo compreender também efeitos sobre atitudes e motivações. Assim esse fenômeno de resultado do treinamento no trabalho não pode mais ser descrito como transferência de aprendizagem, mas sim como impacto do treinamento no trabalho, pois fazem parte desse conceito indicadores de mudanças no desempenho global do treinado, bem como, em sua motivação e atitudes em relação ao seu trabalho. Assim, o quinto conceito apresentado na Figura 1 é denominado impacto do treinamento no trabalho e é definido como a influência que o evento instrucional exerce sobre o desempenho global subseqüente do participante do treinamento, bem como, em suas atitudes e motivação. Hamblin (1978) nomeia esse mesmo fenômeno de impacto em amplitude, no nível de comportamento no cargo.

Por essas características, o impacto do treinamento no trabalho nem sempre se reduz à transferência de aprendizagem. A dificuldade da pesquisa em TD&E se centra no fato de que há uma confusão conceitual na descrição desses processos, pois o fenômeno de resultado do treinamento no desempenho vem sendo nomeado e descrito como transferência de treinamento ou transferência de aprendizagem, apesar da notória diferença entre os fenômenos (Abbad, 1999).

Cada elo da corrente de eventos descritos na Figura 1 (Aquisição Retenção Generalização Transferência Impacto no Trabalho) depende de conjuntos diferentes de variáveis para ocorrer de acordo com os padrões desejáveis. Uma das suposições de Kirkpatrick (1976) e de Hamblin (1978) é a de que, havendo aprendizagem, haveria mudança de comportamento no cargo. Isso não foi confirmado pelos dados de muitas pesquisas relatadas na literatura especializada (Abbad, Pilati & Pantoja, 2003; Alliger & Janak, 1989). Por esse motivo é fundamental esclarecer ao leitor que, como esquematizado na Figura 1, é condição necessária à ocorrência dos diferentes fenômenos encadeados para que exista o impacto do treinamento no trabalho, mas não há uma pressuposição causal entre os eventos que cada um dos conceitos descreve, pois há evidências de que a ocorrência de cada um desses é multideterminada.

As diferenciações conceituais, apresentadas na Figura 1 e discutidas até aqui, requerem mais testes empíricos. Há algumas evidências, relatadas por Abbad (1999), Abbad e cols. (2003) e Pilati e Borges-Andrade (2004) de que medidas de transferência de aprendizagem e impacto do treinamento no trabalho são correlatas, mas não coincidentes e que, as variáveis que predizem a primeira são distintas daquelas que explicam a variabilidade de impacto do treinamento no trabalho. Notoriamente, a literatura aponta que os indicadores de resultado do treinamento no trabalho dos indivíduos são descritos pelos conceitos de transferência de aprendizagem e impacto do treinamento no trabalho (Abbad, 1999; Goldstein, 1993). Com o intuito de submeter esses conceitos a testes empíricos, se fazem necessárias pesquisas para identificação e descrição dos distintos preditores de cada uma dessas variáveis. Alguns resultados, como referido anteriormente, já indicam a existência de explicações distintas para esses fenômenos (Pilati & Borges-Andrade, 2004).

Um outro tipo de esforço importante para o teste empírico dos indicadores de resultado de treinamento no trabalho é a análise fatorial confirmatória de medidas padronizadas em amostras diversificadas. Abbad (1999) apresentou um instrumento de aferição de impacto do treinamento no trabalho. Esse instrumento obteve uma grande profusão nos estudos nacionais sobre avaliação do treinamento, pois mais de uma dezena de pesquisas foram desenvolvidas com a utilização dessa medida para avaliar impacto do treinamento no trabalho, mantendo a mesma estrutura empírica (Abbad & cols., 2003). Além disso, corroborações sucessivas foram feitas com os preditores desse instrumento, que sempre foram os mesmos, independentemente de contextos instrucionais e organizacionais. Com base nesse tipo de achado sucessivo é que a técnica de análise fatorial confirmatória (AFC) é recomendável.

Abbad (1999) construiu a medida com base nessa definição do conceito, na revisão conceitual de transferência de aprendizagem e nos elementos teóricos descritos em modelos de clássicos de avaliação de treinamento (Hamblin, 1978; Kirkpatrick, 1976) e em estudos que avaliaram o impacto do treinamento no trabalho (Leitão, 1994; Lima, Borges-Andrade & Vieira, 1989; Paula, 1992). Esse instrumento possui indicadores de melhora do desempenho no trabalho (i.e. diminuição do número de erros, aumento da qualidade e velocidade do trabalho), motivação para realização das atividades ocupacionais (i.e. aumento da motivação) e atitude favorável à modificação da forma de se realizar o trabalho (i.e. receptividade às mudanças da lógica de trabalho). A autora redigiu 12 itens que cobriram os indicadores do conceito. Realizou um processo de validação semântica do instrumento para testar a compreensibilidade dos itens redigidos e os submeteu a uma análise psicométrica, encontrando uma estrutura empírica unifatorial com cargas variando entre 0,43 a 0,90, com elevado índice de consistência interna (ver mais informações sobre o instrumento na seção de instrumentos do método do presente artigo).

Seguindo a linha de investigação de aperfeiçoamento das medidas e dos conceitos que descrevem os efeitos do treinamento no trabalho dos egressos, o presente artigo tem como objetivo realizar uma análise fatorial confirmatória do instrumento de impacto do treinamento no trabalho desenvolvido e validado por Abbad (1999). Como nos trabalhos de validação dessa escala Abbad (1999) encontrou uma estrutura unifatorial e estudos posteriores com amostras diversificadas (Abbad & cols., 2003) também corroboraram tal estrutura, hipotetiza-se que a estrutura fatorial do instrumento na AFC será unidimensional com coeficientes de regressão do traço latente sobre os itens do instrumento significativos e de magnitude média e elevada.

Método

Amostra

Para a realização da AFC foi utilizado um amplo arquivo de dados, desenvolvido ao longo de mais de cinco anos de pesquisa brasileira sobre impacto do treinamento no trabalho. Ao total foram pesquisadas sete organizações. Dois tribunais, um hospital público, uma empresa de pesquisa, uma empresa de televisão por assinatura, um banco estatal e uma instituição pública de ensino superior. A amostra total foi composta por 2.966 sujeitos. Esses trabalhadores eram provenientes de mais de uma dezena de diferentes categorias funcionais. O tempo de serviço dos participantes da pesquisa também é extremamente amplo, variando de menos de 1 ano de trabalho na organização até mais de 20 anos de vinculação. O nível instrucional dos participantes variou de ensino médio incompleto até pós-graduados.

Como forma de realizar uma validação cruzada, esse grande arquivo de dados foi dividido, aleatoriamente, em três sub-bancos com aproximadamente 1.000 casos cada. Com este número de componentes em cada um foi possível a manutenção de uma variabilidade aceitável para a aplicação da técnica de AFC em cada uma das sub-amostras.

Instrumento

O instrumento apresentado por Abbad (1999) é composto por 12 itens, associados a uma escala de concordância do tipo Likert de cinco pontos. Essa escala foi inspirada no trabalho de Lima e cols. (1989), que definiram alguns indicadores de impacto do treinamento no trabalho. Com base em revisão de literatura e em uma análise lógica do uso do conceito de impacto do treinamento no trabalho, Abbad (1999) identificou vários outros indicadores do construto (motivação para o desempenho das atividades, abertura à mudança dos processos de trabalho e uma atitude positiva em relação à capacidade de executar as atividades) e redigiu outros itens para mensurá-lo.

A análise fatorial exploratória feita pela autora apresentou uma estrutura unifatorial do instrumento. As cargas fatoriais dos itens variaram de 0,43 até valores superiores a 0,90. A solução fatorial escolhida explicou aproximadamente 40% da variação total do instrumento. O índice de consistência interna (alpha de Cronbach) foi superior a 0,90. Os 12 itens que compõem o instrumento são apresentados abaixo no Quadro 1.

Os indicadores da análise fatorial exploratória da amostra de validação e os resultados constantes das sucessivas pesquisas encorajam a realização de uma AFC nesse instrumento (Borges-Andrade, Morandini & Machado, 1999; Pilati & Borges-Andrade, 2000; Rodrigues, 2000; Sallorenzo, 2000).

Procedimentos

A medida de impacto em amplitude foi aplicada, no local de trabalho do treinado, entre dois e três meses após o término do treinamento. Como esse arquivo de dados é composto por múltiplos projetos de pesquisa, a medida de impacto do treinamento no trabalho foi aplicada em conjunto com diferentes medidas de variáveis de interesse na pesquisa em TD&E. Na maioria dos casos o instrumento de impacto do treinamento foi enviado por meio de malote, com indicação para o respondente reenviar o instrumento respondido diretamente para o grupo de pesquisa. Em alguns casos a coleta foi feita por meio eletrônico, na qual um instrumento era enviado em arquivo de editor de texto anexado a uma mensagem personalizada para o treinando. Esse era instruído para preencher o instrumento no arquivo e reenviá-lo, anexado a uma mensagem de correio eletrônico, diretamente para o grupo de pesquisa.

O instrumento era auto-aplicável e suas instruções enfatizavam o caráter acadêmico da pesquisa, reforçando o anonimato das respostas. Os participantes eram informados de que os resultados seriam repassados para a organização, mas apenas de forma agrupada, sem identificação pessoal. Esse repasse era parte da parceria firmada com as organizações, que abriam o espaço para pesquisa e recebiam um relatório executivo com dados descritivos sobre o(s) treinamento(s).

Análise de Dados

Antes de submeter o arquivo de dados à AFC foram realizadas análises exploratórias, visando adequar os dados ao modelo linear geral, como apontado por Tabachnick e Fidell (2001). Os dados omissos não chegaram a 5% do total do arquivo. Mesmo assim, foi feita uma estimação e a substituição desses dados por meio do algoritmo EM (Expectation Maximization). Não foram observados problemas relativos à multicolinearidade e à singularidade no arquivo de dados. Tampouco foram observados casos extremos multivariados influentes, detectados por meio da distância de mahalanobis.

Foi observado que todos os itens do instrumento possuem um padrão assimétrico. Todos os valores de assimetria (skewness) foram negativos e significativos, variando de -0,319 até -1,195. Os valores de achatamento (kurtosis) foram reduzidos e significativos, variando de -0,594 até 1,675. O coeficiente de normalidade multivariada (Mardia, 1971) também aponta para o caráter moderadamente anormal da distribuição dos itens, em todos os arquivos de dados em análise. Em virtude dessa característica de anormalidade das distribuições dos itens não ser tão elevada optou-se, ainda, pela utilização do algoritmo da máxima verossimilhança (ML) para estimação dos parâmetros, como indicado por Arbuckle e Worthke (1999). Para a realização da AFC foi utilizado o pacote estatístico AMOS (v. 4.0).

Para o teste de ajuste do modelo proposto foram analisados os seguintes índices: c², CFI (Comparative Fit Index); RMSEA (Root Mean Square Error of Aproximation); NFI (Normed Fit Index) e GFI (Goodness-of-fit Index), como debatido na literatura especializada (Bentler, 1990; Boomsma, 2000; Byrne, 2001; MacCallum, Roznowski & Necowitz, 1992; McDonald & Ho, 2002; Ullman, 2001). Adotaram-se, como critérios de ajuste satisfatório de modelo aos dados, os seguintes valores dos índices: CFI superior a 0,90; RMSEA próximo ou inferior a 0,08; GFI superior a 0,90; e NFI superior a 0,90.

Buscou-se comparar os índices observados nas diferentes sub-amostras do estudo, visando ao teste cruzado do modelo hipotético. Desta forma pode-se aferir o grau de validade que esse modelo possui em três amostras independentes. Nas três amostras o modelo foi superidentificado. A estrutura testada nas amostras é unifatorial, como pode ser observado na Figura 2.

Resultados

Os índices de adequação do modelo hipotético inicial para a sub-amostra 1 foram próximos de satisfatório, como pode ser observado na Tabela 1.

Os parâmetros estimados no modelo testado são todos significativos e podem ser observados na Figura 3. Nesta figura são apresentados os coeficientes de regressão estimados para todos os componentes do modelo, bem como, as variâncias dos erros e da variável latente.

Os principais índices de adequação (Tabela 1) aproximam-se de 0,90 e o RMSEA um pouco superior a 0,10. Esses indicadores, devido aos seus valores abaixo do aceitável, sugerem re-especificações que ainda deveriam ser feitas no modelo. Analisando os resultados das análises post hoc, observaram-se duas covariâncias significativas entre erros, não previstas no modelo inicial. Essas covariâncias são entre os itens 8 e 9 de um lado e 10 e 11 de outro. Devido a essas covariâncias não previstas, decidiu-se realizar a re-especificação do modelo. A Figura 4 apresenta o novo modelo testado, já com os coeficientes estimados pela análise confirmatória.

A Tabela 1 apresenta os índices de adequação do novo modelo testado (na coluna modelo re-especificado). Observa-se nessa tabela que houve uma melhora sensível nos índices de ajuste do modelo, em relação aos dados obtidos no primeiro modelo testado. A diferença dos valores do c² foi de 231,195 pontos, o que é altamente significativo (dado GL = 2). Além disso, todos os outros índices melhoraram. Essa modificação ocorreu devido a real existência da correlação entre os erros dos itens (motivo da re-especificação do modelo), e que não foi prevista inicialmente. Essas correlações têm uma justificativa teórica, pois os itens que possuem covariância entre si são relativos aos efeitos atitudinais provocados pelo treinamento. Desta forma, a re-especificação do modelo respeitou recomendações de justificativa teórica para sua adoção (Boomsma, 2000; McDonald & Ho, 2002).

Os valores dos coeficientes de determinação do modelo variaram de 0,573 até 0,977 como pode ser observado na Figura 3. Isso indica que a variável latente prediz adequadamente a variação das variáveis observadas. Esses coeficientes de regressão estimados além de elevados também são altamente significativos. Todas as variâncias estimadas, tanto aquelas associadas aos erros da medida quanto aquela referente à variável latente, possuem alta significância estatística.

Apesar da melhora dos índices, uma inspeção visual na matriz de resíduos padronizados indica que ainda existem valores altos. Esse tipo de resultado indica que o modelo ainda necessita de ajustes para melhor explicar os dados. Talvez por esse motivo é que os indicadores de adequação do modelo estejam acima de 0,90, mas não tão próximos de 1 quanto seria desejado. Estes resultados apontam para a necessidade de um trabalho futuro sobre esse instrumento, seja na sua estrutura básica (representações dos itens), seja na sua elaboração teórica.

A exemplo do que ocorreu com a primeira sub-amostra, os resultados apresentaram-se extremamente similares com o segundo grupo de sujeitos. A Tabela 2 apresenta os valores dos índices de adequação dos dois modelos testados na segunda sub-amostra. É importante ressaltar que a mudança no modelo foi exatamente a mesma realizada para a sub-amostra 1 (ver Figura 4).

Da mesma forma como ocorreu com os índices da sub-amostra 1, observou-se uma modificação substantiva nesses após a re-especificação. A inspeção visual das matrizes residuais também indica que alguns resíduos ainda são elevados, a exemplo do que ocorreu na sub-amostra 1. Quanto às estimações dos coeficientes de regressão e das variâncias, todos foram significativos.

O único tópico relevante e distinto entre os dois modelos é um conjunto de indicadores ligeiramente melhores nessa sub-amostra em relação a anterior. Mas o padrão de melhora, graças à re-especificação, mantém-se rigorosamente o mesmo. Dessa forma, pode-se defender a idéia de que existe validade cruzada do modelo nas duas amostras.

A exemplo da lógica dos resultados das outras sub-amostras, a Tabela 3 apresenta os índices de adequação do modelo inicial e do modelo modificado, respectivamente, para a sub-amostra 3.

Como pode ser observado na Tabela 3, ocorre o mesmo padrão de melhora dos índices, observado nas outras sub-amostras. Assim pode-se dizer, definitivamente, que existe corroboração do teste cruzado do modelo. Um ponto que deve ser ressaltado diz respeito aos índices piores dessa última sub-amostra, se comparada às outras duas. Essa peculiaridade não invalida a estabilidade da estrutura latente em diferentes amostras, mas salienta a hipótese de que ainda existem aprimoramentos que devem ser feitos no instrumento, para que ele represente mais adequadamente o fenômeno de impacto do treinamento no trabalho.

A exemplo das outras duas, essa terceira sub-amostra também apresenta alguns resíduos elevados, bem como coeficientes de regressão e variância dos parâmetros estimados altamente significativos.

Discussão

Como apresentado até aqui o objetivo do presente relato foi alcançado, ou seja, foi realizada uma AFC do instrumento de impacto do treinamento no trabalho de Abbad (1999) em uma ampla amostra. Esse resultado permitiu a indicação de elementos para o aprimoramento da escala e também a confirmação, por meio de uma técnica confirmatória de análise de dados, da estrutura empírica unidimensional do mesmo, corroborando com sua estrutura teórica proposta por Abbad (1999). Esses resultados auxiliam na descrição dos fenômenos relacionados à mudança individual provocada pelo treinamento, proporcionando aprimoramento dos modelos explicativos do fenômeno. Além desse resultado empírico, a reflexão teórica sobre os diferentes eventos de resultados de treinamento auxilia na melhor descrição desse fenômeno, possibilitando que pesquisadores e profissionais nas organizações possam desenvolver treinamentos e compreender melhor seus diferentes efeitos nos egressos.

A hipótese principal, ou seja, na AFC a estrutura empírica do instrumento será unifatorial com coeficientes significativos e de magnitude média e elevada, foi corroborada, haja vista os dados comparativos das três amostras testadas. Isso pode ser afirmado, ainda que houve a indicação de re-especificação do modelo devido às covariâncias não inicialmente identificadas.

A covariância entre os erros dos itens 8 e 9 e 10 e 11 pode ocorrer devido a semelhança de conteúdo entre esses pares. Como pode ser observado na Tabela 1 o conteúdo dos itens 8 e 9 são similares, pois tratam de conceitos atitudinais. Provavelmente, a noção de motivação e autoconfiança, para os respondentes, é altamente similar ou, então, faz parte da mesma categoria. Talvez essa categoria específica seja um indicador periférico do conceito de impacto do treinamento no trabalho e, ainda, essa categoria parece possuir uma composição conceitual atrelada a outras noções teóricas em psicologia, como os fenômenos auto-referentes (auto-eficácia, autoconceito, atitudes). Talvez essa covariância seja devida a essa sobreposição conceitual.

Sem dúvida a conceituação teórica de impacto do treinamento proposta por Abbad (1999) procura englobar diferentes aspectos do papel ocupacional dos treinandos, quais sejam, desempenho global, motivação e atitudes em relação ao trabalho. Essa amplitude é fundamental, porque pressupõe que o treinamento surte efeito em diferentes facetas do trabalho das pessoas. Uma saída para essa situação seria a substituição dos dois itens superpostos por apenas um item genérico, que buscasse aferir os indicadores motivacionais do trabalho do indivíduo. Uma segunda opção seria a mensuração desta faceta do trabalho por meio de instrumentos específicos, o que ganharia em qualidade da medida.

Com relação aos itens 10 e 11 pode-se observar o mesmo tipo de ocorrência. O conteúdo dos dois itens diz respeito a mudanças no trabalho. O primeiro no sentido de proposição de mudança na forma de realizar as tarefas e o segundo é relativo à abertura do treinado para aceitar mudanças no trabalho. Claramente, o conceito subjacente a esses dois itens é relativo a mudanças no trabalho. Assim a covariância entre eles é devida a percepção dos respondentes indicar que uma categoria latente específica influencia a resposta desses itens. A forma mais direta de solucionar essa situação seria a supressão de um dos itens, pois a evidência de que os treinandos interpretam a proposição de mudanças e a receptividade a mudanças como o mesmo fenômeno é bastante forte. Poderia-se dizer até que o treinamento ter feito o indivíduo propor mais mudanças no processo de trabalho o levaria, também, a aceitar propostas de mudança no trabalho.

Como análise geral do teste do modelo, deve-se salientar que em todas as três amostras o comportamento dos índices de adequação foi extremamente similar. Isso dá indícios de que existe um padrão latente corroborado em diferentes amostras. Isso encoraja a continuação do uso do instrumento, bem como, o aprofundamento da discussão teórica sobre o conceito.

Os indicadores de adequação do modelo re-especificado são bastante satisfatórios. Ainda é possível aprimorar essa escala e, conseqüentemente, melhorar os índices de adequação. Os itens que apresentaram covariância podem ser suprimidos e novos indicadores dos eventos mensurados por esses itens, formulados. Dessa forma, pode-se acabar com a redundância observada nos mesmos, possibilitando a melhora da adequação do modelo.

Também é importante uma análise cautelosa da matriz de resíduos para identificar entre que variáveis são observados resíduos grandes. Esses valores altos podem também trazer indicações de re-especificação do modelo, além de elucidar padrões de covariação que prejudicam o ajuste do modelo. Ainda é importante salientar que o padrão ligeiramente anormal de distribuição dos itens possa ter afetado o teste de adequação, uma vez que o modelo utilizado para estimação dos parâmetros tem como pressuposto a normalidade dos dados. Talvez os resíduos elevados possam ser devidos a isso.

De forma geral pode-se dizer que a estrutura latente do construto foi confirmada e que os resultados são encorajadores para o aprimoramento da medida, por meio da correção das deficiências indicadas pela análise fatorial confirmatória. Assim, a melhor depuração dos indicadores afetivos da medida de impacto do treinamento no trabalho é essencial para uma medida mais precisa e livre de sobreposição conceitual.

Uma outra questão que deve ser salientada é a corroboração do último nível (impacto do treinamento no trabalho) da estrutura conceitual proposta na Figura 1. Esse fenômeno é identificado pelos respondentes, pois todos os indicadores da literatura, com base em sucessivas análises fatoriais exploratórias, e também os achados desse relato de pesquisa apontam para a confirmação empírica da proposta conceitual. Esse tipo de achado encoraja o aprimoramento conceitual dos fenômenos relacionados ao resultado do treinamento no trabalho, seguindo a diferenciação proposta na Figura 1. Sem dúvida uma melhor definição e delimitação dos conceitos relacionados ao fenômeno é uma estratégia salutar para a produção de conhecimento em treinamento e desenvolvimento de pessoal.

Seguindo essa estratégia de aprimoramento teórico no campo de treinamento e desenvolvimento seria produtivo a realização de estudos que procurassem relacionar o grau e predição que essa medida de impacto do treinamento no trabalho possui sobre diferentes indicadores de desempenho produtivo no trabalho. Dessa forma, torna-se possível o relacionamento entre o resultado do treinamento no trabalho e questões substantivas do desempenho humano, auxiliando na compreensão do comportamento humano no trabalho e a função exercida pelos sistemas organizacionais. Medidas de avaliação de impacto em amplitude são bastante úteis na comparação de efeitos de treinamentos diversos sobre o comportamento dos seus participantes, uma vez que padroniza os indicadores de avaliação, tornando-os genéricos e objetivos.

Recebido em 14.06.2004

Primeira decisão editorial em 31.01.2005

Versão final em 23.02.2005

Aceito em 28.02.2005

• Abbad, G. (1999). Um modelo integrado de avaliação de impacto de treinamento no trabalho. Tese de Doutorado, Universidade de Brasília, Brasília.
• Abbad, G., Pilati, R. & Pantoja, M. J. (2003). Avaliação de treinamento: Análise da literatura e agenda de pesquisa. Revista de Administração, 38(3), 205-218.
• Alliger, G. M. & Janak, E. A. (1989). Kirkpatrick's levels of training criteria: Thirty years later. Personnel Psychology, 42, 331-342.
• Arbuckle, J. L. & Worthke, W. (1999). AMOS 4.0 users guide SPSS: EUA.
• Baldwin, T. T. & Ford, J. K. (1988). Transfer of training: A review and directions for future research. Personnel Psychology, 41(1), 63-105.
• Bastos, A. V. B. (1991). O suporte oferecido pela pesquisa na área de treinamento. Revista de Administração, 26(4), 87-102.
• Bentler, P. M. (1990). Comparative fit indexes in structural models. Psychological Bulletin, 107(2), 238-246.
• Boomsma, A. (2000). Reporting analyses of covariance structures. Structural Equation Modeling, 7(3), 461-483.
• Borges-Andrade, J. E. (2002). Desenvolvimento de medidas em avaliação de treinamento. Estudos de Psicologia, 7 (número especial), 31-43.
• Borges-Andrade, J. E., Morandini, D. C. & Machado, M. S. (1999). Impacto de treinamento gerencial e efetividade de equipes em ambientes de inovação tecnológica [Resumo]. Em Sociedade Brasileira de Psicologia (Org.), Resumos XXIX Reunião Anual de Psicologia (pp. 53b-53c). Ribeirão Preto: SBP.
• Byrne, B. (2001). Structural equation modeling with Amos: Basic concepts, applications and programming New Jersey: Lawrence Erlbaum Associates.
• Eysenck, M. W. & Keane, M.T. (2000). Cognitive psychology: A student's handbook East Sussex: Psychology Press.
• Ford, J. K. & Kraiger, K. (1995). The application of cognitive constructs and principles to the instructional systems model of training: Implications for needs assessment, design, and transfer. Em C. L. Cooper & I. T. Robertson (Orgs.), International Review of Industrial and Organizational Psychology (pp. 1-48). New York: Wiley.
• Gagné, R. M. (1985). The conditions of learning and theory of instruction. New York: Holt, Rinchardt and Winston.
• Goldstein, I. L. (1993). Training in organizations Califórnia: Pacific Grove.
• Hamblin, A. C. (1978). Avaliação e controle do treinamento. São Paulo: McGraw-Hill do Brasil.
• Hamilton, R. J. (1943). Retroactive facilitation as a function of degree of generalization between tasks. Journal of Experimental Psychology, 32(5), 363-376.
• Holton III, E. F., Bates, R. A., Seyler, D. L. & Carvalho, M. B. (1997). Toward construct validation of a transfer climate instrument. Human Resource Development Quartely, 8(2), 95-113.
• Howard, R. W. (1999). Reconceptualizing learning. Review of General Psychology, 3(4), 251-263.
• Kirkpatrick, D. L. (1976). Evaluation of training. Em R. L. Craig (Org.) Training and development handbook (pp. 18.1-18.27) New York: McGraw-Hill.
• Leitão, J. S. S. (1994). Relações entre clima organizacional e transferência de treinamento Dissertação de Mestrado, Universidade de Brasília, Brasília.
• Lima, S. M. V., Borges-Andrade, J. E. & Vieira, S. B. A. (1989). Cursos de curta duração e desempenho em instituições de pesquisa agrícola. Revista de Administração, 24(2), 36-46.
• MacCallum, R. C., Roznowski, M. e Necowitz, L. B. (1992). Model modification in covariance structure analysis: The problem of capitalization on chance. Psychological Bulletin, 111(3), 490-504.
• Mardia, K. V. (1971). The effect of nonnormality on some multivariate tests and robustness to nonnormality in the linear model. Biometrika, 88(1), 105-121.
• McDonald, R. P. & Ho, M. R. (2002). Principles and practice in reporting structural equation analyses. Psychological Methods, 7(1), 64-82.
• Nadler, L. (1984). The handbook of human resources development New York: Wiley.
• Paula, S. M. A. (1992). Variáveis preditoras de impacto de treinamento no trabalho: Análise da percepção dos treinandos de duas organizações Dissertação de Mestrado, Universidade de Brasília, Brasília.
• Peters, R. S. (1958). The concept of motivation. London: Routledge & Kegan Paul.
• Pilati, R. & Borges-Andrade, J. E. (2004). Estudo empírico dos antecedentes de medidas de impacto do treinamento no trabalho. Psicologia: Teoria e Pesquisa, 20(1), 31-38.
• Postman, L. (1972). Transfer, interferance and forgeting. Em J. W. Kling & L. A. Riggs (Orgs.). Woodworth and scholosberg experimental psychology (pp. 1.019-1.132). New York: Holt, Rinehart and Winston.
• Rodrigues, A. G. (2000). A natureza da participação e suas implicações no impacto do treinamento no trabalho. Dissertação de Mestrado, Universidade de Brasília, Brasília.
• Rouiller, J. Z. & Goldstein, I. L. (1993). The relationship between organizational transfer climate and positive transfer of training. Human Resource Development Quartely, 4(4), 377-390.
• Ryle, G. (1949). The concept of mind London: Hutchinson.
• Salas, E. & Cannon-Bowers, J. A. (2001). The science of training. Annual Review of Psychology, 52, 471-499.
• Sallorenzo, L. H. (2000). Avaliação de impacto de treinamento no trabalho: Analisando e comparando modelos de predição Dissertação de Mestrado, Universidade de Brasília, Brasília.
• Tabachnick, B. & Fidell, L. S. (2001). Using multivariate statistics San Francisco: Allyn & Bacon.
• Ullman, J. B. (2001). Structural Equation Modeling. Em B. Tabachnick & L. S. Fidell (Orgs.), Using Multivariate Statistics (pp. 653-771). San Francisco: Allyn & Bacon.

Datas de Publicação

• Publicação nesta coleção
  24 Maio 2005
• Data do Fascículo
  Abr 2005

Histórico

• Revisado
  23 Fev 2005
• Recebido
  14 Jun 2004
• Aceito
  28 Fev 2005