A RELAÇÃO ENTRE SUPORTE À APRENDIZAGEM E IMPACTO DE TREINAMENTO NO TRABALHO

THE RELATIONSHIP BETWEEN LEARNING SUPPORT AND TRAINING IMPACT AT WORK

LA RELACIÓN ENTRE APOYO AL APRENDIZAJE Y EL IMPACTO DE LA FORMACIÓN EN EL TRABAJO

Resumos

Dentre as variáveis que influenciam a efetividade de ações de Treinamento, Desenvolvimento e Educação (TD&E), destacam-se, principalmente, as contextuais. Visto isso, estudou-se a relação entre as variáveis: Suporte à Aprendizagem - percepção de apoio e suporte psicossocial à aprendizagem natural ou induzida no ambiente de trabalho, e Impacto do Treinamento no Trabalho - influência do que foi aprendido em ações de TD&E no desempenho geral, nas atitudes e motivação do indivíduo. Para a coleta de dados, utilizaram-se duas escalas validadas e fidedignas disponíveis na literatura nacional: Suporte à Aprendizagem (33 itens, escala de frequência de 0 a 10, α=0,96) e Impacto de Treinamento no Trabalho (12 itens, escala de concordância de 1 a 5, α=0,90). A coleta de dados foi realizada presencial e virtualmente em três organizações de natureza privada, após duas a quatro semanas do término do treinamento, totalizando 83 questionários respondidos referentes a sete treinamentos ofertados. A amostra é composta por 61 homens e 22 mulheres, de 18 a 64 anos de idade, sendo que 53% possui ensino superior completo. Realizaram-se análises exploratórias e descritivas dos dados, e análises de correlação, a fim de avaliar o grau de relacionamento entre as duas variáveis. A Escala de Suporte à Aprendizagem apresentou médias entre 3,37 e 8,12, alto desvio-padrão e alta variação nas respostas mínimas e máximas, indicando que os respondentes avaliaram os itens de maneira divergente. As médias das respostas da Escala de Impacto de Treinamento no Trabalho variaram entre 3,65 e 4,39, e apresentaram baixo desvio-padrão, porém a variação das respostas mínima e máxima é alta, na maioria dos casos, indicando que alguns respondentes não concordam com as afirmações. Os participantes percebem moderadamente o Suporte à Aprendizagem na organização e julgam ter ocorrido Impacto de Treinamento no Trabalho. As variáveis apresentaram correlação significativa e moderada (r=0,53), o que corrobora os achados da literatura relacionados ao suporte psicossocial, mas ainda são necessárias mais pesquisas relacionadas ao Suporte à Aprendizagem, a fim de continuar a verificação de evidências de validade da escala de Suporte à Aprendizagem e definir e distinguir melhor o conceito em relação a outros conceitos correlatos.

Avaliação de treinamento; Suporte à Aprendizagem; Impacto de Treinamento no Trabalho

Among the variables that influence the effectiveness of Training, Development and Education actions (TD&E), the contextual ones stand out. Based on this, we studied the relationship between the variables Learning Support - perceived support and psychosocial support for natural or induced learning in the workplace - and Training Impact at Work - influence of what has been learned in TD&E actions on overall performance, attitudes and motivation. To collect data, we used two validated and reliable scales available in the national literature: Learning Support (33 items, frequency range 0-10, α = 0.96) and Training Impact at Work (12 items, agreement scale from 1 to 5, α = 0.90). Data collection was conducted in person and virtually in three private companies, two to four weeks after the end of training; a total of 83 questionnaires concerning seven trainings was achieved. The sample is comprised by 61 men and 22 women, 18-64 years old, and 53% have completed higher education. Exploratory and descriptive analyzes were performed and also correlation analysis, in order to assess the relationship between the two variables. The Learning Support Scale presented averages between 3.37 and 8.12, high standard deviation and high variation in minimum and maximum responses, indicating divergent responses. The Training Impact at Work Scale presented averages between 3.65 and 4.39, and showed a low standard deviation, but the variation of the minimum and maximum responses is high in most cases, indicating that some respondents did not agree with the statements. Participants perceive moderately Learning Support in the company and judge that have occurred Training Impact at Work. Variables showed a significant and moderate correlation (r = 0.53), which corroborates the literature's findings related to psychosocial support; but still more research is needed about Learning Support in order to check the scale's evidences of validity and better define and distinguish this concept in relation to other.

Training Evaluation; Learning Support; Training Impact at Work

Entre las variables que influyen en la eficacia de las acciones de formación y desarrollo, se destacan principalmente las contextuales. Se estudió la relación entre la variable Apoyo al Aprendizaje - apoyo percibido y apoyo psicosocial al aprendizaje natural o inducido en el trabajo - y el Impacto de la Formación en el Trabajo - la influencia del aprendido en acciones de formación y desarrollo en el rendimiento general, en las actitudes y en la motivación del individuo. Para la recogida de los datos, se utilizaron dos escalas validadas y fiables disponibles en la literatura nacional: Apoyo al Aprendizaje (33 ítems, escala de frecuencia de 0 a 10, α = 0,96) e Impacto de la Formación en el Trabajo (12 ítems, escala de concordancia de 1 a 5, α = 0,90). La recogida de datos se llevó a cabo, presencial y virtualmente, en três organizaciones privadas, de dos a cuatro semanas después del final de la formación; fueron conseguidos un total de 83 cuestionarios sobre siete formaciones ofrecidas. La muestra estaba compuesta por 61 hombres y 22 mujeres, de 18-64 años de edad, de los cuales el 53% completó la enseñanza superior. Los análisis de datos fueron exploratórios, descriptivos y de correlación, para evaluar el grado de relación entre las dos variables. La Escala de Apoyo al Aprendizaje presentó promedios entre 3,37 y 8,12, con una desviación estándar alta y una variación alta en las respuestas máximas y mínimas, lo que indica que los encuestados calificaron los ítems de diferentes maneras. La media de las respuestas de la Escala de Impacto de la Formación en el Trabajo osciló entre 3,65 y 4,39, mostrando una desviación estándar baja, pero la variedad de respuestas mínimas y máximas fue alta en la mayoría de los casos, lo que indica que algunos de los encuestados no estaban de acuerdo con las afirmaciones. Los participantes perciben moderadamente Apoyo al Aprendizaje en la organización y consideran que hubo Impacto de la Formación en el Trabajo. Las variables presentaron correlación significativa y moderada (r = 0,53), lo que corrobora los resultados de la literatura relacionada con el apoyo psicosocial, pero aún se necesita más investigación relacionada con el Apoyo al Aprendizaje, a fin de seguir la comprobación de la fiabilidad de la escala de Apoyo al Aprendizaje, y definir y distinguir mejor este concepto en relación con otros relacionados.

Evaluación de la formación; Apoyo al Aprendizaje; Impacto de la Formación en el Trabajo

INTRODUÇÃO

As ações de Treinamento, Desenvolvimento e Educação de pessoas (TD&E) são realizadas por diversas organizações de trabalho que buscam acompanhar as constantes mudanças da sociedade atual e alcançar um diferencial competitivo (ABBAD; ZERBINI; SOUZA, 2010; COELHO; BORGES-ANDRADE, 2008a). Tais ações suprem lacunas de competências, atuando na melhoria do desempenho organizacional, a fim de tornar eficiente o processo de aprendizagem de habilidades motoras, intelectuais e sociais, e de estratégias cognitivas e de atitudes (BORGES-ANDRADE, 2006a).

O sistema de TD&E é dividido em três subsistemas: avaliação de necessidades, planejamento e execução e avaliação de treinamento, os quais fornecem subsídios de grande importância para a efetividade do mesmo. Para que haja efetividade do referido sistema, as competências individuais dos trabalhadores devem estar alinhadas com as competências da organização, o planejamento deve ser feito de forma sistemática e de acordo com as características da clientela e uma avaliação criteriosa deve ser realizada para retroalimentar todos os processos e pessoas envolvidos (BORGES-ANDRADE, 1997; MENESES; ZERBINI; ABBAD, 2010; SALAS; CANNON-BOWERS, 2001).

O subsistema de avaliação de treinamento, foco do presente estudo, consiste na coleta de dados para obter informações a respeito da efetividade das ações de TD&E. A partir da avaliação de treinamento é possível averiguar se os programas de TD&E estão sendo efetivos, quais aspectos restringem ou facilitam o desempenho dos treinandos e o quanto essas ações são válidas para o retorno financeiro da organização. Apesar desse subsistema não ser visto como prioritário pelas organizações, sua negligência é considerada um fator que contribui para a redução da eficácia de treinamentos (YASSEN; KHANFAR, 2009; BORGES-ANDRADE, 2006a).

Borges-Andrade (2006a) considera que o maior erro da organização consiste em não realizar algum tipo de avaliação de treinamento, o que indica a falta de responsabilidade social e de compromisso com os participantes, com o trabalho e com a organização. Em alguns casos, quando realizada, a avaliação se reduz à satisfação dos treinandos, ignorando a importância de avaliar o que foi aprendido e qual o impacto que está produzindo no trabalho. Isso pode ocorrer pela falta de clareza sobre qual a finalidade desse componente, o que e como será avaliado; daí a importância, destacada pelo autor, de se fundamentar o processo em princípios nítidos e consistentes.

A Avaliação de Treinamento é de grande importância para a organização, para os trabalhadores e para o próprio programa de treinamento, pois ela retroalimenta todo o sistema de treinamento ao fornecer informações pertinentes ao seu aperfeiçoamento (BORGES-ANDRADE, 2002; GOLDSTEIN, 1991). Destaca-se o fato de que a avaliação de treinamento considera não só todas as etapas do treinamento, mas também as influências organizacionais sob as mesmas, possibilitando sugestões de melhorias e aumentando as chances de o treinamento atual ou os próximos serem mais efetivos (PILATI, 2006; MENESES; ZERBINI; ABBAD, 2010).

A identificação de fatores que influenciam na obtenção de bons resultados e na produção de efeitos posteriores no desempenho dos egressos pode auxiliar a discussão e a avaliação da efetividade de ações instrucionais (ALVAREZ; SALAS; GAROFANO, 2004; BORGES-ANDRADE; ABBAD; MOURÃO, 2012). Dentre as variáveis que influenciam a efetividade de treinamentos, podem-se destacar as variáveis contextuais - congruência do treinamento com as metas organizacionais, recursos disponíveis, restrições, suporte à transferência, condições de trabalho, tecnologia circundante e clima organizacional (WEXLEY, 1984; SALAS; CANNON-BOWERS, 2001). No entanto, esses autores advertem que a influência das variáveis organizacionais no treinamento tem sido bastante negligenciada nas pesquisas da área. O ambiente organizacional de transferência deve ser examinado de forma cuidadosa para identificar aspectos situacionais facilitadores e restritores, e propor maneiras para preparar os treinandos a lidar com os restritores ou modificar o ambiente pós-treinamento para estimular a transferência (TANNENBAUM; YUKL, 1992), uma vez que a organização pode exercer um papel importante na ocorrência do Impacto de Treinamento no Trabalho (MARTIN, 2010; TAMAYO; ABBAD, 2006).

Considerando o fato de que a não aplicação no trabalho do aprendido em treinamento não significa, necessariamente, fracasso do treinamento, pois há outras variáveis que influenciam a transferência de treinamento (ABBAD et al., 2012a; AGUINIS; KRAIGER, 2009), a presente pesquisa tem como objetivo avaliar a relação entre uma variável contextual, Suporte à Aprendizagem, e o Impacto de Treinamento no Trabalho, medido em amplitude.

1 REFERENCIAL TEÓRICO

Existem alguns modelos de avaliação de treinamento na literatura que buscam identificar variáveis explicativas da eficácia de treinamentos. O primeiro a ser destacado é o proposto por Kirkpatrick (1976), que apresenta quatro níveis de avaliação de treinamento: Reação, Aprendizagem, Comportamento e Resultados. Esse modelo foi complementado por Hamblin (1978), que desdobrou o nível "resultados" em dois, propondo, então, cinco níveis de avaliação de treinamento: Reação, Aprendizagem, Comportamento no Cargo, Mudança Organizacional e Valor Final. Ambos os modelos foram pioneiros, mas analisam apenas variáveis ligadas aos resultados de treinamento, negligenciando a análise conjunta de componentes individuais, instrucionais e contextuais, características apontadas como capazes de afetar resultados (BORGES-ANDRADE, 2006b).

Abbad, Gama e Borges-Andrade (2000) apontam para três níveis mais comumente avaliados no subsistema de avaliação de treinamento: Reação, Aprendizagem e Impacto de Treinamento no Trabalho. O primeiro, Reação, mede o nível de satisfação dos participantes em relação à programação e ao desenvolvimento do treinamento, ao instrutor, às estratégias de ensino utilizadas, à utilidade do treinamento, etc. O segundo avalia o grau de assimilação do que foi ensinado no treinamento, ou seja, o grau de aprendizagem dos treinandos, que pode ser medido por meio dos escores obtidos em provas ou testes, por exemplo. O último, Impacto de Treinamento no Trabalho, corresponde aos efeitos produzidos pelo treinamento nas ações globais do treinando, ou seja, tanto nas ações de desempenho, relacionadas ao conteúdo do curso, quanto na motivação e atitudes do treinando pós-treinamento.

Em oposição aos modelos tradicionais supracitados, os quais focalizam apenas os resultados de treinamento, ignorando outras variáveis, como as contextuais e de processo, Borges-Andrade propôs, em 1982, o Modelo de Avaliação Integrado e Somativo (MAIS), um modelo teórico que inclui diversos componentes para a avaliação de treinamento, desde variáveis contextuais pré e pós-treinamento até resultados de longo prazo (ZERBINI, 2007). A Figura 1 apresenta o MAIS e seus componentes, que são descritos abaixo de acordo com Borges-Andrade (2006b).

Figura 1
Modelo de Avaliação Integrado e Somativo.

Fonte: BORGES-ANDRADE, 2006b, p. 344.

Sinteticamente, insumos refere-se a fatores físicos e sociais e aos estados comportamentais e cognitivos anteriores à instrução, e que podem afetar os seus resultados; procedimentos consiste nas operações necessárias para facilitar ou produzir os resultados instrucionais, bem como nas estratégias instrucionais que possam afetar diretamente os resultados de aprendizagem; processos refere-se às alterações de aspectos significantes do comportamento do aprendiz, que podem começar com a introdução dos procedimentos, tendendo a aumentar à medida que estes são implementados; resultadosconsiste no desempenho final imediato produzido pelo treinamento, ou às consequências inesperadas (desejáveis ou não) de TD&E; e ambiente, por fim, refere-se ao contexto das ações de TD&E.

O último componente é dividido em quatro subcomponentes: avaliação de necessidades, que se refere à identificação das competências que necessitam ser apresentadas no trabalho e quais indivíduos precisam desenvolvê-las; suporte, que constitui as variáveis que ocorrem na vida do indivíduo, como no seu lar, na escola e na própria organização, e que podem influenciar os outros componentes; disseminação, que se refere às informações disponíveis sobre o programa e à sua divulgação, e efeitos em longo prazo, que se refere às consequências ambientais de TD&E após seu término, incluindo tanto os comportamentos esperados quanto os inesperados.

O MAIS serviu de base para Abbad (1999)desenvolver o Modelo Integrado de Avaliação no Impacto do Treinamento no Trabalho (Modelo IMPACT). Este modelo propõe a análise articulada de vários componentes de avaliação e foi importante para a criação e validação de instrumentos de avaliação, tanto de cursos presenciais, como de semipresenciais e a distância (ZERBINI, 2007). O IMPACT é formado por sete componentes: percepção de suporte organizacional, características de treinamento, características da clientela, reação, aprendizagem, suporte à transferência e impacto do treinamento no trabalho. É um modelo empírico, que considera variáveis preditoras de Impacto de Treinamento no Trabalho com foco no nível individual (SANTOS; MOURÃO, 2011).

De maneira geral, suporte organizacional refere-se à percepção do indivíduo sobre o quanto a organização reconhece as suas contribuições e cuida do seu bem-estar; sobre as práticas de gestão de desempenho e a sua valorização; sobre as exigências e cargas de trabalho, práticas de promoção, ascensão e salário; e sobre o apoio gerencial ao treinamento. Segundo Abbad et al. (2006), percepções negativas sobre suporte organizacional podem gerar problemas de desempenho relacionados às restrições situacionais no ambiente de trabalho.

Características de treinamento refere-se ao apoio e aos procedimentos instrucionais, como planejamento das atividades e material didático. Características da clientela refere-se ao perfil da clientela do treinamento, como variáveis motivacionais, cognitivas, demográficas e funcionais. Reações consiste nas atitudes e opiniões do treinando sobre os diversos aspectos das ações de TD&E. Aprendizagem compreende o grau de assimilação e retenção dos conteúdos ensinados no curso. Suporte à transferência refere-se tanto à percepção do treinando sobre o suporte psicossocial (elogios, apoio de chefes e colegas), quanto ao suporte material (disponibilidade de computadores e máquinas, por exemplo).

Por fim, Impacto de Treinamento no Trabalho é definido como o julgamento do treinando sobre os efeitos do treinamento em sua motivação, desempenho, autoconfiança e abertura a mudanças. O impacto pode acontecer de modo mais abrangente, em dimensões gerais do comportamento, além daqueles previstos no programa de TD&E (impacto em amplitude) ou em tarefas diretamente relacionadas aos objetivos e conteúdos do programa (impacto em profundidade).

O Impacto do Treinamento no Trabalho sofre influências de variáveis ambientais, tanto materiais quanto psicossociais, sendo assim, o contexto organizacional pode ter grande influência na eficácia de um programa de TD&E (MARTIN, 2010; TAMAYO; ABBAD, 2006). O sucesso das ações de TD&E depende não só da qualidade das ações, mas também das características do contexto que as envolvem. Por exemplo, um ambiente de trabalho pouco acolhedor e muito restritivo ao uso de novas habilidades pode desmotivar os trabalhadores a aprenderem e a transferirem as novas aprendizagens no trabalho. (HASLINDA; MAHYUDDIN, 2009; ABBAD et al., 2006;).

Portanto, o estudo de ameaças e restrições contextuais à participação dos indivíduos em programas de TD&E, à aprendizagem e à aplicação dos conhecimentos, habilidades e atitudes (CHAs) no trabalho é de grande importância, uma vez que possibilita a melhoria nas condições de apoio organizacional, aumentando a possibilidade de se obter os objetivos desejados dos programas (ABBAD et al., 2006). Haslinda e Mahyuddin (2009)ressaltam que para haver aprendizagem e aplicação dos CHAs no trabalho, é necessário que a organização incentive, estimule e reforce o uso de novas habilidades aprendidas. Em situações instrucionais, segundo Gagné (1985, apud ZERBINI, 2007), o indivíduo demonstra aprendizagem quando, após o treinamento, apresenta novos comportamentos que estavam previstos nos objetivos instrucionais.

Sendo assim, a transferência de aprendizagem pode ser definida como a aplicação efetiva no trabalho dos CHAs adquiridos em ação instrucional (FREITAS et al., 2006; LACERDA; ABBAD, 2003; PILATI; ABBAD, 2005; PILATI; PORTO; SILVINO, 2009). Coelho (2004) aponta que a aprendizagem nas organizações pode acontecer de forma natural, ou seja, ocorre o tempo todo, por imitação, tentativa e erro, conversas informais, e, também, de maneira induzida, por meio de programas instrucionais planejados, como treinamentos. Alguns estudos consideram que 90% da aprendizagem adquirida no ambiente de trabalho ocorre de maneira informal (COELHO, 2009).

Considerando que a aprendizagem nas organizações ocorre continuadamente, é fundamental que o ambiente externo ao indivíduo apoie todas as fases e tipos de aprendizagem (ABBAD et al., 2006). Ressalta-se, então, a importância de um ambiente propício à aprendizagem e ao uso de novas competências no trabalho para potencializar a aplicação das novas habilidades, uma vez que o desempenho competente não depende apenas da aquisição das competências necessárias pelo indivíduo, mas também das condições adequadas para que essas competências possam ser aplicadas no trabalho, como apoio oferecido pelo gestor e pelos colegas (BRANDÃO; BAHRY; FREITAS, 2008). Diversos estudos apontam as variáveis contextuais, como suporte psicossocial e material, como principais preditoras de transferência de treinamento e Impacto de Treinamento no Trabalho (ABBAD et al., 2012a; ABBAD; PILATI; PANTOJA, 2003; BRANDÃO; BAHRY; FREITAS, 2008; SANTOS; MOURÃO, 2011; ZERBINI; ABBAD, 2010). Alguns conceitos relacionados à suporte estão expostos na Tabela 1.

Tabela 1
Conceitos relacionados à variável Suporte.

Conceito	Definição	Autor(es)
Suporte organizacional	Percepção dos indivíduos a respeito do quanto a organização se preocupa com o bem-estar e valoriza as contribuições dos indivíduos que nela trabalham.	Abbad (1999); Abbad, Pilati e Borgres-Andrade (1999)
Suporte gerencial ao treinamento	Indicadores de apoio gerencial à transferência de treinamento, presentes no ambiente organizacional antes, durante e após o treinamento.	Broad (1982)
Clima para transferência	Percepção do indivíduo sobre o apoio que recebe do ambiente organizacional para transferir novas aprendizagens para o trabalho. Este conceito inclui fatores situacionais antecedentes e conseqüências associadas à transferência de treinamento.	Rouller e Goldstein (1993)
Suporte à transferência	Percepção do indivíduo sobre o apoio que recebe de colegas e chefias para aplicar, no trabalho, novas habilidades adquiridas em treinamentos. Além do suporte psicossocial, esse conceito enfoca o apoio material à transferência de treinamento.	Abbad (1999); Abbad e Sallorenzo (2001)
Cultura de aprendizagem contínua	Padrão compartilhado de significados e expectativas acerca de quanto a organização maximiza os processos de inovação e a competitividade, promovendo a aquisição constante de habilidades, conhecimentos e comportamentos oriundos dos mais distintos meios, a fim de modificar o ambiente de trabalho em algum aspecto.	Tracey, Tannenbaum e Kavanagh (1995)
Suporte à aprendizagem	Percepção do indivíduo sobre o apoio de pares e chefias à aprendizagem e à aplicação no trabalho de CHAs adquiridos em situações formais (programas de TD&E) e informais de aprendizagem.	Coelho (2004)
Suporte à aprendizagem contínua	Percepção dos indivíduos sobre a presença de condições favoráveis à aprendizagem no grupo de trabalho.	Freitas (2005); Pantoja (2004)

• Fonte: ABBAD et al., 2006, p. 397.

Como pode ser visto na Tabela 1, Suporte à Transferência consiste na percepção do treinando sobre o apoio que recebe de pares e chefias e do suporte material para aplicar as novas habilidades aprendidas no trabalho (ABBAD et al., 2006; LACERDA; ABBAD, 2003). Já Suporte à Aprendizagem refere-se à percepção que o indivíduo possui a respeito do apoio e suporte psicossocial, de colegas, pares e chefias à aprendizagem e à aplicação de novas habilidades no ambiente de trabalho, sendo que esta aprendizagem pode ter ocorrido tanto em situações formais, como treinamentos, quanto informais, como o contato com um colega de trabalho (ABBAD et al., 2006).

Suporte à Aprendizagem consiste, então, na percepção do indivíduo sobre condições facilitadoras ou inibidoras da aprendizagem e de sua aplicação no local de trabalho, referindo-se ao apoio de pares, colegas e chefias não só à transferência de treinamento, mas também à aprendizagem natural e ao posterior uso dos novos CHAs nos comportamentos organizacionais (ABBAD et al., 2006; COELHO; ABBAD; TODESCHINI, 2005; COELHO; BORGES-ANDRADE, 2008b). Para Abbad et al. (2012a, p. 247), o suporte à aprendizagem é "avaliado em termos do estímulo do ambiente organizacional a novas aprendizagens espontâneas no trabalho por meio do contato com pessoas mais experientes, autodidatismo ou comportamento de imitação" e trata de dimensões de apoio como a criação de expectativas positivas sobre os benefícios da aprendizagem e sua aplicação, o fornecimento de feedback e a disseminação de informações relativas ao desempenho competente.

Considerando que aprendizagem, tanto natural quanto induzida, consiste na aquisição, retenção, generalização e transferência de aprendizagem, a maior diferença entre Suporte à Transferência de Treinamento, apontado por várias pesquisas como variável preditora de Impacto de Treinamento no Trabalho, e Suporte à Aprendizagem, é que no segundo caso há um enfoque na aprendizagem natural, enquanto no primeiro o foco é apenas na transferência de habilidades aprendidas em treinamento (COELHO, 2004). O Suporte à Transferência de Treinamento é apontado por muitos estudos como determinante para a aplicação eficaz do que foi aprendido para o ambiente de trabalho (ABBAD; PILATI; PANTOJA, 2003; ABBAD et al., 2012a; ABBAD et al., 2012b; AGUINIS; KRAIGER, 2009; D'NETTO; BAKAS; BORDIA, 2008; PANTOJA et al., 2005; SALAS; CANNON-BOWERS, 2001; ZERBINI; ABBAD, 2010). A maior parte destes estudos aponta correlações positivas entre Suporte e Impacto do Treinamento no Trabalho, sugerindo que os aspectos contextuais, sobretudo os de apoio de chefes e colegas são fundamentais para que os egressos de eventos de TD&E apliquem no trabalho as novas aprendizagens adquiridas.

A pesquisa de Brandão; Bahry e Freitas (2008)sobre o impacto de variáveis na aplicação de competências desenvolvidas em programas de mestrado e doutorado no trabalho revelou a variável Suporte Psicossocial e Material como preditora mais significativa da aplicação de competências no trabalho, explicando 68,2% deste impacto. Ressalta-se que desta porcentagem, 64,5% foi explicado pela variável Suporte Psicossocial.

Na pesquisa de Meneses e Abbad (2003) sobre o relacionamento entre características de treinamentos e suas clientelas, Suporte à Transferência e Impacto do Treinamento no Trabalho, com amostras de três organizações de médio e grande porte, o Suporte Psicossocial à Transferência explicou tanto a auto quanto a heteroavaliação do Impacto de Treinamento no Trabalho. Também na pesquisa de Pantoja et al. (2005), que avaliaram um curso de capacitação realizado por profissionais de uma instituição hospitalar e profissionais de uma autarquia federal ligada ao sistema financeiro nacional, o Suporte à Transferência e os valores individuais foram apontados como significativamente relacionados ao Impacto de Treinamento no Trabalho, mais especificamente, o Suporte Psicossocial (R²=0,35; p<0,001).

De encontro com esses dados, Santos e Mourão (2011) apontam que na literatura, as variáveis contextuais são destacadas como mais explicativas para o Impacto de Treinamento no Trabalho, mas que variáveis individuais e relacionadas à ação educacional também contribuem para a ocorrência de impacto de treinamento. Na pesquisa dos referidos autores, Impacto de Treinamento no Trabalho é apontada como variável preditora da satisfação com a natureza do trabalho e da satisfação com a chefia.

Tamayo e Abbad (2006) apontam que o Clima para Transferência também é indicado como variável preditora de Impacto de Treinamento no Trabalho, porém este conceito difere-se do de Suporte à Transferência, uma vez que se refere apenas ao suporte psicossocial organizacional (situações e consequências) que facilitam ou inibem a transferência do que foi aprendido para o trabalho. A pesquisa de Brandão; Bahry e Freitas (2008) também alerta para o fato da necessidade e importância do suporte organizacional, indicando que quanto maior a percepção sobre suporte organizacional (psicossocial e material), maior o grau de aplicação das competências aprendidas pelos treinandos.

Semelhante aos resultados apresentados, a pesquisa de Gomes (2011) apresentou uma correlação positiva entre Suporte à Aprendizagem e o desempenho no trabalho, que está ligado ao desenvolvimento das atividades de forma eficiente, atendendo às expectativas organizacionais de maneira geral. Apesar da correlação obtida ser fraca ou moderada, o estudo sugere a importância do Suporte à Aprendizagem, não só em contextos de treinamentos.

Dentre as variáveis contextuais que influenciam o Impacto de Treinamento no Trabalho em amplitude, muitos estudos destacam o Suporte à Transferência de Treinamento (ABBAD et al., 2012b; PILATI; BORGES-ANDRADE, 2004). Porém, ainda são poucos os estudos que abrangem variáveis de Suporte à Aprendizagem natural e induzida (COELHO , 2004). Dentre eles, estão os estudos de Coelho (2004) que verificou que a área de lotação - área negocial, área-fim da empresa - e a percepção sobre o Suporte à Aprendizagem, em uma instituição financeira nacional, predisseram Impacto de Treinamento no Trabalho. Igualmente, outros estudos empíricos com variáveis correlatas a Suporte à Aprendizagem reforçam o seu poder preditivo de Impacto de Treinamento no Trabalho (FREITAS, 2005; PANTOJA, 2004). E, Coelho (2009)constatou que as crenças compartilhadas entre indivíduos acerca do Suporte à Aprendizagem predizem desempenho individual, produzindo resultados importantes no trabalho. O autor conclui que se o indivíduo está inserido em ambientes organizacionais que apoiam irrestritamente a aprendizagem informal, isso terá efeito positivo sobre o seu desempenho.

Considerando a bibliografia consultada e os resultados empíricos apresentados, que apontam para uma forte relação entre as variáveis contextuais, em especial o Suporte à Transferência de Treinamento e o Impacto de Treinamento no Trabalho, a presente pesquisa busca verificar a relação de variáveis contextuais relacionadas não apenas à aprendizagem induzida, mas também à aprendizagem natural, e sua relação com o Impacto de Treinamento no Trabalho. Nesse sentido, considera-se que o Suporte à Aprendizagem tem grande importância para que haja Impacto de Treinamento no Trabalho.

2 METODOLOGIA

2.1 Organizações parceiras

A pesquisa foi viabilizada a partir da parceria com três organizações do interior de SP, sendo a organização A do ramo sucroalcooleiro, B do ramo do agronegócio e C do ramo rural. As três são organizações de pequeno porte, considerando o número de colaboradores entre 100 e 499.

2.2 Características dos cursos-alvo

Foram analisados sete cursos-alvo, sendo que dois foram oferecidos aos colaboradores da empresa A, um foi oferecido aos colaboradores da empresa B e quatro foram oferecidos aos colaboradores da empresa C. A Tabela 2 mostra as características dos cursos avaliados.

Tabela 2
Características gerais dos treinamentos avaliados.

Treinamento	Empresa	Público-alvo	Carga horária	Instrutor
Produtos	A	Colaboradores da área administrativa	16h	Colaborador interno
Liderança		Colaboradores que ocupam cargo de liderança	24h	Terceirizado para consultoria
CPA-10	C	Oferecido a todos os colaboradores	24h	Terceirizado para empresa especializada
Trabalho em equipe e comunicação interpessoal			16h
Excelência no atendimento ao cliente		Assistente de atendimento e caixa	16h
Grafoscopia e Documentoscopia		Caixa, Caixa Tesoureiro, Gerente de Contas, Gerente de PA, Cadastro	8h
Boas práticas de armazenagem	B	Colaboradores da área operacional	30min	Colaborador interno

• Fonte: Elaborado pelas autoras

Percebe-se que todos os cursos apresentaram uma carga horária baixa, em especial o curso "Boas práticas de armazenagem", com apenas 30 minutos. Todos os treinamentos foram avaliados por meio de um roteiro de análise do material didático, desenvolvido por Abbad (1999), a fim de descrever o treinamento em suas características formais, relativas à formulação de objetivos instrucionais, adequação das estratégias instrucionais, compatibilidade dos exercícios com a natureza e complexidade dos objetivos, planejamento de atividades, sequenciação de ensino, fontes de informação e dados gerais sobe o curso.

De maneira geral, os cursos não apresentaram objetivos instrucionais adequados, sendo os objetivos descritos com foco no instrutor, ou mesmo descritos sem clareza dos verbos de ação; as estratégias instrucionais e atividades planejadas eram adequadas ao que se propuseram oferecer; quatro dos sete cursos continham exercícios de fixação e prática adequados; todos possuíam sequenciação de ensino lógica e apresentaram as fontes utilizadas, com exceção de um dos cursos.

2.3 Características da amostra

Na amostra de cursos selecionados para o presente trabalho havia 208 treinandos, provenientes das três empresas parceiras, totalizando sete cursos avaliados. Ao todo, 83 questionários foram respondidos (39,9%).

A maior parte da amostra (51,8%) é composta por colaboradores da empresa C, seguida das empresas A (26,5%) e B (21,7%). A maior parte dos questionários que compôs a amostra foi correspondente aos treinamentos Grafoscopia e Documentoscopia (22,9%) e Boas Práticas de Armazenagem (21,7%), seguidos dos treinamentos Liderança (16,9%) e CPA-10 (16,9%).

A maioria dos respondentes é do sexo masculino (73,5%), possui ensino superior completo (53,3%) ou incompleto (20,5%), é casada (50,6%), sendo 41% solteiros. Quanto à idade dos respondentes, mostra-se bem variada, apresentando média de 36,1 anos, com alto desvio-padrão (10,9), sendo a idade mínima relatada 18 anos e a idade máxima, 64 anos.

Em relação ao tempo de trabalho dos respondentes, desde que começaram a trabalhar, a média é de 18,4 anos, sendo que o desvio-padrão também é alto (DP=18). O tempo mínimo relatado é de 6 meses e o máximo de 49 anos. Em relação a ocupar um cargo de chefia, a maior parte da amostra (81,9%) relata não ocupar, enquanto 18,1% ocupam um cargo dessa natureza.

2.4 Instrumentos de Medida

Foram utilizados dois instrumentos de medida, os quais têm seus índices psicométricos apresentados na Tabela 3.

Tabela 3
Resumo das características dos instrumentos a serem utilizados na pesquisa.

Instrumento	Escalas Obtidas	Nº de Itens	Alfa	Cargas Fatorais
				Min. Máx.
Suporte à Aprendizagem (Coelho Jr., 2004)	Percepção de Suporte à Aprendizagem	33	0,96	-0,3 0,89
Impacto do Treinamento no Trabalho (Pilati e Abbad, 2005)	Impacto em amplitude	12	0,90	0,43 0,90

• Fonte: Elaborado pelas autoras

A Escala de Suporte à Aprendizagem possui um fator geral - Percepção de Suporte à Aprendizagem - com índices psicométricos considerados excelentes (33 itens, cargas fatoriais variando de -0,3 a 0,96, α=0,89). Ressalta-se, contudo, que a escala apresentou duas polaridades, complementares entre si e agrupadas no mesmo fator. A primeira polaridade, constituída por 29 itens, está relacionada à percepção do respondente sobre o Suporte à Aprendizagem e uso de novas habilidades no trabalho, manifestada por atitudes de reforçamento e apoio frente às novas aprendizagens e suas aplicações no ambiente de trabalho; a segunda polaridade, com 4 itens, está relacionada à percepção de falta de suporte, manifestada por atitudes de reprovação frente à aprendizagem e sua aplicação no trabalho. Portanto, o fator geral é, então, considerado bipolar, pois é constituído por cargas fatoriais positivas e negativas (COELHO, 2004).

Além disso, os itens dessa escala são associados a três questões norteadoras, a saber: "Na minha unidade de trabalho..." (itens 1 a 14); "Meu(s) chefe(s) imediato(s)..." (itens 15 a 27), e "Meus colegas de trabalho..." (itens 28 a 33), as quais não consistem em fatores, mas apenas orientam a aplicação do instrumento.

A Escala de Impacto do Treinamento no Trabalho possui apenas um fator, o Impacto de Treinamento no Trabalho em Amplitude com índices psicométricos também considerados excelentes (12 itens, cargas fatoriais variando de 0,43 a 0,90, α=0,90).

2.5 Procedimento de Coleta de Dados

A coleta de dados foi realizada no período de Dezembro de 2011 a Agosto de 2012 conforme a Tabela 4, que também apresenta o índice de retorno de questionários em cada organização. A coleta de dados foi realizada de duas a quatro semanas em média após o término dos treinamentos e ocorreu de forma adaptada à situação de cada organização parceira.

Tabela 4
Procedimento de coleta dos dados em cada treinamento avaliado.

Treinamento	Empresa	Data da coleta de dados	Procedimento da coleta de dados	índice de retorno (%)
Produtos	A	Dezembro de 2011	Presencial	73,3
Liderança
CPA-10	B	Junho de 2011	Virtual	39,9
Trabalho em equipes e comunicação interpessoal		Agosto de 2012
Excelência no atendimento ao cliente
Grafoscopia e Documentoscopia
Boas práticas de armazenagem	C		Presencial	100

• Fonte: Elaborado pelas autoras

Nos casos de coleta de dados presencial, foram entregues os dois questionários impressos e também duas vias do Termo de Consentimento Livre e Esclarecido, datadas e assinadas pela pesquisadora; uma via deveria ficar com o participante e a outra deveria ser devolvida à pesquisadora. No caso da coleta de dados virtual, o Termo de Consentimento Livre e Esclarecido era enviado em anexo junto aos questionários, e o participante deveria assinalar o seu aceite ao termo antes de iniciar o preenchimento dos questionários. Os questionários foram enviados por e-mail por intermédio de uma carta que explicava aos 120 participantes dos treinamentos os objetivos da pesquisa, bem como solicitava o preenchimento e a devolução dos questionários enviados em anexo.

2.6 Procedimento de Análise de Dados

Foram realizadas análises descritivas (média, desvio-padrão, moda, mínimo e máximo) e exploratórias com o intuito de investigar a exatidão de entrada dos dados, a presença de casos extremos, a distribuição de frequência e o tamanho das amostras. Vale enfatizar que, em uma escala de 11 pontos, é considerado um alto desvio-padrão valores acima de 2,07, e em uma escala de 5 pontos, é considerado um alto desvio-padrão valores acima de 0,94. Para o cálculo do desvio-padrão foi utilizada a metodologia proposta por Borges-Andrade e Lima (1983).

Também foi realizada a correlação bivariada de Pearson, com estabelecimento de nível de significância de 99%, com a finalidade de estudar o relacionamento entre as variáveis. Para tanto, foram consultadas as orientações de Hair et al. (2005) e Tabachnick e Fidell (2001). Valores diferentes de 0 (zero) e significativos indicam a presença de uma relação linear, que é considerada forte quanto mais próximo de 1 (um) for o coeficiente obtido.

3 RESULTADOS E DISCUSSÃO

As Tabelas 5, 6 e 7 apresentam os resultados descritivos referentes à Escala de Suporte à Aprendizagem, orientados pelas seguintes questões norteadoras: "Na minha unidade de trabalho..."; "Meus chefes imediatos..."; e "Meus colegas de trabalho...". As tabelas apresentam os itens que compõem cada questão norteadora, as médias, desvios-padrão, moda, mínimo e máximo de cada item, além da concentração de respostas em cada conjunto de pontos da escala.

Tabela 5
Resultados descritivos da Escala de Suporte à Aprendizagem: "Na minha unidade de trabalho..."

	Média	Desvio-Padrão	Moda	Mínimo	Máximo	Concentração de Respostas (%)*
						0 a 4	5 a 7	8 a 10
9. Há autonomia para organizar o trabalho.	8,12	1,65	10	3	10	1,2%	28,9%	69,9%
13. Há incentivo à busca de novas aprendizagens.	7,93	2,20	10	0	10	6,0%	24,1%	69,9%
5. Há respeito mútuo.	7,80	2,43	10	0	10	10,8%	24,1%	65,1%
4. Novas idéias são valorizadas.	7,41	2,39	10	0	10	10,8%	32,6%	56,6%
14. As tarefas facilitam a aplicação de novas habilidades.	7,36	1,93	8	3	10	7,2%	39,8%	53,0%
1. Cada membro é incentivado a expor o que pensa.	7,31	2,62	10	0	10	10,8%	30,2%	59,0%
10. Há abertura a críticas quando alguém aplica novas habilidades.	7,19	2,30	8	0	10	10,8%	37,4%	51,8%
8. Há tolerância a erros quando se tenta aplicar novas habilidades.	7,09	2,19	8	0	10	8,5%	39,1%	52,4%
7. Estabelece(m) objetivos de trabalho que me encorajam a aplicar novas habilidades.	6,96	2,33	8	0	10	9,6%	38,6%	51,8%
6. Há autonomia para questionar as ordens dadas pelo(s) chefe(s).	6,61	2,63	8	0	10	14,5%	36,1%	49,4%
3. Há tempo destinado para a busca de novas formas de executar o trabalho.	6,30	2,67	8	0	10	22,9%	37,3%	39,8%
12. Há aceitação dos riscos associados à aplicação de novas habilidades.	6,29	2,64	7ª	0	10	19,5%	43,9%	36,6%
2. Há autonomia para agir sem consultar o(s) chefe(s)	5,16	3,16	5	0	10	32,9%	41,5%	25,6%
11. As tentativas de aplicação de novas habilidades são ignoradas.	4,23	2,74	3	0	10	51,2%	36,3%	12,5%

• N= 83
• ^*
  0 a 4 - Ocorre pouco da maneira descrita no item; 5 a 7 - Ocorre com frequência razoável da maneira descrita no item; 8 a 10 - Ocorre com muita frequência da maneira descrita no item.
• ^ª
  Mais de uma moda existe. O maior valor é apresentado.
• Fonte: Elaborado pelas autoras

Tabela 6
Resultados descritivos da Escala de Suporte à Aprendizagem: "Meus chefes imediatos..."

	Média	Desvio-Padrão	Moda	Mínimo	Máximo	Concentração de Respostas (%)*
						0 a 4	5 a 7	8 a 10
27. Está(ão) disponível(is) para tirar minhas dúvidas sobre o uso de novas habilidades.	7,89	2,33	10	0	10	8,4%	24,1%	67,5%
26. Me dá(ão) liberdade para decidir sobre como desenvolver minhas tarefas.	7,84	2,17	10	0	10	4,8%	27,7%	67,5%
16. Me estimula(m) a buscar novas soluções para os problemas de trabalho.	7,64	2,11	8	3	10	9,6%	22,9%	67,5%
22. Me estimula(m) a enfrentar desafios no trabalho.	7,33	2,38	10	1	10	10,8%	31,4%	57,8%
18. Valoriza(m) minhas sugestões de mudança.	7,25	2,44	8	0	10	12,0%	26,6%	61,4%
19. Assume(m) comigo os riscos de tentar novas formas de realizar o trabalho.	7,18	2,42	8ª	0	10	12,0%	33,8%	54,2%
17. Me encoraja(m) a aplicar novas habilidades.	7,14	2,32	8	0	10	10,8%	32,6%	56,6%
23. Me elogia(m) quando aplico novas habilidades.	7,08	2,76	10	0	10	16,9%	32,5%	50,6%
15. Estabelece(m) objetivos de trabalho que me encorajam a aplicar novas habilidades.	7,06	2,39	8	0	10	12,0%	30,2%	57,8%
20. Leva(m) em conta minhas idéias quando diferentes das dele(s).	6,75	2,57	8	0	10	14,5%	36,1%	49,4%
24. Remove(m) dificuldades e obstáculos à aplicação de minhas novas habilidades no trabalho.	6,27	2,61	7	0	10	20,7%	42,7%	36,6%
21. Inibe(m) o uso das minhas novas habilidades no trabalho.	3,81	2,83	5	0	9	51,8%	36,2%	12,0%
25. Ignora(m) as mudanças que eu proponho em função do que aprendi em treinamentos.	3,37	2,98	0	0	9	58,5%	30,5%	11,0%

• N= 83
• ^*
  0 a 4 - Ocorre pouco da maneira descrita no item; 5 a 7 - Ocorre com frequência razoável da maneira descrita no item; 8 a 10 - Ocorre com muita frequência da maneira descrita no item.
• ^ª
  Mais de uma moda existe. O maior valor é apresentado.
• Fonte: Elaborado pelas autoras

Tabela 7
Resultados descritivos da Escala de Suporte à Aprendizagem: "Meus colegas de trabalho...."

	Média	Desvio-Padrão	Moda	Mínimo	Máximo	Concentração de Respostas (%) *
						0 a 4	5 a 7	8 a 10
28. Me dão orientações quando tenho dificuldades para aplicar novas habilidades.	7,99	2,14	10	0	10	4,9%	23,1%	72,0%
31. Apóiam as tentativas que faço de utilizar no trabalho novas habilidades que aprendi em treinamentos.	7,50	2,47	10	1	10	8,5%	29,3%	62,2%
30. Me estimulam a buscar novos conhecimentos voltados ao trabalho.	7,21	2,48	10	1	10	11,0%	34,1%	54,9%
32. Me incentivam a propor novas idérias para execução das tarefas.	7,18	2,48	8	1	10	11,0%	30,5%	58,5%
29. Me elogiam quando aplico minhas novas habilidades.	6,84	2,82	8ª	0	10	12,2%	36,6%	51,2%
33. Sentem-se ameaçados quando aplico novas habilidades no trabalho.	3,98	3,38	0	0	10	51,9%	29,6%	18,5%

• N= 83
• ^*
  0 a 4 - Ocorre pouco da maneira descrita no item; 5 a 7 - Ocorre com frequência razoável da maneira descrita no item; 8 a 10 - Ocorre com muita frequência da maneira descrita no item.
• ^ª
  Mais de uma moda existe. O maior valor é apresentado.
• Fonte: Elaborado pelas autoras

Observando a Tabela 5, pode-se notar que as médias das respostas do primeiro foco de análise "Na minha unidade de trabalho..." variaram entre 4,23 a 8,12, e apresentam altos desvios-padrão, exceto nos itens 9 e 14, que apresentam valores de desvios-padrão abaixo do valor considerado alto (2,07). A variação das respostas mínimas e máximas é alta, entre 0 a 10 em todos os itens, com exceção também dos itens 9 e 14, que apresentaram variação das respostas mínimas e máximas de 3 a 10. Esses dados indicam que alguns respondentes não concordam com as afirmações tanto quanto outros. Os itens 1, 4, 5, 7, 8, 9, 10, 13, 14 apresentaram concentração de respostas maior que 50% nos pontos mais altos da escala (valores de 8 a 10), os itens 6 e 3 também apresentaram concentração de respostas nos pontos mais altos da escala, 49,4% e 39,8% respectivamente. Já os itens 12 e 2 apresentaram concentração de respostas nos pontos medianos da escala (valores de 5 a 7), sendo 43,9% e 41,5% respectivamente, e apenas o item 11 apresentou concentração de respostas nos pontos mais baixos da escala (valores de 0 a 4), com 51,2%.

A partir da Tabela 6, pode-se notar que as médias das respostas do foco de análise "Meus chefes imediatos..." variaram entre 3,37 a 7,89, e também apresentaram altos desvios-padrão em todos os itens. A variação das respostas mínimas e máximas é alta, variando entre 0 a 10 na maioria dos itens. A maioria dos itens apresentou concentração de respostas maior que 50% nos pontos mais altos da escala (valores de 8 a 10); o item 24, apresentou concentração maior (42,7%) nos pontos medianos da escala (de 5 a 7), e os itens 20, 21 e 25 apresentaram concentração de respostas nos pontos mais baixos da escala (valores de 0 a 4), com 49,4%, 51,8% e 58,5%, respectivamente.

Na Tabela 7 é possível verificar que os valores das médias do terceiro foco de análise "Meus colegas de trabalho..." variaram entre 3,98 a 7,99 e apresentaram altos desvios-padrão em todos os itens. A variação das respostas mínimas e máximas também é alta, variando entre 0 a 10 na metade dos itens e entre 1 a 10 na outra metade. Todos os itens apresentaram concentração de respostas maior que 50% nos pontos mais altos da escala (valores de 8 a 10), com exceção do item 33, que apresentou maior concentração de respostas nos pontos mais baixos da escala (0 a 4).

A partir das tabelas anteriormente apresentadas, verificou-se, de maneira geral, que os participantes da pesquisa percebem moderadamente o Suporte à Aprendizagem oferecido pela organização, já que as médias relacionadas à percepção de Suporte à Aprendizagem variaram de 5,16 a 8,12. Corroborando esse dado, as questões associadas à falta de Suporte à Aprendizagem (11, 21, 25 e 33) apresentaram médias baixas, entre 3,37 a 4,23. Com relação a isso, Coelho (2004) sugere que esses itens podem gerar vieses por carregarem expressões fortes, como ignorância e ameaça, o que também poderia explicar as médias baixas desses itens.

Observando a Tabela 5, nota-se que o item 9, "Há autonomia para organizar o trabalho", que não apresentou desvio-padrão acima da média, foi também o item que apresentou o maior valor de média, indicando a percepção de autonomia que os respondentes têm. No outro extremo da mesma tabela, o item 2, que também se refere à autonomia no trabalho, "há autonomia para agir sem consultar o(s) chefe(s)" apresentou valor de média baixo, indicando que os respondentes percebem autonomia para organizar o trabalho, porém não percebem total autonomia, a ponto de agir sem consultar o chefe. Tal fato pode ser explicado pelas posições hierárquicas dos cargos, visto que 68% dos respondentes não ocupam uma posição de chefia; também poderia demonstrar um ambiente que não estimula tanto a aplicação de novas ideias, hierarquizando e dificultando a aplicação de novas maneiras de trabalhar. Porém, o item 13, "há incentivo à busca de novas aprendizagens" e 14, "as tarefas facilitam a aplicação de novas habilidades", que receberam valores de média altos, indicam que o ambiente estimula a busca e a aplicação de novas habilidades no trabalho.

Quando se trata da aceitação dos riscos associados à aplicação de novas habilidades, como demonstrado no item 12 (M=6,29), é possível verificar que não é percebida pelos respondentes. Porém, sobre a percepção relacionada aos chefes imediatos assumirem os riscos associados a novas formas de realizar o trabalho, como apresentado no item 19, os participantes responderam de maneira mais positiva (M=7,18). A respeito dessa questão, pode-se pensar que o suporte proveniente dos chefes imediatos é mais percebido, uma vez que esses possuem contato direto com os respondentes, o que não fica tão claro em relação ao suporte proveniente da unidade de trabalho.

Destaca-se que as médias dos itens do terceiro foco de análise "Meus colegas de trabalho" obtiveram valores médios e altos, com exceção do item 33 que pertence à falta de Suporte à Aprendizagem. Apresentaram variação entre 6,84 (item 29 "Me elogiam quando aplico minhas novas habilidades") a 7,99 (item 28 "Me dão orientações quando tenho dificuldades para aplicar novas habilidades"). As médias altas desse foco de análise podem indicar que o Suporte à Aprendizagem oferecido por colegas de trabalho é bem percebido pelos respondentes. Porém, também podem ser explicadas pelo fato dos resultados desse foco de análise apresentarem-se de forma enviesada, como aponta Coelho (2004), com uma tendência positiva de avaliação, uma vez que o respondente pode julgar o item a partir da aceitabilidade ou desejabilidade social do colega de trabalho.

A Tabela 8 apresenta os resultados descritivos da Escala de Impacto de Treinamento no Trabalho, que mensura o quanto cada afirmativa descreve a opinião do respondente quanto ao impacto exercido pelo treinamento que realizou no trabalho. São apresentadas as médias, desvios-padrão, moda, mínimo e máximo de cada item, além da concentração de respostas em cada ponto da escala.

Tabela 8
Resultados descritivos de Escada de Impacto de Treinamento no Trabalho.

	Média	Desvio-Padrão	Moda	Mínimo	Máximo	Concentração de Respostas (%)*
						1	2	3	4	5
2. Aproveito as oportunidade que tenho para colocar em prática o que me foi ensinado no treinamento.	4,39	0,68	4	2	5	0	2,4	3,6	47	47
6. A qualidade do meu trabalho melhorou nas atividades diretamente relacionadas ao conteúdo do treinamento.	4,27	0,81	5	2	5	0	4,8	8,4	42,2	44,6
8. Minha participação no treinamento serviu para aumentar minha motivação para o trabalho.	4,23	0,87	5	1	5	1,2	3,6	10,8	39,8	44,6
9. Minha participação nesse treinamento aumentou minha auto-confiança. (Agora tenho mais confiança na minha capacidade de executar meu trabalho com sucesso).	4,23	0,86	4	1	5	2,4	2,4	6	48,2	41
1. Utilizo com frequência, em meu trabalho atual, o que foi ensinado no treinamento.	4,17	0,78	4	2	5	0	4,8	8,5	51,8	34,9
5. Quando aplico o que aprendi no treinamento, executo meu trabalho com maior rapidez.	4,12	0,80	4	2	5	0	4,8	12	49,4	33,7
3. As habilidades que aprendi no treinamento fizeram com que eu cometesse menos erros, em meu trabalho, em atividades relacionadas ao conteúdo do treinamento.	4,11	1,04	4ª	1	5	4,8	3,6	8,4	42,2	41
4. Recordo-me bem dos conteúdos ensinados no treinamento.	4,05	0,75	4	2	5	0	4,9	11	58,5	25,6
11. Esse treinamento que fiz tornou-me mais receptivo a mudanças no trabalho.	4,00	0,84	4	1	5	1,2	3,6	16,9	50,6	27,7
7. A qualidade do meu trabalho melhorou mesmo naquelas atividades que não pareciam estar relacionadas ao conteúdo do treinamento.	3,95	0,85	4	1	5	1,2	3,6	20,5	48,2	26,5
12. O treinamento que fiz beneficiou meus colegas de trabalho, que aprenderam comigo algumas novas habilidades.	3,90	0,89	4	1	5	2,4	3,6	19,3	50,6	24,1
10. Após minha participação no treinamento, tenho sugerido, com mais frequência, mudanças nas rotinas de trabalho.	3,65	1,08	4	1	5	4,8	9,6 22,9		41	21,7

• N= 83
• ^*
  1- Discordo totalmente da afirmativa; 2- Discordo, um pouco da afirmativa; 3- Não concordo, nem discordo d afirmativa; 4- Concordo com a afirmativa; 5- Concordo totalmente com a afirmativa.
• ^ª
  Mais de uma moda existe. O maior valor é apresentado.
• Fonte: Elaborado pelas autoras

Observando a Tabela 8, pode-se notar que as médias das respostas variaram entre 3,65 a 4,39, e apresentaram baixo desvio-padrão. Apesar disso, a variação das respostas mínimas e máximas é alta, entre 1 ou 2 a 5, indicando que alguns respondentes não concordam com as afirmações tanto quanto outros. A concentração de respostas de todos os itens encontra-se nos pontos mais altos da escala (valores 4 e 5), sendo que apenas os itens 6 e 8 apresentam maior concentração de respostas no ponto mais alto da escala, valor 5 (44,6% em ambos). Ainda, todos os itens apresentaram valor de moda 4, com exceção também dos itens 6 e 8, que apresentaram valor de moda maior (5).

O item que apresentou o maior valor de média foi o item 2, relacionado à percepção do respondente sobre aproveitar as oportunidades que tem para colocar em prática o que aprendeu em treinamento. Esse item expressa claramente que a percepção que os respondentes têm sobre a aplicação do que foi aprendido nos treinamentos em seus trabalhos vai ao encontro das médias de toda a escala, que indicam que os respondentes percebem que houve impacto de treinamento no trabalho.

Em seguida, estão os itens 6 e 8, que apresentaram também os maiores valores de moda (5) e a maior concentração de respostas no ponto mais alto da escala (5), que referem-se, respectivamente, à melhoria da qualidade do trabalho após o treinamento, e ao aumento da motivação para o trabalho após a participação no treinamento. Os treinamentos podem afetar diretamente a qualidade do trabalho, uma vez que proporcionam aprendizagem de competências importantes a serem utilizadas, com o intuito de melhorar a realização do trabalho, e também sua qualidade. Com relação à motivação para o trabalho, o impacto de treinamento no trabalho considera aspectos globais no comportamento do indivíduo pós-treinamento, como sua motivação para o trabalho, que, segundo os respondentes, aumentou após o treinamento, indicando a ocorrência do impacto.

Verificou-se que, de maneira geral, os respondentes da pesquisa julgam que houve Impacto do Treinamento no Trabalho, o que pode ser percebido a partir das médias dos itens, que variam entre 3,65 a 4,39, apresentando pequena diferença entre o menor e o maior valor. Além disso, todos os itens apresentaram concentração de respostas nos valores 4 ou 5. Os desvios-padrão dos itens foram considerados dentro do limite (0,94), com exceção dos itens 3 (DP=1,04) e 10 (DP=1,08), sugerindo que os respondentes apresentaram opiniões convergentes nas afirmativas apresentadas. Apesar disso, a variação nas respostas mínimas e máximas foi alta, 1 a 5 em 7 itens e 2 a 5 em 5 itens, sugerindo que alguns respondentes não concordam com as afirmativas tanto quanto outros.

O Impacto de Treinamento no Trabalho refere-se ao julgamento do treinando sobre os efeitos do treinamento em sua motivação, desempenho, autoconfiança e abertura a mudanças (ABBAD, 1999). No presente estudo, os respondentes julgaram que o treinamento o qual participaram serviu para aumentar a motivação para o trabalho, a autoconfiança e melhorar a qualidade do trabalho. Em relação aos itens que receberam as menores médias, nota-se que o item mais mal avaliado, item 10, está relacionado a sugestão de mudanças nas rotinas de trabalho após a participação no treinamento. É interessante comparar esse item com a falta de Suporte à Aprendizagem, uma vez que, se a organização, os pares e os chefes não apoiam as buscas à aprendizagem e sua aplicação no trabalho, os treinandos realmente não encontram espaço para sugerir mudanças. No caso do presente estudo, o item 10 apresentou média 3,65, que pode ser considerada mediana, bem como foi considerada a percepção do Suporte à Aprendizagem.

O resultado da correlação de Pearson entre a escala de Suporte à Aprendizagem e a escala de Impacto de Treinamento no Trabalho foi de 0,53, p>0,001. A correlação apresentada é positiva (r=0,53), uma vez que o valor do coeficiente de correlação de Pearson é positivo; e é considerada moderada de acordo com Callegari-Jacques (2003). Considerando a correlação positiva moderada entre as duas variáveis, pode-se inferir que quanto maior for a percepção de Suporte à Aprendizagem, maior será o Impacto de Treinamento no Trabalho, e vice-versa.

Muitas pesquisas encontradas na literatura, como as já citadas, de Brandão, Bahry e Freitas (2008), Meneses e Abbad (2003), Pantoja et al. (2005), entre outras apontadas pela literatura, apresentaram como resultado a forte relação ou influência do suporte à transferência, em especial o suporte psicossocial, no impacto de treinamento no trabalho, comprovando a importância do suporte psicossocial para a transferência de treinamento no trabalho. A pesquisa de Gomes (2011), que correlacionou o Suporte à Aprendizagem com o desempenho no trabalho encontrou correlação significativa, porém de fraca e moderada, entre essas duas variáveis.

Da mesma maneira, o presente estudo encontrou uma correlação moderada entre Suporte à Aprendizagem e Impacto de Treinamento no Trabalho (r=0,53, p>0,001). A correlação moderada indica que há certa relação entre as variáveis estudadas, confirmando a ligação entre o Suporte Psicossocial e o Impacto de Treinamento no Trabalho. Porém, era esperada uma correlação maior, levando em conta os dados apontados pela literatura. A partir disso, considera-se o fato do conceito de Suporte à Aprendizagem ser recente, podendo não estar bem delimitado e estabelecido como um fator de influência para explicar a não ocorrência de uma alta correlação. Sendo assim, sugere-se que mais pesquisas a respeito de Suporte à Aprendizagem sejam realizadas.

CONSIDERAÇÕES FINAIS

Os resultados da pesquisa indicaram correlação entre as variáveis estudadas, corroborando com os achados da literatura que apontam a correlação e a influência de variáveis contextuais no impacto de treinamento no trabalho. A correlação entre Suporte à Aprendizagem e o Impacto de Treinamento no Trabalho indica ainda que a aprendizagem natural pode estar correlacionada aos resultados das ações de TD&E, enfatizando ainda mais o poder do contexto organizacional nesses resultados.

A partir da revisão de literatura realizada, verificou-se que são poucas pesquisas empíricas existentes na área de Suporte à Aprendizagem, principalmente quando comparado ao número de pesquisas sobre o Impacto de Treinamento no Trabalho. Dessa forma, a presente pesquisa assume grande importância no estudo do Suporte à Aprendizagem. Além disso, ressalta-se também a importância da ampliação de pesquisas de relacionamento entre variáveis contextuais e Impacto de Treinamento no Trabalho.

Outra contribuição do estudo que pode ser apontada é a parceria de pesquisa com as empresas da região de Ribeirão Preto, que até o momento não haviam tido a oportunidade de criar vínculos com a universidade. Ressalta-se a importância dessas parcerias, tanto para viabilizar as pesquisas, quanto para aproximar a teoria da prática, em especial na região de Ribeirão Preto, onde a prática de psicologia organizacional e do trabalho é muito pouco conhecida.

Entre as limitações dessa pesquisa, destacam-se o número pequeno da amostra, o baixo número de respondentes em cada organização, a grande quantidade de cursos avaliados e a baixa complexidade dos mesmos. Apesar das limitações, são oferecidos subsídios para o aprimoramento do conceito de Suporte à Aprendizagem.

Em relação às implicações práticas dos resultados obtidos, torna-se necessário que ações educacionais sejam avaliadas com mais frequência nas organizações, não apenas no nível de Reação, mas também em níveis de Aprendizagem, Impacto, incluindo também a avaliação de variáveis ambientais, visando ao aprimoramento e a otimização dos recursos empregados. Por fim, espera-se que a presente pesquisa tenha contribuído com área de avaliação de TD&E, bem como, tenha servido de estímulo para que outras pesquisas envolvendo as variáveis Suporte à Aprendizagem e Impacto de Treinamento no Trabalho sejam realizadas.

REFERÊNCIAS

• ABBAD, G. Um modelo integrado de avaliação de impacto de treinamento no trabalho. 1999. Tese (Doutorado em Psicologia) - Instituto de Psicologia, Universidade de Brasília, Brasília. 1999.
• ABBAD, G. et al. Medidas de suporte em avaliação de TD&E. In: BORGES-ANDRADE, J.E.; ABBAD, G.; MOURÃO, L. & colaboradores. Treinamento, Desenvolvimento e Educação em Organizações e Trabalho: fundamentos para a gestão de pessoas Porto Alegre: Artmed, p. 395-421, 2006.
• ABBAD, G. et al. Suporte à transferência de treinamento e suporte à aprendizagem. In: ABBAD, G.; MOURÃO, L.; MENESES, P. P. M.; ZERBINI, T.; BORGES-ANDRADE, J. E.; VILAS-BOAS, R. (Orgs.). Medidas de Avaliação em Treinamento, Desenvolvimento e Educação Porto Alegre: Artmed, p. 127-146, 2012a,.
• ABBAD, G. et al. Impacto do treinamento no trabalho - medida em amplitude. In: ABBAD, G.; MOURÃO, L.; MENESES, P. P. M.; ZERBINI, T.; BORGES-ANDRADE, J. E.; VILAS-BOAS, R. (Orgs.). Medidas de Avaliação em Treinamento, Desenvolvimento e Educação Porto Alegre: Artmed, p. 145-162, 2012b.
• ABBAD, G. S.; GAMA, A. L. G.; BORGES-ANDRADE, J. E. Treinamento: Análise do relacionamento da avaliação nos níveis de reação, aprendizagem e impacto no trabalho. Revista de Administração Contemporânea, Rio de janeiro, v.4, n.3, p. 25-45, 2000.
• ABBAD, G.; PILATI, R.; PANTOJA, M. J. Avaliação de treinamento: análise da literatura e agenda de pesquisa. Revista de Administração da USP, São Paulo, v. 38, n.3, p. 205-218, 2003.
• ABBAD, G.; ZERBINI, T.; SOUZA, D. B. L. Panorama das pesquisas em educação a distância no Brasil. Estudos de Psicologia, Natal, v.15, n.3, p. 291-298, 2010.
• AGUINIS, H.,; KRAIGER, K. Benefits of Training and Development for Individuals and Teams, Organizations, and Society. Annual Review of Psychology, Palo Alto, v. 60, p. 451-474, 2009.
• ALVAREZ, K.; SALAS, E.; GAROFANO, C.M. An integrated model of training evaluation and effectiveness. Human Resource Development Review, Texas, v. 3, n. 4, p. 385-416, 2004.
• BORGES-ANDRADE, J. E. Treinamento de pessoal: em busca de conhecimento e tecnologia relevantes para as organizações brasileiras. In: TAMAYO, A.; BORGES-ANDRADE, J. E.; CODO, W. (Orgs.). Trabalho, Organizações e Cultura São Paulo: Cooperativa de Autores Associados, p. 129-149, 1997.
• BORGES-ANDRADE, J. E. Desenvolvimento de medidas em avaliação de treinamento. Estudos de Psicologia Natal, v. 7, (Número especial), p. 31-43, 2002.
• BORGES-ANDRADE, J. E. Competência técnica e política do profissional de TD&E. In: BORGES-ANDRADE, J.E.; Abbad, G.; MOURÃO, L. & colaboradores. Treinamento, Desenvolvimento e Educação em Organizações e Trabalho: fundamentos para a gestão de pessoas Porto Alegre: Artmed, p. 177-195, 2006a.
• BORGES-ANDRADE, J. E. Avaliação integrada e somática em TD&E. In: BORGES-ANDRADE, J.E.; Abbad, G.; MOURÃO, L. & colaboradores. Treinamento, Desenvolvimento e Educação em Organizações e Trabalho: fundamentos para a gestão de pessoas Porto Alegre: Artmed, p. 343-358, 2006b.
• BORGES-ANDRADE, J. E.; ABBAD, G. S.; MOURÃO, L. Modelos de avaliação e aplicação em TD&E. In: ABBAD, G.; MOURÃO, L.; MENESES, P. P. M.; ZERBINI, T.; BORGES-ANDRADE, J. E.; VILAS-BOAS, R. (Orgs.). Medidas de Avaliação em Treinamento, Desenvolvimento e Educação Porto Alegre: Artmed, p. 20-35, 2012.
• BORGES-ANDRADE, J.E.; LIMA, S.M.V. Avaliação de Necessidades de Treinamento: Um Método de Análise de Papel Ocupacional. Tecnologia Educacional, São Paulo, v. 54, p. 6-22, 1983.
• BRANDÃO, H. P.; BAHRY, C. P.; FREITAS, I. A. Os impactos do suporte à transferência sobre a aplicação de competências no trabalho: a percepção dos mestres e doutores do Banco do Brasil. Revista de Administração da Universidade de São Paulo (RAUSP), São Paulo, v. 43, n. 3, p. 224-237, 2008.
• CALLEGARI-JACQUES, S. M. Bioestatística: princípios e aplicações. Porto Alegre: Artemed, 255p, 2003.
• COELHO, F. A. Avaliação de Treinamento a Distância: Suporte à Aprendizagem e Impacto de Treinamento no Trabalho. 2004. 178 f. Tese (Mestrado em Psicologia) - Instituto de Psicologia da Universidade de Brasília, Brasília, 2004.
• COELHO, F. A. Suporte à Aprendizagem, satisfação no trabalho e desempenho: um estudo multinível. 2009. 315 f. Tese (Doutorado em Psicologia) - Instituto de Psicologia da Universidade de Brasília, Brasília, 2009.
• COELHO, F. A.; ABBAD, G.; TODESCHINI, K. Construção e validação de uma escala de suporte à aprendizagem no trabalho em uma instituição bancária brasileira. Revista Psicologia, Florianópolis, v. 5, n. 2, p. 167-196, 2005.
• COELHO, F. A.; BORGES-ANDRADE, J. E. Uso do conceito de aprendizagem em estudos relacionados ao trabalho e organizações. Paidéia, Ribeirão Preto, v. 18, n. 40, p. 221-234, 2008a.
• COELHO, F. A.; BORGES-ANDRADE, J. E. Re-validação de escala de suporte à aprendizagem informal no trabalho. Anais do Encontro da Associação Nacional de Pós-Graduação e Pesquisa em Administração, Rio de Janeiro, v. 32, CD-ROM, 2008b.
• D'NETTO, B.; BAKAS, F.; BORDIA, P. Predictors of management development effectiveness: an australian perspective. International Journal of Training and Development, Oxford, v. 12, n. 1, p. 2-23, 2008.
• FREITAS, I. A. Impacto de treinamento nos desempenhos do indivíduo e do grupo de trabalho: suas relações com crenças sobre o sistema de treinamento e suporte à aprendizagem contínua. 2005. 278 f. Tese (Doutorado em Psicologia) - Instituto de Psicologia da Universidade de Brasília, Brasília, 2005.
• FREITAS, I. A. et. al. Medidas de impacto de TD&E no trabalho e nas organizações. In: BORGES-ANDRADE, J. E.; Abbad, G.; MOURÃO, L. & colaboradores. Treinamento, Desenvolvimento e Educação em Organizações e Trabalho: fundamentos para a gestão de pessoas Porto Alegre: Artmed, p. 395-421, 2006.
• GOLDSTEIN, I. L. Training in work organizations. In: DUNNETTE; HOUGH (Orgs.). Handbook of Industrial and Organizational Psychology Palo Alto, California: Consulting Psych, p. 507-619, 1991.
• GOMES, J. P. Suporte à aprendizagem e desempenho no trabalho: Um estudo no Instituto do Meio Ambiente e dos Recursos Hídricos do Distrito Federal - Brasília Ambiental (IBRAM). 2011. 68 f. Monografia (Bacharelado em Administração) - Universidade de Brasília, Brasília, 2011.
• HAIR et al. Análise Multivariada de dados (5a ed.). Porto Alegre: Bookman, 2005.
• HAMBLIN, A. C. Avaliação e controle do treinamento. McGraw-Hill do Brasil. São Paulo, 1978.
• HASSLINDA, A.; MAHYUDDIN, M.Y. The effectiveness of training in the public service. American Journal of Scientific Research, Victoria, v. 6, p. 39-51, 2009.
• KIRKPATRICK, D. L. Evaluation of training. In: CRAIG, R. L. (Org). Training and Development Handbook, Mc Graw-Hill, New York, p. 118.1-118.27, 1976.
• LACERDA, E.R.M.; ABBAD, G. Impacto do treinamento no trabalho: investigando variáveis motivacionais e organizacionais como suas preditoras. Revista de Administração Contemporânea, Rio de Janeiro, v. 7, n. 4, p. 77-96, 2003.
• MARTIN, H. J. Improving training impact through effective follow-up: techniques and their applocation. Journal of Management Development, Cleveland, v. 29, n. 6, p. 520-534, 2010.
• MENESES, P.P.M.; ABBAD, G. Preditores individuais e situacionais de auto e heteroavaliação de impacto do treinamento. Revista de Administração Contemporânea, Rio de Janeiro, Edição Especial, p. 185-204, 2003.
• MENESES, P. P. M.; ZERBINI, T.; ABBAD, G. Manual de treinamento organizacional Porto Alegre: Artmed, 2010.
• PANTOJA, M. J. Estratégias de aprendizagem no trabalho e percepções de suporte à aprendizagem contínua: uma análise multinível. 2004. 211 f. Tese (Doutorado em Psicologia) - Instituto de Psicologia da Universidade de Brasília, Brasília, 2004
• PANTOJA, M. J. et. al. Valores, suporte psicossocial e impacto de treinamento no trabalho. Estudos de Psicologia, Natal, v. 10, n. 2, p. 255-265, 2005.
• PILATI, R. História e importância de TD&E. In: BORGES-ANDRADE, J.E.; Abbad, G.; MOURÃO, L. & colaboradores. Treinamento, Desenvolvimento e Educação em Organizações e Trabalho: fundamentos para a gestão de pessoas Porto Alegre: Artmed, p. 159-176, 2006.
• PILATI, R.; ABBAD, G. Análise fatorial confirmatória da escala de impacto do treinamento no trabalho. Psicologia: Teoria e Pesquisa, Brasília, v. 21, n. 1, p. 43-51, 2005.
• PILATI, R; BORGES-ANDRADE, J.E. Estudo empírico dos antecedentes de medida de impacto de treinamento no trabalho. Psicologia: Teoria e Pesquisa, Brasília, v. 20, n. 1, p. 31-38, 2004.
• PILATI, R.; PORTO, J.B.; SILVINO, A.M.D. Educação corporativa e desempenho ocupacional: Há alguma relação? RAE-eletrônica, São Paulo, v. 8, n. 2. 2009 <http://www.scielo.br/pdf/raeel/v8n2/v8n2a09.pdf>. Data de acesso: 04/11/2010.
  » http://www.scielo.br/pdf/raeel/v8n2/v8n2a09.pdf
• SALAS, E.; CANNON-BOWERS, J. A. The science of training: a decade of progress. Annual Review of Psychology, Palo Alto, v. 52, p. 471-499, 2001.
• SANTOS, J.R.V.S.; MOURÃO, L. Impacto do treinamento como variável preditora da satisfação com o trabalho. Revista de Administração da Universidade de São Paulo (RAUSP), v. 46, n. 3, p. 305-318, 2011.
• TABACHNICK, B.G.; FIDELL, L.S. Using multivariate statistics New York: Harper-Collins College Publishers, 2001.
• TAMAYO, N; ABBAD, G. Autoconceito profissional e suporte à transferência e impacto de treinamento no trabalho. Revista de Administração Contemporânea, Rio de Janeiro, v. 10, n. 3, p. 9-28, 2006.
• TANNENBAUM, S. I.; YUKL, G. Training and development in work organizations. Annual Review of Psychology, Palo Alto, v. 43, p. 399-441, 1992.
• WEXLEY, K. N. Personnel training. Annual Review of Psychology, Palo Alto, v. 35, p. 519-551, 1984.
• YASSEN, Z.; KHANFAR, M. Sales training effectiveness: manager's perceptions in the United Arab Emirates organizations. The Business Review, Cambridge, v. 13, n. 2, p. 120-128, 2009.
• ZERBINI, T. Avaliação da transferência de treinamento em curso a distância. 2007. 210 f. Tese (Mestrado em Psicologia) - Instituto de Psicologia da Universidade de Brasília, Brasília, 2007.
• ZERBINI, T.; ABBAD, G. Transferência de treinamento e impacto do treinamento no trabalho: análise crítica da literatura. Revista Psicologia: Organizações e Trabalho, Florianópolis, v. 10, n. 2, p. 67-81, 2010.

Datas de Publicação

• Publicação nesta coleção
  May-Aug 2014

Histórico

• Recebido
  28 Maio 2013
• Aceito
  20 Fev 2014