A construção de um referencial teórico sobre a avaliação de desempenho de programas de capacitação

La construcción de un marco teórico sobre evaluación del desempeño de los programas de capacitación

The construction of a theoretical framework on performance evaluation of training programs

La construcción de un marco teórico sobre evaluación del desempeño de los programas de capacitación

Jorge Eduardo Tasca^I; Leonardo Ensslin^II; Sandra Rolim Ensslin^III

^IDoutor no Programa de Pós-Graduação em Engenharia de Produção, Universidade Federal de Santa Catarina (UFSC). SC. E-mail: [e-mail]

^IIProfessor do Programa de Pós-Graduação em Engenharia de Produção e do Programa de Pós-Graduação em Contabilidade, Universidade Federal de Santa Catarina, (UFSC). E-mail: [e-mail]

^IIIProfessora do Programa de Pós-Graduação em Engenharia de Produção e do Programa de Pós-Graduação em Contabilidade, Universidade Federal de Santa Catarina, (UFSC). E-mail: [e-mail]

RESUMO

A capacitação, como parte integrante da formação continuada, deve ser balizada pela reflexão e aprendizagem, oportunizadas, em grande medida, pela avaliação. No entanto, a sustentação de um processo de avaliação demanda a construção de um referencial teórico que espelhe o conhecimento acadêmico mais relevante e atual nesta área. Assim, a pesquisa desenvolvida teve como objetivo construir um referencial teórico sobre a avaliação de programas de capacitação, através de uma revisão sistêmica de artigos selecionados por sua relevância acadêmica e aderência ao contexto pesquisado. No que diz respeito ao enquadramento metodológico, este trabalho, quanto à natureza do objetivo, é exploratório, e pela natureza do artigo, teórico. A lógica de pesquisa foi indutiva e a coleta de dados utilizou dados secundários. Já a abordagem do problema se deu de forma qualitativa. Este estudo é aplicado e o procedimento técnico utilizado foi a pesquisa bibliográfica. Como resultados, este artigo apresenta a análise dos aspectos teóricos da avaliação de desempenho, das ferramentas utilizadas para a avaliação de programas de treinamento, dos estudos de caso desenvolvidos e dos eixos teóricos de pesquisa, além da análise crítica quanto ao referencial teórico e as ferramentas utilizadas em relação à Metodologia Multicritério de Apoio à Decisão - Construtivista (MCDA-C).

Palavras-chave: Avaliação. Avaliação de desempenho. Capacitação. Treinamento. MCDA-C Metodologia Multicritério de Apoio à Decisão - Construtivista.

ABSTRACT

The training, as part of continuing education, must be guided by reflection and learning, guaranteed, a large extent, by the evaluation. However, the support of an evaluation process demands the construction of a theoretical framework that reflects the academic knowledge more relevant and current in this area. Thus, this study aimed to construct a theoretical framework on the evaluation of training programs, through an systemic review of articles selected for their academic relevance and attached to the developed line of research. Regarding the methodological framework, the nature of the objective of this study is exploratory, and the nature of the article, theoretical. The study incorporates an inductive logic, and draws upon secondary data sources. The study is qualitative and applied and the main technical procedure used was bibliographical research. As result, this paper presents the analysis of the theoretical aspects of performance evaluation, the tools used to evaluate training programs, the developed case studies and theoretical lines of research, and critical analysis on the theoretical framework and tools used in relation to Multicriteria Decision Aid - Constructivist (MCDA-C).

keywords: Evaluation. Performance evaluation. Training. MCDA-C. Multicriteria Decision Aid - Constructivist.

RESUMEN

La capacitación, en el marco de la formación continua, debe guiarse por la reflexión y el aprendizaje, garantizado, en gran medida, por la evaluación. Sin embargo, la consistencia de un proceso de evaluación demanda la construcción de un marco teórico que refleje los conocimientos académicos más relevantes y actuales en este ámbito. Así, este estudio tiene como objetivo construir un marco teórico sobre la evaluación de los programas de capacitación, a través de una revisión sistémica de los artículos seleccionados por su relevancia y la adhesión a la búsqueda. En cuanto al marco metodológico, este estudio, con respecto a la naturaleza del objetivo, es de naturaleza exploratoria y por la naturaleza del artículo, es teórico. La lógica de la investigación fue la inductiva y la recolección de datos utilizó datos secundarios. El abordaje del problema se produjo en forma cualitativa. Este estudio es el que se aplica y el procedimiento utilizado, la investigación bibliográfica. Como resultado de ello, este documento presenta el análisis de los aspectos teóricos de la evaluación del desempeño, de los instrumentos utilizados para evaluar los programas de entrenamiento, de los estudios de casos desarrollados y de las líneas teóricas de la investigación, además del análisis crítico del marco teórico y las herramientas utilizadas relacionadas con la Metodología Multicriterio de Apoyo a la Decisión - Constructivista (MCDA-C).

Palabras clave: Evaluación. Evaluación del desempeño. Capacitación. MCDA-C. Metodología Multicriterio de Apoyo a la Decisión - Constructivista.

Introdução

No contexto educacional, ambiente em que se desenvolve este estudo, os processos de capacitação emergem diante da demanda por uma atualização contínua e um processo de formação permanente que resulte em profissionais ativos e autônomos, capazes de grandes mudanças nas atividades pedagógicas (PIMENTEL; PALAZZO; BALSANULFO, 2009). Castro e Porto (2012, p. 53), pela mesma perspectiva, destacam a relevância da capacitação "para o conhecimento, o aprimoramento de competências, a reciclagem profissional e de forma geral a necessidade de atualização".

Atualmente, as organizações estão sendo, cada vez mais, desafiadas a desenvolver programas de capacitação significativos para seus membros, como uma forma de competir e alcançar o sucesso em um ambiente tão volátil. Para Pfeffer (2000), a capacitação pode ser uma fonte de vantagem competitiva em inúmeras organizações, desde que saibam utilizá-la.

A capacitação, definida como a aquisição sistemática de conhecimentos, normas, conceitos ou atitudes que resultem em melhoria do desempenho, tornou-se parte da aprendizagem e da mudança organizacional, da avaliação profissional e do desenvolvimento de carreiras. Assim sendo, a capacitação e a educação podem ser consideradas como os principais processos voltados ao crescimento e ao avanço organizacional, proporcionando um fórum de comunicação de novas estratégias, novos valores, novas ferramentas, além de novas e aperfeiçoadas formas de realizar o trabalho a que se propõem (LINGHAM; RICHLEY; REZANIA, 2006).

Na mesma linha, a revisão da literatura demonstra, claramente, o impacto positivo da capacitação no aprimoramento do desempenho das organizações e o reconhecimento dos gestores acerca desta realidade (TENNANT; BOONKRONG; ROBERTS, 2002). Outro aspecto considerado pelos autores diz respeito à necessidade de uma abordagem estratégica para o treinamento, por meio de sua vinculação aos objetivos da organização. Nesse sentido, a avaliação pode ser usada para demonstrar um alinhamento claro e confiável entre a efetividade do treinamento e os objetivos organizacionais estratégicos.

Desta feita, a importância de programas de treinamento para as organizações de uma forma geral, na visão de Lingham, Richley e Rezania (2006), acaba por colocar mais um relevante elemento neste cenário, qual seja, a necessidade de avaliação desse processo.

Em grande parte, a idéia de avaliação de programas pode ser rastreada até ao trabalho de Tyler (1950), para quem a avaliação era considerada parte integrante do processo educacional (WONG; WONG, 2003). Tyler (1950) postulava que o processo educacional seria composto por três elementos principais: objetivos, experiências de aprendizagem e avaliação (avaliação de procedimentos). Nesse contexto, a avaliação era vista, principalmente, como a avaliação do desempenho dos alunos, em termos dos objetivos do programa, avaliação esta que tinha um papel crítico na melhoria da educação.

Infelizmente, segundo Wong e Wong (2003), desde meados dos anos de 1960, a avaliação tem sido por vezes, encarada como uma atividade relacionada a justificar os recursos financeiros investidos, como apenas um meio voltado a satisfazer as agências governamentais financiadoras e não como parte integrante de um empreendimento educacional.

Para Wong e Wong (2003), o termo "avaliação de programas", também, gera muita confusão. Em relação a programas educacionais, seu significado varia desde um conjunto de materiais instrucionais e atividades em nível nacional até experiências educacionais com um único aluno. Em um nível mais geral, a avaliação tem sido definida como uma avaliação formal da qualidade do fenômeno educacional. No entanto, na visão de Wong e Wong (2003), as definições de "avaliação formal" e "qualidade" são vagas.

Já para Lingham, Richley e Rezania (2006) numerosos estudos têm realçado a importância da avaliação de programas de capacitação como elemento necessário e fundamental para as organizações, no sentido de alavancar a aprendizagem e assegurar a utilização eficiente dos recursos. Todavia, seguem os autores, mesmo diante dessa importância, um dos aspectos mais negligenciados na formação é a fase de avaliação. As limitações orçamentárias têm levado muitos responsáveis por treinamentos a empregar instrumentos de avaliação padronizados e disponíveis comercialmente, ensejando assim muitas desvantagens, dentre as quais, a ausência de completude e de foco nos conteúdos críticos. Lingham, Richley e Rezania (2006) sugerem que a eficácia do treinamento deve basear-se na capacidade do formando em aplicar os conhecimentos, habilidades e atitudes obtidas no âmbito da capacitação. Por outro lado, a preocupação de que as avaliações de programas de treinamento não considerem medidas reais para captar os conhecimentos adquiridos e retidos, aponta para a importância do conteúdo do programa. Assim, diante dessa complexidade, a maioria dos métodos de avaliação se sustenta nas análises de custo-benefício ou de simples avaliações ordinais com escalas ambíguas, tais como, a apuração do nível de satisfação dos participantes (LINGHAM; RICHLEY; REZANIA, 2006).

Agregando, agora, o estudo realizado por Darby (2007), depreende-se que as avaliações de treinamentos têm as suas origens no meio empresarial, onde a otimização dos recursos para capacitação há muito se reveste de grande importância. Para o autor, a necessidade de avaliar treinamentos, decorre de uma série de razões, dentre elas a necessidade de monitorar a eficácia do treinamento e a redução das insatisfações que exigiram o seu desenvolvimento.

Assim, o processo de capacitação, como parte integrante da educação continuada, deve ser balizado pela reflexão e aprendizagem, oportunizadas, em grande medida pela avaliação, posto que promove o entendimento, reorganiza práticas e conscientiza os sujeitos sobre sua realidade e sua capacidade de mudança.

Diante desse contexto, Tasca, Ensslin e Ensslin (2012) promoveram à avaliação do processo de capacitação dos policiais militares instrutores do Programa Educacional de Resistência às Drogas - PROERD, em Santa Catarina utilizando, como instrumento de intervenção, a Metodologia Multicritério de Apoio à Decisão - Construtivista (MCDA-C). A aplicação do Proerd em escolas públicas e privadas com a finalidade de promover a prevenção ao uso de drogas pela educação e a exigência de novos conhecimentos, habilidades e atitudes que permitam ao policial militar exercer esse novo papel como educador social (PEROVANNO, 2006) transformam a capacitação dos policiais militares instrutores do Proerd em um dos aspectos críticos do programa e justificam a adoção de um rigoroso processo de avaliação.

No entanto, somada a necessidade de se estabelecer esse processo de avaliação, surgiu a demanda pela construção de um referencial teórico que espelhasse o conhecimento acadêmico mais relevante e atual nessa área, buscando captar as perspectivas teóricas e empíricas desse contexto em artigos de relevância acadêmica e aderentes a esta linha de pesquisa, além de analisar as potencialidades ou/e limitações das ferramentas utilizadas para a avaliação de programas de treinamento em relação à MCDA-C.

E assim, dessa demanda, emergiu a questão de pesquisa que balizou o estudo desenvolvido: Como construir um referencial teórico fundamentado sobre a avaliação de programas de treinamento que permita identificar as potencialidades ou/e limitações das ferramentas empregadas para este fim na amostra em relação à MCDA-C?

Para responder a essa questão, a pesquisa realizada teve como objetivo construir um referencial teórico sobre a avaliação de programas de treinamento, por meio de uma revisão sistêmica de artigos que contêm estudos alinhados ao contexto pesquisado e relevância acadêmica, e que permitem apurar as potencialidades ou/e limitações das ferramentas empregadas para este fim na amostra em relação à MCDA-C. O alcance desse objetivo geral foi possível com a consecução dos seguintes objetivos específicos:

1 - selecionar referências bibliográficas mais alinhadas com o contexto desta pesquisa e com maior relevância acadêmica, em bases de dados com acesso via internet; e

2 - realizar uma revisão sistêmica dos artigos selecionados para o desenvolvimento do referencial teórico.

Este artigo tem em sua estrutura, além desta introdução, a segunda seção intitulada METODOLOGIA DA PESQUISA que aborda o Enquadramento metodológico e o Processo para seleção do referencial teórico e revisão sistêmica. A terceira seção - METODOLOGIA MULTICRITÉRIO DE APOIO À DECISÃO - CONSTRUTIVISTA (MCDA-C) - destaca o instrumento de intervenção que orientou a estruturação do processo para a revisão sistêmica. A quarta seção denominada DISCUSSÃO E RESULTADOS se destina à análise crítica dos estudos selecionados para compor o referencial teórico sobre avaliação de desempenho programas de treinamento, sendo dividida em Avaliação de desempenho: definições, elementos e afiliação teórica; Ferramentas utilizadas para realização da avaliação de desempenho nos artigos selecionados; Os estudos de caso desenvolvidos nos artigos em análise; e, Análise crítica dos artigos apresentados neste referencial teórico. Já a última seção apresenta as CONSIDERAÇÕES FINAIS sobre o trabalho realizado.

Metodologia da pesquisa

Enquadramento metodológico

A inexistência de um padrão estabelecido que permita a adoção de um procedimento único, no que diz respeito à metodologia de pesquisa, faz a escolha do enquadramento metodológico variar de acordo com as percepções do pesquisador e os objetivos da pesquisa (PETRI, 2005). Logo, as definições acerca desse tema têm como ponto de partida, a seleção da estrutura metodológica mais adequada à natureza da pesquisa. Compartilhando desta visão, optou-se pela estrutura metodológica apresentada na Figura 1, onde se encontra destacado o enquadramento deste trabalho

Com base na estrutura adotada, passou-se ao enquadramento metodológico da pesquisa. Inicialmente, no que se refere ao seu objetivo, especificamente, quanto à natureza do objetivo, esta pesquisa teve caráter exploratório (VIEIRA, 2002), na medida em que buscou analisar, de forma profunda, a avaliação de desempenho de programas de treinamento. Ainda quanto ao seu objetivo, mas agora pela perspectiva da natureza dos artigos, este estudo é considerado teórico, posto que optou pelo viés conceitual aplicado (ALAVI; CARLSON, 1992), a partir do momento em que combinou a proposição de um processo estruturado de análise, a revisão sistêmica, e sua aplicação prática em relação ao contexto da avaliação de programas de treinamento.

Quando se analisa o enquadramento metodológico da pesquisa pelo prisma de sua lógica, tem-se uma pesquisa de características indutivas (IUDICIBUS, 2008), visto que seu objetivo foi gerar um conhecimento sobre o referencial teórico da avaliação de desempenho de programas de treinamento até então inexistente ou desconhecido.

Para a consecução deste estudo, o processo da pesquisa, no que tange à coleta de dados, foi de natureza secundária (RICHARDSON et al., 1999), isso em face de todas as informações terem sido obtidas em publicações científicas. Já pelo viés da abordagem do problema, o processo da pesquisa, caracteriza-se como qualitativa (RICHARDSON et al., 1999).

Quanto ao seu resultado, a pesquisa consubstancia-se como aplicada, diante da clara perspectiva de utilização do processo desenvolvido para a revisão sistêmica, bem como dos resultados decorrentes dessa análise.

Considerando, agora, os procedimentos técnicos utilizados na realização deste estudo, restam evidenciadas as opções pela pesquisa bibliográfica.

No que diz respeito ao instrumento utilizado, apesar da MCDA-C ter sido utilizada como referência para o desenvolvimento do processo destinado à revisão sistêmica, não houve a sua aplicação nem de nenhuma outra ferramenta específica, sendo o processo construído no decorrer do estudo empreendido.

Processo para seleção do referencial teórico e revisão sistêmica

O conhecimento acadêmico, de uma forma geral, além de vasto, está disperso em uma grande variedade de publicações, editores, bases de dados, entre outras fontes de pesquisa.

Esta amplitude e dispersão do conhecimento acabaram por ensejar a necessidade de um processo estruturado para seleção dos estudos com maior relevância acadêmica e mais alinhados com o contexto pesquisado, no sentido de dotar o referencial teórico de um conteúdo mais fundamentado.

A busca pelos artigos destinados a integrar o referencial teórico da pesquisa principiou com a definição do espaço amostral. Desta feita, a pesquisa ficou delimitada às bases de dados com acesso disponibilizado pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES, 2009), tendo em vista seu alcance e reconhecimento por parte da comunidade científica brasileira.

Estabelecido o espaço amostral, o processo para a seleção do referencial teórico sobre a avaliação de desempenho de programas de treinamento foi desenvolvido em 11 etapas (TASCA et al., 2010), conforme explicitado na Figura 2.

Com a consecução desse processo foi possível selecionar, dentre as 29.622 publicações localizadas inicialmente, os 11 artigos (Quadro 1) destinados a compor o referencial teórico desta pesquisa, a ser construído por meio de uma revisão sistêmica.

Esta revisão sistêmica foi desenvolvida sob um viés de pesquisa sintetizado em 05 etapas, consoantes o apresentado na Figura 4.

O detalhamento de cada uma das etapas e os resultados apurados com a revisão sistêmica seguem apresentação na seção Discussão e Resultados

Metodologia multicritério de apoio à decisão - construtivista (MCDA-C)

Nesta seção serão abordados os aspectos atinentes ao instrumento de intervenção empregado para realizar a avaliação de desempenho do processo de capacitação dos policiais militares instrutores do PROERD em Santa Catarina (TASCA; ENSSLIN; ENSSLIN, 2012) e utilizado, nesta pesquisa, como orientador da estruturação do processo para a revisão sistêmica.

Importa considerar, inicialmente, que a escolha da MCDA-C para o tratamento do presente contexto encontra sua justificativa na concordância de que os processos sociais, como o processo de capacitação, envolvem pessoas, valores e suas percepções, ou seja, são situações consideradas complexas por abarcarem múltiplos e conflitantes critérios (BEINAT, 1995; ROY; VANDERPOOTEN, 1996). Problemas complexos, segundo Ensslin (2009), usualmente, envolvem:

1 - conhecimentos interdisciplinares;

2 - múltiplos atores;

3 - informações difusas, incompletas e desorganizadas;

4 - dinamicidade;

5 - responsabilidade profissional;

6 - conflitos de interesses; entre outros aspectos dessa natureza.

São em contextos como este que são empregadas as metodologias multicritério (ROY; VANDERPOOTEN, 1996; FREITAS, RODRIGUES; COSTA, 2009). Essas metodologias acabaram por ser subdivididas em duas correntes de pensamento:

1 - Multicriteria Decision Making (MCDM) - escola americana; e,

2 - Multicriteria Decision Aid (MCDA) - escola europeia.

A diferença entre as duas metodologias reside nas hipóteses de trabalho ou paradigmas. A MCDM pressupõe que os atores envolvidos têm pleno conhecimento do que desejam e as alternativas são conhecidas. A partir deste entendimento desenvolve modelos matemáticos com o objetivo de encontrar uma solução ótima, alicerçada em uma situação real percebida por todos de igual forma, independente dos envolvidos no contexto decisional. A MCDA pressupõe que os atores envolvidos não têm pleno conhecimento do problema e as alternativas devam ser construídas, e assim se propõe a modelar esse contexto, segundo a percepção de seus atores, em especial, do decisor, no sentido de gerar conhecimento nos envolvidos no processo, possibilitando, assim, a construção de um modelo personalizado (ROY, 1993; ROY; VANDERPOOTEN, 1996). É oportuno registrar que o presente trabalho afilia-se à MCDA e aos seus pressupostos construtivistas, consoante prática do Laboratório de Metodologias Multicritério de Apoio à Decisão, do Departamento de Engenharia de Produção e Sistemas, da Universidade Federal de Santa Catarina (LabMCDA-EPS-UFSC). Desta feita, a metodologia passa a ser denominada Metodologia Multicritério de Apoio à Decisão - Construtivista (MCDA-C).

Afiliar-se aos pressupostos construtivistas implica adotar as seguintes perspectivas:

1 - um problema existe somente se for percebido por alguém, como conseqüência de uma situação em que se entenda necessária uma intervenção, diante de sua relevância e possibilidade de solução (LANDRY, 1995);

2 - a compreensão do problema implica geração de conhecimento, tendo em conta os sistemas de valores, convicções e objetivos dos envolvidos, desde a percepção do status quo até o grau de entendimento do decisor sobre o contexto (ENSSLIN; MONTIBELLER; NORONHA, 2001, MEDAGLIA ; ENSSLIN, 2009).

3 - a concordância de que "não existe apenas um conjunto de ferramentas adequado para esclarecer uma decisão, nem existe uma única melhor maneira de fazer uso delas" (ROY, 1993, p.194).

A MCDA-C, afastando os racionalismos da objetividade, acredita que os decisores, segundo Ensslin e outros (2010):

• Necessitam de apoio para explicitar e mensurar seu(s) valor(es) e preferências;

• Desejam ter em conta seu(s) valor(es) e preferências, e não valor(es) e preferências genéricos ou de outros casos similares, mesmo os bem sucedidos;

• Desejam poder compreender e visualizar as consequências de suas decisões em seus objetivos (critérios);

• Desejam estabelecer as performances de referências em cada objetivo (critério) segundo sua percepção;

• Desejam compreender a contribuição de cada objetivo (critério) nos objetivos estratégicos; e,

• Desejam valer-se da expansão do conhecimento propiciado pelo processo de apoio à decisão para identificar oportunidades de aperfeiçoamento.

Para alcançar seus objetivos, a MCDA-C vale-se da atividade de apoio à decisão, desenvolvida em três fases (Figura 3):

1 - fase de estruturação;

2 - fase de avaliação;

3 - fase de recomendações. A primeira fase destina-se à compreensão do problema e do contexto em que está inserido.

Nessa etapa a geração de conhecimento nos decisores é ordinal e representada por uma estrutura hierárquica de valor (KEENEY, 1992) que explicita e mensura, ordinalmente, as preocupações dos envolvidos no processo, a partir das quais as alternativas podem ser avaliadas. Na segunda fase, são adicionados conhecimentos sobre a diferença de atratividade das escalas ordinais, permitindo sua transformação em escalas cardinais. São, também, estabelecidas as taxas de compensação. Tem-se, assim, o contexto representado por um modelo matemático que permitirá medir com números, a performance da situação atual e das alternativas que forem sendo geradas. E, na terceira e última fase, são propostas ações de aprimoramento daqueles objetivos com maior contribuição no desempenho do contexto avaliado, além de se estabelecer a robustez do modelo construído, mediante a análise de sensibilidade.

Discussão e resultados

Avaliação de desempenho: definições, elementos e afiliação teórica

A primeira análise decorrente da leitura dos artigos selecionados foi apurar sob qual perspectiva os autores abordam a temática avaliação de desempenho em seus estudos, por meio da compreensão das definições dessa avaliação de desempenho adotadas, seus elementos e afiliação teórica.

No que diz respeito a tais definições adotadas, percebe-se em Lingham, Richley e Rezania (2006) que a avaliação de programas de treinamento deve envolver um processo que reúna as perspectivas organizacionais e de seus participantes, sendo desenvolvido caso a caso, reforçando, assim, a singularidade de cada programa de treinamento. Defendem, ainda, que as avaliações desses programas devem incluir não somente o processo de capacitação, mas também o feedback dos participantes, em termos de conteúdo e aplicabilidade dos referidos programas, sugerindo que um bom sistema de avaliação é um processo colaborativo - uma coprodução, envolvendo líderes organizacionais, instrutores, participantes e avaliadores.

Por sua vez, Kuprenas, Madjidi e Alexander (1999) informam que o Training Management Team - TMT (organismo responsável pelo processo de avaliação objeto do estudo) definiu a avaliação da eficácia do programa de treinamento como um processo desenvolvido em quatro níveis:

1 - mensuração da instrução;

2 - mensuração do aprendizado;

3 - retenção do aprendizado;

4 - utilização do aprendizado.

Wong e Wong (2003), ao abordar o tema avaliação de desempenho, se apropriam do conhecimento produzido por Kirkpatrick (1994). Para ele, algumas ações de formação e aperfeiçoamento profissional consideram que avaliar significa medir as mudanças de comportamento decorrentes de um programa de treinamento. Outras, no entanto, defendem que a única avaliação real reside na determinação dos resultados havidos em conseqüência do treinamento. Outras, ainda, se sustentam, apenas, nos comentários produzidos pelos participantes ao final do programa de treinamento. Algumas estão preocupadas com a aprendizagem desenvolvida em sala de aula, como medida da ampliação do conhecimento e das habilidades, além das mudanças de atitude, enquanto outras são a favor de todas essas perspectivas de avaliação. Nesse sentido, Kirkpatrick (1994) argumenta que cada uma dessas quatro abordagens é apenas parcial. Todavia, todas elas são importantes na avaliação de um programa de treinamento. Logo, propõe um modelo de avaliação em quatro níveis, incluindo a avaliação da reação dos participantes, da aprendizagem, do comportamento e do resultado.

Já Campbell (1998) considera a avaliação como um processo de interpretação dos resultados advindos dos dados coletados - por meio de testes, por exemplo - com o propósito de fazer um juízo sobre a instrução ou sobre o sucesso de um participante no treinamento.

Incluindo um novo viés, Tennant, Boonkron e Roberts (2002), referenciando o trabalho de Cotton (1995), consideram que a estruturação de um processo de avaliação de treinamento deve considerar quatro elementos significativos:

1 - validade - Você está medindo o que deveria medir?

2 - Confiabilidade - A mensuração é realizada de uma forma conhecida?

3 - Praticidade - É útil na vida real?

4 - Equidade - Traz vantagens ou desvantagens para qualquer estudante?

Das definições identificadas foi possível extrair os elementos constituintes de uma avaliação de desempenho na visão de cada um dos autores, conforme apresentado no Quadro 2.

Quanto à afiliação teórica das definições de avaliação de desempenho adotadas, Lingham, Richley e Rezania (2006), para o desenvolvimento de seu modelo de avaliação, referenciam, da mesma forma que Wong e Wong (2003), o trabalho de Kirkpatrick (1994) sobre o modelo de avaliação em quatro níveis, todavia, complementam seu embasamento com as argumentações de McCoy e Hargie (2001), no sentido de que não há nenhum modelo de avaliação completo e adequado para todas as situações. Cada modelo tem pontos fortes e fracos. Por isso, há necessidade de uma melhor compreensão da natureza da avaliação e de sua finalidade, bem como de se ter em conta os aspectos considerados relevantes pela organização e pelos participantes do programa de treinamento.

Kuprenas, Madjidi e Alexander (1999) sustentam sua percepção sobre a exigência de uma medição e avaliação da eficácia do programa de treinamento em vários níveis nas considerações de Marshall (1993).

Wong e Wong (2003), como mencionado anteriormente, utilizaram os conhecimentos produzidos por Kirkpatrick (1994), em especial, devido à popularidade e simplicidade do modelo proposto, no entanto, promoveram uma agregação com o trabalho de outros autores, tais como Holton (1996), em relação ao desempenho individual na escola, e Adams (2001), no que se refere ao programa de pós-avaliação.

Finalmente, Campbell (1998) apesar de não expressar sua afiliação teórica, destaca que, não obstante a atenção dedicada ao planejamento, desenvolvimento e consecução de cursos de formação e programas de treinamento, ainda é importante determinar sua relevância, efetividade e eficiência de custo (impacto econômico). E isso é realizado por meio de avaliações que, sistêmica e metodicamente, recolhem e analisam as informações necessárias para justificar tais determinações.

Os demais artigos selecionados e analisados não apresentavam em seu corpo quaisquer referências acerca do que era entendido pelos autores como avaliação de desempenho.

Ferramentas utilizadas para realização da avaliação de desempenho nos artigos selecionados

O segundo ponto objeto da presente revisão sistêmica foi a identificação das ferramentas de avaliação de desempenho utilizadas para tratamento do contexto pesquisado em cada um dos artigos selecionados.

Dos onze artigos examinados pode-se prospectar a utilização de ferramentas estruturadas e com denominação em sete deles, enquanto em outros três o processo era realizado sem que houvesse uma denominação específica à ferramenta ou ao método utilizado para este fim. E, por derradeiro, apenas um dos artigos não utilizava nenhuma ferramenta para a avaliação de desempenho (Quadro 3).

Para uma melhor compreensão do emprego dessas ferramentas, esta seção foi dividida em Descrição das ferramentas de avaliação de desempenho: objetivos e processo de desenvolvimento - consubstanciada na apresentação de seus objetivos e na síntese do seu processo de desenvolvimento; e Análise das ferramentas utilizadas: critérios de avaliação e processo de gerenciamento - buscando apurar se o desenvolvimento dessas ferramentas permite identificar, mensurar e integrar os critérios de avaliação, além de apresentar um processo de gerenciamento, e, finalmente, verificar se a ferramenta é mono ou multicritério.

Descrição das ferramentas de avaliação de desempenho: objetivos e processo de desenvolvimento

O Four-phase Evaluation System, proposto por Lingham, Richley e Rezania (2006) permite o desenvolvimento de programas e avaliações que são únicas para cada um dos objetivos da organização e de seus membros, bem como enseja ações personalizadas que captam as reações dos participantes com base em seus valores - em termos de conteúdo e aplicabilidade. A metodologia permite, então, o desenvolvimento de programas de treinamento e avaliações baseados em um processo de aprendizagem de ciclo-duplo, coproduzido pelos envolvidos na sua concepção, realização, avaliação e participação, levando em conta, ainda, os fatores relevantes para a organização e com significado para os seus membros, por meio da realização de um processo contínuo de avaliação, feedback e redefinição de todo o programa. Como o próprio nome sugere, o sistema de avaliação empregado nesse estudo é desenvolvido em quatro fases:

1 - Formatação do programa de treinamento;

2 - Lançamento e avaliação inicial do programa de treinamento;

3 - Feedback dos primeiros participantes, formatação e gestão das medidas da avaliação;

4 - Treinamento e avaliação em andamento.

A primeira fase (formatação do programa de treinamento) consiste, resumidamente, na reunião com líderes organizacionais, instrutores e avaliadores, visando a acordar a metodologia a ser utilizada para obtenção do feedback das interações iniciais do programa de treinamento. A segunda fase (lançamento e avaliação inicial do programa de treinamento) é realizada por meio da consecução de um ou dois ciclos de treinamento, com a utilização da metodologia para obtenção do feedback das interações iniciais e a análise dos dados coletados e das notas de campo do consultor. A terceira fase (feedback dos primeiros participantes, formatação e gestão das medidas da avaliação) inicia com um novo encontro entre os envolvidos, como parte do aprendizado de ciclo-duplo, para análise e validação das informações coletadas nas fases anteriores, permitindo, assim, a definição das hipóteses de avaliação que serão apreciadas por meio do Modelo de Equações Estruturais. Além disso, é consolidado o survey que permitirá a avaliação das novas edições do treinamento, quer pela Análise de Correlação, quer pela utilização da Análise de Regressão Linear. Finalmente, a quarta fase (treinamento e avaliação em andamento) se destina à condução do programa de treinamento com a nova formatação ou novo conteúdo. Nessa fase, também é reiniciado o processo de coleta de dados mediante a aplicação do survey de avaliação, com a consequente análise dos resultados em relação aos temas emergentes levantados no feedback inicial.

O Multiple-level Training Assessment Process, descrito por Kuprenas, Madjidi e Alexander (1999), visa a propiciar uma avaliação do programa de treinamento em vários níveis, no caso específico, em quatro níveis assim nomeados:

1 - Mensuração da instrução;

2 - Mensuração do aprendizado;

3 - Retenção do aprendizado;

4 - Utilização do aprendizado.

O primeiro nível de avaliação (mensuração da instrução) verifica se o curso foi bem recebido pelos participantes, mediante respostas a questões como: a palestra fez sentido? Os materiais didáticos eram compreensíveis? Todos os cursos foram avaliados pelos participantes ao final de cada aula, a partir de respostas a um survey. Além desse survey, os membros do TMT (Training Management Team) também avaliaram os cursos por meio de entrevistas um a um com os participantes. O segundo nível (mensuração do aprendizado) é necessário para determinar se os alunos compreenderam e assimilaram os conceitos-chave ministrados durante o treinamento. Dois métodos foram desenvolvidos e utilizados para avaliar esse nível de aprendizagem:

1 - Entrevista pós-instrução com os participantes dos cursos; e, (ii) Quiz com os participantes antes e depois da aula, com a finalidade de determinar se o conhecimento sobre os conceitos-chave evoluiu.

O terceiro nível (retenção do aprendizado) avalia o êxito do programa de treinamento, apurando a qualidade da retenção do aprendizado após a sua conclusão. Para esse fim, os conceitos-chave tiveram que ser reforçados durante alguns meses após o treinamento. Duas técnicas foram utilizadas para a retenção da aprendizagem:

1 - A primeira técnica foi a produção de um documento com os principais conceitos do treinamento distribuído a todos os colaboradores;

2 - A segunda técnica, semelhante à primeira, consistiu na edição de um newsletter para destacar questões relativas ao treinamento e a atualização de conceitos-chave. Esse newsletter era distribuído a todos os colaboradores a cada duas semanas.

Já o último nível de avaliação do sucesso do programa de treinamento (utilização do aprendizado) visa a identificar se o aprendizado está sendo utilizado. Para Kuprenas, Madjidi e Alexander (1999) realizar a medição de utilização do conhecimento é uma tarefa difícil, talvez mais bem avaliada pelo desempenho de longo prazo. Entretanto, a TMT criou sessões semanais de "mesa-redonda" com os novos gestores de projetos, com a finalidade de proporcionar um fórum para discussão das questões relativas ao trabalho desenvolvido e às ações decorrentes. Essas ações eram baseadas tanto nos conceitos aprendidos no treinamento quanto na experiência pessoal dos responsáveis pela coordenação dessa atividade.

O Kirkpatrick's Model, também conhecido como Four-Level Evaluation Model, utilizado por Wong e Wong (2003) inclui a avaliação da reação dos participantes, da aprendizagem, do comportamento e do resultado. As medidas de reação dizem respeito à satisfação dos participantes do programa de treinamento. Já as medidas de aprendizagem apuram o quanto os participantes mudaram suas atitudes e melhoraram seus conhecimentos e competências, após o programa de treinamento, enquanto as medidas de comportamento indicam a extensão com que a mudança de comportamento ocorreu, após a realização do treinamento. E, por fim, a medição dos resultados verifica os efeitos globais do programa na organização, em termos de moral, rotatividade de funcionários, etc. (KIRKPATRICK, 1994). No trabalho desenvolvido por Wong e Wong (2003), dos quatro níveis do Modelo de Kirkpatrick, foram empregados os primeiros três níveis, ou seja, a avaliação da reação, da aprendizagem e do comportamento. O nível 1 (avaliação da reação) inclui a coleta e análise de dados, por meio de um survey, com referência às habilidades dos participantes, motivações e ambiente de trabalho. No nível 2 (avaliação da aprendizagem) foi analisado o efeito do treinamento nos participantes, em termos de aquisição de conhecimentos e atitudes, após o período de formação, através de testes verdadeiro/falso e perguntas de múltipla escolha. Na avaliação do comportamento (nível 3), Wong e Wong (2003) se apropriaram das idéias de Holton (1996), em relação ao desempenho individual na escola, e de Adams (2001) no que se refere ao programa de pós-avaliação. Os autores aplicaram um survey longitudinal e recolheram dados dos participantes e seus diretores pelo período de três meses após a conclusão do programa de treinamento.

O Evaluation Schema, estruturado por Campbell (1998), pode ser utilizado para os mais variados propósitos de avaliação, pois considera, segundo o autor, além do tempo, o pessoal e outros recursos envolvidos. O Evaluation Schema é dividido em três partes:

1 - Parte 1 - Planejamento - envolve a determinação dos requisitos de avaliação, especificando seus propósitos e objetivos para, em seguida, identificar as fontes de informação e métodos para coleta de dados, além da definição de um cronograma de avaliação elaborado com a participação de todos os interessados;

2 - Parte 2 - Coletar e interpretar os dados/informações - continua com a preparação, testes-piloto e a aplicação dos instrumentos de coleta de dados. Os dados coletados são então analisados e interpretados; e,

3 - Parte 3 - Preparar recomendações e um plano de ação - as atividades realizadas aqui incluem a apresentação das conclusões, formulação de recomendações para o aperfeiçoamento do programa de treinamento e o desenvolvimento de um plano para a realização das adequações necessárias.

O Pre-experimental design with a pretest and posttest, empregado por Litarowsky, Murphy e Canham (2004), tem por objetivo, por meio da aplicação de questionários, avaliar o grau de absorção do treinamento e se os resultados, em termos de aprendizado, foram alcançados. Para consecução da avaliação foram desenvolvidos dois questionários, um voltado a avaliar os conhecimentos adquiridos e outro com a finalidade de identificar o nível de confiança dos participantes no que diz respeito à habilidade para reconhecer e responder, apropriadamente, a uma emergência anafilática. Os questionários eram aplicados antes do início do treinamento e logo após a sua conclusão.

O Guskey's Model of Five Levels, constante do trabalho desenvolvido por Grammatikopoulos e outros (2004), tem como objetivo avaliar os programas de treinamento em cinco níveis, a saber:

1 - Reações dos participantes;

2 - Aprendizagem;

3 - Apoio organizacional;

4 - Uso de conhecimentos e competências adquiridas;

5 - Resultados da aprendizagem do aluno.

Para Guskey (2002), segundo Grammatikopoulos e outros (2004), no primeiro nível (reações dos participantes) são colhidas as reações iniciais dos participantes sobre a atividade/programa/sessão. Neste nível, geralmente, é utilizado um breve questionário de acompanhamento - em grande parte um questionário padrão. Tal questionário, em regra, contém perguntas como: Os participantes consideram que seu tempo foi bem empregado? As atividades desenvolvidas foram significativas? Os participantes consideram que as atividades serão úteis na prática? Entre outros questionamentos nesse sentido. É importante conhecer a reação do participante para melhorar a concepção e a execução do programa. O segundo nível (aprendizagem) mede o conhecimento e as habilidades adquiridas pelos participantes como resultado do programa de treinamento. Isso pode envolver muito mais que um questionário padronizado. Pode ser necessário, por exemplo, realizar um teste, uma simulação ou a manifestação de uma habilidade ou atividades similares. Portanto, qualquer que seja a técnica escolhida para a coleta de dados, devem ser utilizadas medidas que reflitam os objetivos do programa. Esse nível ajudará no aperfeiçoamento do conteúdo, do formato e da organização do programa como um todo. O nível três (apoio organizacional) deve ser desenvolvido após a capacitação. Este tipo de avaliação, mais complicada, analisa o suporte organizacional para as competências adquiridas no programa de treinamento. Nesse nível, costuma-se formular perguntas como: Mudanças individuais eram incentivadas e apoiadas? O apoio administrativo foi público e notório? Os problemas foram abordados com rapidez e eficiência? Os recursos disponíveis foram suficientes, incluindo o tempo para troca de conhecimento e reflexão? O sucesso foi reconhecido e compartilhado? Etc. Os dados para esta avaliação poderão advir da análise da gerência de capacitação, de registros escolares ou profissionais, das atas de reuniões de acompanhamento, questionários ou mesmo obtidos por meio de entrevistas estruturadas. O quarto nível (utilização pelos participantes dos novos conhecimentos e habilidades) investiga a utilização de novos conhecimentos e habilidades pelos participantes do programa de treinamento. Ela pode ser verificada ao perguntar se os participantes estão utilizando bem o que aprenderam. Podem ser usados, para esse fim, questionários e entrevistas estruturadas, orais ou por escrito, reflexões pessoais e observação direta, provavelmente, o melhor método. E, por último, no quinto nível, os resultados da aprendizagem dos participantes são medidos. Guskey (2002) reconhece que é impossível determinar a simples relação de causa e efeito entre o programa de treinamento e a melhoria da aprendizagem no aluno. Nesse nível devem ser feitas perguntas como: Os alunos demonstram melhoria acadêmica, de comportamento ou em outras áreas? Os alunos foram beneficiados com a atividade? Entre outros. Este nível vai orientar o foco e melhorar todos os aspectos do programa de treinamento.

O Training Programme Measurement Model, desenvolvido por Tennant, Boonkrong e Roberts (2002) mediante a combinação de suas perspectivas pessoais com elementos dos Modelos de Kirkpatrick (KIRKPATRICK, 1994) e Ciro (COOPER, 1994), enaltece que as medidas de efetividade do treinamento devem ser realizadas, concomitante, com o programa de treinamento. No Training Programme Measurement Model os autores consideram que antes da realização do treinamento a organização e o responsável pelo programa devem considerar a mensuração de fatores iniciais que influenciarão a capacidade do programa de treinamento em fornecer novas habilidades aos participantes. Além disso, devem mensurar o programa de treinamento, também, durante a sua execução, possibilitando, desta feita, respostas, em tempo real, às necessidades individuais dos participantes. Após a conclusão do treinamento, três etapas de mensuração são recomendadas:

1 - Teste imediato - visa a testar as novas habilidades adquiridas pelos participantes com o treinamento. Pode ser aplicada imediatamente após a conclusão do programa de treinamento;

2 - Teste intermediário - Aplicado assim que os participantes retornarem aos seus locais de trabalho, no sentido de apurar se o aprendizado está sendo efetivamente utilizado;

3 - Teste final - Realizado após um determinado tempo para verificar o aprimoramento das habilidades e a mudança de comportamento.

Passando, agora, para a análise dos artigos que não nomearam a ferramenta utilizada, percebe-se que Westbrook et al. (2008), para o desenvolvimento de sua avaliação, utilizaram um survey com o objetivo de identificar o grau de satisfação dos participantes do treinamento, e outras escalas médicas pré-definidas para avaliar o resultado do aprendizado gerado. No mesmo sentido, Featherstone et al. (2004) avaliaram a efetividade de um curso por meio da comparação de um grupo experimental (participante do curso) com um grupo controle (não participante), ou seja, valendo-se de um questionário aplicado aos dois grupos, os autores, diante das hipóteses levantadas, passaram a realizar uma análise de correlação, no sentido de apurar a veracidade ou não dessas hipóteses relacionadas ao programa de treinamento avaliado. No mesmo sentido, McMillan, Bunning e Pring (2000) também avaliaram a efetividade de um treinamento, utilizando a estratégia de comparação entre um grupo experimental com um grupo controle. Os participantes foram selecionados aleatoriamente para os dois grupos, sendo dois questionários utilizados para avaliar o conhecimento antes e depois o curso. O primeiro questionário foi ministrado em duas seções. A seção "Conhecimento" avaliou o conhecimento da deficiência auditiva, e a seção "Confiança" avaliou a confiança na gestão do apoio auditivo, bem como o uso de técnicas auditivas. O segundo questionário utilizou cenários para avaliar o reconhecimento de estratégias de comunicação com os adultos que tinham deficiência intelectual e problemas auditivos. A seção "conhecimento" do primeiro questionário foi baseada em um questionário, desenvolvido em uma pesquisa correlata, que possuía 30 questões de verdadeiro/falso. Já a seção "confiança" foi composta por 10 questões que visavam a apurar a confiança dos participantes em utilizar os seus conhecimentos. O segundo questionário (cenários) foi concebido em resposta à investigação realizada em outra pesquisa relacionada ao tema. Oito cenários que envolvem um adulto com deficiência intelectual e auditiva foram utilizados.

Dos artigos analisados, somente o trabalho de Darby (2007) não empregou nenhuma ferramenta para avaliação de desempenho, até por que esse não era o seu objeto de estudo. Seu trabalho, que versa sobre o formato das perguntas utilizadas em questionários de avaliação, foi selecionado para este artigo pela contribuição relacionada aos eixos teóricos informadores dessa pesquisa.

Análise das ferramentas utilizadas: critérios de avaliação e processo de gerenciamento

Após o conhecimento dos objetivos e do processo de desenvolvimento de cada ferramenta de avaliação identificada, buscou-se, agora, considerando as características da metodologia utilizada na presente pesquisa (MCDA-C), analisar as ferramentas propugnadas nos artigos selecionados, com vistas a apurar se a utilização de cada uma delas permite identificar, mensurar e integrar os critérios de avaliação, além de apresentar um processo de gerenciamento, e, finalmente, se a ferramenta é mono ou multicritério.

Debruçando-se sobre os artigos selecionados foi possível verificar que quanto à identificação dos critérios somente as ferramentas utilizadas por Lingham, Richley e Rezania (2006) - Four-phase Evaluation System, Campbell (1998) - Evaluation Schema, Grammatikopoulos e outros (2004) - Guskey's Model of Five Levels, Westbrook et al. (2008) e McMillan, Bunning e Pring (2000) permitiam rastrear a origem dos critérios empregados para a avaliação de programas de treinamento. Para Lingham, Richley e Rezania (2006) os critérios que vão compor tanto o survey de avaliação quanto os temas emergentes são produzidos por meio de reuniões e interações com todos os envolvidos no programa de treinamento. Já no Evaluation Schema de Campbell (1998), os critérios, apesar de, em grande parte, serem frutos de uma estrutura preconcebida pelo autor para orientar os responsáveis pela avaliação, são definidos na etapa referente ao planejamento, especificamente na ação tendente à determinação dos requisitos de avaliação. Grammatikopoulos e outros (2004) definiram os critérios integrantes do questionário com a participação de especialistas na área de conhecimento do estudo.

Por sua vez, no trabalho de Westbrook et al. (2008) foi possível, apenas, identificar a origem dos critérios emprestados de outros instrumentos de avaliação aderentes ao estudo desenvolvido. Por fim, na pesquisa realizada por McMillan, Bunning e Pring (2000) os critérios que compuseram os questionários foram definidos pelos autores compilando uma série de critérios desenvolvidos por outros pesquisadores em estudos relacionados ao programa de treinamento avaliado. Nos demais artigos analisados, não foi possível identificar como se deu a definição dos critérios empregados no processo de avaliação.

No que diz respeito à mensuração dos critérios, todos os artigos da amostra, exceção ao trabalho de Darby (2007), empregavam escalas ordinais para esse fim, sendo mais utilizada a escala do tipo likert. Este tipo de escala ordinal, segundo Darby (2007), comumente varia entre dois extremos, através da interposição de pontos intermediários, como por exemplo, nesta escala de cinco pontos (5-4-3-2-1) empregada por Campbell (1998), em que "excelente" é igual 5, "bom" é igual 3 e "ruim" igual a 1.

Quanto à integração dos critérios, somente o método adotado por Lingham, Richley e Rezania (2006) permite tal intento. Para esse fim são utilizados métodos estatísticos, como o Modelo de Equações Estruturais, Análise de Regressão Linear e Correlação. A integração entre os critérios é mais presente no Modelo de Equações Estruturais que permite a correlação de diversas variáveis, simultaneamente, de modo que as múltiplas relações possíveis sejam apreciadas, já que é capaz de delinear como se articulam os diversos fatores envolvidos em um fenômeno social sob análise. O método pode propiciar uma visão da forma como tais fatores se interligam, ponderando a relevância de cada uma das inter-relações estudadas (CODES, 2005). As outras ferramentas apreciadas não permitiam a integração dos critérios, quando muito ensejavam, apenas, uma análise estatística, principalmente por meio da correlação.

No que tange, agora, ao processo de gerenciamento, nenhuma das ferramentas empregadas permite esse uso. É óbvio que o resultado obtido com a utilização do método, seja ele qual for, abre a possibilidade de repercussões em termos de gestão ou adequação de procedimentos. A grande diferença entre o que essas ferramentas proporcionam nesse aspecto e o fulcro da análise proposta reside na falta de orientação acerca do que fazer para aprimorar o desempenho; qual a alternativa a ser adotada; qual ação deve ser empreendida. As ferramentas em estudo podem até permitir que se identifique a discrepância de performance, mas, certamente, não explicitam qual ação adotar para aperfeiçoá-la e muito menos qual o impacto dessa escolha no desempenho, quer seja local, quer seja global.

Finalizando esta subseção, restou apurado que todas as ferramentas selecionadas podem ser caracterizadas como multicritério, no sentido de que consideram mais de um aspecto, avaliando, assim, as ações segundo um conjunto de critérios (ENSSLIN; MONTIBELLER; NORONHA, 2001). Não obstante todas as ferramentas terem este alcance, merecem destaque, por explicitarem essa preocupação, os métodos utilizados por Lingham, Richley e Rezania (2006), Kuprenas, Madjidi e Alexander (1999), Wong e Wong (2003), Campbell (1998), Grammatikopoulos e outros (2004), Tennant, Boonkrong e Roberts (2002).

Os estudos de caso desenvolvidos nos artigos em análise

Como a construção deste referencial teórico tem por base a avaliação de desempenho do processo de capacitação dos Policiais Militares instrutores do Proerd, em Santa Catarina, através da MCDA-C, buscou-se apurar nos artigos selecionados aqueles que realizaram um estudo de caso para emprego do respectivo instrumento de intervenção (Quadro 4), com o objetivo de identificar potenciais contribuições à presente pesquisa ou limitações das ferramentas utilizadas.

Mesmo considerando a similaridade entre o estudo de caso desenvolvido no âmbito desta pesquisa e aqueles narrados nos artigos selecionados, em especial, por que todos buscam avaliar programas de capacitação, apenas os trabalhos de Lingham, Richley e Rezania (2006), Kuprenas, Madjidi e Alexander (1999), Wong e Wong (2003) e Grammatikopoulos e outros (2004) trazem alguma contribuição ao presente estudo. Essa contribuição, na verdade, vem somar-se às convicções daqueles que adotam a MCDA-C como metodologia de trabalho, com destaque à percepção da importância de avaliações personalizadas que levem em consideração as perspectivas de todos os envolvidos no processo (LINGHAM; RICHLEY; REZANIA, 2006), e a necessidade de que o processo de avaliação se dê em múltiplos níveis, tornando-o, assim, mais amplo e abrangente (KUPRENAS; MADJIDI; ALEXANDER, 1999, WONG; WONG, 2003; GRAMMATIKOPOULOS et al., 2004).

Quanto às limitações das ferramentas, não houve, por parte dos autores referenciados, qualquer menção a esse respeito, salvo alguns aspectos particulares atinentes ao emprego do método no caso em concreto, como destacado por Westbrook et al.(2008) quando mencionam aspectos clínicos que poderiam impactar nos resultados e a necessidade de uma avaliação com intervalo maior de tempo para analisar os resultados de longo prazo, por Wong e Wong (2003) em face da não utilização da quarta fase do modelo de Kirkpatrick (2004) - avaliação dos resultados - e por Litarowsky, Murphy e Canham (2004) diante da ausência de um grupo de controle.

Análise crítica dos artigos apresentados neste referencial teórico

Esta subseção tem por finalidade concluir a revisão sistêmica dos artigos selecionados, por meio de considerações acerca do referencial teórico empregado, bem como pelo estabelecimento das vantagens e desvantagens da MCDA-C, em relação às ferramentas identificadas, além de justificar, ao final, porque a utilização da Metodologia Multicritério em Apoio à Decisão - Construtivista transparece como a mais adequada para o contexto avaliado.

Análise crítica quanto ao referencial teórico empregado nos artigos selecionados

Este enfoque da análise crítica foi direcionado a três aspectos, como segue:

1 - À definição de avaliação de desempenho adotada pelos autores;

2 - À adoção de modelos personalizados ou universais;

3 - Às limitações e fragilidades do referencial teórico.

Inicialmente, quanto à definição de avaliação de desempenho adotada pelos autores, conforme apresentado na subseção 3.1 deste trabalho, destaca-se o grau de importância emprestado, por Lingham, Richley e Rezania (2006), a participação de todos os atores no desenvolvimento do instrumento de avaliação, ensejando, por consequência, a construção de avaliações personalizadas para cada programa de treinamento. Na definição adotada por Kuprenas, Madjidi e Alexander (1999) enaltece-se a relevância dada à realização do processo de avaliação em múltiplos níveis, certamente, em consonância com os princípios da MCDA-C. No trabalho de Wong e Wong (2003) sublinha-se a perspectiva de avaliação ampla proposta por Kirkpatrick (1994), buscando abarcar todos os aspectos com repercussão em um programa de treinamento. Por sua vez, o modelo proposto por Campbell (1998) é consistente com a definição de avaliação de desempenho adotada, principalmente porque está alicerçado na coleta e análise de dados, com repercussões no programa de treinamento avaliado. Já no estudo conduzido por Tennant, Boonkrong e Roberts (2002) as questões referenciadas na definição de avaliação de desempenho dizem respeito a aspectos que, efetivamente, devem ser considerados no desenvolvimento de um modelo de avaliação de treinamento.

Quanto ao segundo aspecto observado nesse viés da análise crítica, somente o modelo proposto por Lingham, Richley e Rezania (2006) deixa explícito sua natureza exclusiva e particular ao programa de capacitação avaliado. Dos textos construídos por Kuprenas, Madjidi e Alexander (1999), Tennant, Boonkrong e Roberts (2002), Litarowsky, Murphy, Canham (2004) e Wong e Wong (2003), apesar de não haver referência expressa, depreende-se serem direcionados especificamente ao estudo de caso realizado. Em contraposição, no trabalho de Grammatikopoulos e outros (2004) os próprios autores registram o uso universal do modelo desenvolvido, ao conceber a possibilidade de seu emprego em processos de desenvolvimento profissional com estrutura similar ao pesquisado, mediante a realização de alguns ajustes. Já nos artigos de Westbrook et al. (2008), Featherstone et al. (2004) e McMillan, Bunning e Pring (2000), mesmo que a questão não seja, diretamente, abordada, transparece a possibilidade de utilização dos modelos em programas de treinamento similares. Em Campbell (1998) não foi possível extrair informações que permitissem afirmar ser o modelo proposto universal ou particular.

No terceiro aspecto deste ponto da análise crítica, importa realçar que a apresentação das limitações ou fragilidades do referencial teórico, utilizado pelos autores dos artigos selecionados, tem o simples objetivo de apurar em que particularidades a MCDA-C poderia contribuir para um processo de avaliação mais consistente e com repercussões efetivas na gestão dos programas de treinamento avaliados. Neste sentido, em praticamente todos os trabalhos, as principais limitações dizem respeito aos seguintes aspectos:

1 - A ausência de participação dos decisores na definição dos critérios de avaliação - logo, floresce a dúvida se a percepção dos autores, responsáveis por essa definição, alcançou os aspectos relevantes e com impacto na avaliação proposta, exceção feita ao trabalho de Lingham, Richley e Rezania (2006) que tem este aspecto em alto grau de importância, conforme relatado anteriormente no corpo desta dissertação;

2 - A inexistência de um método estruturado e transparente para identificação dos critérios de avaliação - assim não há como saber se esses critérios refletem, verdadeiramente, as preocupações dos decisores;

3 - A utilização, única e exclusivamente, de escalas ordinais, em sua maioria do tipo likert, como se cardinais fossem, não permite apurar a diferença de atratividade entre as alternativas, muito menos a diferença dos níveis da escala em cada um dos critérios, impedindo assim uma avaliação global do programa de treinamento. Desta feita, não há como identificar qual contribuição é mais relevante em termos globais ou qual o impacto de cada um nessa avaliação, já que a ferramenta não permite esse tipo de análise. Ademais, soma-se o fato que esse tipo de escala conduz, em regra, a avaliações ambíguas, sem informar "o que" e "como" está sendo mensurado e, por conseguinte o que pode ser feito para melhorar e qual o grau em que o critério está sendo alcançado;

4 - A impossibilidade de identificação das ações de melhoria, no sentido de que os critérios elencados no instrumento de coleta de dados (principalmente, o survey) limitam-se a clarear a existência ou não de um problema, não orientando para a ação, ou seja, o indicador de desempenho não comunica qual ação deve ser implementada para gerar o aperfeiçoamento. Mesmo no modelo proposto por Campbell (1998), em que há uma parte destinada às recomendações e ao plano de ação, esta iniciativa demanda um grande esforço, posto que as ações não estão definidas e comunicadas em cada um dos critérios.

Análise crítica das ferramentas de avaliação de desempenho utilizadas nos artigos selecionados em relação à MCDA-C

Como conclusão desta revisão sistêmica, resta agora explicitar quais as vantagens e desvantagens da MCDA-C em relação às ferramentas de avaliação de desempenho utilizadas nos artigos selecionados e, finalmente, justificar por que esta metodologia poderia contribuir para o tratamento dos contextos pesquisados.

Após a análise do emprego de cada instrumento de intervenção nos artigos selecionados, foi possível identificar apenas uma desvantagem da MCDA-C quando aplicada na avaliação de programas de treinamento. Esta desvantagem se deu em relação ao Four-phase Evaluation System (LINGHAM; RICHLEY; REZANIA, 2006), especificamente, no que diz respeito à dependência de que os decisores apresentem como seus os aspectos considerados relevantes pelos participantes do programa de treinamento avaliado por meio da MCDA-C.

Já acerca das vantagens do emprego da MCDA-C na avaliação de programas de treinamento, ficaram evidenciadas, em relação aos dez instrumentos de intervenção analisados, as seguintes potencialidades:

1 - A definição clara dos decisores (excetuando-se o trabalho de Lingham, Richley e Rezania 2006);

2 - O método estruturado e transparente para identificação dos critérios, em forma singular;

3 - A utilização de escalas ordinais para medir a atratividade dos possíveis estados da propriedade que se deseja avaliar;

4 - A transformação das escalas ordinais em cardinais, permitindo, assim, captar os diferentes níveis de atratividade entre as alternativas;

5 - A definição de taxas de substituição que possibilitam apurar a atratividade de um critério em relação ao outro, ensejando, desta forma, uma avaliação global;

6 - A apresentação gráfica do modelo de avaliação e do perfil de desempenho permite a identificação, de forma clara, dos objetivos (critérios) cujo desempenho necessita ser alavancado por ações de aprimoramento;

7 - A facilidade e a assertividade na geração de recomendações de melhoria de performance, a partir do momento em que os critérios são constituídos por ações, permitindo estabelecer um processo de gestão transparente, voltado ao aprimoramento do desempenho.

Por fim, da análise encetada, conclui-se que as vantagens identificadas e explicitadas acima justificam o potencial de contribuição da MCDA-C no processo de avaliação de programas de treinamento. Ademais, depreende-se do estudo feito que este potencial de contribuição poderia ser alavancado com a utilização combinada da MCDA-C com os seguintes instrumentos de intervenção:

1 - Four-phase Evaluation System (LINGHAM; RICHLEY; REZANIA, 2006);

2 - Multiple-level Training Assessment Process (KUPRENAS; MADJIDI; ALEXANDER, 1999);

3 - Kirkpatrick's Model - Four-Level Evaluation Model (WONG; WONG, 2003);

4 - Guskey's Model of Five Levels (GRAMMATIKOPOULOS et al., 2004);

5 - Training Programme Measurement Model (TENNANT; BOONKRONG; ROBERTS, 2002).

A conclusão da possibilidade de uso combinado da MCDA-C com os instrumentos de avaliação referenciados acima decorre, em relação à primeira, das vantagens de sua aplicação ao presente contexto de pesquisa, enquanto as demais ferramentas agregam valor à avaliação por destacarem preocupações que são relevantes e impactam diretamente no desempenho de programas de treinamento, explicitadas, principalmente nas suas dimensões de avaliação. Une-se, assim, o potencial da MCDA-C com a contribuição dos instrumentos de intervenção sublinhados na identificação, pelos decisores daqueles objetivos que, efetivamente, devem ser avaliados em um processo de capacitação.

Considerações finais

Restou evidenciado durante o transcorrer deste trabalho que os programas de treinamento, por sua importância no contexto educacional, em especial, quando os conhecimentos, habilidades e atitudes exigidas configuram-se em uma nova fronteira de atuação profissional, como é o caso do Programa Educacional de Resistência às Drogas - Proerd, necessariamente, precisam ser acompanhados por um processo de avaliação que permita apurar o alcance dos objetivos propostos com a capacitação. Além disso, foi possível verificar, também, que para este fim, são empregadas inúmeras ferramentas de avaliação.

Em face deste cenário, emergiu a questão de pesquisa que norteou a consecução do estudo desenvolvido - Como construir um referencial teórico fundamentado sobre a avaliação de programas de treinamento que permita identificar as potencialidades ou/e limitações das ferramentas empregadas para este fim na amostra em relação à MCDA-C? E a resposta a esta questão pode ser observada na seção Discussão e Resultados, mediante a revisão sistêmica dos artigos selecionados, em relação à MCDA-C.

Da mesma forma, o objetivo da pesquisa realizada - construir um referencial teórico sobre a avaliação de programas de treinamento, por meio de uma revisão sistêmica de artigos mais alinhados ao contexto pesquisado e com maior relevância acadêmica, que permita apurar as potencialidades ou/e limitações das ferramentas empregadas para este fim na amostra em relação à MCDA-C - também foi contemplado na terceira seção.

Quanto aos objetivos específicos, cumpre salientar o pleno alcance do que foi proposto, a saber:

1 - Selecionar referências bibliográficas mais alinhadas com o contexto desta pesquisa e com maior relevância acadêmica, em bases de dados com acesso via internet - consubstanciado na seção Processo para seleção do referencial teórico e revisão sistêmica, por meio de um processo desenvolvido em 11 etapas;

2 - Realizar uma revisão sistêmica dos artigos selecionados para o desenvolvimento do referencial teórico - executada na seção Discussão e Resultados, mediante processo constituído de 5 etapas.

Destaca-se, oportunamente, como delimitação de pesquisa, que o referencial teórico construído, em consequência da revisão sistêmica, está particularizado para um portfólio de estudos selecionados em face de uma combinação de palavras-chaves, uma visão de mundo e um conjunto de bases de dados definido pelos pesquisadores.

Finalmente, a título de recomendação para futuras pesquisas, sugere-se:

1 - Ampliar o escopo de pesquisa, selecionando, além de artigos disponíveis em bases de dados com acesso via internet, outras fontes, no sentido de oportunizar uma revisão mais aprofundada de livros e de outros autores relacionados a esta temática;

2 - Como referenciado no item Análise crítica das ferramentas de avaliação de desempenho utilizadas nos artigos selecionados em relação à MCDA-C, abre-se a possibilidade de utilização combinada da MCDA-C com as ferramentas de avaliação empregadas por Lingham, Richley e Rezania (2006) - Four-phase Evaluation System, por Kuprenas, Madjidi e Alexander (1999) - Multiple-level Training Assessment Process, por Wong e Wong (2003) - Kirkpatrick's Model - Four-Level Evaluation Model, por Grammatikopoulos et al. (2004) - Guskey's Model of Five Levels, e por Tennant, Boonkrong e Roberts (2002) - Training Programme Measurement Model.

Referências

ADAMS, J.D. Reinterpreting Evaluation Classics in the Modern Age. Journal of Continuing Higher Education, v. 49, n.2, p. 15 - 21, 2001.

ALAVI, M.; CARLSON, P. A review of MIS research and disciplinary development. Journal of Management Information Systems, v. 8, n. 4, p. 45-62, 1992.

BEINAT, E. Multiattribute value functions for environmental management. Amsterdam: Timbergen Institute Research Series, 1995.

CAMPBELL, C. P. Training course/program evaluation: principles and practices. Journal of European industrial training, v. 22, n. 8, p.322-44, 1998.

CAPES. Coordenação de Aperfeiçoamento de Pessoal de Nível Superior. Portal de periódicos. CAPES. Brasília, DF: CAPES, 2009. Disponível em: <http://www.peridodicos.capes.org.br>. Acesso em: 21 nov. 2009.

CASTRO, P. M. R.; PORTO, G. S.. Avaliação de resultados da capacitação via estágios pós-doutorais: breves notas sobre a produção científica em periódicos. Ensaio: aval.pol. públ.Educ., Rio de Janeiro, v. 20, n. 74, p. 51-72, 2012.

CODES, A. L. M. Modelagem de equações estruturais: um método para a análise de fenômenos complexos. Caderno CRH, Salvador, v. 18, n. 45, p.471-484, set./dez., 2005.

COOPER, M. Evaluating professional training. Training and Development, n. 10, p. 26-31, 1994.

DARBY, J. A. Open-ended course evaluations: a response rate problem?. Journal of European industrial training, v. 31, n. 5, p. 402-412, 2007.

ENSSLIN, L. Notas de aula da disciplina MCDA I: Programa de Pós-Graduação em Engenharia de Produção da Universidade Federal de Santa Catarina. Florianópolis: UFSC, 2009.

ENSSLIN, L.; ENSSLIN, S.R. Notas de aula da disciplina EPS 6325: pesquisa direta: Programa de Pós-Graduação em Engenharia de Produção da Universidade Federal de Santa Catarina. Florianópolis: UFSC. Mimeografado.

ENSSLIN, L., et al. Avaliação do Desempenho de Empresas Terceirizadas com o uso da metodologia multicritério de apoio à decisão- construtivista. Revista pesquisa operacional, v. 30, n. 1, p.125-152, 2010.

ENSSLIN, L.; MONTIBELLER, G.; NORONHA, S. M. Apoio à decisão: metodologia para estruturação de problemas e avaliação multicritério de alternativas. Florianópolis: Insular, 2001. 296 p.

ENSSLIN, L.; DUTRA, A.; ENSSLIN, S. R. MCDA: a constructivist approach to the management of human resources at a governmental agency. International transactions in operational Research, v. 7, p.79-100, 2000.

FEATHERSTONE, K., et al. A controlled evaluation of a training course for staff who work with people with dementia. Dementia, v. 3, n. 2, p.181-194, 2004.

FREITAS, A. L. P.; RODRIGUES, S. G.; COSTA, H. G. Emprego de uma abordagem multicritério para classificação do desempenho de instituições de ensino superior. Ensaio: aval.pol. públ. Educ., Rio de Janeiro, v. 17, n. 65, p. 655-674, 2009.

GRAMMATIKOPOULOS, V., et al. Evaluation of the training program for Greek Olympic Education. International journal of educational management, v. 18, n. 1, p. 66-73, 2004.

GUSKEY, T. R. Does it Make a Difference? Evaluating Professional Development.Educational Leadership, v. 59, n. 6, p. 45 - 51, 2002.

HOLTON, E.F. The Flawed Four-Level Evaluation Model. Human Resource Development Quarterly, v. 7, n. 1, p. 5 - 21, 1996.

IUDICIBUS, S. Teoria da Contabilidade. São Paulo: Atlas, 2008.

KEENEY, R. L. Value focused-thinking: a path to creative decision-making. Cambridge: Harvard Univ. Press, 1992.

KIRKPATRICK, D.L. Evaluating Training Programs: The Four Levels. San Francisco: Berrett-Koehler, 1994.

KUPRENAS, J. A.; MADJIDI, F.; ALEXANDER, A. S. A project management training program. Journal of management in engineering, v. 15, n. 6, p. 47-55, 1999.

LANDRY, M. Note on the concept of problem: a piagetian perspective. Québec: Faculté des Sciences de l'Administration, Université Laval, 1995.

LINGHAM, T.; RICHLEY, B.; REZANIA, D. An evaluation system for training programs: a case study using a four-phase approach. Career development international, v. 11, n. 4, p. 334-351, 2006.

LITAROWSKY, J. A.; MURPHY, S. O.; CANHAM, D. L. Evaluation of an anaphylaxis training program for unlicensed assistive personnel. Journal of school Nursing, v. 20, n. 5, p. 279-284, 2004.

MARSHALL, G. The trainers handbook: the AMA guide to effective training. New York: American Management Association, 2 ed., 1993.

MCCOY, M.; HARGIE, O.D.W. Evaluating evaluation: implications for assessing quality". International Journal of Health Care Quality Assurance, v. 14, n. 7, p. 317-327, 2001.

MCMILLAN, L.; BUNNING, K.; PRING, T. The Development and evaluation of a deaf awareness training course for support staff. Journal of applied research in intellectual disabilities, v.13, n. 4, p.283-291, 2000.

MEDAGLIA, T. A.; ENSSLIN, L. Modelo multicritério para avaliação e seleção de projetos de pesquisa e desenvolvimento em uma empresa distribuidora de energia. Florianópolis, 2009. Trabalho não publicado.

PEROVANNO, D. G. Concepções dos instrutores do Programa Educacional de resistência às drogas e à violência sobre a sua formação. Dissertação (Mestrado) - Programa de Pós-Graduação em Educação, Universidade Federal do Paraná, Curitiba, 2006.

PETRI, S. M. Modelo para apoiar a avaliação das abordagens de gestão de desempenho e sugerir aperfeiçoamentos: sob a ótica construtivista. 2005. Tese (Doutorado) - Programa de Pós-Graduação em Engenharia de Produção, Universidade Federal de Santa Catarina, 2005.

PFEFFER, J. Seven practices of successful organizations. In: FRENCH, W. L.; BELL, C. H.; ZAWACKI, R. A. (Orgs.). Organizational development and transformation: managing effective change. Singapore: McGraw-Hill, 2000, p. 494-514.

PIMENTEL, G. S. R.; PALAZZO, J. O; BALSANULFO., Z. R. B. Os planos de carreira premiam os melhores professores? Ensaio: aval.pol.públ.Educ., Rio de Janeiro, v. 17, n. 63, p. 355-380, 2009.

RICHARDSON, R. J. et al. Pesquisa social: métodos e técnicas. São Paulo: Atlas, 1999.

ROY, B. Decision science or decision-aid science?. European journal of operational research, v. 8, n. 1, p.184-203, fev. 1993.

ROY, B.; VANDERPOOTEN, D. The European school of MCDA: emergence, basic features and current works. Journal of multicriteria decision analysis, v. 5, n. 16, p. 22-38, maio 1996.

TASCA, J. E. et al. An approach for selecting a theoretical framework for the evaluation of training programs. Journal of European industrial training, v. 34, n. 7, p. 631-655, 2010.

TASCA, J. E.; ENSSLIN, L.; ENSSLIN, S. R. A avaliação de programas de capacitação: um estudo de caso na administração pública. Revista de Administração Pública, v. 46, n. 3, p. 647-675, maio/jun., 2012.

TENNANT, C.; BOONKRON, M.; ROBERTS, P. A. B. The Design of a training programme measurement model. Journal of European industrial training, v. 26, n. 5, p. 230-40, 2002.

TYLER, R. Basic principles of curriculum and instruction. Chicago: University of Chicago Press, 1950.

VIEIRA, V. A. As tipologias: variações e características da pesquisa de marketing. Revista FAE, Curitiba, v. 5, n. 1, p. 61-70, jan./abr., 2002.

WESTBROOK, D. et al. A pilot evaluation of a brief CBT training course: Impact on trainees' satisfaction, clinical skills and patient outcomes. Behavioral and cognitive psychotherapy, v. 36, n. 5, p. 569-579, 2008.

WONG, P. M.; WONG, C. S. The Evaluation of a teacher training programme in school management: the case of hong kong. Educational Management & Administration, v. 31, n. 4, p.385-401, out. 2003.

Recebido em: 17/08/2009

Aceito para publicação em: 29/11/2012

A construção de um referencial teórico sobre a avaliação de desempenho de programas de capacitação

The construction of a theoretical framework on performance evaluation of training programs

Datas de Publicação

• Publicação nesta coleção
  15 Ago 2013
• Data do Fascículo
  Jun 2013

Histórico

• Recebido
  17 Ago 2009
• Aceito
  29 Nov 2012