A avaliação de programas de capacitação: um estudo de caso na administração pública

Evaluation of training programs: a case study in public administration

ARTIGOS

A avaliação de programas de capacitação: um estudo de caso na administração pública

Evaluation of training programs: a case study in public administration

Jorge Eduardo Tasca; Leonardo Ensslin; Sandra Rolim Ensslin

Universidade Federal de Santa Catarina

RESUMO

Este artigo apresenta e discute o emprego da Metodologia Multicritério de Apoio à Decisão — Construtivista (MCDA-C) na avaliação de programas de capacitação desenvolvidos na administração pública, por meio de sua aplicação em um estudo de caso na Polícia Militar de Santa Catarina, especificamente, na avaliação do processo de capacitação dos policiais militares instrutores do Programa Educacional de Resistência às Drogas (Proerd). No que diz respeito ao enquadramento metodológico, este trabalho, quanto à natureza do objetivo, é exploratório, e pela natureza do artigo, prático. A lógica de pesquisa foi indutiva e a coleta de dados utilizou dados primários, obtidos por meio de entrevistas semiestruturadas com os gestores do programa. Já a abordagem do problema se deu de forma quali-quantitativa. Esta pesquisa é aplicada, e o principal procedimento técnico utilizado foi o estudo de caso. Como resultados, o modelo construído, com 62 critérios de avaliação, permitiu apurar que o processo de capacitação do Proerd alcançou 69 pontos na avaliação global, além de evidenciar as principais preocupações dos decisores em relação ao programa de treinamento e o quanto cada um desses fatores contribui para o sucesso da capacitação, individual e globalmente, revelando, ainda, como gerenciar as oportunidades de aperfeiçoamento criadas.

Palavras-chave: capacitação; avaliação; MCDA-C; Polícia Militar; Proerd.

ABSTRACT

This article presents and discusses the use of methodology Multicriteria Decision Aid — Constructivist (MCDA-C) in the evaluation of training programs developed in public administration, through its application in a case study in the Military Police of Santa Catarina, specifically in assessing the process of training of military police Drug Abuse Resistance Education (Dare) instructors. Regarding the methodological framework, the nature of the objective of this study is exploratory, and the nature of the article, practical. The study incorporates an inductive logic, and draws upon primary data sources, obtained through semi-structured interviews with program managers. The study combines qualitative and quantitative methods, and can therefore be described as mixed method. This research is applied and the main technical procedure used was a case study. As result, the model built with 62 evaluation criteria, revealed that the process of the Dare reached 69 points in the overall evaluation, and also highlights the main concerns of decision makers in relation to the training program and how much each factor contributes to the success of training, individual and aggregated, showing also how to manage improvement opportunities created.

Key words: evaluation; training program; MCDA-C; Military Police; Dare.

1. Introdução

A segurança pública, cada vez mais, se configura em uma das maiores preocupações da sociedade brasileira. E neste complexo cenário o consumo e o tráfico de drogas emergem como aspectos centrais (Beato Filho et al., 2001).

Desta forma, na mesma proporção do crescimento da violência e da degradação social, familiar e pessoal provocada pelo consumo de drogas lícitas e ilícitas (Silva, 2004; Gallassi et al., 2008), colocou-se, ao poder público, a responsabilidade pela promoção de políticas destinadas a refrear essa tendência que muito preocupa toda a sociedade.

Ao ter percebido a necessidade de novas formas de atuação que se somassem à repressão policial para a efetiva redução do consumo e tráfico de drogas, o poder público passou a buscar alternativas direcionadas à prevenção do consumo dessas substâncias. Ao trilhar este caminho, em 1992, a Polícia Militar do Estado do Rio de Janeiro trouxe para o Brasil um programa desenvolvido pelo Departamento de Polícia de Los Angeles, nos Estados Unidos da América (EUA), denominado Drug Abuse Resistance Education (Dare), criado em 1983, com a finalidade de promover a prevenção ao uso de drogas pela educação. No Brasil esse programa passou a denominar-se Programa Educacional de Resistência às Drogas (Proerd), cuja realização, supervisionada pelo Dare America, já alcança todas as unidades da federação (Rateke, 2006; Santa Catarina, 2007).

A aplicação do programa em escolas públicas e privadas é realizada, em sala de aula, sempre, por um policial militar fardado e devidamente capacitado para este fim.

O processo de capacitação dos policiais militares instrutores do Proerd, diante das características e peculiaridades que revestem a aplicação do programa, passa a ter grande importância para o alcance dos objetivos a que se propõe. Em especial, pela ausência de qualquer outra fonte instrucional a respeito do tema, em quaisquer dos cursos de formação, aperfeiçoamento ou revitalização desenvolvidos pela Polícia Militar.

A exigência de novos conhecimentos, habilidades e atitudes que permitam ao policial militar exercer esse novo papel como educador social (Perovano, 2006) transforma a capacitação dos policiais militares instrutores do Proerd em um dos processos críticos do programa.

A importância de programas de treinamento, não somente para o Proerd, mas para as organizações de uma forma geral (Ghedine, Testa e Freitas, 2006), e a demanda por processos de gestão que permitam assegurar sua efetividade acabam por colocar mais um relevante elemento neste cenário: a necessidade de avaliação de desempenho do processo de capacitação (Lingham, Richley e Rezania, 2006).

Para o desenvolvimento da avaliação de programas de treinamento são utilizadas inúmeras ferramentas (Campbell, 1998; Kuprenas, Madjidi e Alexander, 1999; McMillan, Bunning e Pring, 2000; Tennant, Boonkrong e Roberts, 2002; Wong e Wong, 2003; Featherstone et al., 2004; Grammatikopoulos et al., 2004; Litarowsky, Murphy e Canham, 2004; Lingham, Richley e Rezania, 2006; Westbrook et al., 2008). No entanto, essas ferramentas, em sua grande maioria, apresentam limitações e lacunas que podem comprometer o processo de avaliação (Tasca, Ensslin e Ensslin, 2009).

Assim, diante deste contexto, emerge a questão de pesquisa que baliza este estudo: como avaliar o processo de capacitação dos policiais militares instrutores do Proerd em Santa Catarina?

Para responder a essa questão de pesquisa, o presente trabalho tem por objetivo construir um modelo de avaliação do processo de capacitação dos policiais militares instrutores do Proerd em Santa Catarina, por meio da Metodologia Multicritério de Apoio à Decisão — Construtivista (MCDA-C). O alcance desse objetivo geral será possível com a consecução dos seguintes objetivos específicos: (i) identificar os aspectos do processo de capacitação considerados relevantes pelos gestores do Centro de Capacitação do Proerd em Santa Catarina; (ii) construir escalas ordinais e cardinais para medir os objetivos explicitados; (iii) traçar o perfil de desempenho atual do processo de capacitação dos policiais militares instrutores do Proerd em Santa Catarina; e (iv) propor ações de aperfeiçoamento do desempenho do processo de capacitação avaliado.

Este artigo tem em sua estrutura, além desta introdução, a seção 2. Metodologia da pesquisa — distribuída em 2.1. Enquadramento metodológico; e 2.2. Procedimentos para construção do modelo; a seção 3. Avaliação de programas de capacitação — traz um breve referencial teórico sobre a avaliação de programas de capacitação; a seção 4. Resultados do estudo de caso — destinada à apresentação do modelo desenvolvido para avaliar o processo de capacitação dos policiais militares instrutores do Proerd em Santa Catarina; e a seção 5. Considerações finais — apresenta as conclusões do trabalho realizado.

2. Metodologia da pesquisa

Esta seção dedicada à metodologia de pesquisa se divide em duas subseções, a saber: subseção 2.1. Enquadramento metodológico; e subseção 2.2. Procedimentos para construção do modelo.

2.1 Enquadramento metodológico

A inexistência de um padrão estabelecido que permita a adoção de um procedimento único, no que diz respeito à metodologia de pesquisa, faz a escolha do enquadramento metodológico variar de acordo com as percepções do pesquisador e os objetivos da pesquisa (Petri, 2005). Logo, as definições acerca desse tema têm como ponto de partida a seleção da estrutura metodológica mais adequada à natureza da pesquisa. Neste sentido, para o desenvolvimento do presente trabalho, foi adotada a estrutura metodológica proposta por Ensslin e Ensslin (2008), representada na figura 1.

Com base na estrutura adotada, passou-se ao enquadramento metodológico desta pesquisa. Inicialmente, no que se refere ao objetivo da pesquisa, especificamente quanto à natureza do objetivo, este estudo possui caráter exploratório (Vieira, 2002), na medida em que buscou analisar, de forma profunda, o processo de capacitação dos policiais militares instrutores do Proerd, no estado de Santa Catarina, com vistas a desenvolver o grau de entendimento dos decisores acerca desse processo, por meio de um modelo destinado à identificação de oportunidades de aperfeiçoamento contínuo. Ainda quanto ao seu objetivo, mas agora pela perspectiva da natureza dos artigos, esta pesquisa é considerada prática, uma vez que utilizou o estudo de caso (Yin, 2005) do Centro de Capacitação do Proerd do Estado de Santa Catarina para seu desenvolvimento.

Quando se analisa o enquadramento metodológico desta pesquisa pelo prisma de sua lógica, tem-se uma pesquisa de características indutivas (Iudicibus, 2004), visto que seu objetivo foi gerar um conhecimento sobre o processo de capacitação até então inexistente ou obscurecido, ensejando a identificação das variáveis mais adequadas ao contexto da avaliação de desempenho do processo de capacitação dos policiais militares instrutores do Proerd em Santa Catarina.

Para a consecução deste estudo, o processo da pesquisa, no que tange à coleta de dados, foi de natureza primária (Richardson, 1999), isso em face de todas as informações terem sido obtidas, diretamente, junto aos gestores do Centro de Capacitação do Proerd do Estado de Santa Catarina, por meio de entrevistas. Já pelo viés da abordagem do problema, o processo da pesquisa caracteriza-se como quali-quantitativo (Richardson, 1999), tendo sua dimensão qualitativa na fase de estruturação — identificação dos elementos primários de avaliação, produção dos conceitos e organização em áreas de preocupação, desenvolvimento dos mapas de relações meios-fins, composição da estrutura hierárquica de valor e construção dos descritores — e na fase de geração de recomendações, após a análise do perfil atual de desempenho, com a proposição de ações destinadas ao seu aprimoramento. A dimensão quantitativa, por sua vez, está alicerçada na fase de avaliação, constituída das etapas de construção de modelos de preferências locais (funções de valor), de determinação das taxas de substituição e de impacto das ações, da avaliação global e da análise de sensibilidade das alternativas.

Quanto ao seu resultado, esta pesquisa consubstancia-se como aplicada, diante da clara perspectiva de utilização do modelo desenvolvido pelo Centro de Capacitação do Proerd do Estado de Santa Catarina no aprimoramento de suas atividades de ensino.

Considerando, agora, os procedimentos técnicos utilizados na realização deste estudo, restam evidenciadas as opções pela pesquisa bibliográfica e pelo estudo de caso (Gil, 1999). A pesquisa bibliográfica serviu de suporte para a revisão da literatura relacionada ao contexto pesquisado. Já o estudo de caso permitiu a análise, em profundidade, do processo de capacitação dos policiais militares instrutores do Proerd em Santa Catarina.

Como instrumento de intervenção, foi utilizada a Metodologia Multicritério em Apoio à Decisão — Construtivista (MCDA-C) por se tratar de uma ferramenta que permite construir conhecimento do contexto para o decisor, identificando seus aspectos considerados mais relevantes. Certamente, uma avaliação de desempenho do processo de capacitação de policiais militares instrutores do Proerd, diante das características e da especificidade do programa e dos atores envolvidos, exige, para seu desenvolvimento, um instrumento de intervenção que possibilite a construção do entendimento nos gestores do Centro de Capacitação acerca do que, efetivamente, deve ser levado em consideração para o aprimoramento do trabalho realizado. Ou seja, focado naquilo que realmente é importante para os responsáveis pela gestão desse processo. Neste ponto, por sua capacidade de gerar aprendizagem sobre o contexto pesquisado, reside a grande contribuição da MCDA-C em relação às demais metodologias existentes para o apoio à decisão.

Finalmente, a figura 1 sintetiza as opções desta pesquisa, no que se refere ao enquadramento metodológico.

2.2 Procedimentos para construção do modelo

Nesta subseção serão abordados os aspectos atinentes ao instrumento de intervenção utilizado neste estudo, a MCDA-C.

Importa considerar, inicialmente, que a escolha da MCDA-C para o tratamento do presente contexto encontra sua justificativa na concordância de que os processos sociais, como o processo de capacitação, envolvem pessoas, valores e suas percepções, ou seja, são situações consideradas complexas por abarcarem múltiplos e conflitantes critérios (Beinat, 1995; Roy e Vanderpooten, 1996). Problemas complexos, segundo Ensslin (2009), usualmente envolvem: (i) conhecimentos interdisciplinares; (ii) múltiplos atores; (iii) informações difusas, incompletas e desorganizadas; (iv) dinamicidade; (v) responsabilidade profissional; (vi) conflitos de interesses; entre outros dessa natureza.

Em contextos como esse é que são empregadas as metodologias multicritério (Roy e Vanderpooten, 1996). Essas metodologias acabaram por ser subdivididas em duas correntes de pensamento: (i) Multicriteria Decision Making (MCDM) — escola americana; e (ii) Multicriteria Decision Aid (MCDA) — escola europeia. A diferença entre as duas metodologias reside nas hipóteses de trabalho ou paradigmas. A MCDM pressupõe que os atores envolvidos têm pleno conhecimento do que desejam e as alternativas são conhecidas; a partir desse entendimento, desenvolve modelos matemáticos com o objetivo de encontrar uma solução ótima, alicerçada em uma situação real percebida por todos de igual forma, independente dos envolvidos no contexto decisional. A MCDA pressupõe que os atores envolvidos não têm pleno conhecimento do problema e as alternativas devam ser construídas, e assim se propõe a modelar esse contexto, segundo a percepção de seus atores, em especial, do decisor, no sentido de gerar conhecimento nos envolvidos no processo, possibilitando, assim, a construção de um modelo personalizado (Roy, 1993; Roy e Vanderpooten, 1996). É oportuno registrar que o presente trabalho afilia-se à MCDA e aos seus pressupostos construtivistas, consoante prática do Laboratório de Metodologias Multicritério de Apoio à Decisão, do Departamento de Engenharia de Produção e Sistemas, da Universidade Federal de Santa Catarina (LabMCDA-EPS-UFSC). Desta feita, a metodologia passa a ser denominada Metodologia Multicritério de Apoio à Decisão — Construtivista (MCDA-C).

Afiliar-se aos pressupostos construtivistas implica adotar as seguintes perspectivas: (i) um problema existe somente se for percebido por alguém, como consequência de uma situação em que se entenda necessária uma intervenção, diante de sua relevância e possibilidade de solução (Landry, 1995); (ii) a compreensão do problema implica geração de conhecimento, tendo em conta os sistemas de valores, convicções e objetivos dos envolvidos, desde a percepção do status quo até o grau de entendimento do decisor sobre o contexto (Ensslin, 2002; Medaglia e Ensslin, 2009); e (iii) a concordância de que "não existe apenas um conjunto de ferramentas adequado para esclarecer uma decisão, nem existe uma única melhor maneira de fazer uso delas" (Roy, 1993:194).

A MCDA-C, reconhecendo os limites do racionalismo da objetividade para os problemas sociais, acredita que os decisores, segundo Ensslin e colaboradores (2010:130):

▼ Necessitam de apoio para explicitar e mensurar seu(s) valor(es) e preferências;

▼ Desejam ter em conta seu(s) valor(es) e preferências, e não valor(es) e preferências genéricos ou de outros casos similares, mesmo os bem-sucedidos;

▼ Desejam poder compreender e visualizar as consequências de suas decisões em seus objetivos (critérios);

▼ Desejam estabelecer as performances de referências em cada objetivo (critério) segundo sua percepção;

▼ Desejam compreender a contribuição de cada objetivo (critério) nos objetivos estratégicos;

▼ Desejam valer-se da expansão do conhecimento propiciado pelo processo de apoio à decisão para identificar oportunidades de aperfeiçoamento.

Para alcançar seus objetivos, a MCDA-C vale-se da atividade de apoio à decisão, desenvolvida em três fases: (i) fase de estruturação; (ii) fase de avaliação; e (iii) fase de recomendações. A primeira fase destina-se à compreensão do problema e do contexto em que está inserido. Nessa etapa, a geração de conhecimento nos decisores é ordinal e representada por uma estrutura hierárquica de valor (Keeney, 1992) que explicita e mensura, ordinalmente, as preocupações dos envolvidos no processo, a partir das quais as alternativas podem ser avaliadas. Na segunda fase, são adicionados conhecimentos sobre a diferença de atratividade das escalas ordinais, permitindo sua transformação em escalas cardinais. São, também, estabelecidas as taxas de compensação. Tem-se, assim, o contexto representado por um modelo matemático que permitirá medir com números a performance da situação atual e das alternativas que forem sendo geradas. E na terceira e última fase são propostas ações de aprimoramento daqueles objetivos com maior contribuição no desempenho do contexto avaliado, além de se estabelecer a robustez do modelo construído, mediante a análise de sensibilidade.

3. Avaliação de programas de capacitação

As organizações, com o objetivo de enfrentar a velocidade das mudanças, estão sendo, cada vez mais, desafiadas a desenvolver programas de capacitação significativos para seus membros, como uma forma de competir e alcançar o sucesso em um ambiente tão volátil (Lingham, Richley e Rezania, 2006; Magalhães et al., 2010).

Seguindo em sua argumentação, Lingham, Richley e Rezania (2006), referenciando Pfeffer (2000), destacam que a capacitação pode ser uma fonte de vantagem competitiva em inúmeras organizações, desde que saibam utilizá-la. Logo, a capacitação, definida como o desenvolvimento sistemático de conhecimentos, normas, conceitos ou atitudes que resultem em melhoria do desempenho, tornou-se parte da aprendizagem e da mudança organizacional, da avaliação do empregado e do desenvolvimento de sua carreira.

No mesmo sentido, Tennant, Boonkrong e Roberts (2002) esclarecem que a revisão da literatura demonstra claramente o impacto positivo da capacitação no aprimoramento do desempenho das empresas, além do reconhecimento dos gestores acerca dessa realidade.

Assim, a capacitação e a educação, nas palavras de Lingham, Richley e Rezania (2006), apropriando-se do conhecimento de Kassicieh e Yourstone (1998) e Crosby (1979, 1984), podem ser consideradas como os principais processos voltados ao crescimento e ao avanço organizacional, proporcionando um fórum de comunicação de novas estratégias, novos valores, novas ferramentas, além de novas e aperfeiçoadas formas de realizar o trabalho a que se propõem.

À importância do desenvolvimento de programas de capacitação soma-se a necessidade de um processo de avaliação. Numerosos estudos têm realçado a relevância da avaliação de programas de capacitação como elemento necessário e fundamental para as organizações, no sentido de alavancar a aprendizagem e assegurar a utilização eficiente dos recursos (Lingham, Richley e Rezania, 2006). No entanto, como destacado na introdução deste trabalho, para o desenvolvimento da avaliação de programas de capacitação tem sido empregada uma grande variedade de instrumentos de intervenção, como se pode observar no quadro 1:

No entanto, essas ferramentas, em sua grande maioria, apresentam limitações e lacunas que podem comprometer o processo de avaliação, como destacam Tasca, Ensslin e Ensslin (2009).

Neste sentido, em praticamente todos os trabalhos as principais limitações dizem respeito aos seguintes aspectos:

(i) A ausência de participação dos decisores na definição dos critérios de avaliação — logo, floresce a dúvida se a percepção dos autores, responsáveis por essa definição, alcançou os aspectos relevantes e com impacto na avaliação proposta, exceção feita ao trabalho de Lingham, Richley e Rezania (2006), que tem esse aspecto em alto grau de importância, conforme relatado anteriormente no corpo deste artigo;

(ii) A inexistência de um método estruturado e transparente para identificação dos critérios de avaliação — assim, não há como saber se esses critérios refletem, verdadeiramente, as preocupações dos decisores;

(iii) A utilização, única e exclusivamente, de escalas ordinais, em sua maioria do tipo likert, como se cardinais fossem, não permite apurar a diferença de atratividade entre as alternativas, muito menos a diferença dos níveis da escala em cada um dos critérios, impedindo assim uma avaliação global do programa de treinamento. Desta feita, não há como identificar qual contribuição é mais relevante em termos globais ou qual o impacto de cada uma nessa avaliação, já que a ferramenta não permite esse tipo de análise. Ademais, soma-se o fato de que esse tipo de escala conduz, em regra, a avaliações ambíguas, sem informar "o que" e "como" está sendo mensurado e, por conseguinte, o que pode ser feito para melhorar e qual o grau em que o critério está sendo alcançado; e,

(iv) A impossibilidade de identificação das ações de melhoria, no sentido de que os critérios elencados no instrumento de coleta de dados (principalmente, o survey) limitam-se a clarear a existência ou não de um problema, não orientando para a ação, ou seja, o indicador de desempenho não comunica qual ação deve ser implementada para gerar o aperfeiçoamento. Mesmo no modelo proposto por Campbell (1998), em que há uma parte destinada às recomendações e ao plano de ação, esta iniciativa demanda um grande esforço, posto que as ações não estão definidas e comunicadas em cada um dos critérios.

4. Resultados do estudo de caso

Nesta seção está consubstanciado o estudo de caso desenvolvido na presente pesquisa, dividido em conformidade com as fases preconizadas pela MCDA-C, a saber: 4.1. Fase de estruturação; 4.2. Fase de avaliação; e 4.3. Fase de recomendações.

4.1 Fase de estruturação

Diante da complexidade e da relevância do processo de capacitação de policiais militares instrutores do Proerd para o sucesso do programa, optou-se por utilizar a MCDA-C como instrumento de intervenção para o desenvolvimento de um modelo que possibilitasse a avaliação de desempenho desse processo crítico.

Para tanto, inicialmente, foram identificados os atores relacionados a este processo: (i) decisores — coordenadores do Centro de Capacitação do Proerd — capitão PM André Alves; capitão PM Gabriela R.X. Lins; e pedagoga Roseane R.M. Pereira; (ii) facilitadores — autores do artigo; e (iii) agidos — policiais militares e sociedade.

Agora, por meio de entrevistas de natureza semiestruturada e da técnica de brainstorming, com o objetivo de gerar conhecimento sobre o contexto objeto do modelo de avaliação a ser desenvolvido, foram identificados o rótulo e um sumário para o problema, bem como, já no princípio da construção do modelo, os elementos primários de avaliação.

Segundo ensinam Ensslin, Montibeller e Noronha (2001), o rótulo é um enunciado do problema e neste trabalho ficou convencionado desta forma: Avaliação do Processo de Capacitação dos Policiais Militares Instrutores do Proerd em Santa Catarina. Já o sumário se destina a apresentar as seguintes informações de forma estruturada: (i) o problema — Pelo fato de a formação na Polícia Militar de Santa Catarina ser voltada para o desenvolvimento de ações policiais e devido às peculiaridades do Proerd, o processo de capacitação dos policiais militares instrutores passa a ser um dos fatores fundamentais para o alcance dos objetivos do programa. Mas, apesar de seu grau de importância, o Centro de Capacitação do Proerd não possui ferramentas que permitam avaliar esse processo; (ii) justificativa — A verdadeira guerra urbana travada pela disputa dos pontos de venda de drogas, pelo enfrentamento policial tradicional e a degradação social, familiar e pessoal patrocinada por seu consumo estão entre os aspectos mais cruciais do complexo cenário da segurança pública. Aos danos provocados pelas drogas ilícitas somam-se os perpetrados pelas drogas lícitas, cujo maior indicador reside no número de pessoas mortas por seu uso ou em decorrência dele, no caso do álcool, muito mais realçado pelas estatísticas dos acidentes de trânsito. Na mesma proporção desses problemas está posta, ao poder público, a responsabilidade pela promoção de políticas destinadas a refrear essa tendência que muito preocupa toda a sociedade brasileira; (iii) objetivo do trabalho — Desenvolver o grau de entendimento do processo de capacitação de instrutores do Proerd, por meio de um modelo que permita identificar oportunidades de aperfeiçoamento contínuo; (iv) proposição de solução — Utilizar a metodologia MCDA-C, por se tratar de um instrumento que permite construir conhecimento do contexto para o decisor, explicitando seus aspectos mais relevantes; e (v) produto final do trabalho — Explicitação dos aspectos considerados relevantes, pelos decisores, e o impacto da situação atual em cada um dos mesmos, permitindo, assim, compreender as consequências das decisões referentes ao processo de capacitação de instrutores do Proerd.

Definidos os atores envolvidos no processo e as informações que permitiam uma melhor compreensão do contexto, pode-se avançar no sentido de iniciar a construção do modelo com a identificação dos elementos primários de avaliação (EPAs). Os EPAs são as primeiras preocupações que emergem dos decisores quando confrontados com o contexto objeto de análise (Bana e Costa et al., 1999). Neste trabalho, em reuniões com os decisores, foram identificados 202 elementos primários de avaliação. Concluída essa etapa, os EPAs devem ser transformados em conceitos (Eden, 1988). Na concepção de Ensslin, Montibeller e Noronha (2001), cada conceito deve ser composto por um polo presente — desempenho pretendido — e por um polo oposto — mínimo aceitável ou a ocorrência que o decisor deseja evitar e que assim serve de motivação para o esforço da busca da direção de preferência para o contexto específico. Na construção do conceito, os dois polos são separados pelo símbolo de reticências (...), que terá como significado a expressão "ao invés de". Assim, o conceito de número 49 — Garantir que os alunos-instrutores assimilem a importância da utilização de conhecimentos pedagógicos no desenvolvimento do programa... Somente transmitir o conteúdo do programa — será lido da seguinte forma: Garantir que os alunos-instrutores assimilem a importância da utilização de conhecimentos pedagógicos no desenvolvimento do programa... (ao invés de) Somente transmitir o conteúdo do programa.

No quadro 2 constam alguns exemplos dos EPAs identificados no presente trabalho e seus respectivos conceitos.

Evoluindo na construção do modelo de avaliação, os conceitos foram organizados, com os decisores, em áreas de preocupação (figura 2). Por exemplo, os conceitos de número 22 (vislumbrar o aluno-instrutor como um ser humano, com sua individualidade, necessidades e anseios, buscando atender esses aspectos durante a capacitação... Somente reconhecer a natureza humana do aluno-instrutor), 23 (garantir o envolvimento da equipe de facilitação com os problemas do aluno-instrutor, auxiliando-o no que for possível... Somente ouvir os problemas dos alunos-instrutores), 24 (estimular o relacionamento igualitário entre alunos de graus hierárquicos diferentes... Somente manter o respeito à hierarquia), 26 (estimular a manutenção da hierarquia pelo respeito entre as pessoas... Somente respeitar a hierarquia), 34 (buscar a dedicação integral, física e psicológica, do aluno-instrutor durante a capacitação, integrando a família em momentos específicos... Apenas buscar a dedicação integral, física e psicológica, do aluno-instrutor durante a capacitação), 61 (garantir que o aluno-instrutor esteja focado, exclusivamente, na capacitação... Apenas buscar que as influências externas não interfiram em seu aprendizado), 68 (demonstrar preocupação com cada aluno-instrutor, objetivando que ele replique esse sentimento em sala de aula com seus alunos... Somente identificar que os alunos-instrutores reconhecem a importância desse sentimento para o alcance dos objetivos do programa) e 78 (criar um ambiente favorável para que os alunos-instrutores trabalhem suas emoções, como condição inerente ao alcance dos objetivos do programa... Somente reconhecer suas emoções e a importância desse reconhecimento para a aplicação do programa) foram agrupados na área de preocupação "1.1.1.5 Atenção ao aluno-instrutor".

Destaca-se, oportunamente, que o presente trabalho, como primeira parte de uma avaliação global do processo de capacitação, limita-se ao desenvolvimento do modelo de avaliação da área de preocupação "capacitação".

A partir dos conceitos organizados, avançou-se para sua hierarquização, utilizando como ferramenta o mapa de relações meios-fins (Eden, 1988). Segundo Montibeller (2000), esse mapa estabelece uma hierarquia de conceitos, interligados com base em suas relações de influência entre meios e fins. Sua construção permite ao decisor explicitar seus valores relacionados ao problema sob análise, além de prover os meios necessários ao alcance dos fins desejados. A figura 3 apresenta um dos mapas de relações meios-fins construídos neste trabalho (destaca-se que os conceitos sublinhados foram desenvolvidos a partir da construção do mapa).

Com os mapas de relações meios-fins concluídos, mediante uma análise aprofundada juntamente com os decisores, foram identificados os clusters e, em cada um deles, os ramos, de acordo com as linhas de argumentação que demonstram as preocupações similares sobre o contexto decisório (Ensslin, Montibeller e Noronha, 2001). Na visão de Belton (1990), esse processo é, em essência, uma análise de conteúdo que leva em consideração as ideias expressas nos conceitos. A transição de um mapa de relações meios-fins para um modelo multicritério acontece através da identificação de um conjunto de Pontos de Vistas Fundamentais (PVF). Os PVF explicitam os valores que o decisor considera importantes naquele contexto, definindo ao mesmo tempo as características das ações que são de interesse do decisor (Bana e Costa, 1992).

Esta estrutura, na explicação de Ensslin, Montibeller e Noronha (2001:78), utiliza "a lógica da decomposição, em que um critério mais complexo de ser mensurado é decomposto em subcritérios de mais fácil mensuração". Na metodologia MCDA-C essa estrutura arborescente é denominada Árvore de Pontos de Vista (Bana e Costa e Silva, 1994) ou Estrutura Hierárquica de Valor (Keeney, 1992). Neste trabalho, emprega-se a denominação dada por Keeney (1992). A figura 4 revela a Estrutura Hierárquica de Valor do PVF "1.1.1.5 Atenção ao aluno-instrutor" com seus respectivos desdobramentos em Pontos de Vista Elementares (PVE) e Subpontos de Vista Elementares (subPVE). Destaca-se que esse desdobramento é realizado até que se identifique um ponto de vista cuja mensuração seja possível, momento em que esse ponto de vista passa a ser reconhecido como um critério.

Conclusa essa etapa, adianta-se rumo à construção dos descritores, próximo passo nessa fase de estruturação do modelo de avaliação. São os descritores que possibilitam a mensuração ordinal de desempenho das ações potenciais, neste caso, do processo de capacitação de policiais militares instrutores do Proerd. Como esclarece Dutra (1998:85), "um descritor pode ser definido como um conjunto de níveis, associado a um Ponto de Vista (PV), o qual descreverá, em forma exaustiva, homogênea e não ambígua, os possíveis impactos das ações potenciais". Em cada descritor, além das ações potenciais, devem ser estabelecidos os níveis de ancoragem ou de referência (nível "Bom" e nível "Neutro"). Esses níveis definem as faixas limítrofes dentro das quais as ações impactadas são consideradas de mercado, sendo consideradas de excelência as ações impactadas acima do nível "Bom", enquanto aquelas colocadas abaixo do nível "Neutro" são referenciadas com o desempenho comprometedor. O quadro 3 apresenta o descritor do subPVE (critério) "Atenção".

Com a construção dos descritores, alicerçados em escalas ordinais, finda a fase de estruturação do modelo de avaliação.

4.2 Fase de avaliação

A fase de avaliação inicia com a transformação das escalas dos descritores de ordinais para cardinais, ensejando, assim, a ordenação da intensidade de preferência dos decisores entre os níveis de impacto. Para tanto, é construída para cada descritor uma função de valor (Keeney e Raiffa, 1993; Beinat, 1995). A construção da função de valor é viabilizada, primeiramente, pela atribuição da pontuação referente a cada um dos níveis de ancoragem definidos anteriormente, sendo o nível "Bom" igual a 100 pontos e o nível "Neutro" igual a 0 ponto. Agora, empregando o método de julgamento semântico, escolhido entre tantos outros constantes da literatura (Ensslin, Montibeller e Noronha, 2001), por meio da comparação par a par entre as ações potenciais, a função de valor é construída utilizando-se o software Macbeth-Scores (Bana e Costa, Stewart e Vansnick, 1995). Conforme se depreende da figura 5, no software Macbeth-Scores são construídas matrizes semânticas que refletem em uma escala de intervalos as preferências do decisor, que é questionado acerca da perda de atratividade percebida na passagem de um nível do descritor para o outro (Bana e Costa e Vansnick, 1997). A figura 6 permite visualizar a função de valor transportada para seu respectivo descritor.

A próxima etapa na fase de avaliação consiste na atribuição da contribuição relativa de cada critério no modelo, por meio da definição das taxas de substituição. São essas taxas que refletirão, conforme o julgamento dos decisores, a perda de desempenho que uma ação potencial sofrerá em um critério para compensar o ganho em outro (Keeney, 1992; Keeney e Raiffa, 1993; Roy, 1996), bem como permitirão transformar o valor das avaliações locais em valores de uma avaliação global. A primeira ação tendente à definição das taxas de substituição reside em ordenar os critérios, por meio da comparação par a par, utilizando para isso o método swing-weights (Winterfieldt e Edwards, 1986; Keeney, 1992; Beinat, 1995) com apoio de uma matriz de ordenação (Roberts, 1979). Com os critérios ordenados emprega-se novamente a matriz semântica do software Macbeth-Scores para apuração do valor das taxas de substituição que melhor expressem o julgamento dos decisores. Construídas as taxas de substituição, o modelo está concluído e, certamente, terá prestado sua maior contribuição — gerar conhecimento no decisor sobre o contexto analisado.

Conclusa essa etapa, foi traçado o perfil de desempenho atual (status quo) do processo de capacitação de policiais militares instrutores do Proerd em Santa Catarina nos 62 critérios constantes do modelo construído, permitindo, assim, uma visualização clara de quais elementos se constituem em oportunidade de melhoria, no sentido de direcionar os esforços em ações que efetivamente irão alavancar a performance do processo de capacitação. O perfil de impacto é apresentado na figura 7, e na figura 8 uma parte do modelo é destacada para uma melhor compreensão de como o status quo é explicitado. Mesmo com a visualização prejudicada pela limitação de espaço para a exposição adequada do modelo, optou-se por apresentar as figuras 7 e 8 para destacar o quanto a representação gráfica do modelo construído potencializa a geração de conhecimento nos gestores acerca do desempenho do processo de capacitação, evidenciando, clara e rapidamente, aqueles objetivos que reclamam ações de aprimoramento, bem como, em contrapartida, quais preocupações se encontram com desempenho em nível de mercado ou excelência.

Finalizando esta fase da metodologia, agora é possível se estabelecer a avaliação global, ensejada pela soma dos valores parciais obtidos por uma determinada ação nos diversos critérios, ponderada pelas taxas de substituição do modelo e calculada por meio da seguinte equação matemática de agregação aditiva (Keeney e Raiffa, 1993):

V(a) = w1.v1(a) + w2.v2(a) + w3.v3(a) + ... + wn.vn(a)

Onde:

V (a) = valor global do status quo;

v1 (a), v2 (a), ... vn (a) = valor parcial nos critérios 1, 2, ..., n;

w1, w2, ... wn = taxas de substituição nos critérios 1, 2, ..., n;

n = número de critérios do modelo.

No presente estudo de caso, a avaliação global do status quo foi de 69 pontos, situação que coloca o desempenho do processo de capacitação de policiais militares instrutores do Proerd em Santa Catarina dentro do nível de mercado, todavia, abaixo das expectativas da coordenação estadual do programa.

4.3 Fase de recomendações

A primeira etapa desta fase de recomendações consiste na análise de sensibilidade, destinada a testar a robustez do modelo, ou seja, diante da probabilidade da existência de incertezas dos decisores durante a construção do modelo, necessário se faz verificar o impacto que uma variação nas taxas de substituição poderia causar na avaliação de ações potenciais (Dias, Costa e Climaco, 1997). Para se perpetrar a análise de sensibilidade utiliza-se o software Hiview. No presente modelo, como exemplificado na figura 9, as alterações para mais ou para menos nas taxas de substituição não afetaram a ordem de preferência das alternativas, podendo, assim, o modelo construído ser considerado robusto.

Assegurada a robustez do modelo, passa-se à etapa principal desta fase, a proposição de ações potenciais que permitam aprimorar a performance em relação ao perfil de desempenho atual. A geração de recomendações tem por base os descritores que, na concepção dos decisores, estejam com desempenho abaixo de suas expectativas. Sempre que possível, os decisores devem ser orientados a estabelecer prioridades e buscar ações na seguinte ordem: (i) objetivos com maior contribuição; (ii) objetivos com desempenho baixo; ou (ii) ambos (maior potencial de contribuição).

Neste sentido, na avaliação do processo de capacitação de policiais militares instrutores do Proerd em Santa Catarina verificou-se que PV "1.1.1.8 Avaliação da capacitação" e seus PVEs estavam com desempenho no nível comprometedor e, como pode ser verificado na figura 10, impactavam negativamente a avaliação global do modelo num total de 16 pontos.

Assim, diante da relevância da contribuição deste PV na avaliação global, e com base no conteúdo dos descritores, foram propostas algumas ações no sentido de aprimorar seu desempenho. No caso do PVE "Credibilidade", representado na figura 11, foram construídas as seguintes estratégias de aperfeiçoamento: (i) no momento em que for realizada a exposição sobre a programação da capacitação deve-se apresentar o Modelo de Avaliação do Processo de Capacitação, demonstrando que as informações coletadas serão efetivamente utilizadas como oportunidades de aperfeiçoamento; (ii) antes de iniciar o processo de avaliação formal, apresentar exemplos de aperfeiçoamentos gerados por avaliações realizadas por alunos-instrutores em capacitações anteriores; e (iii) dar retorno aos alunos-instrutores a respeito da avaliação realizada, após a capacitação, por e-mail agradecendo a contribuição de forma geral ou por e-mail agradecendo de forma geral e destacando quais contribuições serão contempladas em uma próxima capacitação.

A adoção dessas ações de aprimoramento elevaria a performance no descritor do nível N2 para o nível N8, ensejando assim um acréscimo de 7 pontos na avaliação global (figura 12), que de 69 pontos passaria a ser de 76 pontos, apenas com a alavancagem do desempenho nesse critério.

5. Considerações finais

Restou evidenciado durante o transcorrer deste trabalho que os programas de capacitação, por sua importância no contexto organizacional, em especial, quando os conhecimentos, habilidades e atitudes exigidas configuram-se em uma nova fronteira de atuação profissional, como é o caso do Proerd, necessariamente, precisam ser acompanhados por um processo de avaliação que permita garantir o alcance dos objetivos propostos com a capacitação.

Em face deste cenário, emergiu a questão de pesquisa que norteou a consecução do presente trabalho: como avaliar o processo de capacitação dos policiais militares instrutores do Proerd em Santa Catarina? E a resposta a esta questão pode ser observada na seção "4. Resultados do estudo de caso" por meio da apresentação do modelo de avaliação construído para o Centro de Capacitação do Proerd da Polícia Militar de Santa Catarina.

Da mesma forma, os objetivos deste estudo — construir um modelo de avaliação do processo de capacitação dos policiais militares instrutores do Proerd em Santa Catarina, por meio da MCDA-C — também foram contemplados na seção 4.

Quanto aos objetivos específicos, cumpre salientar o pleno alcance do que foi proposto, a saber: (i) identificar os aspectos do processo de capacitação considerados relevantes pelos gestores do Centro de Capacitação do Proerd em Santa Catarina — explicitados na fase de estruturação do modelo de avaliação, por meio dos Elementos Primários de Avaliação e seus respectivos conceitos, conforme se depreende do teor do item 4.1 deste artigo; (ii) construir escalas ordinais e cardinais para medir os objetivos explicitados — alcançados a partir da construção dos descritores (fase de estruturação) e das funções de valor (fase de avaliação), como pode ser apurado nos itens 4.1 e 4.2 do presente trabalho; (iii) traçar o perfil de desempenho atual do processo de capacitação dos policiais militares instrutores do Proerd em Santa Catarina — apresentado na fase de avaliação constante do item 4.2 deste estudo; e (iv) propor ações de aperfeiçoamento do desempenho do processo de capacitação avaliado — consubstanciado na fase de recomendações, consoante exposto no item 4.3 deste artigo.

Como limitação deste estudo, destaca-se a necessidade de complementação do modelo de avaliação do processo de capacitação dos policiais militares instrutores do Proerd em Santa Catarina, contemplando integralmente os PVs 1. Coordenação Estadual e 2. Institucional.

Finalmente, a título de recomendação para futuras pesquisas, agregando as conclusões do trabalho de Tasca, Ensslin e Ensslin (2009), abre-se a possibilidade de utilização combinada da MCDA-C com outras ferramentas de avaliação de programas de capacitação.

Artigo recebido em 2 abr. 2011 e aceito em 10 ago. 2011.

Jorge Eduardo Tasca está vinculado ao Laboratório de Metodologias Multicritério de Apoio à Decisão (LabMCDA-EPS-UFSC). E-mail: [e-mail].

Leonardo Ensslin é professor do Programa de Pós-Graduação em Engenharia de Produção e do Programa de Pós-Graduação em Contabilidade da Universidade Federal de Santa Catarina (UFSC). E-mail: [e-mail].

Sandra Rolim Ensslin é professora do Programa de Pós-Graduação em Engenharia de Produção e do Programa de Pós-Graduação em Contabilidade da UFSC. E-mail: [e-mail].

• BANA E COSTA, C.A. Structuration, construction et exploitation d'un modèle multicritère d'aide à la décision Tese (doutorado em engenharia de sistemas) Universidade Técnica de Lisboa, Lisboa, 1992.
• BANA E COSTA, C.A. et al. Decision support systems in action: integrated application in a multicriteria decision aid process. European Journal of Operational Research, v. 113, n. 2, p. 315-335, 1999.
• BANA E COSTA, C.A.; SILVA, F.N. Concepção de uma "boa" alternativa de ligação ferroviária ao Porto de Lisboa: uma aplicação da metodologia MCDA e à negociação. Investigação Operacional, p. 115-131, 1994.
• BANA E COSTA, C.A.; STEWART, T.J.; VANSNICK, J.C. Multicriteria decision analysis: some troughts based on the tutorial and discussion sessions of the Esigma meetings. In: EURO XIV CONFERENCE, Jerusalem, 1995. p. 261-272.
• BANA E COSTA, C.A.; VANSNICK, J.C. Applications of the Macbeth approach in the framework of an additive aggregation model. Journal of Multi-criteria Decision Analysis, v. 6, n. 2, p. 107-114, 1997.
• BEATO FILHO, C.C. et al. Conglomerados de homicídios e o tráfico de drogas em Belo Horizonte, Minas Gerais, Brasil, de 1995 a 1999. Cadernos de Saúde Pública, v. 17, p. 1163-1171, 2001.
• BEINAT, E. Multiattribute value functions for environmental management Amsterdam: Timbergen Institute Research Series, 1995.
• BELTON, V. Multiple criteria decision analysis practically the only way to choose. In: HENDRY, L.C.; EGLESE, R.W. (Ed.). Operational research tutorial papers: 1990. Birmingham: OR Society, 1990.
• CAMPBELL, C.P. Training course/program evaluation: principles and practices. Journal of European Industrial Training, v. 22, n. 8, p. 322-344, 1998.
• CROSBY, P.B. Quality is free Milwaukee: Quality Press, 1979.
• CROSBY, P.B. Quality without tears: the art of hassle-free management. Milwaukee: Quality Press, 1984.
• DIAS, L.C.; COSTA, J.P.; CLIMACO, J.N. Conflicting criteria, cooperating processors some experiments on implementing decision support method on a parallel computer. Computers & Operations Research, v. 24, n. 9, p. 805-817, 1997.
• DUTRA, A. Elaboração de um sistema de Avaliação de Desempenho dos Recursos Humanos da Secretaria de Estado da Administração SEA à luz da Metodologia Multicritério de Apoio à Decisão Dissertação (mestrado em engenharia de produção) Programa de Pós-Graduação em Engenharia de Produção, Universidade Federal de Santa Catarina, Florianópolis, 1998.
• EDEN, C. Cognitive mapping. European Journal of Operational Research, v. 36, p. 01-13, 1988.
• ENSSLIN, L. Notas de aula da disciplina MCDA I Florianópolis: Programa de Pós-Graduação em Engenharia de Produção da Universidade Federal de Santa Catarina, 2009.
• ENSSLIN, L.; ENSSLIN, S.R. Notas de aula da disciplina EPS 6325: pesquisa direta do Programa de Pós-Graduação em Engenharia de Produção da Universidade Federal de Santa Catarina. Florianópolis: Mimeo, 2008.
• ENSSLIN, L. et al. Avaliação do desempenho de empresas terceirizadas com o uso da metodologia multicritério de apoio à decisão construtivista. Pesquisa Operacional, v. 30, n. 1 p. 125-152, 2010.
• ENSSLIN, L.; MONTIBELLER, G.; NORONHA, S.M. Apoio à decisão: metodologia para estruturação de problemas e avaliação multicritério de alternativas. Florianópolis: Insular, 2001.
• ENSSLIN, S.R. A incorporação da perspectiva sistêmico-sinergética na metodologia MCDA Construtivista: uma ilustração de implementação. Tese (doutorado em engenharia de produção) Programa de Pós-Graduação em Engenharia de Produção, Universidade Federal de Santa Catarina, Florianópolis, 2002.
• FEATHERSTONE, K. et al. A controlled evaluation of a training course for staff who work with people with dementia. Dementia, v. 3, n. 2, p. 181-194, 2004.
• GALLASSI, A.D. et al. Custos dos problemas causados pelo abuso do álcool. Revista de Psiquiatria Clínica, v. 35, p. 25-30, 2008.
• GHEDINE, T.; TESTA, M.G.; FREITAS, H.M.R.D. Compreendendo as iniciativas de educação a distância via internet: estudo de caso em duas grandes empresas no Brasil. Revista de Administração Pública, Rio de Janeiro, v. 40, p. 427-455, 2006.
• GIL, A.C. Métodos e técnicas de pesquisa social São Paulo: Atlas, 1999.
• GRAMMATIKOPOULOS, V. et al. Evaluation of the training program for Greek olympic education. International Journal of Educational Management, v. 18, n. 1, p. 66-73, 2004.
• IUDICIBUS, S. Teoria da contabilidade São Paulo: Atlas, 2004.
• KASSICIEH, S.K.; YOURSTONE, S.A. Training, performance evaluation, rewards, and TQM implementation success. Journal of Quality Management, v. 3, n 1, p. 25-39, 1998.
• KEENEY, R.L. Value focused-thinking: a path to creative decision-making. Cabridge: Harvard Univ. Press, 1992.
• KEENEY, R.L.; RAIFFA, H. Decision with multiple objectives, preferences and value tradeoffs Cambridge: Cambridge University Press, 1993.
• KUPRENAS, J.A.; MADJIDI, F.; ALEXANDER, A.S. A project management training program. Journal of Management in Engineering, v. 15, n. 6, p. 47-55, 1999.
• LANDRY, M. Note on the concept of problem: a piagetian perspective. Québec: Faculté des Sciences de l'Administration, Université Laval, 1995.
• LINGHAM, T.; RICHLEY, B.; REZANIA, D. An evaluation system for training programs: a case study using a four-phase approach. Career Development International, v. 11, n. 4, p. 334-351, 2006.
• LITAROWSKY, J.A.; MURPHY, S.O.; CANHAM, D.L. Evaluation of an anaphylaxis training program for unlicensed assistive personnel. Journal of School Nursing, v. 20, n. 5, p. 279-284, 2004.
• MAGALHÃES, E.M. et al. A política de treinamento dos servidores técnico-administrativos da Universidade Federal de Viçosa (UFV) na percepção dos treinados e dos dirigentes da instituição. Revista de Administração Pública, Rio de Janeiro, v. 44, p. 55-86, 2010.
• MCMILLAN, L.; BUNNING, K.; PRING, T. The development and evaluation of a deaf awareness training course for support staff. Journal of Applied Research in Intellectual Disabilities, v. 13, n. 4, p. 283-291, 2000.
• MEDAGLIA, T.A.; ENSSLIN, L. Modelo multicritério para avaliação e seleção de projetos de pesquisa e desenvolvimento em uma empresa distribuidora de energia Florianópolis: Universidade Federal de Santa Catarina, 2009. Trabalho não publicado.
• MONTIBELLER, G.N. Mapas cognitivos difusos para o apoio à decisão Tese (doutorado em engenharia de produção) Programa de Pós-Graduação em Engenharia de Produção, Universidade Federal de Santa Catarina, Florianópolis, 2000.
• PEROVANO, D.G. Concepções dos instrutores do Programa Educacional de Resistência às Drogas e à Violência sobre a sua formação. Dissertação (mestrado em educação) Programa de Pós-Graduação em Educação, Universidade Federal do Paraná, Curitiba, 2006.
• PETRI, S.M. Modelo para apoiar a avaliação das abordagens de gestão de desempenho e sugerir aperfeiçoamentos: sob a ótica construtivista. Tese (doutorado em engenharia de produção) Programa de Pós-Graduação em Engenharia de Produção, Universidade Federal de Santa Catarina, Florianópolis, 2005.
• PFEFFER, J. Seven practices of successful organizations. In: FRENCH, W.L.; BELL, C.H.; ZAWACKI, R.A. (Ed.). Organizational development and transformation: managing effective change. 5th ed. Singapore: McGraw-Hill, 2000.
• RATEKE, D. A escola pública e o Proerd: tramas do agir policial na prevenção às drogas e às violências. Dissertação (mestrado em educação) Programa de Pós-Graduação em Educação, Universidade Federal de Santa Catarina, Florianópolis, 2006.
• RICHARDSON, R.J. Pesquisa social: métodos e técnicas. 3 ed. São Paulo: Atlas, 1999.
• ROBERTS, F.S. Measurement theory. In: ROTA, G.C. (Ed.). Encyclopedia of mathematics and its applications London: Addison Wesley Publishing Company, 1979. v. 7.
• ROY, B. Decision science or decision-aid science? European Journal of Operational Research, v. 8, n. 1, p. 184-203, Fev. 1993.
• ROY, B. Multicriteria methodology for decision aiding Dordrecht: Kluwer Academic Publishers, 1996.
• ROY, B.; VANDERPOOTEN, D. The European school of MCDA: emergence, basic features and current works. Journal of Multicriteria Decision Analysis, v. 5, n. 16, p. 22-38, May 1996.
• SANTA CATARINA. Manual do instrutor do Programa Educacional de Resistência às Drogas — Proerd — 4ª série Florianópolis: Ioesc, 2007.
• SILVA, R.P. Prevenção das tóxico-dependências: Por que eu? Análise Psicológica, v. 22, n. 1, p. 269-271, 2004.
• TASCA, J.E.; ENSSLIN, L.; ENSSLIN, S.R. A construção de um referencial teórico sobre a avaliação de desempenho de programas de capacitação. Revista Ensaio Avaliação e Políticas Públicas em Educação, 2009. Trabalho não publicado.
• TENNANT, C.; BOONKRONG, M.; ROBERTS, P.A.B. The design of a training programme measurement model. Journal of European Industrial Training, v. 26, n. 5, p. 230-240, 2002.
• VIEIRA, V.A. As tipologias, variações e características da pesquisa de marketing. Revista FAE, v. 5, n. 1, p. 61-70, 2002.
• WESTBROOK, D. et al. A pilot evaluation of a brief CBT training course: impact on trainees' satisfaction, clinical skills and patient outcomes. Behavioral and Cognitive Psychotherapy, v. 36, n. 5, p. 569-579, 2008.
• WINTERFIELDT, D.V.; EDWARDS, W. Decision analysis and behavioral research Cambridge: Cambridge Universtity Press, 1986.
• WONG, P.-M.; WONG, C.-S. The evaluation of a teacher training programme in school management: the case of Hong Kong. Educational Management & Administration, v. 31, n. 4, p. 385-401, Oct. 2003.
• YIN, R.K. Estudo de caso: planejamento e métodos. 3. ed. Porto Alegre: Bookman, 2005.

Datas de Publicação

• Publicação nesta coleção
  22 Jun 2012
• Data do Fascículo
  Jun 2012

Histórico

• Recebido
  02 Abr 2011
• Aceito
  10 Ago 2011