O problema de seleção de portfólio de projetos de pesquisa em instituições de ensino: um estudo de caso

Resumo:

Este estudo propõe um modelo para apoiar o processo decisório na seleção de propostas de projetos de pesquisa científica em uma instituição de ensino e pesquisa. Na construção do modelo foi utilizado o método Analytic Hierarchy Process (AHP), combinando técnicas de mensuração relativa e absoluta. Tal combinação tornou possível tratar um grande número de projetos e mensurar, mais facilmente, todas as variáveis do problema de seleção. Como procedimento de pesquisa utilizou-se o estudo de caso, baseando-se em pesquisa exploratória, seguida de uma abordagem de modelagem quantitativa. Adicionalmente, empregaram-se pesquisa documental e entrevistas não estruturadas, a fim de compreender melhor o contexto da pesquisa e os objetivos institucionais e propor adaptações mais consistentes nos critérios de seleção de projetos de solicitação de bolsas e recursos para pesquisa na instituição. Este estudo contribui para a escolha de propostas de projetos de pesquisa mais aderentes aos objetivos institucionais, permitindo que gestores de instituições de ensino lidem com o problema de alocação de recursos limitados face o grande número de demandantes de projetos.

Palavras-chave:
Apoio multicritério à decisão; AHP; Gerenciamento de portfólio de projetos; Avaliação da pesquisa científica; Seleção de projetos

Abstract:

This paper proposes a model to support decisions in scientific-research project portfolio selection in an educational institution. We used the Analytic Hierarchy Process (AHP) method for development of this model, combining relative and absolute measurement techniques. That combination allowed us to handle a large number of projects and to measure, in an easier way, all variables in the selection. Our research procedure was a case study based on exploratory research and followed by a quantitative modeling approach. Additionally, we performed documental research and conducted non-structured interviews to better understand the research setting and institutional goals. This contributes to propose a more consistent tailoring grant-request and research-funding project selection criteria. This paper contributes to sort out research project proposals that best adhered to the organization's goals, allowing educational-organization managers to handle the problem of limited-resource allocation in the context of large number of project requests.

Keywords:
Multicriteria support to decision-making; AHP; Project portfolio management; Scientific research evaluation; Project selection

1 Introdução

Em decorrência da velocidade e do dinamismo do mundo dos negócios, as organizações contam cada vez mais com projetos para conduzir as ações necessárias para alcançarem seus objetivos. Consequentemente, os projetos vêm crescendo não somente em volume mas também em complexidade. Para fazer frente à crescente demanda por projetos, surge o conceito de Gerenciamento de Portfólio de Projetos, ou Project Portfolio Management (PPM). Tal conceito proporciona um conjunto de ferramentas para assegurar que uma coleção de projetos possa ser avaliada visando a priorização na alocação de recursos, ao alcance de um portfólio de projetos alinhado às estratégias organizacionais (Project Management Institute, 2013). Entretanto, a quantidade de ideias e projetos que surgem nas organizações é normalmente superior à disponibilidade de recursos. Esse fato requer de um método para apoiar o processo de seleção, como os métodos multicritérios (Archer & Ghasemzadeh, 1999; Almeida & Duarte, 2011; Carvalho et al., 2013). Trata-se de requisito ainda mais necessário para as organizações públicas, responsáveis pela administraçção de recursos públicos que devem gerar resultados satisfatórios para a sociedade.

Esse é um desafio enfrentado pelos gestores do Instituto Federal de Educação, Ciência e Tecnologia Fluminense (IF Fluminense ou IFF). O IFF é uma autarquia federal que atua nas atividades de ensino, pesquisa e extensão no estado do Rio de Janeiro. Sua abrangência compreende os municípios das regiões Norte Fluminense, Noroeste Fluminense e Baixadas Litorâneas e da região Metropolitana. A área de pesquisa do IFF tem como uma de suas atribuições o controle da concessão de bolsas de incentivo à pesquisa científica. Trata-se da distribuição de recursos escassos para atender à crescente demanda de projetos de pesquisa oriundos dos proponentes. Tais projetos são submetidos à avaliação segundo múltiplos critérios.

O problema apresentado pela instituição, portanto, consiste na falta de um modelo sistematizado de seleção de projetos que possa garantir a alocação mais eficiente de recursos. Tais projetos, além de satisfazerem os critérios necessários para gerar, adensar e disseminar o conhecimento científico, também devem se adequar aos propósitos institucionais. O presente estudo trata do problema de decisão que surge ao longo do processo de avaliação de elevado número de projetos de pesquisa envolvendo múltiplas variáveis. Tem-se como desafio, portanto, a seleção das propostas de projetos que apresentem maior convergência com os propósitos da instituição.

Como objetivo geral, este estudo propõe uma solução para o problema de seleção de projetos de pesquisa em instituições de ensino através do método de apoio multicritério à decisão, o Analytic Hierarchy Process (AHP), cuja aplicação combina a mensuração relativa com a absoluta. Como objetivos específicos deste estudo, destacam-se: a) Identificar o estado da arte em apoio multicritério à decisão que possa orientar os tomadores de decisão em gestão de ensino envolvidos nos processos de priorização e seleção de projetos de pesquisa; b) Reestruturar os critérios utilizados na avaliação da pesquisa científica e identificar os aspectos considerados em cada critério, visando o atendimento dos objetivos da instituição e a qualidade da pesquisa; e c) Caracterizar o contexto sob a óptica multicritério, a fim de verificar a adequação do método multicritério adotado ao problema tratado.

Este estudo enfocou a seleção de propostas de projetos de pesquisa básica e aplicada. Os critérios de avaliação deveriam estar em consonância com os objetivos e a missão da instituição. Considerou-se um ambiente organizacional no qual os objetivos e a missão institucional estivessem previamente definidos.

A presente pesquisa contribui para estimular a prática de métodos de análise multicritério de decisão por gestores de empresas públicas e privadas para lidar com problemas complexos de decisão em projetos de pesquisa. A questão levantada pela atual pesquisa foi a seguinte: Como priorizar e selecionar os projetos de pesquisa mais alinhados aos objetivos da instituição através dos métodos de Apoio Multicritério à Decisão (AMD)? As seções seguintes descrevem o referencial teórico que serviu de base para o desenvolvimento desta pesquisa, a metodologia utilizada, o resultado da aplicação do modelo e as considerações finais.

2 Referencial teórico

2.1 Apoio multicritério à decisão

Os primeiros métodos científicos de apoio à decisão foram criados a partir da década de 1970. Tais métodos surgiram da necessidade de incorporar as várias dimensões de um problema, as quais envolviam tanto aspectos quantitativos quanto qualitativos do processo de tomada de decisão. Esses métodos consideram a subjetividade do tomador de decisão e permitem avaliar as alternativas com base na modelagem das preferências dos decisores para o alcance de uma solução satisfatória (Gomes et al., 2004).

A utilização dessa metodologia permite lidar com a complexidade do problema de uma forma mais simples. Além disso, favorece a comunicação entre as pessoas envolvidas e aumenta a credibilidade da decisão, graças à transparência da tomada de decisão, uma vez que as preferências dos agentes de decisão são externadas, levando-os a uma relação de compromisso no processo decisório (Gomes et al., 2002).

De acordo com Vincke (1992), especialistas em AMD classificaram os métodos AMD em três grandes famílias: Teoria da Utilidade Multiatributo, Métodos de Subordinação e Métodos Interativos. As duas primeiras famílias são conhecidas como escola americana e escola francesa, respectivamente. Observa-se em Gomes et al. (2002) que essas escolas se diferenciam pela estrutura de preferências em que se baseiam. Tais estruturas resultam da combinação de relações de preferências estabelecidas e de suas propriedades.

De acordo com os autores referidos, os métodos da escola americana se apoiam numa estrutura relacional de preferência que não admite a incomparabilidade e permite a transitividade na relação de preferência. Isso torna possível a agregação dos desempenhos das alternativas obtidos nos vários critérios num único valor, critério único e síntese. Os métodos da escola francesa admitem a incomparabilidade. Tais métodos se aplicam à situação na qual se necessita incorporar limites de tolerância para representar a hesitação do decisor na emissão de suas preferências.

Em relação aos Métodos Interativos, por outro lado, Roy & Slowinski (2013) mencionam que eles contemplam duas fases: cálculo e diálogo. A fase de diálogo permite ao tomador de decisão fornecer suas preferências caso não concorde com o resultado, repetindo-se o ciclo até que se encontre um resultado que o satisfaça.

Segundo Roy (2005), na prática, a aplicação do AMD atende às seguintes problemáticas: problema de escolha, problema de classificação e problema de ordenação. Pode haver uma dependência entre essas problemáticas (Gomes et al., 2004). Tal situação se assemelha a este trabalho, o qual consistiu no problema de ordenação das alternativas, da melhor à pior, em função da contribuição dos projetos de pesquisa no atendimento dos objetivos institucionais e de qualidade das pesquisas. O resultado garantiu aos gestores uma escolha satisfatória de um conjunto de alternativas potenciais.

Foram encontradas na literatura pesquisada várias aplicações recentes em seleção de projetos. Como exemplo, pode-se citar o trabalho de Lima et al. (2014), que utilizaram o método Preference Ranking Organization Method for Enrichment Evaluations I (PROMETHEE I) visando priorizar os projetos numa empresa de saneamento e tratamento de águas. Também, os autores López & Almeida (2014) aplicaram o método PROMETHEE V para seleção de portfólio de projetos do setor elétrico, caracterizado por um problema de ordenação. Em ambas as aplicações levaram em conta a racionalidade não compensatória da decisão existente no problema.

De acordo com Silva et al. (2014), os métodos compensatórios permitem que uma má avaliação obtida pela alternativa em algum critério seja compensada em outros. Destaca-se ainda, a aplicação de outro método da mesma família PROMETHEE, o PROMETHEE II, empregado por Araújo & Almeida (2009) na seleção de investimentos em petróleo e gás para atender um problema de ordenação. Tais métodos não se aplicam ao presente trabalho, no qual há necessidade de se fazer uma abordagem compensatória na mensuração dos critérios.

Acrescenta-se, também, a aplicação do método Analytic Network Process (ANP) por Ivanović et al. (2013) na seleção de projetos na área de transportes, considerando as interações e correlações entre os elementos existentes no problema de decisão. O mesmo método foi usado por Cheng & Li (2005) para ordenação e seleção de projetos na área de construção. Também levaram-se em conta as interdependências existentes no problema, diferentemente do problema em questão, no qual os critérios são independentes.

Neves et al. (2015) apontaram o AHP como o método multicritério mais utilizado na área de planejamento e gestão da indústria de petróleo e gás. Méxas et al. (2013) adotaram o AHP para a seleção dos sistemas integrados de gestão (ERP) e constataram que esse método é um dos mais utilizados na seleção de sistemas ERP. Outro exemplo é o da aplicação do AHP com programação inteira por Padovani et al. (2010) na seleção e alocação de recursos para o portfólio de projetos no setor químico. A integração dos dois métodos ajudou no alinhamento do portfólio, na priorização dos projetos e na alocação dos recursos. Os autores alertam sobre a inviabilidade do método para problema que apresente um número elevado de alternativas, presente na problemática deste trabalho.

Entretanto, Saaty (2005) sugere a adoção do AHP mesclando-se a mensuração relativa com a mensuração absoluta para tratar uma grande quantidade de alternativas. Essa solução atendeu à problemática deste trabalho, permitindo mensurar de forma compensatória os critérios qualitativos e avaliar as alternativas em cada critério com valores absolutos. A seção seguinte apresenta uma breve descrição desse método.

2.1.1 O método AHP

O método AHP foi criado na década de 1970 por Thomas L. Saaty. Esse método consiste na criação de um modelo que reflete o funcionamento da mente humana na avaliação das alternativas diante de um problema complexo de decisão. Além disso, o método permite lidar com problemas que envolvem tantos valores tangíveis como intangíveis, graças a sua capacidade de criar medidas para as variáveis qualitativas, com base em julgamentos subjetivos emitidos pelos decisores (Saaty, 1991). De acordo com Paoli & Moraes (2011), o método AHP permite medir o impacto dos diferentes critérios considerados no problema decisório em relação ao objetivo geral. É um dos métodos mais conhecidos e utilizados da escola americana (Gomes et al., 2002).

De acordo com Saaty (1990), o AHP permite modelar o problema de decisão em uma estrutura hierárquica. Tal modelo, partindo do objetivo principal, se decompõe em vários critérios, formando uma nova camada. Cada critério de um mesmo nível pode ser composto em dois ou mais critérios, e assim sucessivamente, tornando mais fácil o tratamento e a compreensão do problema. Cada critério posicionado na extremidade inferior da estrutura, ou seja, critério-folha, é decomposto em alternativas. Isso permite que cada alternativa seja avaliada à luz de cada critério-folha. Recomenda-se um número reduzido de níveis e critérios de modo a não comprometer a compreensão do problema (Gomes et al., 2004). A Figura 1 mostra a estrutura hierárquica do AHP.

Figura 1
Estrutura hierárquica do AHP. Fonte: Adaptado de Saaty (1990, 1991).

Uma vez estruturado o problema, realiza-se a coleta de julgamento das preferências dos decisores. Nesse caso, todos os critérios imediatamente subordinados a um mesmo critério são organizados numa matriz quadrada, de forma que eles possam ser comparados pelos decisores, conforme a representação genérica mostrada na Tabela 1.

Tabela 1
Matriz de julgamento à luz de um determinado critério imediatamente superior.

	C1	C2	...	Cn
C1	a11	a12	...	a1n
...	...	...	...	...
Cn	an1	an2	...	ann

• Fonte: Adaptado de Vargas (2010).

A Tabela 1 mostra uma matriz quadrada de ordem n, cujos critérios são representados por C₁ a C_n. Os julgamentos entre os critérios formam uma matriz A = (a_ij), onde as posições de linha (i) e coluna (j) variam de 1 a n. O julgamento a_ij segue as seguintes regras:

• Regra 1: Se a_ij = α, então a_ji = 1/α, α ≠ 0, onde α é o valor numérico do julgamento baseado na escala de Saaty (1991), apresentada no Quadro 1. Logo, temos a_ji = 1/a_ij.

  Quadro 1
  Escala de importância utilizada no julgamento do AHP.
  

  Grau de importância		Explicação
  Escala numérica	Escala conceitual
  1	Igual	Os dois elementos comparados contribuem igualmente para o objetivo.
  3	Moderada	O elemento comparado é ligeiramente mais importante em relação ao outro.
  5	Forte	A experiência e o julgamento favorecem fortemente o elemento em relação ao outro.
  7	Muito forte	O elemento comparado é muito mais forte em relação ao outro e tal importância pode ser observada na prática.
  9	Absoluta	O elemento comparado possui o mais alto nível de evidência possível a seu favor.
  2, 4, 6, 8	Valores intermediários entre dois julgamentos, utilizados quando o decisor sentir dificuldade para o escolher entre dois graus de importância adjacentes.

  • Fonte: Adaptado de Saaty (1990, 1991).

• Regra 2: Se C_i é julgado de igual importância relativa a C_j, então a_ij = 1 e a_ji = 1; e, em particular, a_ij = 1, i = j, i = 1, 2, ..., n.

Ao se comparar o critério C_i e C_j, deve-se primeiro identificar qual o elemento mais importante. E, em seguida, o quanto ele é o mais importante. Caso C_i seja mais importante do que C_j, então a_ij = α e a_ji = 1/α. Caso contrário, a_ij = 1/α e a_ji = α.

Conforme Saaty (1991), após se realizar o julgamento, calcula-se a prioridade média local (PL). O valor da PL determina a importância de cada critério em relação ao critério superior imediato. O cálculo das PL dos elementos (critérios ou alternativas) representados na matriz de julgamento pode ser realizado através do método exato ou aproximado (Saaty, 1991). De acordo com Vargas (2010), o método aproximado é tão eficiente quanto o exato, porém de implementação mais simples. O cálculo das PL utilizando o método aproximado é mostrado na Tabela 2, na qual se nota que o cálculo atribuído a w₁, w₂, ..., w_n representa, respectivamente, a PL do critério C₁, C₂, ..., C_n.

Tabela 2
Cálculo das prioridades médias locais em relação a determinado critério imediatamente superior.

	C1	C2	...	Cn	PL’s
C1	w11= a11 / t1	w12=a12 / t2	...	w1n=a1n / tn	w1=(w11+...+w1n)/ n
C2	w21=a21 / t1	w22 =a22 / t2	...	w2n=a2n / tn	w2=(w21+...+w2n)/ n
...	...	...	...	...	...
Cn	wn1=an1 / t1	wn2 = an2 / t2	...	wnn=ann / tn	wn=(wn1+...+wnn)/ n

• t_j = o total da coluna j da matriz de origem dos julgamentos A = (a_ij), j, i = 1, ..., n. Fonte: Adaptado de Vargas (2010).

Saaty (1991) verificou que uma matriz de julgamento recíproca e positiva A = (a_ij) cujos julgamentos emitidos pelos decisores são considerados perfeitos gera uma matriz consistente, onde a_ik = a_ij . a_jk, i, j, k = 1, 2, ..., n. A ocorrência desta situação satisfaz Equação 1:

$Aw=nw$ (1)

em que: w é o autovetor de A, que corresponde ao vetor de prioridades (w₁, w₂, ..., w_n); e n é o maior autovalor de A, cujo valor é o número de ordem da matriz de julgamentos.

Entretanto, de acordo com Saaty (1991), na prática pode haver inconsistências nos julgamentos. O referido autor observou que pequenas variações em a_ij refletem no autovalor. O desvio do autovalor em relação à ordem da matriz serve de indicador para determinar a proximidade da consistência. Sendo assim, Saaty (1991) propôs o cálculo da razão de consistência – Consistency Ratio (CR) – admitindo uma tolerância de 10%. Para valores acima desse, o julgamento deve ser refeito.

O passo seguinte consiste em verificar a consistência dos julgamentos. Vargas (2010), baseando-se na proposta de Saaty, adota os seguintes passos para o cálculo do CR: por meio da Equação 2, abaixo, calcula-se o maior autovalor da matriz de julgamento (𝛌_Max).

${\lambda }_{Max}={\displaystyle \sum }_{j=1}^n{t}_j.w_j$ (2)

em que: t_j é o total dos julgamentos do critério representado pela coluna j da matriz original de julgamentos (Tabela 1); e w_j é a prioridade do mesmo critério, associado a linha j da matriz normalizada (Tabela 2).

Conforme a Equação 3, calcula-se o índice de consistência – Consistency Index (CI), como segue.

$CI=\frac{{\lambda }_{Max}-n}{n-1}$ (3)

em que: n é o número de ordem da matriz de julgamento.

A seguir, como demonstra a Equação 4, calcula-se a razão de consistência (CR).

$CR=\frac{CI}{RI}$ (4)

em que Random Index (RI) é o índice de consistência de uma matriz recíproca gerado randomicamente pelo laboratório Oak Ridge, como se observa na Tabela 3. A ordem da matriz (n) determina o índice a ser aplicado.

Tabela 3
Tabela de índices de consistência aleatória.

n	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15
RI	0,00	0,00	0,58	0,90	1,12	1,24	1,32	1,41	1,45	1,49	1,51	1,48	1,56	1,57	1,59

• Fonte: Saaty (1991).

Segundo Vargas (2010), após calcular as PL dos critérios, calcula-se a prioridade global (PG) de cada critério. A PG de cada critério é calculada multiplicando-se sua própria PL pelas demais PL dos critérios hierarquicamente superiores. A PG encontrada determina a contribuição relativa do critério para se alcançar o objetivo principal.

Conforme Vargas (2010) adota-se o mesmo procedimento de cálculo de PL para as alternativas. Nesse caso, realiza-se a comparação entre o grau de importância entre as alternativas em relação a cada critério-folha e determinam-se suas PL. Finalmente, a PG de cada alternativa resulta no somatório dos produtos da PL relativa a cada critério-folha pela PG desse critério. Os valores da PG, gerados pelo AHP, determinam o fator percentual de importância dos critérios e alternativas para se alcançar o objetivo principal com base nas preferências dos agentes de decisão. Um exemplo do modelo clássico da aplicação do AHP pode ser visto em Vargas (2010).

2.1.2 O método AHP: mensuração relativa com absoluta

Segundo Saaty (2005), o método AHP se torna inviável para problemas que envolvam um grande número de alternativas, o que implica um maior número de comparações entre as alternativas em cada critério. Para solucionar tal problema. o referido autor sugere a utilização da mensuração absoluta combinada com a mensuração relativa do AHP.

Ainda, segundo Saaty (1990), a mensuração absoluta é aplicada quando se pretende mensurar os elementos em cada critério com base numa escala conceitual. Primeiramente deve-se estabelecer a escala conceitual como, por exemplo: excelente, muito bom, bom, médio, regular e péssimo.

De acordo com o referido autor, após a escala nominal a ser considerada em cada critério ser definida, devem-se mensurar as escalas em função da importância para o critério relacionado. Na mensuração das escalas adota-se o mesmo procedimento de julgamento e cálculo de PL.

Nesse caso, segundo Saaty (1990), ao se montar a matriz de julgamento os elementos da escala devem ser organizados do melhor para o pior, dispondo-os nas colunas da esquerda para direita e nas linhas de cima para baixo. A PL gerada para cada elemento da escala nominal é usada na conversão dela para o seu valor numérico. Esse é o valor absoluto a ser atribuído na avaliação do critério para a alternativa.

Conforme Saaty (1990) a mensuração global de cada alternativa é resultante do produto da PG do critério-folha – dada pela mensuração relativa do AHP – pela mensuração absoluta da alternativa no respectivo critério. O desempenho da alternativa determina a sua prioridade. Quanto maior for o seu desempenho, melhor é a alternativa. Isto permite gerar um ranking descendente de prioridades das alternativas.

2.2 Gerenciamento de portfólio de projetos

Os primeiros projetos datam de tempos remotos. No entanto, somente a partir da década de 1940 se observou a necessidade do emprego de maiores esforços de planejamento em projetos, devido à crescente incerteza e maiores custos de oportunidade na alocação de capital aos novos empreendimentos (Kerzner, 2009). Seu uso se acentuou a partir da década de 1990, motivado pela necessidade de responder de forma mais rápida e eficaz ao menor ciclo de vida dos produtos, à evolução tecnológica e à maior competição no mercado. Ao final da década de 1990, com o aumento tanto da quantidade quanto da complexidade do escopo dos projetos, as organizações passaram a se preocupar com o alinhamento dos projetos aos objetivos das organizações, crescendo a importância atribuída à gestão de portfólio de projetos (Carvalho et al., 2013).

O Project Management Institute (2013) conceitua o portfólio de projetos como uma coleção de projetos ou programas, de modo a permitir um gerenciamento eficaz, cujo foco consiste na análise e manutenção do portfólio. A manutenção busca a identificação, priorização e autorização de projetos, a fim de melhor alocar os recursos e garantir um portfólio consistente e alinhado às estratégias organizacionais. Os objetivos são fontes direcionadoras na tomada de decisão, devendo ser considerados na composição do portfólio de projetos (Meskendahl, 2010; Bond et al., 2008).

Conforme Meskendahl (2010), a seleção de projetos para compor o portfólio vem sendo crescentemente auxiliada por métodos de apoio à decisão, dada a complexidade e a amplitude das variáveis envolvidas. O emprego de tais métodos, como sustenta Vargas (2010), garante que os recursos disponíveis sejam alocados nas propostas mais alinhadas aos objetivos institucionais.

2.3 Critérios de avaliação considerados em projetos de pesquisa científica

A pesquisa científica é fundamental para o crescimento econômico e o desenvolvimento social. O governo brasileiro, em suas esferas federal e estadual, é o maior responsável pelas atividades de pesquisa científica e tecnológica no Brasil, ações implementadas através das agências de fomento à pesquisa (Alves et al., 2015).

Entretanto, o considerável aumento verificado nas atividades de pesquisa, tanto de organizações públicas como privadas, requer a utilização de um sistema de avaliação, devido aos limitados recursos de fomento disponíveis. Tal sistema serve tanto para justificar as escolhas dos gestores em relação à alocação de investimentos na área de pesquisa, como para assegurar à sociedade uma boa destinação dos recursos públicos, permitindo maior transparência nas decisões tomadas (Francisco, 2002). Segundo Rodrigues (2011) e Moreira & Velho (2008), tais agências têm valorizado os aspectos quantitativos na avaliação. Torna-se, portanto, necessário dar mais atenção aos aspectos qualitativos da produção do conhecimento, permitindo o investimento em projetos de maior qualidade.

Segundo Francisco (2002), na seleção de projetos de pesquisa deve-se considerar como importante no projeto proposto seu impacto no setor produtivo, motivado por alguns aspectos como a inovação gerada e o potencial de orientar novas políticas públicas. Francisco (2002) não negligencia em sua análise a importância de outros critérios, como o impacto social, a capacidade de gerar novas oportunidades de trabalho, de geração de novas competências e de reutilização do conhecimento gerado pela pesquisa em disciplinas acadêmicas e nas organizações. E, ainda no aspecto social, Francisco (2002) também ressalta os aspectos ambientais, como critérios que incorporem a capacidade de adoção de tecnologias limpas.

Trata-se de um tema que está longe de ser consenso. Em visões menos recentes, é comum encontrar em autores como Tuncer (1975) a percepção de que a pesquisa científica, mesmo que não gere inovações para o setor produtivo, tem sua utilidade quando serve de fonte de informações para a comunidade científica e técnica. Mesmo atualmente há autores que defendem essa visão. Andrade (2010), por exemplo, aponta que mesmo que a pesquisa não seja inovadora, deve trazer algum enfoque ou esclarecimento de algum assunto. Para Andrade (2010), deve-se considerar a viabilidade da pesquisa, a facilidade de acesso ao assunto tratado, a disponibilidade de recursos financeiros e materiais, assim como a adequação ao prazo.

Miranda & Almeida (2004) apresentam uma lista de critérios analisados na avaliação de cursos de pós-graduação pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) na área de Engenharias III, agrupados em seis dimensões de critérios, dentre elas a Atividade de Pesquisa, contemplando os subcritérios: adequação das linhas de pesquisa às áreas de concentração; vínculo entre linhas e projetos de pesquisa; adequação da quantidade de linhas de pesquisa em relação à dimensão do Núcleo de Referência Docente 6 [parcela do corpo docente das instituições de ensino superior com participação representativa nas atividades de docência, pesquisa e orientação, segundo Smit et al. (2002)]; e participação do corpo discente nos projetos de pesquisa.

De acordo com Santana (2009), na avaliação da pesquisa devem-se considerar critérios tais como: contribuição para o avanço do conhecimento e desenvolvimento tecnológico; atendimento aos problemas nacionais, regionais e locais; formação de pesquisadores e qualificação de profissionais para o mercado; motivação para busca da excelência científica, propagação da ciência, garantia da hegemonia científica do país; influenciar a sociedade, em sua concepção de vida, comportamentos, valores e cultura. Já Luiz (2006) leva em conta os critérios relacionados ao perfil e a capacidade produtiva do pesquisador, tais como: titulação, tempo de magistério e número de orientações, distinções e prêmios acadêmicos, produção bibliográfica, impacto da produção bibliográfica, trabalhos técnicos e participação em bancas.

Tal conjunto de aspectos norteou a adequação dos critérios junto aos membros da comissão encarregada de acompanhar a modelagem de decisão proposta neste trabalho. O modelo proposto será discutido adiante.

3 Metodologia

A metodologia utilizada neste trabalho fundamentou-se no método multicritério AHP mensuração relativa combinada com a mensuração absoluta. Uma das motivações para o uso do AHP foi a facilidade que proporciona na mensuração de todas as variáveis do problema. Outra motivação para a sua adoção foi sua capacidade de estruturar o problema hierarquicamente, o que permitiu mensurar de forma compensatória os critérios em função de sua contribuição para o objetivo principal. Isso possibilitou expressar melhor o problema em questão, que consistia na priorização de projetos que estivessem mais alinhados com os objetivos da instituição e com os requisitos exigidos por cada projeto de pesquisa. O modelo proposto para a seleção de projetos de pesquisa científica do IF Fluminense compreendeu os passos apresentados a seguir.

3.1 Identificação dos critérios

Com a pesquisa documental, conheceram-se os critérios já utilizados na avaliação de pesquisas. Observou-se que os critérios já existentes, apesar de alinhados aos objetivos, não apresentavam definição clara dos aspectos a considerar na avaliação e, além disso, que tanto os critérios relacionados aos aspectos técnicos da pesquisa quanto os critérios relacionados aos objetivos da instituição eram avaliados num mesmo nível. Isso poderia ocasionar conflitos e inconsistência na avaliação final dos projetos. Para resolver esse problema, criaram-se dois grupos de critério: critérios para o alinhamento aos objetivos institucionais; e critérios específicos para avaliação da pesquisa científica. Definiram-se, também, os aspectos a serem analisados para cada critério.

É importante frisar o papel da comissão constituída para monitorar e validar o processo de adequação dos critérios e de seus aspectos ao método AHP. Os dados provenientes das entrevistas não estruturadas foram cruzados com outras informações extraídas da pesquisa documental, o que permitiu a construção e a triangulação das evidências traduzidas pelo estudo de caso. Os membros integrantes da comissão interna da instituição tiveram acesso aos resultados para comentários e validação, tanto da fase de readequação dos critérios e de seus aspectos, quanto dos resultados da pesquisa.

Os dois grupos de critérios dividiram o processo de seleção em duas etapas. A primeira, com base no primeiro grupo, visou filtrar os projetos mais alinhados aos objetivos institucionais. A segunda visou selecionar, dentre os projetos aprovados na primeira fase, aqueles mais adequados aos requisitos da pesquisa científica.

3.2 Aplicação do AHP para mensuração dos critérios e aspectos

A mensuração dos critérios e aspectos é obtida através do cálculo de prioridades do AHP com base no julgamento dos decisores. Para facilitar, utilizou-se uma planilha eletrônica de dados previamente configurada para cada etapa de seleção, a fim de processar todas as etapas necessárias ao AHP.

Primeiramente, organizou-se cada grupo de critérios na hierarquia do AHP. Para facilitar as comparações durante o julgamento, elaborou-se uma estrutura com 3 camadas e no máximo 6 elementos subordinados para cada critério.

A coleta de julgamentos foi registrada na própria planilha. O registro foi realizado por um dos autores deste trabalho, o qual teve o papel de facilitador, não interferindo no processo decisório. A cada julgamento, os cálculos de prioridades, locais, globais e de consistência eram realizados automaticamente. Isso permitiu ao grupo de decisores refletir e refazer seus julgamentos. O julgamento foi realizado através do consenso obtido pelos membros da comissão e, posteriormente, homologado pela Câmara de Pesquisa do IF Fluminense.

3.3 Elaboração dos modelos das fichas de avaliação individual dos projetos

A composição da ficha de avaliação do projeto de pesquisa para cada etapa se baseou no seu grupo de critérios. Cada item de avaliação correspondeu ao critério/aspecto folha da hierarquia do AHP. Sendo assim, o peso gerado para o critério/aspecto folha determinou o peso da questão. Nessa etapa foram definidas as escalas nominais a serem utilizadas pelos avaliadores como respostas optativas para cada item. Para alguns aspectos que possuíam natureza quantitativa, foi criada uma tabela de conversão atendendo ao contexto de pesquisa da instituição. Tal tabela foi definida pela comissão e homologada pela câmara de pesquisa. A tabela foi anexada à ficha de avaliação, visando sua consulta pelo avaliador.

3.4 Aplicação do AHP na mensuração das escalas nominais

Para cada estrutura de critérios, aplicou-se o método AHP para determinar o grau de importância de cada escala nominal, utilizada como resposta optativa em relação ao critério-folha, que corresponde ao item da ficha de avaliação. Os valores nominais de cada escala foram dispostos numa matriz quadrada, do melhor ao pior: nas linhas, de cima para baixo, e, nas colunas, da esquerda para direita. Através dessa matriz realizou-se o julgamento dos valores nominais à luz do critério-folha relacionado e determinaram-se suas prioridades médias locais e a consistência do julgamento.

O julgamento foi realizado por um dos autores deste artigo, sendo homologado posteriormente pela comissão e pela câmara de pesquisa. Também, todos os procedimentos necessários ao cálculo foram desenvolvidos e integrados na planilha eletrônica de dados. O valor da prioridade calculada para cada escala corresponde ao valor absoluto a ser atribuído ao critério na ocasião da avaliação do projeto, com base na avaliação conceitual do decisor.

3.5 Avaliação individual das propostas de projetos

A avaliação dos projetos foi realizada com base nas duas fichas de avaliação, uma para cada etapa. O procedimento de avaliação foi gerenciado pela própria área de pesquisa. Essa se responsabilizou pelo envio eletrônico das fichas de avaliação para os avaliadores, juntamente com a proposta de projeto. Terminado o período de avaliação, a área de pesquisa transportou as respostas de cada etapa de avaliação para as respectivas planilhas eletrônicas de dados. Tais planilhas foram previamente configuradas e integradas ao cálculo das mensurações dos critérios/aspectos e das escalas nominais geradas pelo método AHP.

As planilhas das duas etapas foram programadas para atribuir os valores absolutos associados às respostas nominais dos avaliadores. Sendo assim, para cada planilha calculou-se automaticamente o valor do projeto relativo a cada critério através do produto da mensuração relativa desse pelo valor absoluto atribuído à alternativa no critério. Em seguida, calculou-se o desempenho global do projeto somando-se os produtos obtidos em cada critério.

3.6 Priorização e seleção dos projetos alinhados aos objetivos institucionais

Baseando-se nos desempenhos dos projetos calculados na planilha de respostas da avaliação quanto aos objetivos institucionais, realizou-se a ordenação descendente por desempenho. Sendo assim, ficaram mais próximos ao topo da lista os projetos mais aderentes aos objetivos institucionais. Os piores projetos aparecem no final da lista. A ordenação foi feita através da funcionalidade presente na planilha eletrônica de dados.

3.7 Priorização e seleção de projetos mais aderentes aos requisitos da pesquisa científica

Nessa etapa eliminaram-se os piores projetos analisados no ranking anterior. Foi feita a ordenação descendente do desempenho obtido em relação aos critérios da pesquisa científica. Os gestores escolheram os projetos que atenderam satisfatoriamente aos critérios de avaliação da pesquisa científica, assim como ao alinhamento institucional, visando a alocação de bolsas de pesquisa.

4 Resultados

O modelo proposto foi aplicado no IF Fluminense. O IF Fluminense exerce atividades de ensino, pesquisa e extensão visando contribuir para o desenvolvimento econômico e social da região. Tem como missão desenvolver uma educação comprometida com as necessidades da sociedade, além de promover o avanço científico e tecnológico de modo sustentável. A atividade de pesquisa é exercida pela Pró-Reitoria de Pesquisa e Inovação. Esse órgão centraliza a administração das atividades e políticas de pesquisa, articuladas com a pesquisa e extensão, e promove ações de fomento à pesquisa, ciência, tecnologia e inovação. A Pró-Reitoria de Pesquisa e Inovação tem como uma das atribuições a seleção de projetos de pesquisa que concorrem às bolsas de iniciação científica.

Tal processo de seleção obedece às normas prescritas no Programa de Bolsas Institucionais de Incentivo à Pesquisa e ao Empreendedorismo no IF Fluminense. Esse programa visa incentivar a pesquisa e o empreendedorismo através de bolsas concedidas pelos órgãos de fomento à pesquisa ou por meio de recursos financeiros da própria instituição.

Porém, o problema tratado limita-se à seleção de novos projetos de pesquisa básica e aplicada. Esses projetos concorrem às bolsas do Programa de Bolsas Institucionais de Incentivo à Pesquisa e ao Empreendedorismo do IF Fluminense. Mais especificamente, dentro do Programa Institucional de Bolsas de Iniciação Científica (PIBIC) e do Programa Institucional de Bolsas de Iniciação em Desenvolvimento Tecnológico e Inovação (PIBITI), outorgadas pelo IFF com recursos próprios ou provenientes do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq).

O processo de seleção acontece anualmente e se inicia através de edital. Durante o período de submissão de projetos, previsto no edital, o pesquisador preenche o formulário de proposta do novo projeto e o encaminha pelo Sistema de Submissão Eletrônica de Projeto de Pesquisa do IFF (SiSEP-IFF) para a Pró- Reitoria de Pesquisa e Inovação.

Ao término do período de submissão de projetos, tais projetos são submetidos à avaliação por avaliadores internos e externos. Os avaliadores são convidados pela Câmara de Pesquisa do IF Fluminense. Terminado o período de avaliação, a câmara escolhe os projetos para alocação das bolsas de pesquisa, respeitando a pontuação total obtida na avaliação e o limite de bolsas disponíveis, incluindo-os no portfólio.

Entretanto, a instituição carecia de uma forma mais sistematizada para apoiar o processo de seleção de um grande número de projetos de pesquisa propostos pelos pesquisadores oriundos de diversos campi, cujos projetos concorrem ao número limitado de bolsas ofertadas pelo IF Fluminense. Para auxiliar nesse problema aplicou-se o método AHP, combinando a mensuração relativa com a absoluta.

A aplicação do método iniciou-se com a identificação dos critérios, a qual resultou em dois grupos de critérios constantes, respectivamente, nos Quadros 2 e 3. Os dois grupos de critérios atendem às duas etapas de seleção. A primeira etapa visa selecionar os projetos mais alinhados aos objetivos institucionais. A segunda, objetiva a seleção dos projetos mais alinhados aos requisitos exigidos pela pesquisa científica da instituição.

Quadro 2
Representação na hierarquia AHP dos critérios para avaliação dos projetos de pesquisa em relação à contribuição nos objetivos institucionais.

Objetivo principal (Obj#1)	Critérios	Aspectos	Código do aspecto
Pesquisa comprometida com o desenvolvimento local e regional	Avanço científico e tecnológico	Proporciona novos conhecimentos (novas leis, teorias, conceitos, modelos) científicos/tecnológicos ou novo enfoque a partir de conhecimentos anteriores.	Obj#1_1
		Proporciona a criação e/ou melhoramento de métodos, processos, produtos, materiais e /ou de serviços novos, potencialmente aplicáveis nos setores econômicos, políticos e/ou sociais.	Obj#1_2
		Estimula formação de competências em pesquisa através da participação de bolsistas de iniciação científica, pessoal de nível técnico e superior, mestrandos, doutorandos, mestres, doutores e pós-doutores.	Obj#1_3
	Compromisso social	Estimula novas oportunidades de trabalho, estágios, cursos, produtos e serviços, desenvolve habilidades profissionais dos servidores e alunos e contribui para a formação da consciência crítica do cidadão.	Obj#1_4
		Colabora direta ou indiretamente para o desenvolvimento sustentável, adotando e/ou estimulando práticas sustentáveis do ponto de vista ambiental, econômico e social.	Obj#1_5
	Articulação com ensino, pesquisa e extensão	Prevê articulação entre as atividades de ensino, pesquisa e extensão desenvolvidas no IF Fluminense.	Obj#1_6
		Prevê aplicação do conhecimento resultante da pesquisa na solução de problemas da sociedade.	Obj#1_7
	Vinculação com as áreas de pesquisa do IFF	A área de pesquisa do projeto corresponde a uma das áreas de pesquisa prioritárias do IF Fluminense.	Obj#1_8
		Há coerência do tema com as linhas de pesquisa no núcleo de pesquisa ao qual o projeto está associado.	Obj#1_9

• Fonte: Elaborado pelos autores.

Quadro 3
Representação na hierarquia AHP dos critérios de avaliação dos projetos em relação aos requisitos exigidos para cada pesquisa científica.

Objetivo principal (Obj#2)	Critérios	Aspectos	Código do aspecto
Avaliação da pesquisa científica	Originalidade da pesquisa	Trata-se de novo tema ou discute uma nova abordagem referente a um tema já existente.	Obj#2_1
	Qualidade técnica do projeto	Clareza na definição do problema.	Obj#2_2
		Adequação metodológica.	Obj#2_3
		Embasamento teórico.	Obj#2_4
		Procedimentos de divulgação e apropriação dos resultados pela sociedade.	Obj#2_5
	Qualidade de redação e organização e organização do texto	Ortografia	Obj#2_6
		Gramática	Obj#2_7
		Clareza	Obj#2_8
		Objetividade	Obj#2_9
		Estrutura formal	Obj#2_10
	Adequação entre o plano de atividades do(s) aluno(s) bolsista(s) e os objetivos e cronograma do projeto	Alinhamento das atividades com os objetivos do projeto.	Obj#2_11
		Adequação das atividades a serem desempenhadas pelo(s) aluno(s) bolsista(s) ao cronograma de execução do projeto.	Obj#2_12
	Viabilidade da execução do projeto	Disponibilidade de recursos materiais.	Obj#2_13
		Apoio financeiro por outra instituição de fomento.	Obj#2_14
		Dimensionamento do cronograma.	Obj#2_15
	Produtividade científica e tecnológica do pesquisador na área temática do projeto, segundo o CV Lattes	Titulação	Obj#2_16
		Publicações (artigo em periódicos indexados, livro ou coletânea, capítulo de livro) ou patente depositada.	Obj#2_17
		Publicação em anais de congressos/eventos.	Obj#2_18
		Orientações de IC e TCC (graduação e pós-graduação lato sensu).	Obj#2_19
		Orientações de mestrado e doutorado.	Obj#2_20
		Participação em bancas (TCC, mestrado e doutorado).	Obj#2_21

• Fonte: Elaborado pelos autores.

Portanto, o agrupamento dos critérios de avaliação permitiu uma avaliação mais consistente e garantiu a qualidade na decisão. Também, a definição dos aspectos para cada critério permitiu uma padronização e uma compreensão comum entre diferentes pessoas, evitando pareceres diferentes.

Na segunda etapa da aplicação procurou-se mensurar os critérios e aspectos. Os pesos gerados pelo AHP para cada grupo de critérios, com base nos julgamentos emitidos pelos decisores da área de pesquisa, podem ser vistos nos Quadros 4 e 5. Em decorrência da experiência e do conhecimento desses na área, tal julgamento pôde ser facilmente desempenhado, permitindo gerar um resultado satisfatório, tendo em vista os objetivos desejados.

Quadro 4
Peso dos critérios e escalas utilizados na avaliação dos projetos em relação à contribuição para os objetivos institucionais.

Objetivo principal: Pesquisa comprometida com o desenvolvimento local e regional (RC = 0,00)
Critérios/Aspectos	Peso	Item de avaliação	Pesos das opções de resposta
Avanço científico e tecnológico peso = 0,3507 (RC = 0,03)
Obj#1_1 (RC = 0,00)	0,1992	1,1	muito		satisfatoriamente		pouco	nada
			0,5375		0,3027		0,1055	0,0543
Obj#1_2 (RC = 0,00)	0,0344	1,2	muito		satisfatoriamente		pouco	nada
			0,5375		0,3027		0,1055	0,0543
Obj#1_3 (RC = 0,00)	0,1171	1,3	muito		satisfatoriamente		pouco	nada
			0,5375		0,3027		0,1055	0,0543
Compromisso social peso = 0,3507 (RC = 0,00)
Obj#1_4 (RC = 0,00)	0,2630	2,1		muito		satisfatoriamente	pouco	nada
				0,5375		0,3027	0,1055	0,0543
Obj#1_5 (RC = 0,00)	0,0877	2,2		muito		satisfatoriamente	pouco	nada
				0,5375		0,3027	0,1055	0,0543
Articulação com ensino, pesquisa e extensão peso = 0,1892 (RC = 0,00)
Obj#1_6 (RC = 0,00)	0,1419	3,1		muito		satisfatoriamente	pouco	nada
				0,5375		0,3027	0,1055	0,0543
Obj#1_7 (RC = 0,00)	0,0473	3,2		muito		satisfatoriamente	pouco	nada
				0,5375		0,3027	0,1055	0,0543
Vinculação com as áreas de pesquisa do IFF peso = 0,1093 (RC = 0,00)
Obj#1_8 (RC = 0,00)	0,0364	4,1		sim		Não
				0,9000		0,1000
Obj#1_9 (RC = 0,00)	0,0729	4,2		alta		Média	baixa	nenhum
				0,5375		0,3027	0,1055	0,0543
Total	1,0000

• Fonte: Elaborado pelos autores.

Quadro 5
Peso dos critérios e escalas utilizados na avaliação dos projetos em relação aos requisitos exigidos para cada pesquisa científica.

Objetivo principal: Avaliação da pesquisa científica (RC = 0,01)
Critérios/Aspectos	Peso	Item de avaliação	Pesos das opções de resposta
Originalidade da pesquisa peso = 0,0580
Obj#2_1 (RC=0,00)	0,0580	1,1	sim	parcialmente		Não
			0,7606	0,1577		0,0817
Qualidade técnica do projeto peso = 0,2204 (RC = 0,00)
Obj#2_2 (RC=0,00)	0,0773	2,1	Ótimo	bom		Regular		péssimo
			0,5375	0,3027		0,1055		0,0543
Obj#2_3 (RC=0,00)	0,0773	2,2	Ótimo	bom		Regular		péssimo
			0,5375	0,3027		0,1055		0,0543
Obj#2_4 (RC=0,00)	0,0417	2,3	Ótimo	bom		Regular		péssimo
			0,5375	0,3027		0,1055		0,0543
Obj#2_5 (RC=0,00)	0,0241	2,4	Ótimo	bom		Regular		péssimo
			0,5375	0,3027		0,1055		0,0543
Qualidade de redação e organização do texto peso = 0,0800 (RC = 0,01)
Obj#2_6 (RC=0,00)	0,0114	3,1	Ótimo	bom		Regular		péssimo
			0,5375	0,3027		0,1055		0,0543
Obj#2_7 (RC=0,00)	0,0114	3,2	Ótimo	bom		Regular		péssimo
			0,5375	0,3027		0,1055		0,0543
Obj#2_8 (RC=0,00)	0,0314	3,3	Ótimo	bom		Regular		péssimo
			0,5375	0,3027		0,1055		0,0543
Obj#2_9(RC=0,00)	0,0186	3,4	Ótimo	bom		Regular		péssimo
			0,5375	0,3027		0,1055		0,0543
Obj#2_10 (RC=0,00)	0,0071	3,5	Ótimo	bom		Regular		péssimo
			0,5375	0,3027		0,1055		0,0543
Adequação entre o plano de atividades do(s) aluno(s) bolsista(s) e os objetivos/cronograma do projeto peso = 0,2106 (RC = 0,00)
Obj#2_11(RC=0,00)	0,1580	4,1	Ótimo	bom		Regular		péssimo
			0,5375	0,3027		0,1055		0,0543
Obj#2_12 (RC=0,00)	0,0527	4,2	ótimo	boa		Regular		péssima
			0,5375	0,3027		0,1055		0,0543
Viabilidade de execução do projeto peso = 0,2106 (RC = 0,01)
Obj#2_13 (RC=0,00)	0,1135	5,1	alta	satisfatória		Baixa
			0,7606	0,1577		0,0817
Obj#2_14 (RC=0,00)	0,0345	5,2	considerável	suficiente		Pouco		nenhum
			0,5375	0,3027		0,1055		0,0543
Obj#2_15(RC=0,00)	0,0626	5,3	ótimo	Bom		Regular		péssimo
			0,5375	0,3027		0,1055		0,0543
Produtividade científica e tecnológica do pesquisador na área temática do projeto, segundo CV Lattes peso = 0,2204 (RC = 0,05)
Obj#2_16(RC=0,03)	0,0264	6,1	Pós-doutorado		Doutorado		Mestrado		Especialização	Graduação
			0,4867		0,2720		0,1370		0,0661	0,0382
Obj#2_17 (RC=0,03)	0,0982	6,2	ótimo		bom		Regular		baixo	Nenhum
			0,4867		0,2720		0,1370		0,0661	0,0382
Obj#2_18 (RC=0,03)	0,0084	6,3	ótimo		bom		Regular		baixo	Nenhum
			0,4867		0,2720		0,1370		0,0661	0,0382
Obj#2_19 (RC=0,03)	0,0311	6,4	ótimo		bom		Regular		baixo	Nenhum
			0,4867		0,2720		0,1370		0,0661	0,0382
Obj#2_20 (RC=0,03)	0,0480	6,5	ótimo		bom		Regular		baixo	Nenhum
			0,4867		0,2720		0,1370		0,0661	0,0382
Obj#2_21 (RC=0,03)	0,0084	6,6	ótimo		bom		Regular		baixo	Nenhum
			0,4867		0,2720		0,1370		0,0661	0,0382
Total 1,0000

• Fonte: Elaborado pelos autores.

Os Quadros 4 e 5 mostram os critérios que fazem parte da primeira camada de critérios na estrutura hierárquica do AHP, com seus respectivos PG gerados pelo AHP. Os Quadros 4 e 5 mostram o código identificador de cada critério-folha, ou seja, de cada aspecto considerado na avaliação de determinado critério. A descrição de tal código identificador pode ser obtida nos quadros anteriores, 2 e 3. A coluna Peso mostra as prioridades globais de cada critério-folha. Os Quadros 4 e 5 mostram também o valor RC calculado com base no julgamento entre os critérios/aspectos imediatamente subordinados ao critério superior para obtenção dos pesos.

Uma vez definidos os critérios e pesos, elaborou-se a ficha de avaliação individual dos projetos para cada etapa de seleção e definiram-se as escalas nominais de cada item. Os itens de cada ficha de avaliação, associados a cada critério-folha, são mostrados na coluna Item de avaliação dos Quadros 4 e 5. Para cada item são listados os elementos das escalas definidas. Tais escalas permitiram a avaliação conceitual do item pelo avaliador, se adequando bem aos critérios qualitativos.

O passo seguinte consistiu em determinar as mensurações das escalas nominais. Para cada grupo de critérios, os Quadros 4 e 5 mostram as mensurações das escalas nominais produzidas pelo AHP. Também, é apresentado o valor da RC gerada no julgamento das escalas relativo a cada aspecto, cujo valor é mostrado ao lado do identificador desse. Observa-se que a maioria dos julgamentos dos critérios/aspectos e escalas apresentados nos Quadro 4 e 5 apresentaram RC igual a zero. Isso demonstra um alto grau de coerência na emissão de julgamentos dos agentes de decisão envolvidos.

A partir das respostas dos avaliadores obtidas através das fichas de avaliação de cada etapa realizou-se o cálculo do desempenho individual de cada projeto. O Quadro 6 mostra o ranking da primeira etapa de todos os projetos. Os projetos considerados como piores na primeira etapa foram eliminados da segunda etapa. Por último, realizou-se a ordenação dos projetos por ordem descendente de desempenho em função aos critérios da pesquisa científica.

Quadro 6
Ordenação dos projetos segundo os dois objetivos.

Obj#1: Alinhamento aos objetivos da instituição (primeiro ranking)			Obj#2: Atendimento aos critérios da pesquisa científica (ranking final)
Projeto	Pontuação do projeto	Ordem	Projeto	Pontuação do projeto	Ordem
3	0,550684	1ª	49	0,511931	1ª.
49	0,550684	2ª	5	0,509791	2ª
2	0,523192	3ª	7	0,481797	3ª.
30	0,480854	4ª	6	0,447083	4ª.
...	...	...	...	...	...
12	0,164049	58º	38	0,163276	51a.
53	0,131822	59º	25	0,150343	52a.
10	0,130795	60º	23	0,129835	53a.
59	0,112414	61º	61	0,114163	54a.

• Fonte: Elaborado pelos autores.

O ranking final, como mostra o Quadro 6, serviu de apoio para os gestores escolherem os projetos que, de forma satisfatória, atendessem aos interesses institucionais e aos requisitos da pesquisa científica. A escolha de projetos foi limitada ao número de bolsas a alocar.

5 Conclusões

O presente trabalho contribui apoiando a tomada de decisão dos gestores na escolha de número elevado de projetos de pesquisa científica alinhados aos objetivos institucionais e aos critérios específicos da pesquisa, permitindo a escolha de projetos mais aderentes para a alocação de um número limitado de bolsas de iniciação científica.

A revisão na literatura sobre os métodos de apoio multicritério à decisão forneceu o embasamento necessário aos autores, ajudando na melhor compreensão do problema e na adequação do método utilizado. Acredita-se que tanto as bases conceituais quanto a estrutura do modelo possam apoiar gestores da área de educação em outras instituições brasileiras de ensino e pesquisa em tomadas de decisão que envolvam a seleção de projetos de pesquisa envolvendo múltiplos critérios.

A reestruturação dos critérios utilizados na avaliação dos projetos permitiu a escolha de projetos de maior qualidade, dado que os critérios adotados estão em consonância com os objetivos institucionais, portanto atrelados às necessidades de todas as partes interessadas. Tal reestruturação permitiu a avaliação em duas etapas. A primeira garantiu a escolha de propostas mais aderentes aos propósitos da instituição, já que tais propostas partem de diferentes ideias dos proponentes. A segunda, com base na primeira seleção, buscou priorizar os projetos que atendessem aos requisitos da pesquisa. Isso possibilitou a escolha de projetos mais adequados para o investimento em pesquisa. Além disso, a definição dos aspectos para cada critério favoreceu um entendimento comum entre os avaliadores quanto aos aspectos analisados em cada critério. Isso tornou o processo de avaliação de projetos mais consistente.

Observou-se na literatura a importância dada à seleção de projetos alinhados aos objetivos da organização, visando compor um portfólio mais eficaz. Também foi percebida a importância da utilização de métodos de apoio multicritério na seleção de projetos. Dessa forma, a aplicação do método AHP com a combinação das mensurações relativa e absoluta adequou-se bem à problemática tratada. Além de permitir selecionar entre grande número de projetos, facilitou determinar o grau de contribuição dos pesos dos critérios e aspectos para atingir o objetivo de cada etapa de avaliação. Considerando que cada aspecto corresponde a um item de avaliação, tornou-se mais fácil a elaboração da ficha de avaliação de cada etapa, tendo como mensuração de cada item o peso do aspecto gerado pelo AHP. A adoção da mensuração absoluta simplificou bastante a avaliação devido ao uso das escalas nominais, o que possibilitou uma avaliação conceitual dos aspectos qualitativos. Além disso, a aplicação do método permitiu a todos os participantes o conhecimento dos objetivos institucionais, levando-os à reflexão sobre os critérios que melhor pudessem representar os objetivos, a cultura e os valores da instituição. Isso resultou numa melhor determinação dos pesos dos critérios com base no consenso dos gestores.

A mensuração relativa do AHP possibilitou determinar o peso de contribuição de cada item de avaliação do projeto para o alcance do objetivo. Portanto, a avaliação de cada projeto refletiu os interesses da instituição. Dessa forma, o ranking produzido na primeira etapa garantiu a escolha de projetos mais alinhados aos objetivos da instituição para a segunda etapa. Isso permitiu que a seleção na segunda etapa elencasse os projetos de maior qualidade. O trabalho contribuiu tanto para simplificar e padronizar o processo de avaliação quanto para melhorar a qualidade do processo decisório na área de pesquisa.

Apesar da facilidade da implementação do método em planilhas eletrônicas, os autores sugerem o desenvolvimento de um software que permita a combinação do método AHP com mensurações relativa e absoluta integrado ao processo de coleta da avaliação individual dos projetos. A facilidade de operacionalização do método em tal software pode permitir novas aplicações em outros âmbitos da instituição de ensino e pesquisa.

Como proposta de natureza exploratória, este artigo apresenta limitações. Considerando que o trabalho se restringiu à seleção de novos projetos submetidos à avaliação conceitual em múltiplos critérios com base em um estudo de caso, as generalizações derivadas de um trabalho dessa natureza podem não ser de todo aplicáveis em contextos similares em outras instituições de ensino e pesquisa. No entanto, pela própria natureza exploratória, acredita-se que tais aspectos não reduzam sua validade como esforço de pesquisa empírica voltada à solução de um problema de gestão envolvendo alocação de recursos em uma instituição de ensino e pesquisa.

• Suporte financeiro: Nenhum.

Referências

• Almeida, A. T., & Duarte, M. D. O. (2011). A multicriteria decision model for selecting project portfolio with consideration being given to a new concept for synergies. Pesquisa Operacional, 31(2), 301-318. http://dx.doi.org/10.1590/S0101-74382011000200006
  » http://dx.doi.org/10.1590/S0101-74382011000200006
• Alves, A. S., Quelhas, O. L. G., Silva, M. H. T., & Lameira, V. J. (2015). On the role of university in the promotion of innovation: exploratory evidences from a university-industry cooperation experience in Brazil. International Journal of Innovation and Learning, 17(1), 1-18. http://dx.doi.org/10.1504/IJIL.2015.066061
  » http://dx.doi.org/10.1504/IJIL.2015.066061
• Andrade, M. M. (2010). Introdução à metodologia do trabalho científico: elaboração de trabalhos na graduação (10. ed.). São Paulo: Atlas.
• Araújo, A. G., & Almeida, A. T. (2009). Apoio à decisão na seleção de investimentos em petróleo e gás: uma aplicação utilizando o método PROMETHEE. Gestão & Produção, 16(4), 534-543. http://dx.doi.org/10.1590/S0104-530X2009000400004
  » http://dx.doi.org/10.1590/S0104-530X2009000400004
• Archer, N. P., & Ghasemzadeh, F. (1999). An integrated framework for project portfolio selection. International Journal of Project Management, 17(4), 207-216. http://dx.doi.org/10.1016/S0263-7863(98)00032-5
  » http://dx.doi.org/10.1016/S0263-7863(98)00032-5
• Bond, S. D., Carlson, K. A., & Keeney, R. L. (2008). Generating objectives: can decision makers articulate what they want? Management Science, 54(1), 56-70. http://dx.doi.org/10.1287/mnsc.1070.0754
  » http://dx.doi.org/10.1287/mnsc.1070.0754
• Carvalho, M. M., Lopes, P. V. B. V. L., & Marzagão, D. S. L. (2013). Gestão de portfólio de projetos: contribuições e tendências da literatura. Gestão & Produção, 20(2), 433-453. http://dx.doi.org/10.1590/S0104-530X2013000200013
  » http://dx.doi.org/10.1590/S0104-530X2013000200013
• Cheng, E. W. L., & Li, H. (2005). Analytic network process applied to project selection. Journal of Construction Engineering and Management, 131(4), 459-466. http://dx.doi.org/10.1061/(ASCE)0733-9364(2005)131:4(459)
  » http://dx.doi.org/10.1061/(ASCE)0733-9364(2005)131:4(459)
• Francisco, L. T. S. T. (2002). (Indicadores para avaliação de resultados de projetos de pesquisa científica e tecnológicaDissertação de mestrado). Universidade Federal do Rio Grande do Sul, Porto Alegre.
• Gomes, L. F. A. M., Araya, M. C. G., & Carignano, C. (2004). Tomada de decisões em cenários complexos (M. C. G. Araya, Trad.). São Paulo: Pioneira Thomson Learning.
• Gomes, L. F. A. M., Simões Gomes, C. F., & de Almeida, A. T. (2002). Tomada de decisão gerencial: enfoque multicritério. São Paulo: Atlas.
• Ivanović, I., Grujičić, D., Macura, D., Jović, J., & Bojović, N. (2013). One approach for road transport project selection. Transport Policy, 25, 22-29. http://dx.doi.org/10.1016/j.tranpol.2012.10.001
  » http://dx.doi.org/10.1016/j.tranpol.2012.10.001
• Kerzner, H. (2009). Project Management: a systems approach to planning, scheduling, and controlling (10. ed.). New Jersey: John Wiley & Sons.
• Lima, M. T. A., Oliveira, E. C. B., & Alencar, L. H. (2014). Modelo de apoio à decisão para priorização de projetos em uma empresa de saneamento. Production, 24(2), 351-363.
• López, H. M. L., & Almeida, A. T. (2014). Utilizando PROMETHEE V para seleção de portfólio de projetos de uma empresa de energia elétrica. Production, 24(3), 559-571. http://dx.doi.org/10.1590/S0103-65132013005000045
  » http://dx.doi.org/10.1590/S0103-65132013005000045
• Luiz, R. R. (2006). Avaliação de produtividade acadêmica: uma proposta de quantificação. RBPG, 3(6), 300-312.
• Meskendahl, S. (2010). The influence of business strategy on project portfolio management and its success: a conceptual framework. International Journal of Project Management, 28(8), 807-817. http://dx.doi.org/10.1016/j.ijproman.2010.06.007
  » http://dx.doi.org/10.1016/j.ijproman.2010.06.007
• Méxas, M. P. P., Costa, H. G., & Quelhas, O. L. G. (2013). Avaliação da importância relativa dos critérios para a seleção de Sistemas Integrados de Gestão (ERP) para uso em empresas da construção civil. Gestão & Produção, 20(2), 337-356. http://dx.doi.org/10.1590/S0104-530X2013000200007
  » http://dx.doi.org/10.1590/S0104-530X2013000200007
• Miranda, C. M. G., & Almeida, A. T. (2004). Visão multicritério da avaliação de programas de pós-graduação pela CAPES: o caso da área engenharia III baseado no ELECTRE II e MAUT. Gestão & Produção, 11(1), 51-64. http://dx.doi.org/10.1590/S0104-530X2004000100005
  » http://dx.doi.org/10.1590/S0104-530X2004000100005
• Moreira, M. L., & Velho, L. (2008). Pós-graduação no Brasil: da concepção “ofertista linear” para “novos modos de produção do conhecimento” implicações para avaliação. Avaliação, 13(3), 625-645.
• Neves, R. B., Pereira, V., & Costa, H. G. (2015). Auxílio multicritério à decisão aplicado ao planejamento e gestão na indústria de petróleo e gás. Production, 25(1), 43-53. http://dx.doi.org/10.1590/S0103-65132013005000060
  » http://dx.doi.org/10.1590/S0103-65132013005000060
• Padovani, M., Carvalho, M. M., & Muscat, A. R. N. (2010). Seleção e alocação de recursos em portfólio de projetos: estudo de caso no setor químico. Gestão & Produção, 17(1), 157-180. http://dx.doi.org/10.1590/S0104-530X2010000100013
  » http://dx.doi.org/10.1590/S0104-530X2010000100013
• Paoli, D., & Moraes, L. A. F. (2011). Apoio Multicritério à decisão como subsídio à gestão ambiental: o caso da Aggreko Brasil. Gestão & Produção, 18(2), 379-390. http://dx.doi.org/10.1590/S0104-530X2011000200012
  » http://dx.doi.org/10.1590/S0104-530X2011000200012
• Project Management Institute – PMI. (2013). Um guia do conjunto de conhecimentos em gerenciamento de projetos: Guia PMBOK (5. ed.). Pennsylvania.
• Rodrigues, L. O. C., Fo. (2011). Publicar mais, ou melhor? O tamanduá olímpico. Psicologia USP, 22(2), 457-472. http://dx.doi.org/10.1590/S0103-65642011005000014
  » http://dx.doi.org/10.1590/S0103-65642011005000014
• Roy, B. (2005). Paradigms and challenges. In J. Figueira, S. Greco & M. Ehrgott (Eds.), Multiple criteria decision analysis: state of the art surveys (pp. 3-24). New York: Springer Sciense+Business Media.
• Roy, B., & Slowinski, R. (2013). Questions guiding the choice of a multicriteria decision aiding method. EURO Journal on Decision Processes, 1(1), 69-97. http://dx.doi.org/10.1007/s40070-013-0004-7
  » http://dx.doi.org/10.1007/s40070-013-0004-7
• Saaty, T. L. (1990). How to make a decision: The analytic hierarchy process. European Journal of Operational Research, 48(1), 9-26. http://dx.doi.org/10.1016/0377-2217(90)90057-I
  » http://dx.doi.org/10.1016/0377-2217(90)90057-I
• Saaty, T. L. (1991). Método de análise hierárquica (W. S. Silva, Trad.). São Paulo: McGraw-Hill.
• Saaty, T. L. (2005). The Analytic Hierarchy and Analytic Network Processes for the measurement of intangible criteria and for decision-making. I In J. Figueira, S. Greco & M. Ehrgott (Eds.), Multiple criteria decision analysis: state of the art surveys (pp. 345-408). New York: Springer Sciense+Business Media.
• Santana, M. G. H. (2009). Produção do conhecimento científico em transição: novas perspectivas para a avaliação das ações induzidas na área de saúde pelo CNPq (Tese de doutorado). Universidade de Brasília, Brasília.
• Silva, V. B. S., Schramm, F., & Carvalho, H. R. C. (2014). O uso do método PROMETHEE para seleção de candidatos à bolsa-formação do Pronatec. Production, 24(3), 548-558.
• Smit, J. W., Dias, E. W., & Souza, R. F. (2002). Contribuição da Pós-graduação para a Ciência da Informação no Brasil: uma visão. DataGramaZero: Revista de Ciência da Informação, 3(6).
• Tuncer, Y. (1975). Some aspects of science-based technological promotion. Policy Sciences, 6(3), 267-280. http://dx.doi.org/10.1007/BF00139970
  » http://dx.doi.org/10.1007/BF00139970
• Vargas, R. V. (2010). Utilizando a programação multicritério (Analytic Hierarchy Process – AHP) para selecionar e priorizar projetos na gestão de portfólio. In PMI Global Congress 2010. Washington. Recuperado em 12 de janeiro de 2016, de http://www.ricardo-vargas.com/articles/analytic-hierarchy-process/#portuguese
  » http://www.ricardo-vargas.com/articles/analytic-hierarchy-process/#portuguese
• Vincke, P. (1992). Multicriteria decision-aid. England: John Wiley & Sons.

Datas de Publicação

• Publicação nesta coleção
  23 Fev 2017
• Data do Fascículo
  Jan-Apr 2017

Histórico

• Recebido
  24 Mar 2015
• Aceito
  03 Out 2015