POVOAMENTO DOS ESTRATOS CONCEITOS 6 E 7 NO SISTEMA DE AVALIAÇÃO DA CAPES PELA ÁREA DE ADMINISTRAÇÃO, CIÊNCIAS CONTÁBEIS E TURISMO NAS AVALIAÇÕES TRIENAIS 2010 E 2013

THE POPULATION OF THE LEVELS 6 AND 7 BY ADMINISTRATION, ACCOUNTING AND TOURISM AREA IN CAPES TRIENNIAL EVALUATIONS 2010 AND 2013

LA POBLACIÓN DE LOS NIVELES DE 6 Y 7 DE ADMINISTRACIÓN, CONTABILIDAD Y ESPACIO PARA TURISMO EN CAPES TRIENAL EVALUACIONES DE 2010 Y 2013

Resumos

O modelo brasileiro de produção da ciência e tecnologia tem como principal vetor os programas de pós-graduação, que se apropriam dos parâmetros e dos resultados do Sistema de Avaliação da CAPES para estabelecer as metas visando o seu próprio desenvolvimento. Este estudo visa responder a seguinte questão: Como se caracteriza o povoamento dos estratos conceitos 6 e 7 da área de Administração, Ciências Contábeis e Turismo nas Avaliações da CAPES? O objetivo desta pesquisa é, portanto, discutir a respeito do povoamento dos conceitos 6 e 7 pela área de Administração, Ciências Contábeis e Turismo nas avaliações trienais de 2010 e 2013, comparativamente com as demais áreas que compõe o sistema de avaliação da CAPES. O estudo, de caráter exploratório, foi baseado na análise de dados secundários disponibilizados pela CAPES, com os resultados das avaliações trienais de 2010 e 2013. Os resultados demonstraram que, apesar do crescimento percentual da produção científica em periódicos A1 e A2 e da elevação do percentual de formação de doutores em comparação com as demais áreas de conhecimento, a área não obteve crescimento do povoamento dos estratos 6 e 7 na avaliação trienal de 2013 em relação a trienal de 2010. Essa situação induz distorções no sistema de avaliação, pois a despeito das principais variáveis analisadas indicar a evolução da área, os resultados finais, com a atribuição dos conceitos 6 e 7 aos programas, não retratam esse progresso. Assim sendo, o aumento da ocupação desses estratos nas avaliações trienais poderá corrigir essas contradições e, ao mesmo tempo, permitir que programas utilizem as informações oriundas da avaliação como subsídio para sua gestão, visando o seu aprimoramento e possibilitando o desenvolvimento da área.

Avaliação; CAPES; Desempenho; Indicadores

The Brazilian production model of science and technology has as main vector the graduate programs, which use parameters and results of the Evaluation System of CAPES to establish goals for their own development. This study aims to answer the following question: How to characterize the population of levels 6 and 7 by Administration, Accounting and Tourism area in CAPES evaluation program? The objective of this research is, therefore, to discuss about the population of the levels 6 and 7 by Administration, Accounting and Tourism area in triennial evaluations of 2010 and 2013, compared with other areas which are included in CAPES evaluation program. The exploratory study was based on analysis of secondary data provided by CAPES, with the results of the triennial reviews of 2010 and 2013. Results showed that although the growth of percentage scientific production percentage in A1 and A2 journals and rising percentage of doctoral education in comparison with other areas of knowledge, this area didn't achieve growth of population of levels 6 and 7 in the triennial review in 2013 compared to 2010. This scenario induces distortion in the evaluation system, because, despite main analyzed variables indicate the evolution of the area, the final results, with the assignment of concepts 6 and 7 to the programs, don't reflect this progress. Thus, the increased population of these strata in triennial evaluations can correct these contradictions and at the same time allow programs to use the information from the evaluation as an aid to management, aiming its improvement and enabling the development of the area.

Evaluation; CAPES; Performance; Indicators

El modelo de producción brasileña de la ciencia y la tecnología tiene como principal vector de los programas de posgrado, que utilizan parámetros y resultados del Sistema de Evaluación de CAPES para establecer metas para su propio desarrollo. Este estudio tiene como objetivo responder a la siguiente pregunta: ¿Cómo caracterizar la población de los niveles 6 y 7 por la Administración, Contabilidad y área de Turismo en el programa de evaluación de la CAPES? El objetivo de esta investigación es, por lo tanto, para discutir acerca de la población de los niveles 6 y 7 por la Administración, Contabilidad y el área de Turismo en las evaluaciones trienales de 2010 y 2013, en comparación con otras áreas que se incluyen en el programa de evaluación de la CAPES. El estudio exploratorio se basa en el análisis de datos secundarios suministrados por la CAPES, con los resultados de los exámenes trienales de 2010 y 2013. Los resultados mostraron que, si bien el crecimiento del porcentaje porcentaje de la producción científica en A1 y A2 revistas y el aumento de porcentaje de la formación doctoral en comparación con otras áreas del conocimiento, esta área no logró el crecimiento de la población de los niveles 6 y 7 en el examen trienal de 2013 en comparación con 2010. este escenario provoca distorsión en el sistema de evaluación, ya que, a pesar de las principales variables analizadas indican la evolución de la área, los resultados finales, con la asignación de los conceptos 6 y 7 a los programas, no reflejan este progreso. Por lo tanto, el aumento de la población de estos estratos en las evaluaciones trienales puede corregir estas contradicciones y al mismo tiempo permitir que los programas utilizan la información de la evaluación como una ayuda a la gestión, con el objetivo su mejora y permitiendo el desarrollo de la zona.

Evaluación; CAPES; Rendimiento; Indicadores.

INTRODUÇÃO

O grau de desenvolvimento de um país pode ser determinado com base no estágio de sua evolução científica e tecnológica, mensurada em função do número de patentes, qualidade da produção científica, número de citações, dentre outras métricas. O modelo brasileiro de produção da ciência e tecnologia tem como principal vetor os programas de pós-graduação stricto sensu (DANTAS, 2004), que conta com o respaldo de um Sistema de Avaliação que, conforme a Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPES, cumpre um papel decisivo ao estabelecer padrões de qualidade e promover a evolução de todo o Sistema de Pós-Graduação (CAPES, 2014g). Nessa direção, pesquisas de Maccari (2008) e Martins et al (2012) mostraram que os parâmetros do sistema de avaliação da CAPES vêm sendo utilizados pelos Programas de Pós-Graduação visando o seu próprio desenvolvimento.

Nessa linha, de acordo com Maccari et al (2009), na área de administração, Programas têm utilizado os parâmetros, os dados e os resultados das avaliações como ponto de partida para definição de estratégias, de metas e de planos de ação, possibilitando, dessa maneira, um maior alinhamento às exigências desse Sistema e melhor direcionamento dos esforços e dos investimentos.

Como resultado desse processo, a Pós-Graduação tem se expandido nos últimos anos, com aumento da quantidade de Programas, de titulados e de publicações científicas, técnicas e tecnológicas (MERCADANTE, 2013) cujo desenvolvimento pode ser associado ao constante aperfeiçoamento da sistemática de avaliação. Entretanto, apesar do reconhecimento da eficiência e eficácia, é reconhecida a existência de distorções e, portanto, a necessidade de ajustes de modo que o sistema de avaliação possa ser continuamente aprimorado (CAPES, 2010d). Assim sendo, este estudo tem como questão de pesquisa: Como se caracteriza o povoamento dos estratos conceitos 6 e 7 da área de Administração, Ciências Contábeis e Turismo nas Avaliações da CAPES? O objetivo geral deste estudo é, portanto, discutir a respeito do povoamento dos conceitos 6 e 7 pela área de Administração, Ciências Contábeis e Turismo nas avaliações trienais de 2010 e 2013, comparativamente com as demais áreas que compõe o sistema de avaliação da CAPES.

O estudo justifica-se, pois conforme preconiza a CAPES (2013c), o processo deve extrapolar a avaliação 'intra-área', expandindo para uma análise inter-áreas, ou seja, um estudo comparativo com todas as áreas, possibilitando assim observar os diferentes níveis de desenvolvimento e analisar ritmo de evolução de cada área em relação ao sistema como um todo.

1 FUNDAMENTAÇÃO TEÓRICA

1.1 Avaliação Institucional

Avaliar é uma atividade inerente do ser humano que, desde os seus primórdios, já era capaz de fazer comparações e julgamentos (WORTHEN; FITZPATRICK; SANDERS, 2004). Avaliação pode ser definida como um estudo concebido e conduzido para auxiliar a análise de um objeto em seu mérito e seu valor (STUFFLEBEAM, 2001). Envolve um processo de refletir, de compreender, de atribuir significados e de realizar conexões das partes com o todo (DIAS SOBRINHO, 2008). Trata-se de uma atividade que analisa a coerência entre o planejado e o realizado, tendo como referência um padrão de comparação, fornecendo informações para a gestão da realidade. No âmbito das Instituições de Ensino, pode ser compreendido como um ato de autoconhecimento, por possibilitar entender os valores e princípios, e de autoanálise, por considerar os objetivos e metas traçadas tanto no plano político quanto no pedagógico (DALBEN; VIANNA, 2008).

A avaliação de Instituições de Ensino pode ser compreendida como um processo estruturado que tem como objetivo o aprimoramento da qualidade institucional (BELLONI, 1999), servindo como subsídio para tomada de decisões voltadas às mudanças necessárias para o desenvolvimento da instituição (VIANNA, 2009). Os elementos a serem considerados estão relacionados com a valorização da história, da missão e da identidade, além da preocupação com a visão de futuro, num processo sistematizado e integrado de estudos de diagnósticos e de prospecção (MASETTO, 2004).

A Avaliação Institucional representa um processo de autocrítica, em que se permite: entender as inter-relações das atividades acadêmicas de ensino, pesquisa e extensão; rever os objetivos, resultados e processos; realizar estudos; traçar planos, e executar atividades voltadas para mudanças. Trata-se também de um processo que antecede o planejamento e oportuniza a evolução, além de servir para firmar os valores científicos, técnicos, didáticos, pedagógicos, éticos, políticos, dentre outros (RISTOFF, 1996).

São dois os principais modelos de avaliações institucionais: (1) a avaliação interna (auto-avaliação) busca diagnosticar e propor ações de desenvolvimento, de forma participativa e democrática, respeitando a identidade de cada instituição, e (2) a avaliação externa, de natureza padronizada e calcada na regulação, controle e hierarquização, utilizada como meio para a execução de políticas públicas em educação (VERHINE; FREITAS, 2012). Dias Sobrinho, 1998 relata também a importância da re-avaliação (meta-avaliação), que é um processo contínuo de reflexão, em que se analisa, corrige e aperfeiçoa a avaliação, visando garantir seu dinamismo. Salienta que todos esses processos (avaliação interna, externa e re-avaliação) são contínuos e não são necessariamente distintos no tempo.

Embora encontre resistências, a avaliação é algo que tanto as universidades quanto o governo reconhecem a sua necessidade e importância. As exigências para o controle dos resultados gerados pelas Instituições, frutos das atividades de ensino e de pesquisa, são crescentes (SCHWARTZMAN, 1994). Há uma grande valorização da avaliação externa por estar associada ao sentido de transparência (DIAS SOBRINHO, 1998) e à noção de accountability (responsabilização) para prestação de contas sobre os resultados gerados pelas instituições de ensino à sociedade (BECKER, 2010).

A avaliação externa dos programas de pós-graduação stricto sensu no Brasil é um modelo que tem sido reconhecido como um dos mais modernos e eficientes do mundo. Esse sistema de avaliação será apresentado na seção seguinte.

1.2 Avaliação da Pós-Graduação

A avaliação da educação superior brasileira tem o seu início na década de setenta, especificamente em 1977, por meio da iniciativa da CAPES em avaliar os Programas de Pós-graduação, considerado o sistema de avaliação da educação mais antigo do Brasil (BERTOLIN, 2004).

De acordo com a CAPES (2014g), a partir de 1998 a sua Diretoria de Avaliação passou a orientar a avaliação do Sistema Nacional de Pós-Graduação - SNPG, com a participação da comunidade acadêmico-científica por meio de consultores ad hoc. A CAPES destaca que a avaliação é atividade essencial para assegurar e manter a qualidade dos cursos de Mestrado e Doutorado no país. Nesse sentido, tem-se como objetivos da avaliação: (1) certificar a qualidade da pós-graduação Brasileira (referência para a distribuição de bolsas e recursos para o fomento à pesquisa) e (2) identificar assimetrias regionais e de áreas estratégicas do conhecimento no SNPG para orientar ações de indução na criação e expansão de programas de pós-graduação no território nacional. Já os objetivos do Sistema Nacional de Pós-Graduação são: (a) promover a formação pós-graduada de docentes para todos os níveis de ensino; (b) possibilitar a formação de recursos humanos qualificados para o mercado não acadêmico, e (c) fortalecer as bases científica, tecnológica e de inovação.

O sistema de avaliação da Pós-Graduação abrange dois processos: o primeiro diz respeito à Avaliação trienal dos Programas de Pós-Graduação e, o segundo, à Avaliação das Propostas de Cursos Novos de Pós-Graduação (CAPES, 2014g). Destaca-se que o sistema de avaliação da CAPES é eminentemente quantitativo e os critérios de avaliação têm sido utilizados como parâmetros de gestão pelos Programas de Pós-Graduação (MACCARI; LIMA; RICCIO, 2009).

O processo avaliativo é conduzido por pares, baseado nas informações relatadas pelos Programas de Pós-Graduação, possibilitando análises quantitativa e qualitativa dos parâmetros (SPAGNOLO; SOUZA, 2004; MACCARI, 2008). Esse sistema é composto pelas seguintes dimensões: (1) proposta do programa; (2) corpo docente; (3) corpo discente; (4) produção intelectual; e (5) inserção social.

A avaliação dos Programas de Pós-Graduação é realizada trienalmente, com acompanhamento anual sendo que, ao final do processo, é atribuída uma nota ao Programa, numa escala que varia entre '1' e '7' (CAPES, 2014b). Destaca-se que Programas com notas 1 e 2 são descredenciados e a nota 3 representa desempenho regular e atende aos padrões mínimos de qualidade, permitindo o funcionamento do Programa. Já a nota 4 é considerada bom desempenho e a 5 é a nota máxima para programas que possuem somente cursos de mestrado. Finalmente, as notas 6 e 7 indicam desempenho equivalente aos padrões internacionais (CAPES, 2013c).

As avaliações são conduzidas pelas Comissões de Avaliação, composta por pares, tendo como referência o sistema por Fichas, em que são registrados os resultados das avaliações de cada Programa. São estruturadas em quesitos e itens, buscando manter a uniformidade e a padronização do processo, com ampliação do nível de integração entre as diferentes Áreas. Além das Fichas, os relatórios de avaliação e os documentos de áreas constituem os documentos que divulgam todos os processos e os resultados da avaliação trienal (CAPES, 2014g). Ao todo, são 48 áreas de avaliação, conforme tabela 1.

Tabela 1
Áreas de Avaliação da CAPES

Áreas de Avaliação da CAPES
1 - Administração, Ciências Contábeis e Turismo	17 - Direito	33 - Letras/Linguística
2 - Antropologia/Arqueologia	18 - Economia	34 - Matemática/Probabilidade e Estatística
3 - Arquitetura e Urbanismo	19 - Educação	35 - Materiais
4 - Artes/Música	20 - Educação Física	36 - Medicina I
5 - Astronomia/Física	21 - Enfermagem	37 - Medicina II
6 - Biodiversidade	22 - Engenharias I	38 - Medicina III
7 - Biotecnologia	23 - Engenharias II	39 - Medicina Veterinária
8 - Ciência da Computação	24 - Engenharias III	40 - Nutrição
9 - Ciência de Alimentos	25 - Engenharias IV	41 - Odontologia
10 - Ciência Política e Relações Internacionais	26 - Ensino	42 - Planejamento Urbano e Regional/Demografia
11 - Ciências Agrárias I	27 - Farmácia	43 - Psicologia
12 - Ciências Ambientais	28 - Filosofia/Teologia	44 - Química
13 - Ciências Biológicas I	29 - Geociências	45 - Saúde Coletiva
14 - Ciências Biológicas II	30 - Geografia	46 - Serviço Social
15 - Ciências Biológicas III	31 - História	47 - Sociologia
16 - Ciências Sociais Aplicadas I	32 - Interdisciplinar	48 - Zootecnia/Recursos Pesqueiros

• Fonte: CAPES (2014c)

Para avaliar a produção intelectual gerada pelos Programas de Pós-Graduação de todas as áreas, a CAPES lança mão de um conjunto de procedimentos para estratificar a qualidade da produção intelectual em periódicos denominado sistema Qualis. Essa análise é feita anualmente pelas áreas, realizada de maneira indireta das publicações. Ao final do processo, os veículos são enquadrados nos seguintes estratos: A1 (mais elevado), A2, B1, B2, B3, B4, B5 e C, com peso zero (CAPES, 2014a).

1.3 Parâmetros e exigências do Sistema de Avaliação para a Área

Cada Comitê das Áreas de Avaliação utiliza o modelo de avaliação proposto pela CAPES como referência, realizando adaptações conforme as suas especificidades, possibilitando a realização da "calibragem" para cada área, especialmente com relação às métricas e pesos das dimensões de avaliação. Cada área tem a liberdade de alterar em 5% para mais ou para menos os pesos dos quesitos. Com relação aos itens que compõem esses quesitos, as áreas possuem maior flexibilidade para atribuírem os pesos percentuais que julgarem ser mais adequado às suas características. Em alguns casos, as áreas podem optar por não atribuir peso ao item, deixando-o fora da avaliação. A tabela 2 a seguir apresenta os parâmetros do sistema de avaliação da CAPES para a área de Administração, Ciências Contábeis e Turismo.

Tabela 2
Parâmetros do sistema de Avaliação da CAPES para a área de Administração, Ciências Contábeis e Turismo

• Fonte: Maccari (2008); CAPES (2013a; 2013d)

A tabela 2 sintetiza as 59 páginas do relatório de avaliação da área de Administração, Ciências Contábeis e Turismo, que apresenta os quesitos e os pesos dos itens disponíveis no documento de área (CAPES, 2013a,; CAPES, 2013d). Com a disposição das informações de avaliação em uma única tabela, o sistema de avaliação da CAPES pode ser entendido como um 'Balanced Scorecard Acadêmico', instrumentalizando e permitindo aos programas organizar suas estratégias de desenvolvimento e aprimoramento para cada item do sistema de avaliação. Destaque-se também que, quanto mais alta a nota atribuída (5, 6 e 7), maior deve ser a concentração dos resultados na coluna "muito bom" dos indicadores do programa. Para programas com nota 4, deverá haver o predomínio dos resultados na coluna "Bom" e para os programas com nota 3, a concentração deverá estar na coluna "Regular".

A tabela 2 é composta pelos seguintes quesitos: (1) proposta do programa, (2) corpo docente, (3) corpo discente, (4) produção intelectual e (5) inserção social. Verifique-se que os quesitos são avaliados, de modo geral, em termos quantitativos, ponderados pelos percentuais (pesos) de cada item, com exceção ao item 'Proposta do Programa', que é avaliada de forma exclusivamente qualitativa. Nesse sentido, pode se dizer que o sistema de avaliação da CAPES é, portanto, eminentemente quantitativo (MACCARI et al, 2009).

Para esses autores, apesar do quesito corpo docente corresponder a 20% do peso total da avaliação, é o mais importante, pois tem influência direta no resultado dos quesitos de output, quais sejam: 'Corpo Discente' com peso de 35%; 'Produção Intelectual', peso de 35%, e 'Inserção Social', com 10%. Nessa direção, o sistema de avaliação da CAPES utiliza o quesito 'Corpo Docente' como denominador para calcular as médias e distribuições dos itens dos quesitos 'Corpo Discente' e 'Produção Intelectual'. A atuação do corpo docente fora do âmbito do programa tem forte relação com o desempenho do quesito 'Inserção Social' da avaliação. A rigor, quanto maior o corpo docente de um programa, mais difícil de garantir uma distribuição equilibrada e homogênea das orientações e da produção intelectual. Essa característica leva os programas a dedicarem uma grande atenção no dimensionamento de seu corpo docente permanente, tendo impacto direto na nota obtida pelo programa ao longo das avaliações (MARTINS et al, 2013).

Por fim, destaque-se que recentemente o Sistema de Avaliação tem dado também importância à análise da difusão e aplicação do conhecimento realizado pelos Programas, por meio de um indicador específico, denominado 'produção técnica/tecnológica' (indicador 4.4 da tabela 2). Ao comparar as informações sobre esse quesito constante no Documento de Área (CAPES, 2013a) com o Relatório da Avaliação Trienal, é possível notar uma contradição com respeito à forma de análise desses dados. De acordo com o Documento de Área, a avaliação desse quesito é qualitativa, enquanto que no documento "Relatório da Avaliação Trienal" (CAPES, 2013d), é quantitativa, em que são indicados 10 produtos e as métricas (relacionadas ao corpo docente permanente) necessárias para o item ser classificado 'Muito Bom', 'Bom', 'Regular', 'Fraco' ou 'Deficiente'. A busca e correção das incongruências devem ser motivo de atenção constante, uma vez que a divulgação de informações divergentes pode impactar a gestão dos Programas que utilizam os critérios da CAPES como referência, podendo não só afetar o resultado final da avaliação, mas também dificultar o pleno aperfeiçoamento e desenvolvimento do Programa.

2 ASPECTOS METODOLÓGICOS

Esta pesquisa pode ser classificada como exploratória, qualitativa, indutiva e foi abordada por meio do método da pesquisa documental. Nesse sentido, de acordo com Triviños (1987), a pesquisa exploratória ou descritiva permite definir melhor um problema, compreender seus aspectos, descrever comportamentos, definir e classificar variáveis. A pesquisa exploratória é adequada quando o objetivo é compreender um tema ainda pouco estudado ou quando a teoria é demasiadamente ampla e o pesquisador está interessado em aspectos específicos. Na pesquisa qualitativa, não se procura enumerar ou medir os eventos estudados, sendo natural que novos pontos de análise e reflexão surjam durante a execução da pesquisa. Raupp e Beuren (2008) anotam que as pesquisas qualitativas são empregadas em análises profundas em relação ao objeto ou fenômeno estudado, procurando destacar e conhecer as características não observadas em pesquisas de caráter quantitativo.

Segundo Mattar (2012) a pesquisa qualitativa exige a classificação dos dados, que podem ser primários ou secundários. Dados primários são coletados por meio de observação participativa, entrevistas não estruturadas ou semiestruturadas e que tem o propósito de atender as necessidades específicas da pesquisa. Dados secundários são coletados por meio de exame de documentos disponíveis para consulta. Da mesma forma, ainda segundo o autor, os métodos de pesquisa podem ser indutivos ou dedutivos. Os dedutivos buscam a solução de um problema a partir de uma lei ou teoria, já os indutivos procuram respostas para um problema a partir de constatações particulares que podem evoluir para generalizações.

Conforme Severino (2007) a pesquisa documental contempla uma sucessão de análises em que o conteúdo dos textos no sentido amplo passa a ser visto como matéria prima para a realização da investigação. De acordo com Martins e Theóphilo (2009) um estudo pode ser desenvolvido com o emprego exclusivo da pesquisa documental.

A escolha da unidade de análise - a área de avaliação da Administração, Ciências Contábeis e Turismo, seguiu os preceitos de Richardson et al (2011). O estudo baseou-se em dados secundários, obtidos por meio das planilhas comparativas disponibilizadas das avaliações realizadas pela CAPES que evidenciam o resultado das avaliações trienais de 2010 (anos base 2007, 2008 e 2009) e 2013 (anos base 2010, 2011 e 2012) dos Programas de Pós-Graduação, além dos diversos documentos gerados pela área de avaliação (CAPES, 2010a; CAPES, 2010b; CAPES, 2013a; CAPES, 2013b; CAPES, 2014d; CAPES, 2014e; CAPES, 2014f).

Como critério para a realização das análises, foram considerados os seguintes parâmetros da avaliação da CAPES para a área de Administração, Ciências Contábeis e Turismo: (1) Evolução do número de programas de doutorado e de titulação de doutores (2) Evolução da Produção Científica; (3) Povoamento dos Conceitos 6 e 7 pelas áreas nas trienais 2010 e 2013; (4) Produção internacional por programa e povoamento dos conceitos 6 e 7 trienal 2013; (5) Povoamento do conceito 7 pela área na trienal 2013; (6) Povoamento da área no estrato conceito 6 - trienal 2013.

3 RESULTADOS E DISCUSSÃO

Os resultados foram obtidos de acordo com cada variável de análise para a área de Administração, Ciências Contábeis e Turismo e a comparação com as demais áreas avaliadas pela CAPES de acordo com a fonte de documentos e relatórios pesquisados disponibilizados em seu website.

3.1 Evolução do número de programas de doutorado e de titulação de doutores

Durante o triênio 2010-2012 (trienal de 2013), foram criados 14 novos programas de doutorado na área de Administração, Ciências Contábeis e Turismo, cujo crescimento representa uma evolução de 52% em relação ao triênio anterior. Esse resultado representa a 8ª posição das áreas que mais elevaram o percentual de novos programas de doutorado instituídos entre os períodos (tabela 3).

Tabela 3
Evolução no número de Programas de Doutorado e Titulação de Doutores

Indicadores Trienal	2010	2013	Evolução
Programas Doutorado	27	41	52%
Doutores Titulados	430	695	62%

• Fonte: CAPES (2010b); CAPES (2014d)

Com relação ao número de titulações do doutorado, houve uma forte expansão no período entre 2010-2012 (trienal de 2013) com aumento de 62% em relação ao período entre 2007-2009 (trienal de 2010), sendo a 5ª entre as 48 áreas que mais ampliaram o percentual de titulação de doutores no Brasil. A partir desses resultados, fica evidente a contribuição da área para o Sistema Nacional da Pós-Graduação quanto ao cumprimento de um dos seus objetivos, qual seja, a formação de pessoal altamente qualificado. Adicionalmente, a contribuição da área está em consonância com o que orienta o Plano Nacional de Pós-Graduação 2010 - 2020 (CAPES, 2010d), cuja meta é dobrar o número de doutores por mil habitantes até 2020.

3.2 Evolução da Produção Científica

Ao analisar a produção em artigos em periódicos classificados no Sistema Qualis como A1 e A2, a área de Administração, Ciências Contábeis e Turismo obteve uma forte evolução nas publicações entre os triênios de 2010 e de 2013. Na avaliação trienal 2010, foram publicados 172 artigos A1 e 566 artigos A2, enquanto que no período seguinte, entre 2010-2012 (trienal 2013), houve uma elevação para 472 artigos A1 e 2046 artigos A2. Comparando essa evolução com as demais áreas avaliadas pela CAPES, a área de Administração, Ciências Contábeis e Turismo, cresceu acima da média geral, sendo a 12º que mais avançou percentualmente na publicação de artigos A1 e a 13º na produção de artigos em periódicos A2 (tabela 4).

Tabela 4
Evolução do Total de Artigos A1 e A2 na Área Administração, Ciências Contábeis e Turismo, triênios 2010 e 2013

Indicadores	2010	2013	Evolução
Artigos A1	172	472	274%
Artigos A2	566	2046	361%

• Fonte: CAPES (2010b); CAPES (2014d)

É importante ressaltar que a área aumentou a exigência para classificação de um periódico como A1 e A2 na avaliação trienal 2013. Na trienal 2010, considerava-se como Qualis A1 o periódico que possuísse, dentre outros critérios, o Fator de Impacto (FI) superior a 0,5 na base de dados JCR/ISI (Journal Citations Report) da Thomson Reuters ou Índice H maior que 5 na base do Scopus. Os Periódicos Qualis A2 deveriam possuir FI maior do que 0 e menor a 0,5 ou Índice H maior do que 0 e menor ou igual a 5 (CAPES, 2010a). Na trienal 2013, os periódicos do estrato A1 deveriam possuir FI superior a 1,0 e Índice H maior do que 20, enquanto que os periódicos A2 precisariam ter FI maior do que 0,2 e menor igual a 1,0 e Índice H maior que 4 e menor ou igual a 20. Observe-se também que 95% dos periódicos que estão nos estratos A1 e A2 na área são editados em língua estrangeira, predominantemente em inglês (CAPES, 2014f).

Destaque-se ainda que a área tem respeitado rigorosamente os critérios definidos pelo Conselho Técnico-Científico da Educação Superior (CTC-ES) em relação a distribuição dos periódicos nos estratos. Segundo a determinação do CTC: (i) a quantidade de periódicos A1 deve ser inferior à quantidade de A2 (A1 < A2); (ii) a soma de periódicos A1 e A2 (A1+A2) tem que representar no máximo 25% do total dos periódicos qualificados da área; e (iii) a soma dos periódicos A1, A2, B1 (A1+A2+B1) não pode ultrapassar 50% do total de periódicos classificados pela área (CAPES, 2013a).

3.3 Povoamento dos Conceitos 6 e 7 pelas áreas nas trienais 2010 e 2013

Na Avaliação Trienal de 2010, ao todo foram avaliados 2.718 programas de pós-graduação, sendo atribuídos conceito 7 para 117 Programas (4,3%) e, conceito 6 para 204 Programas (7,5%). No triênio seguinte, que englobou os anos de 2010 a 2012, aqui já constando os dados atualizados após o julgamento dos recursos pelo CTC, o número de Programas avaliados subiu 22,8%, representando um total de 3.337. Foram atribuídos conceito 7 para 145 Programas (4,3% do total), ou seja, 25 a mais do que no triênio anterior, e conceito 6 para 270 programas (8,1% do total), com um incremento de 66 Programas nesse estrato (MERCADANTE, 2013; CAPES, 2014e). Ao se analisar a distribuição nos estratos dos conceitos mais relevantes (6 e 7), percebe-se, portanto, uma estabilidade nos percentuais de povoamento desses estratos ao longo dos triênios.

Com respeito à área de Administração, Ciências Contábeis e Turismo, observe-se que o percentual de programas que passaram a povoar os estratos 6 e 7 na trienal de 2013 diminuiu em relação à trienal de 2010. O número de programas nesses estratos manteve-se inalterada, ou seja, três programas no conceito 6 e dois programas no conceito 7, mesmo a área observando um crescimento do número de programas avaliados (21 programas - 21% de aumento) entre esses dois triênios.

Tabela 5
Programas conceito 6 e 7 na área de Administração, Ciências Contábeis e Turismo nos triênios 2010 e 2013

Se a área de Administração, Ciências Contábeis e Turismo possuísse percentual médio de povoamento nos Conceitos 6 e 7 equivalente ao total das áreas, ela possuiria 10 Programas no estrato 6 (8,1 % de 119) e 5 programas no estrato 7 (4,3 % de 119 programas). No entanto, o povoamento e a representatividade da Área nesses conceitos estão incompatíveis com a evolução obtida pelo Sistema de Pós-Graduação na trienal 2013 em relação a 2010, tanto em relação à produção intelectual internacional de impacto em periódicos A1 e A2, quanto no destacado crescimento do número de programas de doutorado e na titulação de doutores, quesitos estes preponderantes para atribuição dos conceitos mais elevados.

3.4 Produção internacional por programa e povoamento dos conceitos 6 e 7 trienal 2013

A tabela 6 traz os dados do povoamento dos estratos 6 e 7 pelos programas, considerando os resultados dos recursos julgados pelas Comissões de Área e chancelados pelo CTC em 2014. A partir desses dados, evidencia-se a existência de um contraste entre o povoamento dos estratos dos conceitos 6 e 7 da área de Administração, Ciências Contábeis e Turismo em relação a outras áreas de avaliação. Algumas áreas tiveram um desempenho superior na ocupação dos estratos (trienal 2013 em relação 2010), apesar de apresentarem queda em outros indicadores, como nas produções per capita (por programa e por periódico) Qualis A1 e A2 (Pa1 e Pa2), e também quanto ao percentual de crescimento de formação de doutores (Cresc.).

Tabela 6
Produção Internacional per capita por programa e povoamento do estrato 6 e 7 trienal 2013

Áreas	Total Programa	Conceito 6	Conceito 7	A1	A2	Pa1	Pa2	TD 2010	TD 2013	Cresc.
Administração, Ciências Contábeis e Turismo	119	3 (2,5%)	2 (1,7%)	472	2046	4	17,2	430	695	62%
Arquitetura e Urbanismo	41	1 (2,4%)	0 (0,0%)	16	95	0,4	2,3	282	348	23%
Ciência da Computação	68	3 (4,4%)	5 (7,4%)	206	177	3	2,6	375	479	28%
Ciências Sociais Aplicadas I	57	5 (8,8%)	0 (0,0%)	253	488	4,4	8,5	504	508	1%
Direito	75	8 (10,7%)	0 (0,0%)	202	418	2,7	5,6	758	871	15%
Economia	55	5 (9,1%)	3 (5,5%)	102	175	1,8	3,1	346	432	25%
Filosofia/Teologia:	59	7 (11,9%)	2 (3,4%)	114	414	1,9	7	431	506	17%
Planejamento Urbano-Regional e Demografia	34	3 (8,8%)	1 (2,9%)	88	180	2,6	5,2	94	116	23%
Serviço Social	30	6 (20%)	1 (3,3%)	121	253	4	8,4	206	220	7%

• Fonte: CAPES (2014e); CAPES (2014d); CAPES (2010b).Legenda: A1 - Periódicos Qualis A1 A2 - Periódicos Qualis A2 Pa1 - Produção per capita A1 Pa2 - Produção per capita A2 TD 2010 - Titulados Doutorado em 2010 TD 2013 - Titulados Doutorado em 2013.

Esse contraste fica mais evidente quando se analisa o povoamento do Conceito 6. Todas as áreas povoaram mais esse conceito do que a área de Administração, Ciências Contábeis e Turismo, com exceção da área de Arquitetura e Urbanismo. Note-se que as áreas de Economia, Filosofia/Teologia, Planejamento Urbano, Direito, Serviço Social e Ciências Sociais Aplicadas I tiveram percentual de povoamento superior a 8,1%, que é a média geral (das 48 áreas) de povoamento nesse estrato. Um ponto importante está na contradição existente entre a produção em periódicos e o povoamento dos conceitos. A Área de Administração, Ciências Contábeis e Turismo obteve uma produção per capita (por docente permanente) Pa1 e Pa2 igual ou superior a todas essas áreas. No entanto, alcançou somente 2,5% de povoamento do estrato do conceito 6, o que representa a penúltima colocação da área em relação às áreas analisadas. Ressalte-se também que a área de Serviço Social teve o deferimento de 2 recursos pela comissão de área, validados pelo CTC, que culminou no aumento de 4 para 6 programas com conceito 6, ou seja, representando o percentual de 20% dos programas nesse conceito.

Observe-se também o baixo desempenho da Área de Administração, Ciências Contábeis e Turismo na ocupação do estrato conceito 7, sendo superada pelas seguintes áreas: Ciência da Computação, Economia, Filosofia/Teologia, Planejamento Urbano-Regional e Demografia e Serviço Social. Ela está à frente de três áreas que ainda não possuem programas no estrato conceito 7, quais sejam, Arquitetura e Urbanismo, Ciências Sociais Aplicadas I e Direito.

3.5 Povoamento do conceito 7 pela área na trienal 2013

Na trienal finalizada em 2013, das 48 áreas avaliadas pela CAPES, 40 delas possuem programas com conceito 7, dentre elas, a área de Administração, Ciências Contábeis e Turismo, que apresentou o 36ª colocação quanto ao povoamento do estrato 7 (tabela 7).

Tabela 7
Povoamento do estrato 7 trienal 2013

Posição	Área	Programas	Conceito 7	%
36º	Administração, Ciências Contábeis e Turismo	119	2	1,7%
37º	Zootecnia e Recursos Pesqueiros	60	1	1,7%
38º	Ciências Ambientais	64	1	1,6%
39º	Odontologia	96	1	1,0%
40º	Biodiversidade	120	1	0,8%

• Fonte: CAPES (2014e)

Observe-se que somente quatro áreas tiveram, percentualmente, um desempenho inferior. Dessas, duas áreas (Ciências Ambientais e Biodiversidade) são novas, pois foram criadas durante o triênio 2013 de avaliação, o que explica em parte o baixo percentual de povoamento do estrato 7 por elas. Note-se que, apesar de a Área de Administração, Ciências Contábeis e Turismo ter intensificado a produção de artigos em periódicos A1 e A2 e a formação de doutores no período, o povoamento desse estrato permaneceu estável em termos absolutos (2 programas) e diminuiu em termos relativos (1,7%) quando comparada às demais áreas de avaliação.

3.6 Povoamento da área no estrato conceito 6 - trienal 2013

Quando se observa o povoamento do estrato conceito 6 pelas 48 áreas avaliadas pela CAPES na trienal finalizada em 2013, verifica-se que a área de Administração, Ciências Contábeis e Turismo ocupou a 47ª colocação (tabela 8), à frente da área de Arquitetura e Urbanismo.

Tabela 8
Povoamento do estrato 6 trienal 2013

Posição	Área	Programas	Conceito 6	%
47º	Administração, Ciências Contábeis e Turismo	119	3	2,5%
48º	Arquitetura e Urbanismo	41	1	2,4%

• Fonte: CAPES (2014e)

O desempenho do povoamento da área de Administração, Ciências Contábeis e Turismo, em relação as demais áreas, parece estar em desacordo com o que prega o documento Regulamento da Avaliação Trienal 2013 (CAPES, 2013c), tanto no que diz respeito aos objetivos e parâmetros da avaliação quanto aos objetivos, princípios e diretrizes da atuação CTC-ES, instância responsável pelo processo de avaliação. Percebe-se que a avaliação da área de Administração, Ciências Contábeis e Turismo está em dissonância com os seguintes objetivos do CTC-ES: "assegurar que notas iguais, dadas pelas diferentes áreas, representem igual valor dos programas" e também é contrário a diretriz do CTC-ES que informa que a avaliação é comparativa entre as diferentes áreas, pois ela pauta-se pelo mesmo conjunto de quesitos e itens avaliados e deve promover a equivalência de qualidade de desempenho entre programas com as mesmas notas, preservando as especificidades das áreas.

CONSIDERAÇÕES FINAIS E SUGESTÕES

Este estudo teve como questão de pesquisa: Como se caracteriza o povoamento dos estratos conceitos 6 e 7 da área de Administração, Ciências Contábeis e Turismo nas Avaliações da CAPES? A partir dos achados da pesquisa, pode-se inferir que, apesar do crescimento percentual da produção científica em periódicos A1 e A2 e da elevação do percentual de formação de doutores em comparação com as demais áreas de conhecimento, a área não obteve crescimento do povoamento dos estratos 6 e 7 na avaliação trienal de 2013 em relação a trienal de 2010, não acompanhando o padrão observado nas demais áreas de avaliação.

Relembrando Verhine e Freitas (2012), existem dois principais modelos de avaliação: Um diz respeito a auto-avaliação, ou avaliação interna que tem como objetivo diagnosticar e propor ações para o desenvolvimento das instituições, respeitando suas particularidades. O outro modelo é a avaliação externa, de natureza padronizada e calcada na regulação, controle e hierarquização, utilizada como meio para a execução de políticas públicas em educação. A avaliação da CAPES se caracteriza por utilizar-se da avaliação externa, com uma forte aplicação de critérios quantitativos de forma a permitir a comparação inter-área e intra-área.

A área de Administração, Ciências Contábeis e Turismo vem aprimorando e calibrando os indicadores do sistema de avaliação da CAPES específicos para a área de forma consistente ao longo do tempo. Nos últimos anos, percebe-se uma maior exigência principalmente para produção científica qualificada e para formação de mestres e doutores. A área vem respondendo bem a estas exigências quando comparada ao conjunto das 48 áreas avaliadas pela CAPES. Observa-se o crescimento percentual dos indicadores da produção científica e da formação de recursos humanos qualificados na trienal 2013 em relação à trienal 2010, que a coloca em uma posição de destaque em todo o sistema. Nesse sentido, com relação à produção de artigos em periódicos A1 e A2 no sistema Qualis CAPES, a área ficou em 12 º e 13 º lugar respectivamente, ou seja, no Quartil superior do crescimento percentual. Verifica-se também um crescimento ainda maior na formação de doutores e na criação de novos cursos nesta modalidade, o que a colocou na 5ª e 8ª posição, respectivamente. Por estas conquistas, é de se esperar que a área passe a povoar os estratos (conceitos) mais elevados do sistema de avaliação da CAPES. Essa ocupação, ao ser realizado de forma justa, visa deixar o sistema de avaliação mais calibrado, possibilitando que se represente de forma mais adequada o tamanho e a importância da área para o país.

Sabe-se que as áreas possuem uma dinâmica própria de avaliação e não se deve compará-las de uma maneira fria, sem calibrar a régua e levar em consideração outros critérios do sistema de avaliação. Porém, para garantir o equilíbrio no sistema de avaliação, e para que não haja grandes distorções entre as áreas, a CAPES construiu o sistema Qualis com travas, sendo que todas as áreas deveriam se adequar a ele, ou seja: A1 = 12%; A2 = 13%; B1 = 25%; A1 < A2; A1 + A2 < B1; (A1+A2+B1) < (B2+B3+B4+B5). Isso ocorre para que as áreas sigam a mesma lógica de povoamento dos estratos de produção e, consequentemente, os estratos dos Conceitos mais elevados.

Portanto, a expectativa é de que a área de Administração, Ciências Contábeis e Turismo passe a povoar mais os estratos Conceito 6 e Conceito 7 desse sistema nas próximas avaliações trienais, para retratar de maneira fidedigna o desenvolvimento da área. Caso contrário, o descompasso poderá gerar distorções para a área, para o sistema de pós-graduação e, em última análise, para o desenvolvimento do país. Ou seja, se a avaliação tem como um dos objetivos o aprimoramento da qualidade (BELLONI, 1999) para o desenvolvimento institucional (VIANNA, 2009), ela deve se esforçar em traduzir a realidade de forma mais fiel possível, pois as informações geradas e consolidadas nas áreas avaliadas pela CAPES são a base de muitos Programas para subsidiar a sua gestão e favorecer o seu desenvolvimento.

A partir dos resultados e das análises realizadas, levanta-se uma questão adicional: por que a área teve um desempenho tão inferior em comparação às demais áreas, mesmo apresentando uma destacada evolução em produções intelectuais de alto impacto e um crescimento no percentual de formação de doutores? Uma das possíveis respostas talvez seja a perspectiva adotada para a avaliação, ou seja, o olhar exclusivo para dentro da própria área, sem levar em consideração o desempenho comparativo em relação às demais áreas de avaliação. Outro ponto presumível é o de não levar em conta, de forma mais pragmática, os objetivos da avaliação, que devem ser, a rigor, um instrumento de desenvolvimento dos programas, e não de punição. Essa idiossincrasia ficou evidente nos resultados da avaliação ocorrida em 2013, pois o CTC-ES acostumado a, na maioria das vezes, diminuir as notas dos programas na última trienal (pois as áreas, em geral, são mais otimistas na atribuição dos conceitos), não diminuiu a nota de nenhum programa na área de Administração, Ciências Contábeis e Turismo, elevando a nota de um dos programas, mesmo contrariando a recomendação da área. A partir das evidências do estudo, presume-se que houve uma elevação das exigências na avaliação pelo Comitê de Avaliação da Área de Administração, Ciências Contábeis e Turismo, sendo mais rigorosa que o CTC-ES, representando assim um importante aspecto que pode explicar o baixo percentual de ocupação dos estratos conceitos 6 e 7. Esse aparente baixo desempenho da área na última avaliação trienal, mensurado pelos conceitos atribuídos aos programas, poderá refletir na diminuição tanto da representatividade da área em relação às demais quanto nas concessões de recursos para financiamento das pesquisas (bolsa produtividade, bolsas para mestrados e doutorados e projetos de pesquisa em geral).

Por fim, como limitação do estudo, a pesquisa considerou a evolução entre dois triênios de avaliação, o que permite traçar o panorama de um período de 6 anos de atividades acadêmicas. Portanto, como sugestão para futuras pesquisas, ampliar as análises para os demais períodos de avaliação e, além disso, considerar os demais estratos (conceitos 3, 4 e 5) possibilitará uma visão mais abrangente sobre a caracterização do povoamento dos estratos da avaliação.

SUGESTÕES PARA A ÁREA

1. Realizar uma avaliação comparada com as demais áreas da CAPES de modo a calibrar a régua das exigências do sistema de avaliação para a área;

2. Calibrar a régua "exigência do sistema de avaliação para a área" por meio de uma projeção feita pela coordenação da área, com os dados disponíveis para a avaliação trienal antes de ela ocorrer;

3. Elaborar um planejamento de estimulo à evolução dos programas por meio de reuniões direcionadas aos blocos de programas de cada estrato. Nessas reuniões seriam traçadas metas para alcançar o estrato imediatamente superior;

4. Dar mais importância aos itens de output do sistema, quais sejam: a) Formação de Discentes, b) Produção Intelectual (científica e técnica-tecnológica) de seus docentes, discentes e egressos; c) Inserção Social do Programa;

5. Atribuir pontos para a formação de cada mestre e cada doutor. Por exemplo, atribuir 10 pontos para cada mestre e 20 pontos para cada doutor formado. Com esta sistemática a área passaria a estimular os programas a formarem discentes de mestrado e doutorado, com vistas a cumprir com os objetivos do Sistema Nacional de Pós-Graduação - SNPG que é "Formação pós-graduada de docentes para todos os níveis de ensino e formação de recursos humanos qualificados para o mercado não acadêmico" CAPES (2014g);

6. Apresentar os resultados da avaliação de forma comparada entre os programas, dando ênfase aos itens de output. Mostrar os resultados por estrato, sendo que o sistema de avaliação da CAPES seria apresentado em todos os quesitos e itens, com os programas vinculados em cada estrato.

• BECKER, F. R. Avaliação Educacional em Larga Escala: a experiência brasileira. Revista Iberoamerica de Educación, Madrid, v.53, n.1, p. 1-11. 2010.
• BELLONI, I. Avaliação institucional: um instrumento de democratização da educação. Linhas Críticas, Brasília, v.5, n.9, p. 31-58, 1999.
• BERTOLIN, J. C. G. A transformação do SINAES: da proposta emancipatória à Lei híbrida. Revista Da Rede de Avaliação Institucional Da Educação Superior, v.9, n.4, p. 67-76, 2004.
• CAPES. Documento de Área 2009 - Administração, Ciências Contábeis e Turismo. Brasília, 2010a. Disponível em: <http://www.capes.gov.br/images/stories/download/avaliacao/ADMIN17jun10.pdf>. Acesso em: 13 jul. 2014.
  » http://www.capes.gov.br/images/stories/download/avaliacao/ADMIN17jun10.pdf
• CAPES. Planilhas Comparativas Avaliação Trienal 2010. Brasília, 2010b. Disponível em: <http://trienal.capes.gov.br/?page_id=100>. Acesso em: 13 jul. 2014.
  » http://trienal.capes.gov.br/?page_id=100
• CAPES. Resultados Finais Avaliação Trienal 2010. Brasília, 2010c. Disponível em: <http://trienal.capes.gov.br/?page_id=100>. Acesso em: 13 jul. 2014.
  » http://trienal.capes.gov.br/?page_id=100
• CAPES. (2010d). Plano Nacional de Pós-Graduação - PNPG 2011-2020. Brasília, 2010d. Disponível em: <http://www.capes.gov.br/images/stories/download/Livros-PNPG-Volume-I-Mont.pdf>. Acesso em: 13 jul. 2014.
  » http://www.capes.gov.br/images/stories/download/Livros-PNPG-Volume-I-Mont.pdf
• CAPES. Documento de Área 2013 - Administração, Ciências Contábeis e Turismo. Brasília, 2013a. Disponível em: <http://www.avaliacaotrienal2013.capes.gov.br/documento-de-area-e-comissao>. Acesso em: 13 jul. 2014.
  » http://www.avaliacaotrienal2013.capes.gov.br/documento-de-area-e-comissao
• CAPES. Planilha de notas Avaliação Trienal 2013. Brasília, 2013b. Disponível em: <http://www.avaliacaotrienal2013.capes.gov.br/resultados/planilha-de-notas>. Acesso em: 13 jul. 2014.
  » http://www.avaliacaotrienal2013.capes.gov.br/resultados/planilha-de-notas
• CAPES. Regulamento para a avaliação trienal 2013 (2010-2012). Brasília, 2013c. Disponível em: <http://www.avaliacaotrienal2013.capes.gov.br/home-page/regulamento-da-trienal>. Acesso em: 13 jul. 2014.
  » http://www.avaliacaotrienal2013.capes.gov.br/home-page/regulamento-da-trienal
• CAPES. Relatório da Avaliação Trienal - Administração, Ciências Contábeis e Turismo. Brasília, 2013d. Disponível em: <http://avaliacaotrienal2013.capes.gov.br/relatorios-de-avaliacao>. Acesso em: 13 jul. 2014.
  » http://avaliacaotrienal2013.capes.gov.br/relatorios-de-avaliacao
• CAPES. Classificação da Produção Intelectual. Brasília, 2014a. Disponível em: <http://www.capes.gov.br/avaliacao/instrumentos-de-apoio/classificacao-da-producao-intelectual>. Acesso em: 13 jul. 2014.
  » http://www.capes.gov.br/avaliacao/instrumentos-de-apoio/classificacao-da-producao-intelectual
• CAPES. Entrada no SNPG: propostas de cursos novos. Brasília, 2014b. Disponível em: <http://www.capes.gov.br/avaliacao/entrada-no-snpg-propostas>. Acesso em: 13 jul. 2014.
  » http://www.capes.gov.br/avaliacao/entrada-no-snpg-propostas
• CAPES. Página das Áreas. Brasília, 2014c. Disponível em: <http://www.capes.gov.br/avaliacao/sobre-as-areas-de-avaliacao/paginas-das-areas>. Acesso em: 13 jul. 2014.
  » http://www.capes.gov.br/avaliacao/sobre-as-areas-de-avaliacao/paginas-das-areas
• CAPES. Planilha de indicadores da avaliação trienal 2013 após recurso. Brasília, 2014d. Disponível em: <http://avaliacaotrienal2013.capes.gov.br/resultados/planilhas-comparativas>. Acesso em: 13 jul. 2014.
  » http://avaliacaotrienal2013.capes.gov.br/resultados/planilhas-comparativas
• CAPES. Planilha das notas finais da avaliação trienal 2013 após recurso. Brasília, 2014e. Disponível em: <http://www.avaliacaotrienal2013.capes.gov.br/resultados/planilha-de-notas>. Acesso em: 13 jul. 2014.
  » http://www.avaliacaotrienal2013.capes.gov.br/resultados/planilha-de-notas
• CAPES. Qualis Periódico - Administração, Ciências Contábeis e Turismo. Brasília, 2014f. Disponível em: <http://qualis.capes.gov.br/webqualis>. Acesso em: 13 jul. 2014.
  » http://qualis.capes.gov.br/webqualis
• CAPES. Sobre a Avaliação. Brasília, 2014g. Disponível em: <http://www.capes.gov.br/avaliacao/sobre-a-avaliacao>. Acesso em: 13 jul. 2014.
  » http://www.capes.gov.br/avaliacao/sobre-a-avaliacao
• DALBEN, A. I. L. F.; VIANNA, P. C. M. Gestão e avaliação da extensão universitária: a construção de indicadores de qualidade. Interagir: pensando a extensão, Rio de Janeiro, n.13 (jan-dez), p. 31-39, 2008.
• DANTAS, F. Responsabilidade social e pós-graduação no Brasil: ideias para (avali)ação. Revista Brasileira de Pós-Graduação, Brasília, v.1, n.2, p. 160-172, 2004.
• DIAS SOBRINHO, J. Funcionamento e modos sociais da avaliação institucional. Avaliação: Revista da Avaliação da Educação Superior, Sorocaba, v.3, n.2, p. 65-76, 1998.
• DIAS SOBRINHO, J. Avaliação Educativa: Produção de Sentidos com Valor de Formação. Avaliação: Revista da Avaliação da Educação Superior, Sorocaba, v.13, n.1, p. 193-207, 2008.
• MACCARI, E. A. Contribuições à gestão dos programas de pós-graduação stricto sensu em administração no Brasil com base nos sistemas de avaliação norte americano e brasileiro. 2008. 125f. Tese (Doutorado em Administração) - Faculdade de Economia, Administração e Contabilidade, Universidade de São Paulo, São Paulo, 2008.
• MACCARI, E. A., et al. A Gestão dos Programas de Pós-Graduação em Administração com base no Sistema de Avaliação da CAPES. Revista de Gestão USP, São Paulo, v.16, n.4, p.1-16, 2009.
• MACCARI, E. A.; LIMA, M. C.; RICCIO, E. L. Uso do sistema de avaliação da CAPES por programas de pós-graduação em administração no Brasil. Revista de Ciências da Administração, Florianópolis, v.11, n.25, p.68-82, 2009.
• MARTINS, C. B., et al. A influência do sistema de avaliação nos programas de pós-graduação stricto sensu brasileiro. Revista Gestão Universitária na América Latina, Florianópolis, v.5, n.3, p.155-178, 2012.
• MARTINS, C. B., et al. Influência das estratégias e recursos para o desenvolvimento dos programas de pós-graduação da área de Administração, Ciências Contábeis e Turismo no período de 2001 a 2009., Revista Gestão Universitária na América Latina Florianópolis, v.6, n.3, p.146-168, 2013.
• MARTINS, G. A.; THEÓPHILO, C. R. Metodologia da Investigação Científica para Ciências Sociais Aplicadas, 2ª ed. São Paulo: Atlas, 2009.
• MASETTO, M. T. Avaliação institucional: ensino superior e pós-graduação. In: MASETTO, M. T.. Auto-avaliação em cursos de pós-graduação: teoria e prática. Campinas: Papirus, 2004.
• MATTAR, F. N. Pesquisa de Marketing, 5ª ed. compacta. Rio de Janeiro: Elsevier Brasil, 2012.
• MERCADANTE, A. Avaliação Trienal 2013 - Resultados. CAPES. 2013. Disponível em: <http://www.avaliacaotrienal2013.capes.gov.br/resultados/planilha-de-notas>. Acesso em: 13 jul. 2014.
  » http://www.avaliacaotrienal2013.capes.gov.br/resultados/planilha-de-notas
• RAUPP, F. M.; BEUREN, I. M. Metodologia da Pesquisa aplicada às ciências sociais. In: RAUPP, F. M.; BEUREN, I. M. (Org.). Como elaborar trabalhos monográficos em contabilidade: teoria e prática, São Paulo: Atlas, 2008, p.76-97.
• RICHARDSON, R. J. et al. Pesquisa social: métodos e técnicas, 3ª ed.. São Paulo: Atlas 2011.
• RISTOFF, D. I. Princípios do programa de avaliação institucional., Avaliação: Revista da Avaliação da Educação Superior Sorocaba, v.1, n.1, p. 47-53, 1996.
• SCHWARTZMAN, J. Um Sistema de Indicadores para as Universidades Brasileiras. 1994. Disponível em: <http://nupps.usp.br/downloads/docs/dt9405.pdf>. Acesso em: 13 jul. 2014.
  » http://nupps.usp.br/downloads/docs/dt9405.pdf
• SEVERINO, A. J. Metodologia do trabalho científico, 23ª ed. São Paulo: Cortez, 2007.
• SPAGNOLO, F.; SOUZA, V. C. O que mudar na avaliação da Capes?, Revista Brasileira de Pós-Graduação Brasília, v. 1, n. 2, p. 8-34, 2004.
• STUFFLEBEAM, D. Evaluation Models. New Directions for Evaluation, v. 2001, n.89, p.7-98, 2001.
• TRIVIÑOS, A. N. S. Introdução à pesquisa em ciências sociais: a pesquisa qualitativa em educação: o positivismo, a fenomenologia, o Marxismo., São Paulo: Atlas 1987.
• VERHINE, R. E.; FREITAS, A. A. S. M. A avaliação da educação superior: modalidades e tendências no cenário internacional. Revista Ensino Superior Unicamp, v.3, n.7, p.16-39, 2012.
• VIANNA, H. M. Fundamentos de um Programa de Avaliação Educacional. Revista Meta: Avaliação, v.1, n.1, p.11-27, 2009.
• WORTHEN, B. R.; FITZPATRICK, J. L.; SANDERS, J. R. Avaliação de Programas: Concepções e Práticas. São Paulo: Edusp, 2004.

• 1
  Avaliado pelo sistema double blind review

Datas de Publicação

• Publicação nesta coleção
  sep-Dec 2014

Histórico

• Recebido
  23 Ago 2014
• Revisado
  01 Nov 2014
• Aceito
  01 Dez 2014