Desempenho no Judiciário: conceituação, estado da arte e agenda de pesquisa

Judicial performance: conceptualization, state of the art and research agenda

Desempeño en el Poder Judicial: conceptualización, estado del arte y programa de investigación

ARTIGOS

Desempenho no Judiciário. Conceituação, estado da arte e agenda de pesquisa¹

Judicial performance. Conceptualization, state of the art and research agenda

Desempeño en el Poder Judicial. Conceptualización, estado del arte y programa de investigación

Adalmir de Oliveira Gomes^I; Tomás de Aquino Guimarães^II

^IUniversidade de Brasília

^IIUniversidade de Brasília

RESUMO

O desempenho no Judiciário constitui um tema socialmente importante, no entanto, a pesquisa nessa área ainda carece de volume e sistematização teórica e metodológica que possibilitem a institucionalização do conhecimento. Diante disso, foi realizada uma análise da produção científica a respeito do tema. Foram revisados estudos empíricos publicados entre 1992 e 2011, que apresentavam como objetivo avaliar ou mensurar o desempenho em judiciários. Os resultados mostram que o conceito de desempenho judicial é multidimensional, multinível e tem como elemento central os juízes. Eficiência e celeridade são as dimensões de desempenho mais abordadas. Os resultados indicam que o tema é pouco explorado na área de administração pública. Com base nos resultados encontrados é oferecida uma agenda de pesquisa para estudos futuros.

Palavras - chave: Judiciário; tribunal; juiz; desempenho judicial.

ABSTRACT

Judicial performance is a socially important issue, however, research in this area still lacks volume and systematic theoretical and methodological that allows the institutionalization of knowledge. To contribute in this direction this study provides a literature review of recent empirical studies on the subject. Empirical studies published between 1992 and 2011, which had as objective to evaluate or measure the performance of the judiciary in many countries, were analyzed. The results show that the concept of judicial performance is multifaceted, multilevel and judges are the key actors. Efficiency and celerity are the more performance dimensions addressed. The findings also indicate that the issue of judicial performance has received scant attention in the field of public administration. A research agenda for future studies is proposed.

Key words: Court; magistrate; judicial performance.

RESUMEN

El desempeño en el Poder Judicial es un problema social importante, sin embargo, la investigación en esta área carece de volumen y sistemática teórica y metodológica que permita la institucionalización del conocimiento. Para contribuir en esta dirección se realizó un análisis de la literatura científica sobre el tema. Se revisaron estudios empíricos publicados entre 1992 y 2011, los cuales tenían como objetivo evaluar o medir el rendimiento en el Poder Judicial en varios países. Los resultados muestran que el concepto de desempeño judicial es multifacético, de múltiples niveles y cuenta con jueces como actores centrales. Las dimensiones de desempeño que más se abordaron fueron eficiencia y rapidez. Los resultados también indican que el tema ha sido poco explorado en el ámbito de la administración pública. Al final, se le ofrece un programa de investigación para futuros estudios.

Palabras clave: Poder Judicial; tribunal; juiz; desempeño.

1. Introdução

Nas décadas de 1990 e 2000 houve um aumento considerável na demanda por justiça em países considerados emergentes como o Brasil. No entanto, essa demanda não foi acompanhada por um aumento na capacidade de resposta do Poder Judiciário, ocasionando o que ficou conhecido no Brasil como "crise do Judiciário" (Sadek, 2004). Considerando que o Judiciário é sustentado por recursos públicos, e também por exercer um papel fundamental no cotidiano de cidadãos, organizações e países, argumentase que deva existir uma prestação de contas mais ampla à sociedade, de modo a permitirlhe um maior conhecimento a respeito do que o Judiciário faz e como faz.

Avaliações de desempenho em judiciários de diversos países buscam mostrar como a prestação judicial tem sido realizada. Ao lado do aumento na quantidade de estudos desse tipo nos últimos anos, percebese que as abordagens e focos de análises utilizadas são muito diferentes. Isso denota um campo em construção à procura de modelos teóricoempíricos de análise. O presente trabalho se propõe a contribuir nesse sentido. O objetivo é revisar a literatura mais recente sobre desempenho no Judiciário, e oferecer, com base nisso, um quadro de orientação para estudos futuros.

2. Desempenho na administração pública e no Judiciário

Avaliação de desempenho de empresas privadas é um procedimento institucionalizado, que tem se mostrado importante para a sobrevivência organizacional. Já no setor público ainda existem grandes desafios a serem superados a respeito do tema. No caso dos bens e serviços produzidos pelo setor público, os produtos ou resultados finais muitas vezes não são facilmente perceptíveis, o que implica a necessidade de utilização de indicadores intermediários. Esse parece ser o caso do Judiciário, onde parte dos produtos gerados é intangível e difícil de ser avaliada.

Avaliar qualitativamente o que se produz no Judiciário não é tarefa fácil porque uma decisão judicial envolve partes distintas que, geralmente, saem do processo de litígio com percepções diferentes. Mais fácil é avaliar o Judiciário com base em indicadores quantitativos. No entanto, esse procedimento é alvo de críticas, já que o mérito das decisões judiciais não é levado em consideração. Não obstante, alguns estudos (Djankov et al., 2001; Buscaglia, 2001) indicam uma correlação positiva entre eficiência e qualidade de decisões em tribunais. Para Abramo (2010:325), "o fato de medidas objetivas não serem suficientes para avaliar o judiciário não pode ser usado como desculpa para não medir o que se possa medir".

Um exame dos modelos de avaliação de desempenho no setor público ressalta a diversidade de perspectivas e abordagens. Teóricos econômicos enfatizam a importância de incentivos monetários, assimetrias de informações, custos de transação, entre outras variáveis que afetam o desempenho no setor público. Cientistas políticos enfatizam a influência exercida por mandatos e coalizões, autonomia e controle burocrático, ideologia e valores políticos, além de outras dimensões dos processos políticos (Heinrich, 2010). Sociólogos e psicólogos sociais se preocupam com fatores contextuais, que podem afetar o desempenho público, como a complexidade e a coordenação de tarefas; clima, cultura e valores organizacionais; concorrência entre unidades funcionais; características individuais dos membros; e comportamentos cognitivos e sociais (Murphy e Cleveland, 1995).

Na área da administração pública teóricos têm se esforçado por traçar caminhos intermediários para avaliar o desempenho de indivíduos e organizações públicas. Nessa tarefa, diversos modelos teóricos e analíticos foram desenvolvidos. Heinrich (2010) classifica os modelos conforme o grau de complexidade. No primeiro conjunto estão os mais simples, que buscam associar dados de entrada, atividades, dados de saída e resultados. Um exemplo é o modelo de avaliação utilizado por Hatry (1999). Segundo Heinrich (2010), a simplicidade desse tipo de modelo não permite identificar formalmente a influência do contexto e dos diferentes níveis organizacionais, entretanto, sua utilização motiva gestores públicos a buscarem explicações complementares nos dados utilizados. Um segundo conjunto de modelos avança ao apresentar uma estrutura mais complexa e formal, que, além de considerar a influência de fatores ambientais, combina dados de desempenho de três diferentes níveis de governo: equipes, programas e estratégias. Um exemplo pode ser encontrado na proposta de Osborne e colaboradores (1995).

Por último, um terceiro conjunto de modelos de avaliação de desempenho no setor público, mais do que descrever, busca explicar o desempenho observado. Para isso, a estrutura dos modelos aborda múltiplos níveis e diferentes dimensões de análise, considerando as relações entre órgãos governamentais, as condições políticas, estratégias gerenciais, tecnologias, funções organizacionais, resultados, percepção de usuários, entre outros fatores. Nessa proposta, a avaliação de desempenho pode ser descrita como uma estratégia que busca identificar relações causais dentro e por meio de níveis hierárquicos. Heinrich e Lynn Jr. (2000) descrevem uma série de aplicações desse tipo de modelo de avaliação no setor público.

Apesar dos inúmeros modelos de avaliação de desempenho na administração pública, apenas recentemente o assunto tem recebido atenção no Judiciário. Alguns estudos (Aragão, 1997; Arantes, 2007; Nogueira, 2011) alertam que os problemas relativos ao Judiciário praticamente não foram contemplados no âmbito dos estudos mais recentes na área de administração pública no Brasil. Nogueira (2011), por exemplo, identificou que apenas 0,9% das publicações de dois dos principais periódicos e encontros científicos em administração pública no Brasil, no período de 1995 a 2008, tinha como tema principal o Judiciário. Assim, para compreender de que forma avaliações e mensurações de desempenho têm evoluído no Judiciário nos últimos anos, nas seções seguintes são apresentados os resultados de uma revisão da literatura a respeito do tema.

3. Metodologia

Foram selecionadas pesquisas empíricas publicadas em periódicos científicos no período de 20 anos, entre 1992 e 2011. A busca foi realizada nas bases de dados Spell, Scielo, ABI/Inform Global (Proquest), SAGE Journal on Line, JSTOR Arts & Science I Collection, SpringerLink, Emerald and Oxford Journal. Juntas, essas bases de dados cobrem os principais periódicos brasileiros e estrangeiros que tratam do tema de interesse. As buscas foram orientadas pela combinação, nos resumos das publicações, das seguintes palavraschave: desempenho, eficiência, eficácia, efetividade, celeridade, produtividade, judiciário, justiça, juiz e tribunal, e suas correlatas em inglês e espanhol.

Da lista gerada inicialmente foram selecionadas 42 publicações, que tinham entre seus objetivos avaliar o desempenho de algum órgão do Judiciário, em qualquer país. Para garantir que estudos relevantes não encontrados na busca inicial fossem incluídos na amostra, foi utilizada a técnica "bola de neve", mapeandose as referências do grupo de textos inicialmente selecionado, de modo a constituir uma rede de publicações que se referem mutuamente. Tal procedimento permitiu a inclusão de outras 16 publicações, totalizando uma amostra de 58 artigos.

A análise empreendida considerou os seguintes critérios: (a) contexto das publicações, (b) características metodológicas, (c) características teóricas, (d) variáveis operacionalizadas, e (e) principais resultados encontrados. O primeiro critério situa o leitor quanto à origem das publicações e os tipos de judiciários investigados. Características metodológicas indicam o tipo de estudo, o nível de análise predominante, o recorte temporal e os procedimentos de coleta e análise de dados. Características teóricas indicam as áreas de conhecimento, os modelos teóricos, os conceitos e as dimensões de desempenho mais utilizadas. Quanto às variáveis utilizadas nos estudos, são apontadas as relações de dependência entre estas e o nível de análise em que foram operacionalizadas. Por fim, os principais resultados encontrados nas pesquisas indicam pontos convergentes e divergentes a respeito dos tópicos mais explorados.

4. O estado da arte de desempenho no Judiciário

4.1 Contexto das publicações

Percebe-se um aumento quase geométrico no número de publicações sobre desempenho no Judiciário no período de 1992 a 2011. Nos primeiros cinco anos, 1992 a 1996, apenas três (5%) estudos foram publicados; de 1997 a 2001, nove (16%); de 2002 a 2006, 18 (31%); e no período final, de 2007 a 2011, 28 (48%) estudos foram publicados. Destaque para o ano de 2010 com 11 publicações. O aumento na quantidade de publicações a respeito do tema pode ser explicado, em parte, pelo fortalecimento, nas décadas de 1990 e 2000, do debate internacional que discute a necessidade, a viabilidade e as possíveis consequências de reformas em judiciários nacionais. Isso parece ser mais claro em países considerados emergentes, onde as instituições que representam o setor ainda não estão totalmente sedimentadas, como no caso do Brasil (Banco Mundial, 2004).

Periódicos da área de economia e direito foram os que mais publicaram a respeito do tema. Entre os estudos revisados, nenhum foi publicado em periódicos específicos da área de administração pública. Umas das consequências disso, para a área, é a perda de espaço por omissão, ou seja, um tema que deveria ser desenvolvido essencialmente no âmbito da área de administração pública acaba se desenvolvendo em outras áreas. Situação esta que tende a ser agravada nos próximos anos, por exemplo, com o interesse cada vez maior de escolas de direito por pesquisas empíricas (Sadek e Oliveira, 2012).

Das 58 publicações revisadas, sete (12%) referemse exclusivamente ao Judiciário brasileiro. Outras seis (10%) também abordam o Judiciário brasileiro, mas não de maneira central. Alguns países se destacaram na amostra utilizada pela quantidade de estudos, em especial, Estados Unidos, com 12 estudos (20%), e Espanha, com quatro, cerca de 7%. Em termos de continente, foram 29 estudos na América (17 em judiciários latinoamericanos), 20 na Europa, seis na Ásia, dois na África e um na Oceania. Seis pesquisas podem ser consideradas globais, porque estudaram ao mesmo tempo judiciários de diversos países: Buscaglia e Dakolias (1999), Dakolias (1999), Heise (2000), Djankov e colaboradores (2001), Feld e Voight (2003) e Stephenson (2003). Interessante notar que os estudos com perspectiva global são mais antigos, publicados até 2003. Isso pode indicar o amadurecimento da percepção de que as diferenças entre judiciários nacionais inviabilizam estudos comparativos que consideram simultaneamente dados de diversos sistemas judiciários em suas análises, e buscam o desenvolvimento de teorias mais amplas e abrangentes. Estudos mais recentes, ao contrário, têm se caracterizado pelo desenvolvimento de teorias de médio alcance, com agendas de pesquisa orientadas para judiciários locais.

No caso do Brasil, os Tribunais Estaduais foram os mais investigados, abordados nas pesquisas de Ribeiro (2006), Schwengber (2006), Mello e Meireles (2010), Fochezatto (2010), Yeung e Azevedo (2011) e Castro (2011). Já Abramo (2010) investigou o Supremo Tribunal Federal, e Schwengber (2006), além da Justiça Estadual, também investigou a Justiça do Trabalho. Considerando todas as publicações revisadas, existe equilíbrio no que se refere às instâncias investigadas, ou seja, a atenção foi dividida entre as instâncias de primeiro grau e os tribunais de apelação.

O tipo de judiciário existente em cada país depende do tipo de direito que é aplicado. David (2002) ensina que os sistemas de direito utilizados atualmente no mundo podem ser classificados em três grandes famílias: (1) a família romanogermânica, que agrega os países nos quais a ciência do direito se formou sobre a base do direito romano; (2) a família da common law, que comporta os direitos que se modelaram sobre o direito inglês; e (3) a família dos direitos socialistas, composta de países que outrora tinham direitos pertencentes à família romanogermânica, mas que aderiram ao dogma do marxismoleninismo. Assim, é preciso cuidado na comparação de judiciários que utilizam distintos sistemas de direito, porque as atividades realizadas e os produtos gerados podem ser muito diferentes. Entre os estudos revisados, poucos definiram explicitamente os limites conceituais de suas proposições em relação aos sistemas de direito aplicados, indicando até que ponto seus achados podem ser generalizados.

Uma observação interessante diz respeito aos temas privilegiados nos diferentes continentes. Na amostra revisada, em pesquisas referentes a judiciários onde são aplicados direitos originários da família romanogermânica, existe uma preocupação maior com temas coletivos, como a eficiência organizacional e a opinião de usuários. Ao contrário, em países onde o direito utilizado tem como base o direito inglês, principalmente nos Estados Unidos, as pesquisas são mais voltadas para aspectos individuais, privilegiando, por exemplo, características de juízes e mérito de decisões.

4.2 Características metodológicas

Das 58 pesquisas revisadas, 49 (84%) são quantitativas, três qualitativas, e cinco podem ser caracterizadas como mistas, com a utilização de procedimentos quantitativos e qualitativos. Em relação ao tipo de estudo, apenas três pesquisas foram consideradas exploratórias, e outras 18, descritivas. Pesquisas explicativas, que buscaram explicar causas ou consequências do desempenho judicial, representam metade da amostra revisada, ou seja, 29.

Diferentes níveis de análise do judiciário foram explorados nos estudos revisados. Em 19 pesquisas, o nível predominante foi o individual, com dados e proposições quase sempre referentes aos juízes. No nível de grupo, considerando comarcas, distritos ou varas da justiça, cinco pesquisas foram realizadas. O nível organizacional, predominante em 28 pesquisas (48%), foi o mais representativo, concentrandose principalmente na mensuração da eficiência de tribunais. Finalmente, no nível institucional, 16 pesquisas consideraram os judiciários nacionais como objetos de análise.

Quanto ao recorte temporal, 32 estudos são transversais, outros quatro são transversais com perspectiva longitudinal, uma vez que os dados coletados em um único momento se referiam a períodos passados, e 22 podem ser considerados longitudinais. A quantidade de estudos longitudinais reflete a preocupação com a questão temporal no judiciário, um setor caracterizado tradicionalmente pela inércia (Sadek, 2004). Nessa lógica, pesquisas que cobrem grandes períodos são necessárias para captar as mudanças que ocorrem no setor.

Os dados secundários foram os mais utilizados em 51 (88%) pesquisas, a maior parte proveniente de documentos e bancos de dados oficiais. Entre as 19 (33%) pesquisas que utilizaram dados primários, 14 utilizaram questionários: cinco coletaram opiniões de juízes, três de usuários, três de advogados e duas de empresários. Outras cinco pesquisas utilizaram entrevistas para coletar dados, em quatro delas os juízes foram os entrevistados.

Interessante notar que das 21 publicações nos últimos três anos cobertos pela revisão, 2009 a 2011, 19 utilizaram apenas dados provenientes de documentos. Isso pode ser reflexo de movimentos voltados por maior transparência, muitas vezes fomentados por organismos internacionais, como o Banco Mundial. Reformas recentes em judiciários de diversos países contribuíram para a criação de bancos de dados, o que permite o desenvolvimento de novas pesquisas. No Brasil, o banco de dados mais utilizado em estudos sobre o Judiciário tem sido o relatório Justiça em Números, elaborado anualmente pelo Conselho Nacional de Justiça (CNJ) desde 2003.

Quanto aos procedimentos de análise de dados, a análise de regressão é a mais usual, presente em 27 pesquisas, 47% do total. Onze pesquisas (19%) utilizaram a técnica denominada análise envoltória de dados, que possibilita a comparação de coeficientes de eficiências relativas entre diferentes unidades. A análise envoltória tem sido utilizada no Judiciário desde os anos 1980 (Lewin, Morey e Cook, 1982). A análise estocástica de fronteira foi outra técnica bastante utilizada, presente em cinco pesquisas. A análise estocástica de fronteira difere da análise envoltória de dados, entre outros aspectos, por ser uma técnica paramétrica que permite considerar outros elementos residuais além da ineficiência, e também por admitir um número maior de unidades produtivas na análise. Apenas em uma pesquisa (Dalton e Singer, 2008) foi utilizada modelagem multinível, um conjunto de técnicas estatísticas que permite considerar simultaneamente a relação entre variáveis de diferentes níveis.

4.3 Características teóricas

A gestão do Judiciário foi o tópico mais abordado nas pesquisas revisadas, central em 29 estudos (50%). Reflete uma das discussões atuais de maior interesse no setor público: a suposta crise que atinge os judiciários de diversos países. Na ótica de teorias administrativas e econômicas, a crise tem sido caracterizada muito mais pela falta de gerenciamento do que pela falta de recursos (Banco Mundial, 2004), o que acaba refletindo na quantidade de pesquisas que buscam testar empiricamente tal hipótese. Embora a gestão do Judiciário seja um tópico essencialmente ligado à área de administração pública, as bases teóricas dos estudos foram buscadas em outras áreas do conhecimento, principalmente na economia (dez estudos) e no direito (oito estudos). Isso indica pouco desenvolvimento teórico no campo da administração pública para fenômenos atuais relacionados ao Judiciário.

O que se percebe é que, no conjunto dos estudos revisados, a definição de desempenho judicial aponta para uma enorme variedade de entendimentos, que abordam variáveis objetivas e subjetivas, de diferentes níveis de análise e associadas a diferentes dimensões de desempenho. Essa abrangência acaba dificultando a evolução teórica a respeito do tema, uma vez que os resultados dos estudos pouco se comunicam entre si. Foram raros os casos de pesquisas que continuaram o desenvolvimento de uma mesma problemática investigada em pesquisas anteriores. Em um desses casos, o efeito da idade no desempenho de juízes foi investigado sequencialmente nos estudos de Bhattacharya e Smyth (2001), Teitelbaum (2006) e Backes-Gellner, Schneider e Veen (2011), embora em judiciários que adotam diferentes sistemas de direito.

As dimensões de desempenho abordadas nos estudos revisados envolvem elementos objetivos e subjetivos, internos e externos ao Judiciário (figura 1). Eficiência e celeridade são dimensões mais objetivas, quase sempre atreladas a variáveis e indicadores quantitativos, e que, geralmente, se referem a práticas de gestão e a processos internos. Acesso e independência também são dimensões objetivas, que podem ser mensuradas de diversas maneiras, porém, ao contrário das dimensões eficiência e celeridade, estão mais voltadas para aspectos externos. As dimensões qualidade e efetividade, ao contrário das demais, são predominantemente subjetivas. Geralmente, qualidade envolve aspectos internos, enquanto efetividade, ao contrário, envolve resultados indiretos e externos ao Judiciário.

As dimensões de desempenho mais abordadas nos estudos foram, nessa ordem: eficiência, celeridade, efetividade, qualidade, independência e acesso. A dimensão eficiência foi enfatizada em 30 estudos. No Judiciário, eficiência referese principalmente à maneira como tribunais gerenciam os recursos disponíveis em função dos produtos gerados. Tribunais costumam ter autonomia administrativa e financeira, o que torna possível a comparação e a indicação dos mais e dos menos eficientes em termos relativos. Como praticamente inexistem parâmetros oficialmente definidos do que seria, por exemplo, um tribunal eficiente (CNJ, 2011b), as comparações entre unidades acabam se tornando pontos de referência. Como pode ser visto no quadro 1, nos estudos que focalizaram a dimensão eficiência, a categoria mais enfatizada foi produtividade, também denominada de eficiência técnica. A variável mais utilizada para mensurar a produtividade de tribunais foi a quantidade de processos concluídos.

Outra dimensão bastante pesquisada foi celeridade, abordada em 13 estudos. Os estudos mostram que o tempo é um insumo fundamental no Judiciário, e que o desperdício desse insumo gera consequências indesejadas em vários setores da sociedade. Para mensurar a celeridade a categoria mais enfatizada foi a duração de processos. Para identificar a duração de um processo, desde a data de autuação até a baixa, podem ser utilizados, pelo menos, dois procedimentos. O primeiro é mais simples e consiste na contagem da quantidade de dias que durou cada processo. O problema está na dificuldade de obtenção de dados para esse tipo de pesquisa. Um segundo procedimento, proposto por Dakolias (1999), consiste em estimar a duração média dos processos como a razão entre o estoque de processos pendentes e o fluxo de casos resolvidos. Essa medida é denominada de índice de atraso (backlog index) e pode ser interpretada como o número de períodos necessários para julgar todos os processos pendentes, mantida constante a taxa atual de atendimento da demanda (Castro, 2011).

A efetividade é uma das dimensões de desempenho mais difíceis de serem analisadas no Judiciário, principalmente porque envolve elementos subjetivos, como a percepção de usuários. E também porque trata de resultados indiretos, difíceis de serem mensurados com exatidão, geralmente captados apenas em estudos longitudinais que cobrem longos períodos. A sensação de segurança da população, o nível de confiança no Judiciário, a garantia aos direitos humanos e as taxas de criminalidade são alguns dos indicadores que podem ser utilizados para avaliar a efetividade judicial. Nas pesquisas revisadas, a confiança da população foi a principal categoria de análise. Já a variável mais utilizada foi a quantidade de violações aos direitos humanos.

A dimensão qualidade tem sido explorada nos estudos revisados de duas maneiras. Primeiro, em termos mais amplos, qualidade é definida como um indicador geral, composto dos demais indicadores de desempenho. Assim, um judiciário de qualidade seria aquele cujos recursos são geridos com eficiência, as demandas são julgadas com celeridade, que oferece amplo acesso aos usuários etc. Dakolias (1999) é um exemplo de estudo que utilizou esse tipo de definição. Por outro lado, para outros autores, como Taha (2004), Choi e Gulati (2005) e Taratoot e Howard (2011), qualidade é definida em termos mais restritos, por exemplo, o mérito das decisões judiciais. Como a qualidade de uma decisão é algo subjetivo, muitas pesquisas utilizam variáveis intermediárias, como a quantidade de decisões reformadas em instâncias superiores, a existência de recursos e a publicação de decisões.

As dimensões independência e acesso foram abordadas em poucos estudos. Algumas pesquisas enfatizaram a questão da autonomia do Judiciário em relação aos demais poderes e também em relação às forças econômicas. A autonomia do Judiciário foi a categoria mais enfatizada, e a quantidade de decisões contrárias ao governo foi a variável mais utilizada. Quanto ao acesso, a abrangência do Judiciário foi a categoria de análise mais explorada. Abrangência significa o alcance da atuação do Judiciário em relação à população. A quantidade de juízes e a quantidade de pessoas atendidas foram as variáveis mais utilizadas. Curiosamente o impacto de novas tecnologias no acesso aos judiciários praticamente foi desconsiderado nos estudos. Este resultado pode estar associado ao fato de que apenas recentemente alguns judiciários iniciaram o uso sistemático de novas tecnologias de informação e comunicação nos processos judiciais.

A maior parte dos modelos teóricos de avaliação de desempenho utilizados nos estudos revisados consiste em um conjunto de variáveis de entrada e de saída, que aborda apenas um nível de análise e desconsidera o efeito de variáveis ambientais. Em alguns poucos estudos os modelos de avaliação de desempenho utilizados têm correspondência com a proposta de Osborne e colaboradores (2005), isto é, além de apresentarem um conjunto lógico de variáveis internas, apresentam também algumas variáveis contextuais que permitem analisar ao mesmo tempo informações de níveis distintos do Judiciário. Os estudos de Montfort e colaboradores (2005), Dalton e Singer (2008) e Castro (2011) são exemplos disso. Modelos de avaliação de desempenho mais complexos, conforme os modelos utilizados por Heinrich e Lynn Jr. (2000), não foram encontrados em nenhum dos estudos revisados, o que indica um limitado desenvolvimento teórico a respeito do tema.

4.4 Variáveis operacionalizadas

Na maioria dos desenhos de pesquisa utilizados nos estudos revisados, o desempenho judicial foi operacionalizado como variável dependente, explicado por conjuntos de variáveis independentes. As variáveis mais utilizadas para explicar o desempenho judicial foram: quantidade de magistrados, quantidade de auxiliares, utilização de recursos financeiros, carga de trabalho, complexidade de procedimentos administrativos, disputas políticas, características de magistrados e uso de tecnologia. Por outro lado, o desempenho judicial foi considerado variável independente em seis pesquisas, em que as variáveis dependentes foram as seguintes: crescimento econômico (Feld e Voigt, 2003), desempenho de empresas (Chemin, 2010), custos sociais (Pastor, 2003) e corrupção (Urribarrí, 2008; Cordis, 2009).

No conjunto dos estudos revisados, o desempenho judicial se apresenta como um construto essencialmente multinível, ou seja, em maior ou menor escala, são consideradas variáveis situadas em diferentes níveis de análise, como processos, juízes, comarcas, tribunais e judiciários nacionais. No entanto, quando considerados individualmente, poucos estudos focalizaram ao mesmo tempo variáveis situadas em mais de um nível. As exceções são os estudos de Buscaglia e Ulen (1997), Buscaglia e Dakolias (1999), Buscaglia (2001), Djankov e colaboradores (2001), Feld e Voigt (2003), Pastor (2003), Beer (2006) e Dalton e Singer (2008). Quanto a isso, é importante observar que o desempenho em cada um dos níveis do Judiciário pode influenciar e ser influenciado pelo desempenho nos demais níveis, e essa influência pode ocorrer por meio de forças contextuais (top down) ou processos de emergência (bottom up) (Denisi, 2000).

Variáveis de um nível de análise podem ser agregadas ou desagregadas em níveis superiores ou inferiores. Esse tipo de procedimento, principalmente de agregação, tem sido bastante utilizado em pesquisas no Judiciário. Variáveis individuais referentes a juízes são frequentemente agregadas para caracterizar fenômenos atribuídos a níveis superiores, como comarcas e tribunais. Com menos frequência, variáveis agregadas de tribunais são utilizadas para descrever e comparar o desempenho de judiciários nacionais. Como exemplos de agregação de dados podem ser apontados os estudos de Tulkens (1993), PedrajaChaparro e SalinasJiménez (1996), Schneider (2005), Teitelbaum (2006), Hagstedt e Pross (2008), Castro e Guccio (2010), DimitrovaGrajzl e colaboradores (2010), Elbialy (2011), Castro (2011) e Backes-Gellner, Schneider e Veen (2011), que utilizaram observações individuais para indicar desempenhos organizacionais.

A recorrente utilização em pesquisas no Judiciário de variáveis e indicadores agregados se deve às características peculiares do próprio setor, como a escassez de dados empíricos disponíveis. Entretanto, tal procedimento pode apresentar problemas. Pesquisadores pouco cuidadosos na interpretação dos resultados podem cometer o engano, ou falácia, do nível errado, que consiste em analisar os dados em um nível e formular conclusões a respeito de outro. Segundo Hox (2010), provavelmente o engano relacionado ao nível errado mais conhecido é a falácia ecológica, que consiste em formular inferências em um nível mais baixo, baseandose em análises desenvolvidas em um nível mais alto. O problema também ocorre no sentido inverso, ou seja, a denominada falácia atomística, que consiste em formular inferências em um nível mais elevado, baseandose em análises desenvolvidas em um nível mais baixo. Um exemplo clássico de falácia ecológica é fornecido por Robinson (1950). Quando dados agregados são os únicos dados disponíveis, procedimentos que evitam a falácia ecológica podem ser encontrados em King (1997).

4.5 Principais resultados encontrados nas pesquisas revisadas

Desempenho de juízes

Nas pesquisas revisadas, os resultados encontrados a respeito do desempenho de juízes merecem atenção especial. No geral, consideramse as atividades de juízes a essência do desempenho judicial, isso porque são os juízes que determinam a quantidade, a qualidade e o ritmo da produção judiciária. Uma das consequências disso é que, na maior parte das avaliações, os dados a respeito do desempenho de juízes são agregados e utilizados para indicar o desempenho de varas, comarcas, tribunais e até mesmo de judiciários nacionais. Assim, por exemplo, dizer que uma comarca apresenta alta produtividade em comparação às demais significa dizer que os juízes que atuam naquela comarca são mais produtivos.

Os fatores mais associados ao desempenho de juízes nos estudos revisados foram: idade (Bhattacharya e Smyth, 2001; Teitelbaum, 2006; Backes-Gellner, Schneider e Veen, 2011), carga de trabalho (Beenstock e Haitovsky, 2004; DimitrovaGrajzl et al., 2010), remuneração (Deyneli, 2011; Cordis, 2009), gênero (Schneider, 2005; Choi et al., 2011) e nível acadêmico (Taha, 2004; Schneider, 2005).

A discussão a respeito da influência da idade do juiz em seu desempenho parece ser a mais controversa. Bhattacharya e Smyth (2001) buscaram testar na Corte Superior da Austrália a hipótese de que a produtividade de juízes seria influenciada pela idade. Os resultados indicaram que a produtividade de juízes segue o mesmo padrão de outras profissões, ou seja, aumenta com a experiência até alcançar um pico e começa a declinar antes da aposentadoria. Uma das explicações propostas para o resultado encontrado é que, na Austrália, são os próprios juízes que escrevem as decisões, ao contrário de outros países onde os juízes contam com auxiliares para tais tarefas.

Já o estudo de Teitelbaum (2006), que utilizou como amostra juízes da Suprema Corte dos Estados Unidos, reforça uma tese diferente, em que a produtividade não parece diminuir com o aumento da idade. O autor mostrou que a produtividade média no Tribunal investigado tem uma relação positiva com a idade dos juízes. Diante do dilema, Backes-Gellner e colaboradores (2011) forneceram uma solução interessante ao mostrar que a idade de juízes de Tribunais de Apelação na Alemanha, por um lado, parece influenciar negativamente o desempenho quantitativo, medido por meio da quantidade de decisões proferidas, e, por outro, parece influenciar positivamente o desempenho qualitativo, medido por meio do mérito das decisões. Importante ressaltar que Bhattacharya e Smyth (2001) e Teitelbaum (2006) investigaram judiciários que aplicam o direito da common law. Diferente do estudo de Backes-Gellner e colaboradores (2011), que investigou um judiciário com origem no direito romano-germânico.

Entre as variáveis que afetam o desempenho de juízes, a carga de trabalho, que consiste na divisão do acervo total de processos judiciais pela quantidade de juízes, recebeu bastante atenção. Os resultados encontrados são convergentes no sentido de que uma carga de trabalho elevada aumenta a pressão sobre os juízes, que por sua vez acabam produzindo mais. Beenstock e Haitovsky (2004), em pesquisa sobre a Justiça Comum de Israel, mostraram que juízes produzem mais quando se sentem pressionados em função de uma elevada carga de trabalho, e que a nomeação de novos juízes acaba diminuindo a pressão, diminuindo também a produtividade dos juízes já existentes na comarca. DimitrovaGrajzl e colaboradores (2010) chegaram a resultados semelhantes ao constatarem um efeito negativo da nomeação de novos juízes sobre a produtividade dos juízes existentes no Judiciário da Eslovênia.

Rosales-López (2008) constatou que a carga de trabalho tem um efeito positivo na produtividade de tribunais, definida como a quantidade de decisões em determinado período de tempo. No mesmo sentido, em estudo mais recente, Elbialy (2011) corroborou resultados de pesquisas anteriores ao descobrir que, quanto maior a carga de trabalho, maior a produtividade média de tribunais de primeiro grau no Egito, considerando como indicador de produtividade a taxa de resolução de processos. Uma explicação interessante para o fenômeno observado é fornecida por Castro (2011:59), para quem o sistema judicial possui mecanismos autorreguladores, de modo que "quando a carga de processos pendentes aumenta, a taxa de atendimento da demanda também cresce, impedindo que o estoque de processos na serventia entre em uma trajetória explosiva".

Por outro lado, evidências empíricas no Judiciário da Holanda, apresentadas no estudo de Montfort e colaboradores (2005), indicam que um acervo grande de casos não resolvidos em tribunais administrativos tende a tornar os processos mais lentos, principalmente processos de apelação. Em outras palavras, o estoque de processos sem julgamento parece ser uma causa importante da demora no julgamento de recursos.

A relação entre remuneração e desempenho de juízes foi explorada por Choi, Gulati e Posner (2007) em cortes federais de 50 estados nos Estados Unidos. Os autores descobriram que o salário de juízes tem um efeito positivo, porém fraco, na produtividade de tribunais, o que significa que seria necessário um aumento muito grande no salário de juízes para obter pouca melhoria na produtividade. Choi e colaboradores (2007) fazem uma ressalva em seus resultados, indicando que os dados analisados referemse à Justiça Federal dos Estados Unidos, onde os juízes são indicados e têm um mandato relativamente curto.

Deinely (2011) comparou a produtividade de tribunais em países europeus com base no salário de juízes. Os resultados, contrários àqueles encontrados por Choi e colaboradores (2007), apontaram uma relação positiva e significativa entre as variáveis investigadas, isto é, quanto maior o salário médio de juízes maior a produtividade de tribunais. Novamente, fazse necessária uma ressalva a respeito dos diferentes tipos de judiciários investigados nas pesquisas. Deinely (2011) investigou judiciários cujos direitos aplicados têm origem no direito romanogermânico, e Choi e colaboradores (2007) investigaram um judiciário com origem no direito inglês.

Importante ressaltar que a quantidade, a qualidade e o ritmo da produção de um juiz dependem de diversas outras variáveis, além das mencionadas nos estudos revisados. O tipo de justiça, a instância de atuação, os ritos e prazos processuais, as normatizações, os desenhos institucionais e as características dos usuários são alguns exemplos de variáveis contextuais que afetam o desempenho das atividades de um juiz. Dessa forma, focar apenas em características individuais de juízes para medir o desempenho do Judiciário podese revelar uma estratégia simplista.

Recursos

Os recursos financeiros e humanos foram os mais enfatizados nos estudos revisados. Quanto aos recursos financeiros, a principal constatação é que o aumento desse tipo de recurso não garante aumento de desempenho. Buscaglia e Ulen (1997), por exemplo, descobriram que apenas aumentar a quantidade de recursos financeiros não implica, necessariamente, aumento de eficiência em tribunais na América Latina. Por sua vez, Castro (2011) observou que parcela significativa da variação do desempenho de Tribunais da Justiça Estadual brasileira não pode ser explicada pela disponibilidade de recursos financeiros.

As evidências a respeito da importância de recursos humanos para o desempenho no Judiciário são controversas. Parte da literatura indica que a quantidade disponível de força de trabalho, principalmente de juízes, é fundamental para o desempenho no setor, enquanto outra parte sugere que a importância é relativa. Hazra e Micevska (2004) ilustram o primeiro caso, ao mostrar que a quantidade de juízes per capita diminuiu a taxa de congestionamento na Justiça civil e criminal da Índia. Da mesma forma, Mitsopoulos e Pelagidis (2007) descobriram que a força de trabalho disponível influencia positivamente o tempo de julgamento de processos em tribunais de apelação na Grécia. Rosales-López (2008) também mostrou que o tamanho dos tribunais de primeiro grau da Espanha, considerando a força de trabalho disponível, tem um efeito positivo na produção jurisdicional. Em pesquisa mais recente, Elbialy (2011) corrobora resultados anteriores ao mostrar que a quantidade de juízes tem impacto positivo no desempenho de tribunais no Egito.

Em contrapartida, os resultados de Beenstock (2001) e Beenstock e Haitovsky (2004) indicam que, em certos casos, a quantidade de processos resolvidos independe do número de juízes. A explicação é que, quando novos juízes são nomeados, diminui a carga de trabalho sobre os juízes existentes, o que acaba equilibrando a produtividade. No mesmo sentido, em uma abordagem mais ampla, que levou em consideração tanto juízes como tribunais, Hagstedt e Proos (2008) mostraram que houve aumento de eficiência no Judiciário da Suécia após a reforma que diminuiu a quantidade da força de trabalho, incluindo juízes. Mais recente, DimitrovaGrajzl e colaboradores (2010) descobriram que a quantidade de casos resolvidos no Judiciário da Eslovênia não depende da quantidade de juízes, uma vez que, quando novos juízes são nomeados, diminui a taxa de produtividade dos juízes mais antigos.

Procedimentos legais e administrativos

As pesquisas revisadas são consensuais em apontar como obstáculos à melhoria do desempenho judicial a falta de padronização e o excesso de formalismo em procedimentos legais e administrativos. Os resultados também são convergentes ao apontar que novas tecnologias são mecanismos importantes para diminuir o tempo de duração de procedimentos, além de aumentar a segurança das informações e ampliar o acesso de usuários.

Em uma amostra de 109 judiciários nacionais, Djankov e colaboradores (2001) descobriram que quanto maior o formalismo, denominado de regulação de disputas, nos procedimentos judiciais, maior a expectativa de duração de processos e menor o acesso da população. Os autores definem a regulação de disputas como a medida na qual os procedimentos legais utilizados em um país diferem de uma situação hipotética e ideal caracterizada pela resolução informal de conflitos. Ressaltam que a regulação de disputas é mais formal em países com origem no direito romanogermânico do que em países com origem na common law. Mitsopoulos e Pelagidis (2010) encontraram evidências de que os problemas principais do Judiciário da Grécia, em específico nos tribunais de apelação, estão relacionados à quantidade excessiva de procedimentos legais e administrativos. Os autores citam como exemplo a quantidade de recursos possíveis de serem interpostos ao longo da tramitação de um processo. Por outro lado, os autores também alertam para o risco de excessiva simplificação de procedimentos judiciais, o que acabaria por restringir o direito das partes. Assim, sugerese que deve ser encontrada uma situação ótima, que possa preservar a natureza contraditória do direito e a eficiência do sistema judicial.

Na mesma linha, Rosales-López (2008) investigou a influência de procedimentos administrativos no Judiciário espanhol e concluiu que a existência de mecanismos de padronização influencia positivamente o desempenho de tribunais. A autora observou que nos tribunais onde existe um órgão judicial denominado Common Procedural Services (CPS) a produtividade era maior. Esse tipo de órgão presta serviços para diversos tribunais na Espanha e sua principal função é registrar, entregar e garantir a execução das decisões judiciais. De acordo com Rosales-López (2008), a existência do CPS permite que tribunais padronizem seus procedimentos e, com isso, diminuam a duplicação de tarefas, maximizando assim seus resultados.

Algumas poucas pesquisas ressaltam que o uso de novas tecnologias tem contribuído para melhorar o desempenho judicial. Por exemplo, Buscaglia e Dakolias (1999) mostraram que tribunais que investiram mais em tecnologias de informação apresentaram melhorias consideráveis na taxa de resolução de processos. De acordo com os autores, as vantagens na utilização de tecnologias da informação são muitas. Entre as mais importantes estão o rastreamento de processos, que permite identificar, por exemplo, quais requerimentos já foram realizados e quais estão pendentes; o acesso mais rápido às jurisprudências por parte de juízes; e a maior facilidade para redigir as decisões. Pastor (2003) também ressalta a importância do uso de tecnologias no Judiciário ao mostrar que a eficiência da Justiça espanhola depende do uso intensivo de novas tecnologias da informação, como sistemas integrados e processos eletrônicos. Em termos gerais, observouse que a maioria dos autores tem ignorado as consequências da ampla introdução de computadores e do uso de tecnologias no Judiciário. Com isso, os estudos revisados parecem considerar que as tecnologias da informação e comunicação são ferramentas administrativas neutras, com pequena ou nenhuma implicação no desempenho judicial.

Comparação entre unidades

Um conjunto de estudos investigou o desempenho judicial visando comparar tribunais ou sistemas judiciários nacionais. Esse tipo de pesquisa permite identificar quais unidades devem ser imitadas e quais devem buscar melhorias em seus processos produtivos. A comparação entre unidades geralmente tem como base o conceito de eficiência, mais especificamente, a noção de eficiência técnica ou produtividade.

Os resultados encontrados por Kittelsen e FØrsund (1992), Tulkens (1993), PedrajaChaparro e SalinasJiménez (1996), Choi e colaboradores (2007), Hagstedt e Proos (2008), GarcíaRubio e Rosales-López (2010), Fochezatto (2010), Elbialy e GarcíaRubio (2010), Yeung e Azevedo (2011) e Deyneli (2011) indicam quais são os tribunais mais eficientes em suas respectivas amostras. Já os resultados encontrados por Dakolias (1999) e Staats e colaboradores (2005) indicam quais são os sistemas judiciários nacionais mais eficientes.

Os critérios de comparação utilizados envolvem diferentes conjuntos de insumos e produtos. Os insumos mais utilizados foram: recursos humanos, especialmente juízes, recursos financeiros e tecnologia; e os produtos mais utilizados foram: processos julgados e decisões proferidas. Algumas comparações são focadas em insumos com o objetivo de estimar o quanto poderia ser economizado gerando os mesmos produtos. Outras são focadas em produtos, buscando estimar o quanto poderia ser produzido com os mesmos insumos. Em algumas pesquisas, os insumos e produtos são submetidos a um denominador comum para controlar variáveis contextuais, que poderiam interferir na análise. Por exemplo, Yeung e Azevedo (2011) utilizam a carga de trabalho como denominador comum de tribunais estaduais no Brasil no intuito de controlar variações do grau de litigiosidade em cada estado.

Algumas pesquisas avançam em análises comparativas apontando, por exemplo, características de tribunais mais e menos eficientes, fontes principais de eficiência ou de ineficiência, ou o quanto um tribunal deve melhorar para alcançar determinado nível de eficiência. Elbialy e GarcíaRubio (2010), por exemplo, indicam que não existe diferença significativa em termos de eficiência entre cortes civis e criminais no Egito. Já GarcíaRubio e Rosales-López (2010) sugerem que tribunais espanhóis menos eficientes poderiam aumentar sua produção em média 20%, utilizando a mesma quantidade de recursos, porém, aperfeiçoando a gestão administrativa dos processos internos.

Outros estudos avançam ainda mais utilizando covariáveis individuais ou contextuais como preditoras da eficiência judicial. Um exemplo é a pesquisa de Deyneli (2011), que além de comparar a eficiência judicial em diversos países europeus, identificou também a influência do salário de juízes na eficiência dos tribunais.

5. Considerações finais e proposta de agenda de pesquisa

Como foi apresentado ao longo do texto, o conceito de desempenho judicial é multidimensional e multinível, e tem como elemento central o juiz. Isso significa que qualquer esforço de avaliação deveria indicar, com clareza, qual dimensão de desempenho está sendo avaliada e em qual nível de análise as observações utilizadas estão situadas. A revisão mostrou que o desempenho no Judiciário é um tema pouco explorado, principalmente na área de administração pública, e que uma agenda de pesquisa ainda precisa ser construída. Os resultados dos estudos revisados indicam a existência de pontos convergentes e divergentes em relação ao tema. Os pontos convergentes consistem em resultados relativamente consolidados, que geram eventuais discussões periféricas, sem alterar o entendimento mais amplo. Ao contrário, os pontos divergentes significam questões que ainda permanecem abertas a respeito do tema, lacunas que precisam ser exploradas.

Em relação ao desempenho de juízes muita coisa ainda precisa ser estudada. A influência da idade no desempenho de juízes ainda não foi explorada no contexto nacional. Poderia ser observado, por exemplo, se a relação entre idade e desempenho se comporta como apontam estudos anteriores, em todas as instâncias do Judiciário. Juízes cada vez mais novos têm sido contratados no Judiciário brasileiro. Pesquisas poderiam investigar de que forma esse fenômeno tem afetado o desempenho do setor. Ainda sobre a idade, uma lacuna clara na literatura diz respeito ao impacto de novas tecnologias no desempenho de juízes mais experientes.

Outra questão divergente a respeito do desempenho de juízes é o efeito da carga de trabalho. Estudos futuros poderiam oferecer evidências empíricas mais claras a respeito dessa questão, indicando, por exemplo, de que forma a carga de trabalho afeta indicadores de desempenhos quantitativos e qualitativos, e de que forma isso ocorre em diferentes serventias de justiça e instâncias do Judiciário. No caso do Judiciário brasileiro, estudos longitudinais poderiam investigar como esforços voltados para diminuir o acervo de processos, principalmente programa de metas definido pelo CNJ, afetaram o desempenho individual.

O desempenho de juízes deveria ser considerado como o resultado de uma combinação de variáveis individuais, relacionais e contextuais. Dessa forma, o efeito de determinada característica de um juiz em seu desempenho poderia ser atenuado ou reforçado, por exemplo, por características relacionais, como o desempenho de pares, e por características contextuais, como condições de trabalho em comarcas, estratégias gerenciais utilizadas em tribunais e características de usuários.

Em relação à importância de recursos no desempenho judicial, os resultados encontrados são divergentes. Em alguns estudos, sustentase que os recursos financeiros são essenciais para se alcançar o desempenho esperado, porém, somente até determinado ponto, com pouco ou nenhum efeito a partir disso. Em tempos de crise financeira e preocupação com economia de recursos públicos, pesquisas futuras poderiam, por exemplo, explicar a relação entre a alocação de recursos financeiros para diferentes fins, como pagamento de pessoal, aquisição de bens e serviços e investimentos, e o desempenho de diferentes unidades organizacionais do Judiciário.

Quanto aos recursos humanos, geralmente, a quantidade de juízes é considerada um fator determinante da produtividade e celeridade de tribunais. Entretanto, a relação parece não ser tão simples, posto que inserir novos juízes pode significar diminuir a pressão sobre juízes existentes, o que implica, geralmente, diminuição da produtividade. Assim, sugerese a realização de pesquisas, preferencialmente longitudinais, que mostrem como a contratação e a alocação de juízes nos últimos anos têm influenciado a produtividade de varas, comarcas e tribunais no Brasil.

Parece existir consenso de que o excesso de procedimentos legais e administrativos afeta negativamente o desempenho judicial, principalmente a celeridade. Diante disso, a partir da década de 2000, novas tecnologias foram inseridas no Judiciário brasileiro no intuito de simplificar procedimentos, aumentar a celeridade e o acesso, entre outros. Apesar disso, ainda não existem evidências empíricas contundentes sobre o efeito dessas novas tecnologias no desempenho do Judiciário brasileiro. Pesquisas futuras poderiam investigar em comarcas ou em tribunais, por exemplo, se processos que tramitam no formato eletrônico são mais céleres do que processos que tramitam no formato impresso.

Em relação à comparação entre unidades do Judiciário, sugerese a realização de pesquisas baseadas em outras dimensões de desempenho além da eficiência. Quase todos os estudos comparativos revisados utilizaram indicadores de eficiência como parâmetros de comparação. Tribunais ou outros órgãos do Judiciário poderiam ser comparados, por exemplo, com base na acessibilidade de cidadãos aos serviços judiciais, ou com base na qualidade das decisões proferidas.

Por fim, como recomendação geral, estudos futuros deveriam utilizar modelos de avaliação mais complexos no Judiciário, que, mais do que descrever, busquem explicar os resultados observados. Além de variáveis originárias nos múltiplos níveis do Judiciário, deveriam ser consideradas também na avaliação do desempenho judicial variáveis contextuais, como mudanças institucionais, aspectos políticos e condições locais. Esse tipo de avaliação de desempenho permite gerar informações mais precisas aos gestores públicos.

Artigo recebido em 20 maio 2012 e aceito em 10 dez. 2012.

Adalmir de Oliveira Gomes é doutorando do Programa de PósGraduação em Administração da Universidade de Brasília (PPGA/UnB). Email: [e-mail].

Tomás de Aquino Guimarães é professor titular do Programa de PósGraduação em Administração da Universidade de Brasília (PPGA/UnB). Email: [e-mail].

• ABRAMO, Claudio W. Tempos de espera no Supremo Tribunal Federal. Revista Direito GV, v. 6, n. 2, p. 423-442, 2010.
• ARAGÃO, Cecilia, V. Fatores agilizadores e restritivos à atuação da Justiça do Trabalho: um estudo exploratório. Revista de Administração Pública, v. 31, n. 4, p. 183-215, 1997.
• ARANTES, Rogério B. Judiciário: entre a justiça e a política. In: AVELAR, Lúcia; CINTRA, Antônio (Org.). Sistema político brasileiro: uma introdução. Rio de Janeiro: Konrad-Adenauer-Stiftung; São Paulo: Editora Unesp, 2007.
• Backes-Gellner, Uschi; SCHNEIDER, Martin; VEEN, Stephan. Effect of workforce age on quantitative and qualitative organizational performance: conceptual framework and case study evidence. Organization Studies, v. 32, n. 8, p. 1103-1121, 2011.
• BANCO MUNDIAL. Fazendo com que a justiça conte Medindo e aprimorando o Judiciário brasileiro. Relatório n. 32789, Banco Mundial, Washington, DC, 2004.
• BEENSTOCK, Michael. The productivity of judges in the Courts of Israel. Israel Law Review, v. 35, n. 249, 2001.
• BEENSTOCK, Michael; HAITOVSKY, Yoel. Does the appointment of judges increase the output of the judiciary? International Review of Law and Economics, v. 24, n. 3, p. 351-369, 2004.
• BEER, Caroline. Judicial performance and the rule of law in the Mexican States. Latin American Politics & Society, v. 48, n. 3, p. 33-61, 2006.
• BHATTACHARYA, Mita; SMYTH, Russell. Ageing and productivity among judges: Some empirical evidence from the High Court of Australia. Australian Economic Papers, v. 40, p. 199-212, 2001.
• BUSCAGLIA, Edgardo. An economic and jurimetric analysis of official corruption in the courts: a governancebased approach. Global programme against corruption. Research and Scientific Series, Viena, 2001.
• BUSCAGLIA, Edgardo; DAKOLIAS, Maria. Comparative international study of court performance indicators: a descriptive and analytical account. The World Bank: The International Bank for Reconstruction and Development, 1999.
• BUSCAGLIA, Edgardo; ULEN, Thomas. A quantitative assessment of the efficiency of the judicial sector in Latin America. International Review of Law and Economics, v. 17, n. 2, p. 275-291, 1997.
• CASTRO, Alexandre S. Indicadores básicos e desempenho da Justiça Estadual de primeiro Grau no Brasil Brasília: Ipea, 2011.
• CASTRO, Massimo; GUCCIO, Calogero. Searching for the source of technical inefficiency of Italian judicial districts. An empirical investigation using DEA double bootstrapping approach. In: CONFERENZA, SOCIETÁ ITALIANA DE ECONOMIA PUBBLICA, XXII, 2010, Pavia. Mimeografado.
• CHEMIN, Matthieu. Does court speed shape economic activity? Evidence from a court reform in India. Journal of Law and Economic Organization, especial edition, 2010.
• CHOI, Stephen et al. Judging woman. Journal of Empirical Legal Studies, v. 8, p. 504-532, 2011.
• CHOI, Stephen; GULATI, Mitu. Which judges write their opinion (and should we care?). Florida State University Law Review, v. 32, p. 1077-1122, 2005.
• CHOI, Stephen; GULATI, Mitu; POSNER, Eric. Which states have the best (and worst) high courts? Public Law and Legal Theory Working Paper, n. 217, 2007.
• CONSELHO NACIONAL DE JUSTIÇA (CNJ). Avaliação do desempenho judicial Desafios, experiências internacionais e perspectivas. Série CNJ Acadêmico, n. 1, 2011a.
• CONSELHO NACIONAL DE JUSTIÇA (CNJ). Justiça em números 2010: indicadores do Poder Judiciário - Panorama do Judiciário Brasileiro, Brasília, 2011b.
• CORDIS, Adriana. Judicial checks on corruption in the United States. Economic Governance, v. 10, p. 375-401, 2009.
• DAKOLIAS, Maria. Court performance around the world: a comparative perspective. Washingon, DC: The World Bank: The International Bank for Reconstruction and Development, 1999.
• DALTON, Teresa; SINGER, Jordan. A matter of size: an analysis of court efficiency using hierarchical linear modeling, 2008. Disponível em: <www.ssrn.com/abstract=1133242>. Acesso em: 23 fev. 2012.
• DAVID, René. Os grandes sistemas do direito contemporâneo 4. ed. São Paulo: Martins Fontes, 2002.
• DENISI, Angelo. Performance appraisal and performance management: a Multilevel Analysis. In: KLEIN, Klein; KOZLOWSKI, Steve (Eds.). Multilevel theory, research, and methods in organizations San Francisco: JosseyBass, 2000. p. 121156.
• DEYNELI, Fathi. Analysis of relationship between efficiency of justice services and salaries of judges with twostage DEA method. European Journal of Law and Economics, v. 2, 2011, New Haven.
• DIMITROVAGRAJZL, Valentina et al. Court output, judicial staffing, and the demand for court services: evidence from Slovenian courts of first instance. In: ANNUAL CONFERENCE ON EMPIRICAL LEGAL STUDIES, 5^TH , 2010. Mimeografado.
• DJANKOV, Simeon et al. Legal structure and judicial efficiency: The Lex Mundi Project. Washington, DC: World Bank, 2001.
• ELBIALY, Nora. Measuring judicial performance. The case of Egypt. German Working Papers in Law and Economics, v. 14, p. 140, 2011.
• ELBIALY, Nora; GARCÍARUBIO, Miguel. Assessing judicial efficiency of Egyptian first instance Courts. A DEA analysis. Joint Discussion Paper Series in Economics, 2010.
• FELD, Lars; VOIGT, Stefan. Economic growth and judicial independence: cross country evidence using a new set of indicators. Cesifo, working paper n. 906, 2003.
• FOCHEZATTO, Adelar. Análise da eficiência relativa dos tribunais da justiça estadual brasileira utilizando o método DEA. International Meeting on Regional Science, 2010.
• GARCÍARUBIO, Miguel; Rosales-López, Virginia. Justicia y economía: evaluando la eficiencia judicial em Andalucía. Revista para el Análisis del Deretcho, Barcelona, v. 4, p. 126, 2010.
• HAGSTEDT, Katarina; PROOS, Julia. Has the recent restructuring of the Swedish district Courts improved efficiency? A DEA analysis. Working paper: Uppsala University, 2008.
• HATRY, Harry. Performance measurements: getting results. Washington, DC: Urban Institute Press, 1999.
• HAZRA, Arnab; MICEVSKA, Maja. The problem of court congestion: evidence from the Indian Lower Courts. In: ROYAL ECONOMIC SOCIETY ANNUAL CONFERENCE, 2004, Swansea.
• HEINRICH, Carolyn. Como avaliar o desempenho e a efetividade do setor público. In: PETERS, Guy; PIERRE, Jon (Org.). Administração pública: coletânea. São Paulo: Editora Unesp, 2010.
• HEINRICH, Carolyn; LYNN Jr., Laurence (Ed.). Governance and performance: new perspectives. Washington, DC: Georgetown University Press, 2000.
• HEISE, Michael. Justice delayed? An empirical analysis of civil case disposition time. Case Western Reserve Law Review, v. 50, n. 4, p. 813-849, 2000.
• HOX, Joop. Multilevel analysis: techniques and applications. 2. ed. Nova York: Routledge, 2010.
• KING, Gary. A solution to the ecological inference problem: reconstructing individual behavior from aggregate data. Princeton, NJ: Princeton University Press, 1997.
• KITTELSEN, Sverre; FØRSUND, Finn. Efficiency analysis of Norwegian district Courts. The Journal of Productivity Analysis, v. 3, p. 277-306, 1992.
• LEWIN, Arie; MOREY, Richard; COOK, Thomas. Evaluating the administrative efficiency of courts. Omega International Journal of Management Science, v. 10, n. 4, p. 401-411, 1982.
• MELLO, Marcelo; MEIRELLES, Delton. Juizados especiais: entre a legalidade e a legitimidade - análise prospectiva dos juizados especiais da comarca de Niterói, 19972005. Revista Direito GV, v. 6, n. 2, p. 371-398, 2010.
• MITSOPOULOS, Michael; PELAGIDIS, Theodore. Does staffing affect the time to dispose cases in Greek Courts? International Review of Law and Economics, v. 27, n. 2, p. 219-244, 2007.
• MITSOPOULOS, Michael; PELAGIDIS, Theodore. Greek appeals courts' quality analysis and performance. European Journal of Law and Economics, v. 30, p. 17-39, 2010.
• MONTFORT, André et al. The sooner the better management of time in district courts. International Journal of the Sociology of Law, v. 33, p. 35-51, 2005.
• MURPHY, Kevin; CLEVELAND, Jeanette. Understanding performance appraisal Social organizational, and goalbased perspectives. Thousand Oaks, CA: Sage, 1995.
• NOGUEIRA, José M. A ausência do Poder Judiciário enquanto objeto de estudo da administração pública brasileira. Revista Eletrônica Díke, v. 1, n. 1, p. 117, 2011.
• OSBORNE, Stephen et al. Performance managements and accountability in complex programmes. Finance Accountability and Management, v. 11, p. 19-37, 1995.
• PASTOR, Santos. Eficiencia y eficacia de la justicia. Papeles de Economía Española, n. 95, p. 272-305, 2003.
• PEDRAJA-CHAPARRO, Francisco; SALINAS-JIMÉNEZ, Leobardo. An assessment of the efficiency of Spanish Courts using DEA. Applied Economics, v. 28, n. 11, p. 1391-1403, 1996.
• RIBEIRO, Ivan. Robin Hood versus King John: como os juízes locais decidem casos no Brasil? Brasília: Ipea, Prêmio IpeaCEF, 2006. p. 149.
• ROBINSON, William. Ecological correlations and the behavior of individuals. American Sociological Review, v. 15, p. 351-357, 1950.
• ROSALES-LÓPEZ, Virginia. Economics of court performance: an empirical analysis European Journal of Law and Economics, v. 25, p. 231-251, 2008.
• SADEK, Maria T. Judiciário: mudanças e reformas. Estudos Avançados, v. 18, n. 51, p. 79-101, 2004.
• SADEK, Maria T.; OLIVEIRA, Fabiana L. Estudos, pesquisas e dados em Justiça. In: OLIVEIRA, Fabiana L. (Org.). Justiça em foco: estudos empíricos. Rio de Janeiro: FGV, 2012.
• SCHNEIDER, Martin. Judicial career incentives and court performance: an empirical study of the German Labor Courts of Appeal. European Journal of Law and Economics, v. 20, p. 127-144, 2005.
• SCHWENGBER, Silvane. Mensurando a eficiência no sistema Judiciário: métodos paramétricos e não paramétricos. Tese (doutorado) - Faculdade de Economia, Administração, Contabilidade e Ciência da Informação e Documentação, Universidade de Brasília, Brasília, 2006.
• STAATS, Joseph; BOWLER, Shaun; HISKEY, Jonathan. Measuring judicial performance in Latin America. American Politics & Society, v. 47, n. 4, p. 77-106, 2005.
• STEPHENSON, Matthew. When the devil turns...: the political foundations of independent judicial review. Journal of Legal Studies, v. 32, p. 59-90, 2003.
• TAHA, Ahmed. Publish or Paris? Evidence of how judges allocate their time. American Law Economics Review, v. 6, n. 1, p. 127, 2004.
• TARATOOT, Cole; HOWARD, Robert. The labor of judging: examining administrative law judge decisions. American Politics Research, v. 39, p. 832-858, 2011.
• TEITELBAUM, Joshua. Age and tenure of the justices and productivity of the U.S. Supreme Court: Are term limits necessary? Florida State University Law Review, v. 34, p. 161-181, 2006.
• TULKENS, Henry. On FDH efficiency analysis: some methodological issues and applications to retail banking, courts and urban transit. Journal of Productivity Analysis, v. 4, p. 183-210, 1993.
• URRIBARRÍ, Raúl. Characteristics of the Judiciary vs. corruption perception. Sistemas Judiciales, v. 13, p. 88-99, 2008.
• YEUNG, Luciana; AZEVEDO, Paulo. Measuring efficiency of Brazilian Courts with data envelopment analysis (DEA). Journal of Management Mathematics, v. 22, n. 4, p. 343-356, 2011.

1

Os autores agradecem as valiosas críticas e sugestões de dois avaliadores anônimos que muito contribuíram para a melhoria do artigo.

Datas de Publicação

• Publicação nesta coleção
  07 Maio 2013
• Data do Fascículo
  Abr 2013

Histórico

• Recebido
  20 Maio 2012
• Aceito
  10 Dez 2012