Acessibilidade / Reportar erro

Além dos "achismos" e das evidências anedóticas: medindo a eficiência dos tribunais brasileiros

Resumos

Este artigo usa a Análise Envoltória de Dados (DEA) para medir a eficiência na Justiça Estadual Brasileira. Os resultados indicam que a eficiência relativa varia significativamente entre diferentes tribunais. Há um grupo que consistentemente apresenta bom desempenho, e outro que consistentemente apresenta desempenho fraco. Entretanto, o maior problema parece estar com um grupo de tribunais que apresenta resultados instáveis, podendo indicar deficiências na coleta e/ou mensuração dos dados. Também é possível inferir a partir dos resultados que a falta de recursos não é a principal explicação para a ineficiência, dado que esta pode ser alcançada sem alteração na quantidade de recursos empregados.

Eficiência; Tribunais; DEA


This paper uses Data Envelopment Analysis (DEA) to measure efficiency in Brazilian State Courts. Results show that relative efficiency varies substantially across the states. There is a group of consistent top performers, as well as a group of consistent poor performers. Yet, the biggest problem seems to be with a group of courts presenting very unstable results, whichmight indicate deficient data collection and/ormeasurement. It may also be inferred from the results that the lack of resources is not the main reason for inefficiency, since efficiency could be attained without changing the level of inputs employed.

Efficiency; Courts; DEA


ARTIGOS

Além dos "achismos" e das evidências anedóticas: medindo a eficiência dos tribunais brasileiros

Luciana Luk-Tai YeungI; Paulo Furquim de AzevedoII

IInsper Instituto de Ensino e Pesquisa. E-mail: lucianay@insper.edu.br

IIEscola de Economia de São Paulo - Fundação Getulio Vargas (EESP-FGV). E-mail: pfazevedo@fgv.br

RESUMO

Este artigo usa a Análise Envoltória de Dados (DEA) para medir a eficiência na Justiça Estadual Brasileira. Os resultados indicam que a eficiência relativa varia significativamente entre diferentes tribunais. Há um grupo que consistentemente apresenta bom desempenho, e outro que consistentemente apresenta desempenho fraco. Entretanto, o maior problema parece estar com um grupo de tribunais que apresenta resultados instáveis, podendo indicar deficiências na coleta e/ou mensuração dos dados. Também é possível inferir a partir dos resultados que a falta de recursos não é a principal explicação para a ineficiência, dado que esta pode ser alcançada sem alteração na quantidade de recursos empregados.

Palavras-chave: Eficiência; Tribunais; DEA.

ABSTRACT

This paper uses Data Envelopment Analysis (DEA) to measure efficiency in Brazilian State Courts. Results show that relative efficiency varies substantially across the states. There is a group of consistent top performers, as well as a group of consistent poor performers. Yet, the biggest problem seems to be with a group of courts presenting very unstable results, whichmight indicate deficient data collection and/ormeasurement. It may also be inferred from the results that the lack of resources is not the main reason for inefficiency, since efficiency could be attained without changing the level of inputs employed.

Keywords: Efficiency; Courts; DEA.

JEL classification: K4, D02, C14

1 Introdução

O estado de crise do Judiciário brasileiro não é recente. Desde meados do século XX, juízes e especialistas assim consideravam a situação das cortes no país. No entanto, há razoável consenso de que a promulgação da Constituição Federal de 1988—a chamada "Constituição Cidadã"—acentuou gravemente esta crise (Rosenn 1998, Moreira 2004). A criação de novos direitos civis e novos instrumentos de litígio, a abertura da economia, o estabelecimento da democracia política e a implementação de diversas políticas econômicas inadequadas, até mesmo de constitucionalidades duvidosas, criaram milhares, ou até mesmo milhões, de novos processos judiciais. Claramente, os tribunais não têm sido capazes de responder a todas estas demandas.

A ineficiência judicial tem sido amplamente discutida e unanimemente aceita. No entanto, uma avaliação objetiva e quantitativa deste problema raramente tem sido feita. Como mostra o Banco Mundial (2004), sem dados empíricos críveis não se pode fazer uma boa avaliação e, muito menos, chegar a soluções eficazes. Infelizmente, quase toda pesquisa jurídica feita no Brasil é baseada em análises qualitativas, "achismos", e muitas vezes sujeitas a juízos de valor. Isso não é surpreendente, visto que as discussões sobre o Judiciário são normalmente limitadas a círculos juristas e que, dada a ausência de cursos quantitativos nas escolas de Direito do país, não há nesses círculos expertise apropriada para pesquisas empíricas

O objetivo deste trabalho é medir objetivamente a eficiência dos tribunais no Brasil. Para tanto, é empregado o método de otimização linear denominado DEA (de Análise Envoltória de Dados em inglês) para medir a eficiência dos Tribunais Estaduais entre os anos de 2006 e 2010. Os resultados indicam que a eficiência relativa varia significativamente entre os diferentes estados. Diferentemente do que argumenta o senso comum, os tribunais não são todos"igualmente ruins". Além disso, os resultados indicarão que o desempenho de eficiência está pouco relacionado como nível de recursosmateriais e humanos que umtribunal possui. É possívelmelhorar os resultados de umtribunal sem se aumentar necessariamente a quantidade de recursos empregados. Finalmente, são apresentadas algumas evidências preliminares que correlacionam a gestão e a organização dos tribunais com o seu desempenho de eficiência.

De uma forma geral, o desempenho do Judiciário brasileiro é considerado bastante ruim. As estatísticas não oficiais (dado que as oficiais não existem) divergem, mas estima-se que um processo judicial leve, em média, 1.000 a 1.500 dias para ser concluído. Não é raro um processo ficar até 14 anos somente no STF (Supremo Tribunal Federal). Esta morosidade é causada pela grande quantidade de casos que qualquer juiz tem em mãos para resolver: uma média de 10.000 por juiz, em qualquer momento do tempo (Sherwood 2007).

Funcionários do Judiciário normalmente acusam a falta de recursos humanos e materiais pela ineficiência judicial. Alguns especialistas, contudo, apontam para outras explicações, em particular a gestão dos recursos existentes. Em sua opinião, saber como geri-los é mais importante do que obter recursos adicionais (Dakolias 1999). Alguns magistrados de alto escalão também concordam com este argumento (Mendes 2008).

É de conhecimento comum que o setor público brasileiro, em particular o judiciário, por sua composição e modo de funcionamento, é menos permeável às técnicas de gestão e avanços das ciências administrativas. Alguns especialistas acreditam que esta falta de gestão profissional é um dos maiores problemas no Judiciário brasileiro. Sherwood (2007) discute a questão da gestão das cortes da seguinte forma: cada tribunal tem um presidente que é responsável pelo orçamento, pelos recursos materiais (de imóveis a papéis), pela tecnologia de informação, pela contratação e treinamento de pessoal, etc. Além disso, por determinação legal, todo presidente de tribunal precisa ser um juiz, e este presidente terá um mandato de, no máximo, dois anos. Entretanto, é praticamente inexistente a inclusão de disciplinas de gestão no currículo das escolas de Direito. A conclusão do autor é que o sistema judicial brasileiro é gerido por amadores (em Gestão, não em Direito). Como agravante, os magistrados brasileiros passam grande parte do seu tempo de trabalho cuidando de assuntos administrativos e não julgando processos. Como mostra Dakolias (1999), os juízes brasileiros gastam, em média, 65% de seu tempo envolvidos com obrigações não-judiciais.1 1 Os números equivalentes para a Argentina e o Peru são de 70%, e para a Alemanha e Cingapura de 0%. Nestas situações, somando-se ainda a grande quantidade de processos que entra nos tribunais todos os dias, é muito difícil para qualquer juiz emitir decisões rápidas e de boa qualidade.

A má gestão dos tribunais também afeta os funcionários, responsáveis por lidar com o processo judicial no dia a dia. Relatos anedóticos abundam, mostrando como a desmotivação e a resistência à tecnologia por estes podem impedir o funcionamento eficiente do sistema judicial. De fato, alguns poucos trabalhos empíricos também comprovam a importância da gestão de qualidade sobre o resultado. Uma pesquisa encomendada pelo Ministério da Justiça (2007) e executado por especialistas da Escola de Direito de São Paulo da Fundação Getúlio Vargas mostrou que os cartórios judiciais mais eficientes foram aqueles onde os funcionários eram mais motivados, mais satisfeitos com o trabalho e mais empáticos com a liderança do trabalho. Isso tudo pode indicar que a somente focar na questão da quantidade de recursos humanos e materiais pode não ser a chave para o problema para a crise de eficiência no Judiciário brasileiro. Neste artigo, este problema é abordado por meio de dados quantitativos.

O presente trabalho está dividido em cinco seções, incluindo esta introdução. A Seção 2 apresenta a teoria da Análise Envoltória de Dados (DEA) e o modelo utilizado especificamente neste trabalho para a avaliação da eficiência do judiciário brasileiro. A Seção 3 apresenta a base de dados e as variáveis e utilizadas na análise. Na seção 4, são apresentados os resultados das análises de eficiência e discutidas as suas implicações. Aqui é feita uma análise sobre os motivos que explicam os resultados de eficiência alcançados pelos diversos tribunais. Finalmente, a Seção 5 conclui, com discussão de potenciais trabalhos para o futuro.

2 A Metodologia da DEA

A Análise Envoltória de Dados (DEA) é uma das metodologias de análise baseadas em cálculos de fronteiras de produção; outra bastante conhecida é a Análise de Fronteiras Estocásticas (Stochastic Frontier Analysis, ou SFA). As duas metodologias, contudo, diferem porque a SFA é um modelo estatístico, estocástico e paramétrico, enquanto que a DEA é basicamente não paramétrica, não estatística e não estocástica.2 2 Entretanto, desenvolvimentos recentes estão permitindo à DEA incorporar elementos estocásticos em seus modelos (Grosskopf 1996, Ferrier & Hirschber 1997, Simar & Wilson 1998, 2000, 2007, Post 2001, Daraio & Simar 2005).

A DEA é amplamente utilizada por estudiosos e por gestores das áreas de engenharia industrial e de produção como ferramenta de otimização de processos produtivos. No entanto, sua aplicação em setores não tradicionais, tais como os serviços públicos, também tem sido muito difundida. O primeiro trabalho que apresentou a metodologia da DEA foi o de Charnes, Cooper e Rhodes, em 1978, em que os autores tinham como objetivo "avaliar atividades de entidades sem fins lucrativos, que participavam de programas públicos" (Charnes et al. 1978, p.429, tradução nossa). Depois disso, as aplicações da DEA se difundiram pelos mais variados setores, tais como bancos, escolas/universidades, construção civil, polícia, hospitais, transportes, fundos de pensão, atletas, etc.3 3 Algumas revistas científicas têm se dedicado intensivamente à publicação de artigos aplicados usando a metodologia DEA. Entre elas estão o Journal of Productivity Analysis e o European Journal of Operational Research. Nelas é possível observar a multiplicidade de assuntos passíveis de serem analisados através da DEA. O motivo para a ampla recepção são as diversas vantagens da DEA, como já mencionado anteriormente, principalmente, a capacidade de avaliar o desempenho de organizações sem fins lucrativos, e a possibilidade de analisar a eficiência de firmas multi produto. Além disso, a DEA pode ser particularmente atraente se comparada a outros métodos tradicionais na economia, especialmente nas situações onde não se conhece bem a função de produção do setor avaliado. Este é o caso dos serviços públicos, incluindo o Judiciário. Nessas situações, qualquer hipótese assumida com relação à distribuição dos termos de erro é quase que uma profissão de fé; por este motivo, métodos paramétricos, tal como as Fronteiras Estocásticas, são excessivamente dependentes de escolhas arbitrárias por parte do analista.

Sousa (2001) mostra duas outras vantagens da DEA quando empregada em setores não tradicionais: não há necessidade de se conhecer os preços de mercado dos inputs e dos outputs, e não há necessidade de assumir hipóteses de maximização de lucros e/ou minimização de custos nas decisões dos agentes. Segundo o autor, sob estas condições a DEA é a metodologia mais apropriada. Podemos verificar que estas são exatamente as condições sob as quais funciona o sistema judicial, e talvez por causa disso, a DEA seja a metodologia mais comumente usada para a mensuração de eficiência das cortes em vários países do mundo.4 4 A esse respeito, ver Pedraja-Chaparro & Salinas-Jiménez (1996), Kittelsen & Forsund (1992), entre outros.

A DEA difere dos métodos paramétricos de uma maneira significativa, pois ela não assume um conhecimento a priori da função de produção em questão. Além disso, a DEA identifica o(s) melhor(es) desempenho(s) dentre todas as unidades observadas, gera uma fronteira com base nos melhores e avalia o desempenho das outras unidades através da comparação dos desvios com relação à fronteira gerada. Isso é diferente do que fazem os modelos de regressão estatística, que calculam um comportamento médio, ou uma tendência central, de todas as unidades observadas. Como mostram Cooper et al. (2007), essa diferença de perspectiva, além de gerar diferentes avaliações de eficiência, gera diferentes recomendações para melhorias. Especificamente, a DEA indica as unidades mais eficientes, que poderão ser utilizadas como referência de desempenho factível a ser perseguido pelas demais unidades. Já modelos de regressão indicam um resultado médio (esperança condicional), não tendo por objetivo destacar a informação das melhores unidades (e das piores). Outra importante diferença da DEA com relação aos modelos estatísticos refere-se à operacionalização. Como é baseada em técnicas de programação matemática, ela pode lidar com grande número de variáveis — explicativas e dependentes — e também com um grande número de restrições. Isso é particularmente útil para lidar com firmas ou setores multi produto.

A capacidade de adaptação da DEA não a torna uma metodologia ateórica. Pelo contrário, ela é bastante consistente com os princípios microeconômicos da teoria da firma, incorporando grande parte de seus conceitos. A seguir, apresenta-se a teoria por trás desta metodologia, antes de aplicá-la aos dados do Judiciário brasileiro.

O conjunto de possibilidades de produção, (T), consiste de combinações possíveis dos vetores de inputs, (x), com vetores de outputs,5 5 Apesar de existirem traduções para os termos input e output ("insumo" para o primeiro, e "produto" ou "resultado" para o segundo) tornou-se difundido na literatura da área, entre os pesquisadores brasileiros, o uso dos termos input e output no original em inglês. Tal prática é mantida neste trabalho. (y). Tem-se que é um vetor de p inputs e um vetor de q outputs. Então, pode-se dizer que T é representado pelos dois sub conjuntos:

Como Y é uma função de X, Y(x), e X é função de Y, X(y), isso resulta que, se Y(x) for conhecido para cada x, e se X(y) for conhecido para cada y, então T é conhecido de forma indireta.

A fronteira de T constitui a fronteira de produção e é a base de comparação objetiva para todas as unidades de tomada de decisão, em inglês, Decision Making Units, ou DMUs. Cada DMU é representada por uma combinação (x, y). As unidades eficientes estarão localizadas sobre a fronteira de produção, de forma a delimitá-la. Por outro lado, as unidades ineficientes estão localizadas dentro do conjunto T, mas fora da fronteira. Por isso, a ineficiência medida pela DEA é relativa, ou seja, de uma DMU em comparação com outra DMU. Além disso, a comparação de eficiência baseia-se na quantidade de outputs produzidos e inputs empregados no processo de produção. Como já mencionado anteriormente, é preciso ter bem claro qual é a definição de eficiência empregada neste contexto.

Algumas importantes hipóteses de T, Y e X são assumidas nos modelos DEA:

1. T, Y e X são conjuntos convexos:

Se (x, y) e (x', y') ∈ T, α ∈ [0, 1] ⇒ α(x, y) + (1 − α)(x', y') ∈ T. Além disso, Y e X são limitados e fechados.

2. Uma quantidade positiva de inputs é necessária para a produção de uma quantidade positiva de outputs:

Se y > 0 ⇒ x, 0. Também, se x > 0 ⇒ y > 0.

3. É possível dispor livremente de outputs e inputs:

Se (x, y) ∈ T e x' > x ⇒(x', y) ∈ T; e se (x, y) ∈ T e y' < y ⇒(x, y') ∈ T. Também é possível que, sob a versão fraca desta hipótese, x' = αx, e/ou que y' = yα−1paraα > 1.

4. É possível redimensionar proporcionalmente a escala de qualquer processo em T:

Se (x, y) ∈ Tα(x, y) ∈ T, para qualquer α > 0.

Simar & Wilson (2001) e Färe & Grosskopf (2004) lembram Shephard (1970), que define uma função distância em outputs para uma unidade de possibilidade de produção observada (ou, na linguagem da DEA, uma DMU), em relação à fronteira de T:

Nota-se que a distância D mostra o máximo aumento possível em y, um vetor observado de outputs, mantendo-se x constante. Se cada um dos pontos de possibilidade de produção observados for considerado umaDMU, as DMUs eficientes terão θ = D = 1, o que significa que elas estarão sobre a fronteira de T. Por outro lado, todas as outras DMUs, que são ineficientes, terão θ = D < 1. A DEA encontra uma combinação linear de DMUs sobre a fronteira que são efetivamente observadas e cria, com isso, um ponto de projeção para a DMU0, ou seja, a unidade que está sendo avaliada. O ponto de projeção representa uma unidade fictícia, mas realisticamente alcançável pela unidade avaliada, e que emprega, nomáximo, amesma quantidade de inputs da DMU0. A diferença é que a unidade eficiente produz uma fração θ−1 maior de outputs do que a unidade avaliada. É por esse motivo, que a DMU0 é considerada ineficiente em comparação àquelas da fronteira.

A expressão (1) pode ser reescrita como um problema de programação linear:

Para cada modelo específico de DEA a derivação completa do problema de otimização é diferente. Por isso, é especificado a seguir o modelo indicado para a análise de eficiência do Judiciário no Brasil.

A escolha adequada do modelo de DEA a ser usado é de importância crucial e tem impactos diretos nos resultados derivados. Os diferentes modelos de DEA desenvolvidos na literatura podem ser classificados de acordo com as hipóteses assumidas com relação: (i) aos retornos de escala, (ii) à orientação input ou output e (iii) à métrica radial ou não-radial. Como Charnes et al. (1994) destacam, a fronteira envoltória calculada é idêntica para todos os modelos, mas o ponto de projeção de cada unidade ineficiente—que é a sua base de comparação direta — será diferente em cada um deles. Em síntese, a magnitude da ineficiência será diferente dependendo do modelo DEA escolhido.

O modelo DEA escolhido para este trabalho é o originalmente desenvolvido por Charnes et al. (1978). Em homenagem aos seus criadores este modelo é conhecido como "Modelo CCR" e assume retornos constantes de escala, pressuposto que recebe considerável suporte na literatura aplicada ao setor judiciário. Diversos autores argumentam a favor dos retornos constantes de escala nas cortes judiciais, tais como Lewin et al. (1982), Schneider (2005), e Pedraja-Chaparro & Salinas-Jiménez (1996). Para testar a robustez desse pressuposto, o trabalho destes dois últimos autores envolveu a regressão das medidas de eficiência calculadas pela DEA sobre o número de juízes e sobre o número de funcionários nas cortes. Nenhum dos coeficientes de regressão mostrou-se significativo, o que lhes trouxe evidências da hipótese de retornos constantes de escala assumida.

Entretanto, a curta literatura empírica de eficiência judicial não oferece pleno consenso sobre o tipo de retornos de escala presente neste setor. Entre aqueles que assumem retornos variáveis de escala, há discordâncias com relação ao sentido da variação, o que pode decorrer mais de uma variável latente omitida e não propriamente de uma característica da função de produção. Por exemplo, Souza & Schwengber (2005) encontram evidências de retornos crescentes de escala, enquanto Beenstock & Haitovsky (2004) encontram exatamente o oposto. Usando a metodologia de Modelos Lineares Hierárquicos, Dalton & Singer (2009) encontraram um resultado curioso: os retornos de escala são crescentes quando há menos de três advogados/procuradores envolvidos no processo e passam a ser decrescentes quando este número aumenta. Para os autores, este resultado decorre de uma variável omitida: a complexidade dos casos em julgamento. Quando o caso é complexo, há mais advogados e, nestes casos, os retornos tendem a ser decrescentes, pois a complexidade do caso exige mais tempo e cuidado na análise pelo magistrado. Por outro lado, nos casos mais simples, em que há menor quantidade de advogados envolvidos e, muitas vezes, há maior semelhança com casos passados, observam-se retornos crescentes de escala. Se as cortes forem diferentes no que se refere à complexidade de processos decididos, pode-se esperar, também, diferença em seus retornos de escala. Este parece ser o resultado de Kittelsen & Forsund (1992). Esses autores encontraram diferenças de retornos de escala quando compararam diferentes tipos de cortes. Por exemplo, as cortes urbanas — normalmente marcadas por processos mais complexos— têm retornos decrescentes, enquanto que o contrário acontece com as cortes localizadas em áreas rurais. O mesmo foi observado quando compararam cortes que lidam com matérias mais homogêneas com cortes de matéria diversificada. Os resultados desses dois autores mostram que as cortes que têm um número menor de funcionários, que lidam com assuntos mais diversificados e que estejam localizadas nas áreas rurais tendem a ter retornos crescentes de escala. A literatura empírica, portanto, não é plenamente conclusiva a respeito do pressuposto apropriado para retornos de escala, ainda que predominem os trabalhos que indiquem a existência de retornos constantes. Dessa forma, recorre-se aqui também à análise de características do setor judiciário que subsidiem essa escolha. Juízes e funcionários dos cartórios precisam devotar uma quantidade específica de tempo para cada processo depositado nas cortes, que pode ser denominada de "tempo médio". Nas cortes brasileiras, o tempo médio é praticamente invariável com relação à quantidade de novos processos depositados. A explicação está em duas características do direito processual brasileiro: (i) a alta burocracia e o excessivo detalhamento de procedimentos a serem legalmente cumpridos por um processo no tribunal; (ii) a não-obrigatoriedade dos juízes brasileiros de seguirem precedentes, ou seja, a possibilidade de se decidir casos com matérias semelhantes de formas diferentes. O que acontece muitas vezes, então, é que os juízes tendem a analisar caso a caso, do começo ao fim, avaliando todos os detalhes e argumentos das partes, mesmo que tenham sido de matéria semelhante a outros casos já decididos no passado. Tal evento teria menos chances de ocorrer em países com o emprego mais frequente de jurisprudências ou súmulas obrigatórias. Esses motivos, aliados à corroboração parcial observada na literatura empírica, indicam que o pressuposto de retornos constantes de escala, presente no modelo CCR de DEA, é apropriado para a análise do Judiciário brasileiro.

Além disso, será adotado o modelo com orientação ao output.6 6 Os dois modelos mais difundidos da DEA são o Modelo CCR e o Modelo BCC, de Banker et al. (1984). Este segundo assume hipóteses de retornos variáveis de escala. Ambos permitem ao estudioso escolher a orientação a se adotar no modelo: ao input ou ao output. Um terceiro modelo, bastante conhecido na literatura é o ADD, ou Modelo Aditivo (Charnes et al. 1985). Neste, não existe escolha de orientação e, além disso, a ineficiência de uma DMU é integralmente explicada pelas variáveis de excesso, s + e s −. Finalmente, outros modelos, menos difundidos, são os Multiplicativos. Estes supõem a existência de uma envoltória da função de produção que é log-linear (Charnes & Stutz 1982), ou, alternativamente, assumem um processo de produção que seja uma função Cobb-Douglas (Charnes et al. 1983). Novas variações têm surgido recentemente para incorporar mais restrições. Em outras palavras, os resultados da DEA indicarão o quanto uma DMU — no caso do presente estudo, uma corte judicial — poderia aumentar a quantidade de outputs produzidos (decisões julgadas), mantendo-se o seu nível de inputs (recursosmateriais e humanos das cortes) inalterados. A alternativa seria a orientação ao input; neste caso, a redução na utilização dos recursos, mantendo-se a produção de output constante seria o objetivo em questão. A escolha da orientação depende basicamente da resposta à pergunta: no processo produtivo em questão, sobre qual fator os gestores têm maior capacidade de ação? A literaturaé menos controversa sobre esse assunto e é consensual em optar pela DEA orientada ao output. Novamente, as características factuais do Judiciário brasileiro apontam para a escolha feita: os gestores das cortes brasileiras têm pouco poder para alterar as quantidades de recursos materiais e humanos empregados, pois estas são normalmente definidas pelo Legislativo, Executivo ou mesmo órgãos judiciais de hierarquia superior. Assim, parece razoável supor que os gestores judiciais têm maior capacidade de ação sobre a quantidade de output produzida em suas respectivas cortes.

A escolha da orientação e dos pressupostos de retornos de escala definem diretamente o problema de otimização do modelo adotado. Dadas as escolhas feitas, o problema linear, inicialmente descrito por (2), passa a ter a seguinte forma específica:

Aqui, ϕ = θ−1, pois queremos avaliar o quanto a quantidade de outputs deve ser aumentada para tornar a DMU eficiente (ou seja, se 0 > θ > 1, então ϕ < 1). Se uma DMU tem um valor ótimo de z0, ela é uma unidade eficiente e localiza-se sobre e fronteira de produção. Por sua vez, uma DMU ineficiente, representada pelo par (X0, Y0), está a uma determinada distância positiva da fronteira, distância esta que será traduzida na medida de sua ineficiência. Entretanto, (X0, Y0) pode tornar-se eficiente se for projetada para um ponto localizado sobre a fronteira. Este ponto não é necessariamente observado empiricamente, mas é a combinação convexa de pontos eficientes efetivamente observados, ou seja, onde para qualquer k, e k são as unidades eficientes da fronteira de produção. α é um vetor de pesos empiricamente calculado ao se observar os inputs e outputs de cada uma das unidades da amostra. Como este estudo emprega o modelo de orientação ao output, pode-se deduzir o máximo de aumento de output que a unidade ineficiente poderia alcançar multiplicando-se seu vetor de outputs, Y0, por ϕ encontrado no problema de otimização. Há ainda as variáveis de excesso (slacks), s+ e s, que mostram que, para ser eficiente, além de multiplicar o output por ϕ, a DMU (X0, Y0) também precisa ter os excessos iguais a zero. s refere-se ao excesso de inputs e s+ ao excesso de outputs, ambos com relação ao ponto eficiente projetado. s+ é, na verdade, um "excesso negativo", ou seja, o quanto falta para a DMU ineficiente tornar-se eficiente. Em outras palavras, a ineficiência de (X0, Y0) é explicada parcialmente pela insuficiência proporcional de todos os outputs — identificado por ϕ — e parcialmente pelos excessos de alguns inputs e escassez de alguns outputs, identificados por s+ e s. Portanto, a DEA resolve o problema em dois estágios: no primeiro, calcula o máximo aumento de outputs possível, por meio de ϕ; no segundo, calcula os movimentos adicionais necessários em direção à fronteira eficiente, por s+ e s. A diferença entre s+ e ϕ é que o segundo é uma medida de aumento proporcional, aplicada a todo o vetor de outputs. Como Charnes et al. (1994) mostram, sua aplicação "resulta num movimento radial emdireção à superfície envoltória" (Charnes et al. 1994, p.32). Já no caso de s+ ela é uma medida que pode ser aplicada a cada output de forma independente (e analogamente para s). Matematicamente, s+ e s são vetores, enquanto ϕ é uma escalar. Finalmente, ε é uma constante não arquimediana, ou seja, um número não real. Sua presença garante que todas as variáveis estejam restritas a valores positivos (Cooper et al. 2007).

O problema (3) é o problema primal, também denominado de forma envoltória. A tarefa principal da DEA é resolvê-lo "n" vezes, uma para cada uma das DMUs observadas. Este é um procedimento metodológico que se diferencia dos modelos de regressão, que lida com um plano "médio" tirado das observações.

Finalmente, cabe listar alguns cuidados necessários na aplicação do método. Uma das características da DEA é a sua parcimônia no uso de dados. Em princípio, para cada DMU basta ter um único dado de output e outro de input e será possível o cálculo da fronteira. Com relação ao número de observações, existe uma regra que indica que o mínimo deve ser de n = 3(p + q), onde p e q são o número de inputs e outputs, respectivamente. Como se pode observar, este número pode ser muito pequeno. Por isso, a metodologia da DEA pode ser muito sensível a erros de medida e a falta de acurácia nos dados. Se a qualidade dos dados não for garantida, e a medida não for claramente definida, os resultados de eficiência derivados podem ficar comprometidos.

Outro problema igualmente derivado da utilização de poucos dados, mas também derivado da operacionalização da DEA (que faz um cálculo de otimização para cada uma das unidades da amostra observada) é a sensibilidade aos dados das unidades que são outliers extremos. Estas são DMUs que têm como referência apenas a si próprios, e, com isso, não apresentam muitas informações para a DEA. Contudo, segundo Charnes et al. (1994) estes casos são muito raros.

3 Dados e Variáveis

A análise feita aqui focará nos dados da Justiça Estadual. Pela perspectiva metodológica, estes dados são mais interessantes do que os dados da Justiça Federal, que está organizada em apenas cinco regiões em todo o país, ou seja, para cada ano, haveria apenas cinco observações, ou cinco DMUs, na linguagem da DEA. Mas além desta conveniência operacional, há ainda o fato de que a Justiça Estadual tem um peso maior no movimento processual, dado que representa mais de 70% de todo o movimento da Justiça brasileira (Ministério da Justiça 2007). Em cada estado, a Justiça é composta por juízes de primeiro grau e Tribunais Estaduais de segundo grau. Também fazem parte da Justiça Estadual os Juizados Especiais, os Juízos de Paz e Tribunais de Júri. Entretanto, nenhum destes últimos será incluído nesta análise.

Os dados usados foram extraídos do relatório anual "Justiça em Números" publicados pelo Conselho Nacional de Justiça, o CNJ. O primeiro relatório foi o referente ao ano de 2003. Os dados são enviados pelas próprias Justiças Estaduais, cabendo ao CNJ a tarefa de compilação e publicação dos relatórios com as estatísticas consolidadas. Também cabe ao CNJ a tarefa de definir e padronizar as variáveis medidas. Finalmente, como órgão de monitoramento, controle e punição do sistema Judiciário, ele define a obrigatoriedade da coleta dos dados pelas cortes estaduais. Ressalte-se a importância da criação de um órgão como este para os estudos sobre o Judiciário brasileiro. A publicação dos dados estatísticos coletados pelo CNJ, caso tenha a continuidade programada inicialmente, além de ser um grande passo na direção do aumento da transparência judicial das cortes nacionais (Cunha 2008) representará um marco na produção de um rico material para trabalhos quantitativos, acadêmicos ou aplicados. Como o Banco Mundial e seus especialistas vêm sistematicamente enfatizando (World Bank 2002, 2004, Hammergren 2002), a produção de dados confiáveis de boa qualidade deve vir antes de qualquer decisão para reforma do Judiciário, e é pré-requisito para discussões que almejam algum tipo de conclusão definitiva.

O relatório agrupa os dados em quatro grandes seções: 1) Insumos, Dotações e Graus de Utilização, 2) Litigiosidade, 3) Acesso à Justiça e 4) Perfil das Demandas. Ao total são 49 conjuntos de dados que incluem desde despesas totais, despesas com pessoal, número de computadores, número de casos novos, número de casos pendentes, até diversas medidas de recorribilidade dos casos julgados e participação governamental na demanda judicial.7 7 Infelizmente, este último número aparece em valores absolutos, e não em percentual ou em comparativos, o que torna muito difícil a interpretação de seu real significado.

A coleta das estatísticas judiciais iniciou-se em 2003, um ano antes da criação do próprio CNJ. Uma análise superficial dos dadosmostra que a qualidade dos dados no começo da série temporal é bastante questionável. Em muitos estados existem diversas lacunas, o que os torna inadequados para o uso num painel temporal. Conforme discutido na seção anterior, a DEA pode ser muito sensível à acurácia e à qualidade dos dados, o que recomenda a exclusão dos dados de 2003 a 2005 na presente análise.8 8 No ano de 2003, oito estados (29, 6% do total) apresentaram problemas nos dados que foram utilizados para a análise deste capítulo; em 2004, houve três estados (11, 1%) com dados faltantes; e, finalmente, em 2005, foram cinco (18, 5%) os estados inadequados para utilização neste estudo. Ao fim da redação deste trabalho, estavam disponíveis os dados referentes até o ano de 2010. Com isso, o período analisado será composto pelos cinco anos, que vai de 2006 a 2010, inclusive.

No que se refere à escolha da variável que indique o output das cortes judiciais, é razoavelmente consensual na literatura da DEA que se deve considerar o número de processos julgados. No entanto, o "Justiça em Números" provê números separados para a Justiça do 1° grau (a primeira instância, onde um processo "entra" no sistema Judiciário e é decidido por um juiz de forma monocrática, ou seja, individualmente) e para a Justiça de 2° grau (onde os recursos às decisões de 1° grau são julgados em colegiados de, normalmente, três desembargadores). Especificamente, as variáveis usadas são as denominadas "(Número de) Sentenças no 1° grau" e "(Número de) Decisões que põem fim ao processo no 2° grau".

A escolha dos inputs tambémnão geramuitas controvérsias. Foramutilizados o número de juízes e o número de pessoal auxiliar.9 9 Em um primeiro momento, foi avaliada a possibilidade de utilizar alguma medida de bens de capital como input. O relatório "Justiça em Números" apresenta o número de computadores por tribunal. Entretanto, em todas as unidades da federação o índice é praticamente de 1:1 (um computador por usuário). Dada a falta de variabilidade deste número entre as UF's, não haveria ganhos no seu emprego como input. Estes são os recursos que têm impacto mais direto na operação das cortes e são tradicionalmente usados na literatura. O relatório "Justiça em Números", novamente, oferece números demagistrados divididos entre 1° e 2° graus, aqui considerados como inputs diferenciados (que de fato são, dado que os trabalhos de um e de outro são diferenciados). Ainda, o relatório oferece números de pessoal auxiliar efetivo e total, este segundo envolvendo tambémos funcionários semvínculo efetivo, conciliadores, juízes leigos, pessoal terceirizado e estagiários. Apesar de esses indivíduos terem importância inquestionável na atividade judicial, não se sabe a frequência com que foram empregados ao longo do ano; ou seja, este número pode incluir pessoal empregado apenas de forma temporária, não representando um dado estável. Por isso, optou-se por usar o número de pessoal auxiliar efetivo. A Tabela 1 apresenta os valores absolutos de outputs e inputs emcada um dos tribunais estaduais no último ano do período analisado, 2010.

4 Resultados e Discussões

A Tabela 2 mostra asmedidas de eficiência calculadas pela DEA, dos Tribunais Estaduais nos anos de 2006 a 2010. A ordem da tabela é alfabética pelo nome do estado:10 10 Os cálculos do DEA foram feitos utilizando-se o software DEAP (Versão 2.1), de acesso público pelo site do Centre for Efficiency and Productivity Analysis, da Universidade de Queensland, Austrália: http://www.uq.edu.au/economics/cepa. , 11 11 O cálculo foi feito de forma agregada, ou seja, em uma só rodada, inserindo-se os dados de todos os anos do período analisado.

Observa-se que a eficiência média teve uma tendência de crescimento neste período de cinco anos, especialmente nos três últimos anos. Lembrando que a DEA fornece medidas de eficiência relativa, ou seja, todas as unidades estão sendo comparadas com as unidades eficientes (que estão na fronteira), a melhora na eficiência média quer dizer que, de uma maneira geral, existe uma tendência de as unidades não eficientes convergirem em direção à fronteira eficiente (não se pode fazer nenhuma afirmação sobre o que está acontecendo com a fronteira eficiente a cada ano que passa). Isso poderia ser interpretado como um resultado das políticas, cada vez mais presentes, do Conselho Nacional de Justiça de estipulação de metas de eficiência e outras melhorias no funcionamento das Justiças Estaduais. Nos últimos anos, a atuação do CNJ tem ganhado cada vez mais força, o que pode estar se refletindo no funcionamento dos tribunais.

Observando-se os resultados mais detalhadamente, pode-se perceber que muitos estados apresentam números consistentes ao longo do tempo. De um lado, há as unidades consistentemente eficientes, com destaque para o Rio Grande do Sul, o único que apareceu na fronteira de eficiência nos cinco anos observados, sendo seguido por São Paulo, Santa Catarina, Sergipe, entre outros. De outro, há muitos tribunais consistentemente ineficientes, entre eles: Amapá, Maranhão, Mato Grosso e Tocantins. Finalmente, há aqueles estados cujos tribunais desempenham consistentemente "na média" (nem excepcionalmente eficientes, nem muito ineficientes): Distrito Federal e Minas Gerais, por exemplo. Para todos esses casos, mesmo aqueles com desempenho consistentemente baixo, as estimações sugerem que o problema do judiciário não é carência de recursos, mas a má utilização dos recursos existentes. No caso dos estados com melhor desempenho relativo, a preocupação agora deveria passar para a melhoria na eficiência absoluta e não mais a relativa. Para tanto, outros instrumentos e metodologias poderiam ser usados para acessar esta eficiência, mas não mais a DEA. A situação dos tribunais com desempenho mediano também é administrável. Percebe-se que para estes, há ainda muitas oportunidades para melhora, e eles podem alcançar isso mirando-se nas unidades eficientes, usando-as como benchmark. Finalmente, mesmo para aqueles tribunais que foram consistentemente ineficientes neste período analisado, é possível pensar em soluções para seu problema. Algumas medidas urgentes são necessárias para se diagnosticar as causas do funcionamento ineficiente e mais ainda, para se mudar o modus operandi nestes tribunais. Novamente, um bom guia para esse exercício seria observar o que as unidades eficientes estão fazendo de diferente.

Os resultados, contudo, são menos conclusivos para Acre, Amazonas, Pará, Piauí e Rondônia, cujos resultados de eficiência forambastante instáveis neste período de cinco anos. Particularmente, e por algum motivo desconhecido, no ano de 2009, vários estados apresentaram resultados que não condizem com a sua série histórica. A preocupação aqui é que não se pode derivar nenhuma conclusão sobre o que esteja acontecendo nestes tribunais a partir dos números encontrados. Uma análise preliminar dos dados originais, apresentados diretamente pelo relatório "Justiça em Números", indica que a razão mais provável para estas inconsistências seja a existência de algum problema de mensuração nas variáveis coletadas pelos tribunais.12 12 Por exemplo, há uma súbita queda na quantidade de decisões do 2° grau pelo TJ-Ceará no ano 2009 em comparação à média dos 3 anos anteriores; tal número também não é verificado depois em 2010. Problema semelhante ocorre com o TJ-Espírito Santo, onde ocorre um repentino aumento no número de decisões do 1° grau em 2009, o que, novamente, não se verificara em 2010. O caso do TJ-Rondônia émais curioso: apontado como estando na fronteira de eficiência nos anos 2006 e 2008 (e com um desempenho de 88, 8% em 2007), aparece com medida de eficiência 53% e 46, 2% nos anos 2009 e 2010, respectivamente. Quando se analisam seus dados brutos, é visível a "quebra estrutural" entre os três primeiros anos em comparação aos dois últimos, nos valores das variáveis "(Número de) Decisões no 1° Grau", "(Número de) Pessoal Efetivo" e "(Número de) Magistrados no 1° Grau". A análise detalhada desses dados pode ser feita diretamente pelo relatório "Justiça em Números", que podem ainda ser solicitados aos autores deste estudo.

Outras evidências parecem corroborar os resultados de eficiência apresentados na Tabela 2. Desde o 2° trimestre de 2009, a Fundação Getúlio Vargas de São Paulo mede o Índice de Confiança no Judiciário (ICJ), calculado com base em entrevistas realizadas em sete capitais de estados brasileiros: Recife, Salvador, Brasília, Belo Horizonte, São Paulo, Rio de Janeiro e Porto Alegre. Do início da série trimestral até o fim do ano de 2010, o ICJ de Porto Alegre13 13 A partir de 2010, a pesquisa passou a contemplar a percepção dos estados como um todo, e não somente a opinião da população nas capitais. foi consistentemente o mais alto do grupo, seguido pelo Rio de Janeiro (o TJRJ apareceu com índice de eficiência 100% nos dois últimos anos do período analisado); Recife e Salvador, por outro lado, aparecem entre as mais baixas colocações.14 14 Os relatórios do ICJ podem ser encontrados no site da GVLaw: http://www.direitogv.com.br/ O resumo do índice no período de 2009 a 2010— em termos de ordem de desempenho — encontra-se na Tabela 3.

Mesmo que apresentem algumas diferenças de propósito — uma avalia a satisfação do usuário e a outra avalia a eficiência produtiva—as duasmedidas expressam, grosso modo, o acesso à justiça. É interessante notar, portanto, que ambas são fortemente correlacionadas, indicando que os tribunais mais eficientes são também aqueles que gozam de maior confiança por parte da população.

4.1 Inputs e Outputs Observados e Alvo

Outro resultado interessante que a metodologia DEA oferece são os níveis de inputs-alvo e outputs-alvo. Comparar estes níveis com os efetivamente observados é uma forma de as unidades ineficientes chegarem perto da fronteira. Relembrando a equação 3, que mostra o problema matemático a ser resolvido:

A DEA calcula os vetores s+ e s, que são os montantes de deficiência de outputs e excesso de inputs, respectivamente. Eles vêm dos níveis efetivamente observados e, por meio deles, pode-se calcular os níveis-alvo (que são meramente a soma do vetor s+ aos níveis de output observados, e a subtração do vetor s dos níveis de input observados). Também relembrando, diferente da medida de eficiência θ (ou ϕ), que é um escalar a ser aplicado proporcionalmente a todos os outputs (ou inputs, dependendo da orientação do modelo), os vetores s+ e s podem ser aplicados individualmente a cada output e cada input de forma independente. A Tabela 4 sintetiza essa relação entre níveis-alvo e observados para estados selecionados.

Mais uma vez, os resultados acima mostram que é possível aumentar os níveis de output sem aumentar a quantidade de inputs empregada na justiça estadual brasileira. A comparação direta não é, necessariamente, de uma unidade ineficiente com uma unidade eficiente, mas daquela com uma unidade fictícia, que é uma projeção exequível sua sobre a fronteira de eficiência. Por exemplo, com os níveis atualmente empregados de inputs, o TJ-São Paulo produz apenas 72, 9% do seu potencial de decisões de 2° grau. Similarmente, com os níveis já existentes de inputs empregados, o TJ-Piauí produz apenas 19% do seu potencial de decisões de 1° grau. Esses resultados indicam melhorias na eficiência que seriam possíveis de serem alcançadas sem a necessidade de um maior emprego de recursos materiais ou humanos.

Análise semelhante pode ser feita tendo-se por foco o nível dos insumos, conforme indica a Tabela 5. A interpretação é similar, mas a análise é agora orientada para o quanto de input pode ser reduzido, mantendo-se uma quantidade de outputs constante. Por exemplo, o TJ-Santa Catarina é potencialmente capaz de produzir a mesma quantidade de outputs que ela produz hoje, mas reduzindo-se a quantidade de magistrados de 1° grau empregados: pelo DEA, há um excesso de 34 pontos percentuais na quantidade de magistrados de 1° grau, dada a quantidade de decisões que produz. Similarmente, observa-se um grande excesso de pessoal efetivo empregado no TJ-Distrito Federal, dadas as quantidades de decisões lá produzidas: 359%de pessoal observado com relação ao pessoal necessário para gerar a quantidade atual de outputs.

4.2 Teste Adicional para a Hipótese de Retornos Constantes de Escala

Com o objetivo de testar empiricamente a hipótese previamente assumida de retornos constantes de escala, foram adotados os procedimentos utilizados por Pedraja-Chaparro & Salinas-Jiménez (1996). Para tanto, foi estimada uma regressão, por meio de um modelo Tobit, com o tamanho dos tribunais — medido pelo número de magistrados, pessoal efetivado e processos em tramitação ou arquivados—sobre o resultado de eficiência DEA. Os resultados, apresentados na Tabela 6, indicam que todos os três coeficientes aproximam-se de zero, corroborando a hipótese de retornos constantes de escala nos tribunais estaduais brasileiros.

5 Conclusões

Há grande variabilidade de níveis de eficiência entre as cortes brasileiras. Ao contrário do que é argumentado por muitos, a falta de recursos materiais e humanos não parece ser a única e nem a principal causa para os baixos níveis de eficiência dos tribunais estaduais. Para o ano de 2010, por exemplo, a DEA mostra que 21 tribunais estaduais poderiam melhorar sua eficiência sem alterar a quantidade de inputs, ou seja, o número de magistrados e pessoal empregado.

Uma segunda conclusão é que existem best practices a serem seguidas. O Tribunal de Justiça do Rio Grande do Sul é exemplar neste sentido: este foi o único tribunal consistentemente mais eficiente durante todo o período de cinco anos analisado. Sabe-se de outros estudos, inclusive o relatório detalhado do Banco Mundial (2004), que lá estão sendo implementadas medidas inovadoras de gestão. A análise de eficiência aqui empreendida indica que tais práticas devem se consideradas na reforma dos demais tribunais estaduais.

Finalmente, a situação é muito crítica para o grupo de estados que apresentaram resultados bastante inconstantes ao longo do tempo. Parece que, nesses casos, até a coleta de dados confiáveis tem sido problemática. Como o Banco Mundial (2004) atesta, dispor de estatísticas judiciais de qualidade é o requisito básico que deve anteceder qualquer medida visando à melhoria da eficiência. Estes tribunais têm muito trabalho urgente a fazer.

Por utilizar uma medida de eficiência relativa, este estudo não é ainda suficiente para indicar problemas de eficiência comuns a todas as cortes brasileiras, como aqueles decorrentes do sistema jurídico ou da atividade legislativa federal. Há ainda grande espaço para estudos que ampliem o escopo da avaliação quantitativa da eficiência das cortes brasileiras, incluindo a avaliação de seus efeitos sobre a organização econômica, bem como de causas adicionais do congestionamento dos tribunais. Trata-se de uma agenda de pesquisa de promissora e com importantes implicações para a reforma do judiciário.

Recebido em 4 de fevereiro de 2011.

Aceito em 29 de setembro de 2012.

  • BancoMundial (2004), 'Fazendo comque a justiça conte -medindo e aprimorando o desempenho do judiciário no brasil', Relatório No. 32789-BR, Unidade de Redução de Pobreza e Gestão Econômica, América Latina e Caribe.
  • Banker, R. D., Charnes, A. & Cooper, W.W. (1984), 'Some models for estimating technical and scale inefficiencies in data envelopment analysis', Management Science 30(9), 10781092.
  • Beenstock, M. & Haitovsky, Y. (2004), 'Does the appointment of judges increase the output of the judiciary?', International Review of Law and Economics 24, 351369.
  • Charnes, A., Cooper, W., Golany, B., Seiford, L.M. & Stutz, J. (1985), 'Foundations of data envelopment analysis for pareto-koopmans efficient empirical production functions', Journal of Econometrics 30(1/2), 91107.
  • Charnes, A., Cooper, W. W., Lewin, A. Y. & Seiford, L. M. (1994), Data Envelopment Analysis - Theory, Methodology, and Applications, Norwell: Kluwer Academic Publishers.
  • Charnes, A., Cooper, W.W. & Rhodes, E. (1978), 'Measuring the efficiency of decision making units', European Journal of Operational Research 2, 429444.
  • Charnes, A.; Cooper, W. W. S. L. M. & Stutz, J. A. (1982), 'A multiplicative model for efficiency analysis', Socio-Economic Planning Sciences 16(5), 223224.
  • Charnes, A., Cooper, W. W., Seiford, L. M., & Stutz, J. A. (1983), 'Invariant multiplicative efficiency and piecewise cobb-douglas envelopments', Operations Research Letters 2(3), 101103.
  • Conselho Nacional de Justiça (2006), 'Justiça em números', Disponível em http://www.cnj.jus.br/programas-de-a-a-z/eficiencia-modernizacaoe-transparencia/pj-justica-em-numeros/relatorios
  • Conselho Nacional de Justiça (2007), 'Justiça em números', Disponível em http://www.cnj.jus.br/programas-de-a-a-z/eficiencia-modernizacaoe-transparencia/pj-justica-em-numeros/relatorios
  • Conselho Nacional de Justiça (2008), 'Justiça em números', Disponível em http://www.cnj.jus.br/programas-de-a-a-z/eficiencia-modernizacaoe-transparencia/pj-justica-em-numeros/relatorios
  • Conselho Nacional de Justiça (2009), 'Justiça em números', Disponível em http://www.cnj.jus.br/programas-de-a-a-z/eficiencia-modernizacaoe-transparencia/pj-justica-em-numeros/relatorios
  • Conselho Nacional de Justiça (2010), 'Justiça em números', Disponível em http://www.cnj.jus.br/programas-de-a-a-z/eficiencia-modernizacaoe-transparencia/pj-justica-em-numeros/relatorios
  • Cooper, W.W., Seiford, L.M. & Tone, K. (2007), Data Envelopment Analysis: a Comprehensive Text with Models, Applications, References and DEA-Solver Software, New York: Springer Science Business Media, LLC.
  • Cunha, L. G. (2008), 'Judicial administration in brazil: Courts caseload statistics', Artigos Direito FGV - Working Papers 15. São Paulo: FGV Direito GV, Escola de Direito de São Paulo.
  • Dakolias, M. (1999), 'Court performance around the world - a comparative perspective', World Bank Technical Paper No. 430.
  • Dalton, T. & Singer, J. (2009), 'Amatter of size: An analysis of court efficienct using hierarchical linear modeling'. URL: Disponível em <http://ssrn.com/abstract=1133242>
  • Daraio, C. & Simar, L. (2005), 'Introducing environmental variables in nonparametric frontier models: a probabilistic approach', Journal of Productivity Analysis 24, 93121.
  • Ferrier, G. D. & Hirschber, J. G. (1997), 'Bootstrapping confidence intervals for linear programming efficiency scores: With an illustration using italian bank data', Journal of Productivity Analysis 8, 1933.
  • Färe, R. & Grosskopf, S. (2004), New Directions: Efficiency and Productivity, Norwell: Kluwer Academic Publishers.
  • Grosskopf, S. (1996), 'Statistical inference and nonparametric effciency: A selective survey', Journal of Productivity Analysis 7, 161176.
  • Hammergren, L. (2002), 'Uses of empirical research in refocusing judicial reforms: Lessons from five countries', Washington, DC: World Bank. URL: Disponível em <http://www1.worldbank.org/publicsector/legal/Uses-OfER.pdf>
  • Kittelsen, S. A. V. & Forsund, F. R. (1992), 'Efficiency analysis of norwegian district courts', The Journal of Productivity Analysis 3, 277306.
  • Lewin, A. L., Morey, R. C. & Cook, T. C. (1982), 'Evaluating the administrative efficiency of courts', Omega 10, 401411.
  • Mendes, G. (2008), 'Discurso de posse da presidência do supremo tribunal federal'. URL: Disponível em http://www.stf.jus.br/arquivo/cms/noticiaNoticiaStf/-anexo/posseGM.pdf
  • Ministério da Justiça, S. (2007), 'Análise da gestão e funcionamento dos cartórios judiciais'. Programa das Nações Unidas para o Desenvolvimento - PNUD. URL: Disponível em http://portal.mj.gov.br
  • Moreira, H. D. R. F. (2004), Poder Judiciário no Brasil - Crise de Eficiência, Editora Juruá, Curitiba.
  • Pedraja-Chaparro, F. & Salinas-Jiménez, J. (1996), 'An assessment of the efficiency of spanish courts using dea', Applied Economics 28, 13911401.
  • Post, T. (2001), 'Performance evaluation in stochastic environments using mean-variance data envelopment analysis', Operations Research 49(2), 281292.
  • Rosenn, K. S. (1998), 'Judicial reform in brazil', NAFTA: Law and Business Review of the Americas Spring, 1937.
  • Schneider, M. (2005), 'Judicial career incentives and court performance: an empirical study of the german labour courts of appeal', European Journal of Law and Economics 20, 127144.
  • Shephard, R. W. (1970), Theory of Cost and Production Functions, Princeton University Press, Princeton.
  • Sherwood, R. M. (2007), 'The unseen elephant: What blocks judicial system improvement?', Berkeley Program in Law & Economics, Latin American and Caribbean Law and Economics Association (ALACDE) Annual Papers. Paper 050207011.
  • Simar, L. & Wilson, P. W. (1998), 'Sensitivity analysis of efficiency scores: how to bootstrap in nonparametric frontier models', Management Science 44(1), 4961.
  • Simar, L. & Wilson, P.W. (2000), 'Statistical inference in nonparametric frontier models: the state of the art', Journal of Productivity Analysis 13(1), 4978.
  • Simar, L. & Wilson, P. W. (2001), Aplicación del bootstrap con estimadores dea, in A. Alvarez Pinilla, ed., 'La medición de la eficiencia y productividad', Madrid: Ediciones Pirámide.
  • Simar, L. & Wilson, P.W. (2007), 'Estimation and inference in two-stage semiparametric models of production processes', Journal of Econometrics 136, 3164.
  • Sousa, G. S. (2001), 'Statistical properties of data envelopment analysis estimators of production functions', Brazilian Review of Econometrics 21(2), 291322.
  • Souza, M. C. S. & Schwengber, S. B. (2005), 'Efficiency estimates for judicial services in brazil: Nonparametric fdh and the expected ordem-m efficiency scores for rio grande do sul courts', Trabalho apresentado no XXXIII Encontro da ANPEC.
  • World Bank (2002), 'Reforming courts: the role of empirical research', The World Bank PREM notes Public Sector. Number 65.
  • World Bank (2004), 'Brazil making justice count - measuring and improving judicial performance in brazil', Poverty Reduction and Economic Management Unit, Latin America and the Caribbean Region. Report No. 32789-BR.
  • 1
    Os números equivalentes para a Argentina e o Peru são de 70%, e para a Alemanha e Cingapura de 0%.
  • 2
    Entretanto, desenvolvimentos recentes estão permitindo à DEA incorporar elementos estocásticos em seus modelos (Grosskopf 1996, Ferrier & Hirschber 1997, Simar & Wilson 1998, 2000, 2007, Post 2001, Daraio & Simar 2005).
  • 3
    Algumas revistas científicas têm se dedicado intensivamente à publicação de artigos aplicados usando a metodologia DEA. Entre elas estão o Journal of Productivity Analysis e o European Journal of Operational Research. Nelas é possível observar a multiplicidade de assuntos passíveis de serem analisados através da DEA.
  • 4
    A esse respeito, ver Pedraja-Chaparro & Salinas-Jiménez (1996), Kittelsen & Forsund (1992), entre outros.
  • 5
    Apesar de existirem traduções para os termos
    input e
    output ("insumo" para o primeiro, e "produto" ou "resultado" para o segundo) tornou-se difundido na literatura da área, entre os pesquisadores brasileiros, o uso dos termos
    input e
    output no original em inglês. Tal prática é mantida neste trabalho.
  • 6
    Os dois modelos mais difundidos da DEA são o Modelo CCR e o Modelo BCC, de Banker et al. (1984). Este segundo assume hipóteses de retornos variáveis de escala. Ambos permitem ao estudioso escolher a orientação a se adotar no modelo: ao
    input ou ao output. Um terceiro modelo, bastante conhecido na literatura é o ADD, ou Modelo Aditivo (Charnes et al. 1985). Neste, não existe escolha de orientação e, além disso, a ineficiência de uma DMU é integralmente explicada pelas variáveis de excesso,
    s
    + e
    s
    . Finalmente, outros modelos, menos difundidos, são os Multiplicativos. Estes supõem a existência de uma envoltória da função de produção que é log-linear (Charnes & Stutz 1982), ou, alternativamente, assumem um processo de produção que seja uma função Cobb-Douglas (Charnes et al. 1983). Novas variações têm surgido recentemente para incorporar mais restrições.
  • 7
    Infelizmente, este último número aparece em valores absolutos, e não em percentual ou em comparativos, o que torna muito difícil a interpretação de seu real significado.
  • 8
    No ano de 2003, oito estados (29, 6% do total) apresentaram problemas nos dados que foram utilizados para a análise deste capítulo; em 2004, houve três estados (11, 1%) com dados faltantes; e, finalmente, em 2005, foram cinco (18, 5%) os estados inadequados para utilização neste estudo.
  • 9
    Em um primeiro momento, foi avaliada a possibilidade de utilizar alguma medida de bens de capital como
    input. O relatório "Justiça em Números" apresenta o número de computadores por tribunal. Entretanto, em todas as unidades da federação o índice é praticamente de 1:1 (um computador por usuário). Dada a falta de variabilidade deste número entre as UF's, não haveria ganhos no seu emprego como
    input.
  • 10
    Os cálculos do DEA foram feitos utilizando-se o software DEAP (Versão 2.1), de acesso público pelo site do Centre for Efficiency and Productivity Analysis, da Universidade de Queensland, Austrália:
  • 11
    O cálculo foi feito de forma agregada, ou seja, em uma só rodada, inserindo-se os dados de todos os anos do período analisado.
  • 12
    Por exemplo, há uma súbita queda na quantidade de decisões do 2° grau pelo TJ-Ceará no ano 2009 em comparação à média dos 3 anos anteriores; tal número também não é verificado depois em 2010. Problema semelhante ocorre com o TJ-Espírito Santo, onde ocorre um repentino aumento no número de decisões do 1° grau em 2009, o que, novamente, não se verificara em 2010. O caso do TJ-Rondônia émais curioso: apontado como estando na fronteira de eficiência nos anos 2006 e 2008 (e com um desempenho de 88, 8% em 2007), aparece com medida de eficiência 53% e 46, 2% nos anos 2009 e 2010, respectivamente. Quando se analisam seus dados brutos, é visível a "quebra estrutural" entre os três primeiros anos em comparação aos dois últimos, nos valores das variáveis "(Número de) Decisões no 1° Grau", "(Número de) Pessoal Efetivo" e "(Número de) Magistrados no 1° Grau". A análise detalhada desses dados pode ser feita diretamente pelo relatório "Justiça em Números", que podem ainda ser solicitados aos autores deste estudo.
  • 13
    A partir de 2010, a pesquisa passou a contemplar a percepção dos estados como um todo, e não somente a opinião da população nas capitais.
  • 14
    Os relatórios do ICJ podem ser encontrados no site da GVLaw:
  • Datas de Publicação

    • Publicação nesta coleção
      25 Mar 2013
    • Data do Fascículo
      Dez 2012

    Histórico

    • Recebido
      04 Fev 2011
    • Aceito
      29 Set 2012
    Faculdade de Economia, Administração e Contabilidade de Ribeirão Preto da Universidade de São Paulo Avenida dos Bandeirantes, 3.900, CEP 14040-900 Ribeirão Preto SP Brasil, Tel.: +55 16 3315-3910 - Ribeirão Preto - SP - Brazil
    E-mail: revecap@usp.br