Recursos, inovação e desempenho na Justiça do Trabalho no Brasil

Resumo

O presente estudo examina as relações entre recursos, inovação e desempenho em tribunais. Foram utilizados dados de 24 tribunais trabalhistas brasileiros no período entre 2003 e 2013. Foram desenvolvidos modelos teóricos/empíricos utilizando a análise envoltória de dados e a análise de fronteira estocástica. Os resultados indicam que houve melhora no desempenho dos tribunais durante o período estudado. Essa melhoria deve-se mais em função da adoção de inovações do que da variação da eficiência técnica. Os períodos críticos para a adoção do processo judicial eletrônico (em 2006 e 2012) tiveram um impacto negativo no índice relacionado com a adoção de inovação. O modelo estocástico indicou que o tamanho do tribunal e o investimento na formação de pessoal foram fatores-chave para explicar a variação na eficiência dos tribunais.

Palavras-chave:
inovação; desempenho; administração judicial

Abstract

This article examines the relationships between resources, innovation, and performance in courts. Data from 24 Brazilian labor courts covering the period between 2003 and 2013 were used to develop theoretical/empirical models using Data Envelopment Analysis and stochastic frontier analysis. The results indicate that there was improvement in the performance of the courts during the period examined. This improvement owed more to the adoption of innovations than to variation in technical efficiency. Critical periods for the adoption of the electronic judicial process (in 2006 and 2012) had a negative impact on the index related to innovation adoption. The stochastic model shows that court size and investment in the training of personnel are key factors for explaining the variation in the efficiency of the courts.

Keywords:
innovation; performance; judicial administration

Resumen

El presente estudio examina las relaciones entre los recursos, la innovación y el desempeño en los tribunales. Se utilizaron datos de 24 tribunales laborales brasileños que cubrían el período comprendido entre 2003 y 2013 para desarrollar modelos teóricos/empíricos utilizando el análisis por envoltura de datos y análisis de frontera estocástica. Los resultados indican que hubo mejoras en el desempeño de los tribunales durante el período examinado. Esta mejora se debe más a la adopción de innovaciones que a la variación en la eficiencia técnica. Los períodos críticos para la adopción del proceso judicial electrónico (en 2006 y 2012) tuvieron un impacto negativo en el índice relacionado con la adopción de la innovación. El modelo estocástico muestra que el tamaño de la corte y la inversión en la formación del personal son factores clave para explicar la variación en la eficiencia de los tribunales.

Palabras clave:
innovación; desempeño; administración judicial

1. Introdução

No contexto das reformas da administração pública, as organizações públicas têm sido cobradas para melhorar a eficiência, reduzindo orçamentos, aumentando as expectativas sobre a qualidade dos serviços prestados e introduzindo técnicas de gestão baseadas no desempenho (Boyne et al., 2005; Osborne e Gaebler, 1993). A avaliação do desempenho de organizações públicas é atualmente um aspecto fundamental na administração pública (Boyne, 2004). Nas últimas décadas, procedimentos e inovações técnicas foram adotados nos tribunais brasileiros. As mais importantes dessas inovações são aquelas apoiadas pelas tecnologias de informação e comunicação (TICs) e, mais especificamente, o processo judicial eletrônico. É importante entender a extensão dos efeitos causados e dos recursos envolvidos na adoção de inovação pelo Judiciário, como exemplificado pelo processo judicial eletrônico, porque esse tema tem sido pouco explorado (Sousa e Guimarães, 2014).

Os objetivos deste artigo são: (a) desenvolver e testar modelo teórico e empírico que explique as relações entre recursos, inovação e desempenho nos tribunais e (b) medir o desempenho observado (variação na eficiência e adoção de inovações) em 24 tribunais trabalhistas brasileiros em função dos recursos e do nível de inovação nesses tribunais. O estudo examina os atributos que podem ter impacto no desempenho de tribunais trabalhistas brasileiros e, assim, contribui para o conhecimento sobre administração judicial, fornecendo evidências para melhorar a gestão dos tribunais e o desenvolvimento de melhores políticas para o Judiciário. O Judiciário vinculado à Justiça do Trabalho foi escolhido por ter as seguintes características relevantes: menor duração do processo judicial (Dias Júnior, 2004) e alto nível de adoção da inovação (Costa, 2008).

Os tribunais do trabalho brasileiros compreendem: (i) tribunais de primeira instância, em que um juiz sozinho decide o resultado de um caso; (ii) Tribunais Regionais do Trabalho ou tribunais de segundo grau; e (iii) o Tribunal Superior do Trabalho ou o tribunal de apelação final. O processo judicial nos tribunais de primeiro grau começa quando um pedido é atribuído a um juiz. O primeiro estágio prevê uma tentativa de conciliação. Se a conciliação for bem-sucedida, o juiz registra a conclusão. Se a conciliação não for bem-sucedida, o juiz decide o caso. Os tribunais de segundo grau podem julgar novas solicitações ou podem receber recursos contra decisões dos tribunais em primeiro grau. Os novos casos dizem respeito a questões específicas que surgem em situações como negociação coletiva, entre outras. Novos casos podem ser decididos por um juiz individualmente, enquanto os recursos são revisados por uma turma de juízes que constituem o tribunal de apelação se uma das partes recorrer de uma decisão. Das decisões dos tribunais no segundo grau podem ainda caber recurso, caso em que são encaminhadas ao Tribunal Superior do Trabalho.

Existem no Brasil 1.568 tribunais de primeiro grau e 24 tribunais regionais do trabalho (TST, 2015); 32,6% dos processos são apresentados em formato eletrônico. Há 3.371 juízes trabalhistas, 36.997 servidores permanentes e administradores dos tribunais. Em 2013, o sistema judicial processou 7,9 milhões de processos, 3,9 milhões de processos pendentes e 4 milhões de novos processos (CNJ, 2014).

2. Antecedentes teóricos e hipóteses

A literatura sobre desempenho do Judiciário identifica diversas variáveis que contribuem para a prestação de serviços judiciais. A abordagem da fronteira de produção foi desenvolvida usando a técnica denominada análise envoltória de dados — Data Envelopment Analysis (DEA) em vários estudos que avaliam a eficiência dos tribunais (Deyneli, 2012; Kittelsen e Førsund, 1992; Lewin, Morey e Cook, 1982; Pedraja-Chaparro e Salinas-Jimenez, 1996; Schneider, 2005; Yeung e Azevedo, 2011). A avaliação da eficiência por meio da análise de fronteira estocástica, técnica usada no judiciário por Castro (2011) e Schwengber (2006), é menos utilizada.

A técnica DEA permite a avaliação do desempenho por meio de medidas compostas relativas de eficiência e não requer conhecimento prévio de preços, custos e relações de dependência entre as variáveis. Além disso, torna possível avaliar uma unidade tomadora de decisão organizacional (DMU) em comparação com outras unidades/organizações para identificar as mais produtivas. Essas unidades mais produtivas são então usadas como referências, também descritas como “melhores práticas” (Zhu, 2009). Neste estudo, cada tribunal é considerado uma unidade tomadora de decisão (DMU).

O índice proposto por Malmquist (1953) permite investigar a variação da eficiência técnica e do progresso tecnológico de maneira dinâmica ao longo do tempo. Também permite decompor o efeito multiplicativo do índice de variação de produtividade total em componentes separados de eficiência técnica e adoção de inovação — mudança tecnológica (Cooper, Seiford e Tone, 2007). A variação na eficiência, também conhecida como catch-up, é medida pela distância entre o índice de um determinado tribunal e a fronteira de produção. Assim, o catch-up representa a medida em que a eficiência do tribunal melhorou ou piorou ao longo do tempo (Cooper, Seiford e Tone, 2007). A mudança tecnológica (conhecida como mudança de fronteira ou frontier-shift), resultado da adoção de inovações, é avaliada pelo deslocamento da fronteira ótima de recursos agrupados e é medida pela média geométrica da mudança entre dois períodos (Färe et al., 1994). Esse índice foi utilizado em pesquisas no judiciário por Kittelsen e Førsund (1992). A vantagem de usar esse índice é que o impacto da adoção da inovação pode ser avaliado em uma abordagem longitudinal.

Voltando à outra abordagem, a análise de fronteira estocástica requer o desenvolvimento de um modelo econométrico mais rigoroso para explicar a extensão da variação do desempenho judicial pela variação nos recursos produtivos do Judiciário. Essa técnica permite avaliar os fatores que afetam a eficiência e a decomposição do erro, para identificar efeitos sistemáticos sobre a eficiência (Castro, 2011). Essa técnica também permite comparar o desempenho com operações que são uma referência. Então, decidiu-se aproveitar das forças de ambas as abordagens, com o uso do índice Malmquist, uma modelagem não paramétrica e a fronteira estocástica, que é paramétrica.

O quadro 1 apresenta um resumo não exaustivo das variáveis encontradas na literatura que são empregadas no modelo utilizado neste estudo. A primeira coluna contém indicadores que exibem relações de dependência em modelos paramétricos; além disso, apresenta também variáveis de recursos (inputs) ou resultados (outputs) em modelos não paramétricos. A segunda coluna mostra as variáveis. A terceira coluna lista os estudos que as utilizaram.

Quadro 1
Principais variáveis de estudos sobre desempenho no Judiciário

O modelo quantitativo básico utilizado nesses estudos, aumentado ou reduzido, dependendo principalmente da disponibilidade de dados, apresenta a relação apresentada na equação 1.

$y=f(Pending,new,Magistrate,Staff)$ (1)

Onde Y corresponde à variável dependente, é entendida como casos concluídos/resolvidos. As variáveis independentes são Pending, casos pendentes; New, casos novos atribuídos aos juízes; Magistrate, número de juízes; e Staff, número de pessoal de apoio. As variáveis Pending e New estão relacionadas com a carga de trabalho do juiz.

As tecnologias da informação e comunicação (TIC) aplicadas pelo Judiciário têm sido estudadas tanto em relação ao efeito no desempenho como em termos de adoção de inovação (Sousa e Guimarães, 2014). Os temas recorrentes tratam do impacto dessas tecnologias no desempenho judicial (Crunkilton, 2009; Joia, 2008, 2009; McKechnie, 2003; Rosa, Teixeira e Pinto, 2013; Saman e Haider, 2013; Velicogna, Errera e Derlange, 2011, 2013), e-government (Joia, 2008, 2009; McKechnie, 2003), sistemas e bases de dados (Hara, 2007; Rosa, Teixeira e Pinto, 2013), e processo judicial eletrônico (Velicogna, Errera e Derlange, 2011, 2013).

Estudos que abordam o desempenho no Judiciário podem contribuir para a avaliação da inovação por meio da mensuração de relações paramétricas e não paramétricas entre os principais recursos do Judiciário e seu desempenho. Estudos que objetivam avaliar o efeito da inovação nos resultados judiciais utilizam medidas já testadas e validadas em diferentes contextos (Sousa e Guimarães, 2014). A pressão causada pelo aumento da carga de trabalho dos juízes tem mostrado impacto sobre o desempenho dos tribunais (Beenstock e Haitovsky, 2004; Dimitrova-Grajzl et al., 2012; Lewin, Morey e Cook, 1982; Rosales-López, 2008). Assim, é possível formular a seguinte hipótese:

H₁: a carga de trabalho nos tribunais do trabalho impacta positivamente o desempenho.

A variável porte da organização é tradicionalmente usada em estudos de adoção de inovação (Boyne et al., 2005; Damanpour e Schneider, 2009; Damanpour e Wischnevsky, 2006; Rogers, 2003). Como sugerido por Rogers (2003), essa variável estaria positivamente relacionada com a adoção da inovação e, portanto, os tribunais de grande porte teriam maior probabilidade de adotar uma inovação. Na perspectiva do desempenho, espera-se que as grandes organizações sejam mais eficientes (Tulkens, 1993), ou seja, os tribunais de grande porte aumentariam o desempenho (Rosales-López, 2008). Assim, a seguinte hipótese é sugerida:

H₂: o porte impacta positivamente o desempenho do tribunal.

Para avaliar a inovação nos tribunais trabalhistas, foram utilizadas como proxies: a variável índice de processo eletrônico (II) como um indicador representa o percentual de processos eletrônicos adotados pelo judiciário trabalhista, juntamente com o investimento total em TIC. Essas variáveis têm sérias limitações para medir a inovação no Judiciário, mas é difícil identificar indicadores que avaliem os impactos indiretos e finalísticos, como observado anteriormente por Rauen (2013).

A variável investimento em TIC representa a parcela de recursos investidos pelo tribunal em atividades que envolvem o processo eletrônico, e o índice de processo eletrônico está relacionado com a capacidade da justiça de operacionalizar a inovação. Não há consenso sobre a relação entre investimento em TIC e desempenho organizacional. O paradoxo, identificado primeiramente por Solow (1987), indica que existe uma relação negativa entre essas variáveis, embora existam estudos que indiquem que tais investimentos podem contribuir para melhorar o desempenho nas organizações (Stratopoulos e Dehning, 2000). No setor público, o investimento em TIC pode melhorar a eficiência dos serviços prestados (Foley e Alfonso, 2009; Lee e Perry, 2002). No entanto, no Judiciário, há evidências de que esse investimento tem impactos positivos (Soares e Sviatschi, 2010) e negativos (Buscaglia e Ulen, 1997; Deyneli, 2012) no desempenho dos tribunais. Assim, as hipóteses 3 e 4 são propostas da seguinte forma:

H3: o índice de processo eletrônico afeta positivamente o desempenho do tribunal.

H4: o investimento em TIC afeta positivamente o desempenho do tribunal

O investimento em treinamento nos tribunais pode ser um recurso importante, fornecendo capacidade relacionada com o conhecimento jurídico e gerencial. O treinamento pode ser uma etapa do processo de implementação de TIC (Crunkilton, 2009; Rosa, Teixeira e Pinto, 2013; Velicogna, Errera e Derlange, 2011, 2013). Além disso, a adoção de tecnologia sem treinamento pode limitar seu impacto no desempenho (Aragão, 1997; Buscaglia e Ulen, 1997; McKechnie, 2003; Velicogna, 2007). Yeung e Azevedo (2011) encontraram evidências de que o treinamento em administração judicial é uma das variáveis positivamente correlacionadas com o desempenho do tribunal. Como consequência, a seguinte hipótese é proposta:

H₅: o investimento em treinamento e capacitação tem relação positiva com o desempenho.

3. Método

O Judiciário trabalhista no Brasil é composto por 24 tribunais divididos nas seguintes jurisdições: 1. Rio de Janeiro; 2. São Paulo (capital), cobrindo a região metropolitana de São Paulo, parte da região metropolitana da Baixada Santista e da cidade de Ibiúna; 3. Minas Gerais; 4. Rio Grande do Sul; 5. Bahia; 6. Pernambuco; 7. Ceará; 8. Pará e Amapá; 9. Paraná; 10. Distrito Federal e Tocantins; 11. Roraima e Amazonas; 12. Santa Catarina; 13. Paraíba; 14. Acre e Rondônia; 15. São Paulo (Campinas) e cidades do interior incluídas na 2^a jurisdição; 16. Maranhão; 17. Espírito Santo; 18. Goiás; 19. Alagoas; 20. Sergipe; 21. Rio Grande do Norte; 22. Piauí; 23. Mato Grosso; e 24. Mato Grosso do Sul.

Este estudo teve caráter censitário, abrangendo todas as 24 jurisdições dos tribunais trabalhistas de primeiro e segundo graus, e utilizou dados secundários disponíveis na Base de Dados Justiça em Números do Conselho Nacional de Justiça (CNJ), bem como dados coletados nas páginas eletrônicas dos tribunais para o período entre 2003 e 2013. É importante notar que a Base de Dados Justiça em Números evoluiu ao longo do tempo, melhorando o método de coleta de dados e incluindo mais variáveis e análises.

As análises foram realizadas em duas etapas: 1) construção, análise e processamento do banco de dados e 2) modelagem de otimização de desempenho e construção de uma classificação de tribunais utilizando o índice de Malmquist por meio do DEA e modelagem econométrica utilizando análise de fronteira estocástica.

Os dados coletados foram estruturados em um banco de dados bidimensional. Primeiramente, esses dados foram analisados em relação a unidades de medida, transformações, valores faltantes e discrepantes. Posteriormente, foram utilizadas estatística descritiva e matriz de correlação para análise dos dados e dos modelos. Finalmente, os parâmetros do modelo foram estimados. O software Deap Versão 2.1 foi utilizado para a estimativa dos resultados do DEA, e o software Frontier Versão 4.1 foi utilizado para a estimação dos parâmetros da fronteira estocástica. O software R foi utilizado para a análise dos dados secundários, estatística descritiva e análise de correlação.

Os tribunais foram classificados segundo a eficiência técnica e adoção de inovação. Para a análise das relações entre recursos, inovação e desempenho, foram desenvolvidos modelos de dados em painel dos índices de Malmquist, utilizando programação DEA (não paramétrico), e estimação dos parâmetros das variáveis por meio de análise de fronteira estocástica (paramétrico). Dados do CNJ permitiram decompor algumas variáveis e distinguir entre os tribunais de primeiro e segundo graus. Portanto, os dados foram avaliados nessas duas instâncias, tanto no nível da vara como no nível do tribunal. O quadro 2 mostra as variáveis utilizadas no estudo.

Quadro 2
Variáveis utilizadas na pesquisa

As variáveis Staff, ICT, II, IE e Size enriquecem a análise dos recursos e capacidades que impactam o desempenho no Judiciário e podem ser úteis na avaliação da ineficiência. A variável IE não está disponível na Base Justiça em Números e foi coletada no endereço eletrônico de cada tribunal. As variáveis Staff e ICT não são separadas em primeiro e segundo grau. A variável II é denominada de índice de processo eletrônico pelo CNJ e foi publicada pela primeira vez em 2009.

As variáveis relacionadas com recursos e capacidades internas do modelo anterior foram utilizadas como recursos (inputs) — variáveis Magistrate e Staff — e a variável Y foi utilizada como resultado (output), dividido entre tribunais de primeiro e segundo grau. Essas variáveis já estão estabelecidas na literatura e não foi possível adicionar outras variáveis no modelo de Malmquist, uma vez que havia dados faltantes. O modelo segue a sugestão de Charnes, Cooper e Rhodes (1978), que assume retornos constantes de escala com orientação ao produto, já aplicado no setor público, e que também é um dos modelos utilizados na literatura sobre desempenho no Judiciário. Essa abordagem é apropriada para o contexto brasileiro, uma vez que, de acordo com as características de civil law adotadas no Brasil, as decisões tendem a privilegiar códigos, diferente do common law, onde a ênfase está na jurisprudência (Deyneli, 2012; Yeung e Azevedo, 2011). A orientação ao produto — maximização do produto com a manutenção da base de recursos — é justificada porque, além de ter sido amplamente adotada na literatura, há pouca flexibilidade para mudar a base de recursos dos tribunais, por exemplo, dispensando juízes ou pessoal de apoio (Yeung e Azevedo, 2011).

Recursos, capacidades e resultados foram divididos pela carga de trabalho do juiz. A ponderação pela carga de trabalho, segundo Yeung e Azevedo (2011), é fundamental para o controle da variação entre os tribunais. O indicador de carga de trabalho, conforme fornecido pelo CNJ (2013) na base de dados Justiça em Números, é compreendido no Brasil da seguinte forma:

${Workload}_{it}=\frac{{New}_{it}+{Pending}_{it}+{IR}_{it}+{PR}_{it}}{M_{it}}$ (2)

Onde Workload é a carga média de trabalho por juiz em determinado tribunal e período, a IR é a quantidade de recursos internos e PR é a quantidade de recursos internos pendentes, por determinado tribunal e período. Essa definição de carga de trabalho é mais completa, pois inclui recursos legais que foram ignorados por Beenstock e Haitovsky (2004) e sem os quais a carga de trabalho pode incorrer em problemas de mensuração. Além disso, tem a vantagem de ser mais parcimonioso do que a definição proposta por Costa e colaboradores (2006). Os termos New, Pending e Magistrate foram definidos anteriormente. A fronteira estocástica é baseada na função Cobb-Douglas, que foi aplicada ao Judiciário por Castro (2011) e Schwengber (2006). O modelo de fronteira estocástica é indicado nas equações 3 e 4.

$\frac{ln{Y}_{it}}{{Magistrate}_{it}}={\beta }_0+{\beta }_1{lnMagistrate}_{it}+\frac{{\beta }_2{lnStaff}_{it}}{{Magistrate}_{it}}+\frac{{\beta }_3{lnNew}_{it}}{{Magistrate}_{it}}+\frac{{\beta }_4{lnPending}_{it-1}}{{Magistrate}_{it}}+Time+v_{iy}+u_{it}$ (3)

Onde i = 1, 2, 3, ... 24 representa as unidades de análise, ou seja, os 24 tribunais regionais do trabalho brasileiros, e t representa o período de tempo; vit é uma variável aleatória que corresponde ao erro e é independente de uit. O termo uit refere-se ao modelo dos efeitos de ineficiência, correspondendo a uma variável aleatória com distribuição normal truncada. A variável Tempo é um vetor que representa variáveis dummies para os anos investigados.

$u_{it}={\delta }_0+{\delta }_1{lnICT}_{it}+{\delta }_2{Workload}_{it}+{\delta }_3{lnIE}_{it}+{\delta }_4{II}_{it}+{\delta }_{5}Size+w_{it}$ (4)

Para testar o modelo e calcular a máxima verossimilhança, foram utilizadas: (a) a proposta de Battese e Coelli (1995) com a substituição de σ_u ² e σ_v ² por σ²= σ_v ²+σ_u ² e γ= σ_u ²/ σ², onde γ tem um valor entre 0 e 1; e (b) o teste da razão de verossimilhança em γ para verificar a adequação do modelo.

4. Resultados e discussão

Há algumas variáveis de que não há dados disponíveis para todo o período desta pesquisa, de 2003 a 2013. As variáveis Staff1 e Staff2 estão disponíveis somente após 2009. Portanto, foram computados 144 valores omissos, e a variável Staff foi analisada como a soma de Staff1 e Staff2. Os seguintes dados faltantes também foram identificados: (a) de 2003 a 2006, não há dados disponíveis para as variáveis II e Size; (b) de 2007 a 2008, não há dados disponíveis para a variável II; e (c) para os outros anos, ver quadro 3.

Quadro 3
Dados faltantes

A tabela 1 mostra os dados descritivos para as variáveis utilizadas neste estudo. Os dados exibem alta heterogeneidade entre os tribunais. O tribunal com maior número de magistrados (422) tem quase 20 vezes o número do menor tribunal (22), o que justifica o uso da correlação de Spearman (não paramétrica), o ajustamento das variáveis para carga horária e o número de magistrados, e a transformação pelo logaritmo natural. Uma alta correlação foi encontrada entre as seguintes variáveis: (a) Magistrate com Staff, ICT, Pending e New; (b) Staff com ICT, Pending e New; e (c) Pending e New. Com a divisão pela carga de trabalho e o número de magistrados, a correlação diminuiu, permanecendo alta apenas entre Magistrate e Staff; todavia, o uso de ambas as variáveis no modelo é justificado, pois é uma especificação amplamente utilizada na literatura. Os ajustes também foram importantes para reduzir os valores discrepantes encontrados.

A diferença no número de casos novos entre o tribunal que recebe o menor número (10.502) e o tribunal que recebe o maior número (778.679) é de mais de 74 vezes. O número médio de casos resolvidos nos tribunais em primeiro grau é mais de quatro vezes o número dos tribunais no segundo grau. A carga de trabalho dos tribunais no primeiro grau é aproximadamente 1,5 vez maior do que nos tribunais do segundo grau. Em relação ao índice de inovação (II), enquanto alguns tribunais possuem quase todos os processos em formato eletrônico, outros possuem um índice próximo de zero. O investimento em TIC parece ser a variável mais heterogênea, já que a diferença entre o tribunal que mais investiu em um ano no período analisado (R$ 883.395.206,00) e o tribunal que menos investiu (R$ 131.373,00) é mais de 6 mil vezes.

Tabela 1
Correlação de Spearman e estatística descritiva

	Y2	Y1	Magistrate	Staff	ICT	Workload	Workload2	Workload1	II	II2	II1	IE	Pending	New
Y2	1,000
Y1	,902***	1,000
Magistrate	,929***	,933***	1,000
Staff	,893***	,913***	,951***	1,000
ICT	,566***	,567***	,590***	,590***	1,000
Workload	,462***	,530***	,344***	,398***	,380***	1,000
Workload2	,782***	,641***	,642***	,609***	,470***	,540***	1,000
Workload1	,332***	,424***	,217***	,279***	,298***	,971***	,373***	1,000
II	-,007	-,096	-,022	,000	,100	-,060	,117	-,066	1,000
II2	-,069	-,143	-,056	-,027	,092	-,057	,125	-,069	,875***	1,000
II1	,015	-,080	-,008	,025	,111	-,036	,144	-,038	,999***	,865***	1,000
IE	,323***	,345***	,357***	,381***	,485***	,105	,188**	,025	,364***	,370***	,375***	1,000
Pending	,840***	,853***	,808***	,816***	,560***	,747***	,690***	,642***	-,087	-,077	-,074	,279***	1,000
New	,925***	,983***	,939***	,914***	,574***	,543***	,670***	,433***	-,063	-,125	-,046	,339***	,858***	1,000
Obs.	264	264	264	264	262	264	264	262	115	114	108	156	264	264
Aus.	0	0	0	0	2	0	0	2	149	150	156	108	0	0
Média	25791,92	116058,70	125.261	1372,72	R$ 33700000,00	2026,368	1474,923	2165,27	0,163	0,088	0,191	514616,80	129148,8	145617,9
DP	29962,69	125061,60	100,840	1099391	R$ 115000000,00	630,102	674,533	684,474	0,277	0,229	0,312	492819,30	154567,2	153011,8
Min	758	4594	22	225	R$ 131373,00	7.676,964	277	850	0	0	0	0	12966	10502
Max	130007	632574	422	5533	R$ 883395206,00	4054,775	3411,192	4388	1,000	1	1	2812157	797987	778679

• Fonte: Dados da pesquisa. Obs.: número de observações válidas; Aus.: dados faltantes; DP: desvio-padrão. *** p≤ 0,01. ** p≤ 0,05

4.1 Índices de Malmquist

O índice de Malmquist, calculado por meio do DEA, é dividido entre Vef — variação de eficiência técnica, conhecida por catch-up — e Vtec, conhecido por frontier-shift, sendo este último associado à adoção de inovações. Como a técnica DEA é sensível ao efeito de dados faltantes, decidiu-se usar as variáveis de recurso Magistrate e Staff e a soma das variáveis Y1 e Y2 como variáveis de desempenho, porque as outras variáveis possuem dados faltantes. O tribunal da 12^a região (Santa Catarina) foi retirado da análise em função de valores faltantes. Essas variáveis têm sido amplamente utilizadas na literatura sobre essa técnica em estudos aplicados ao Judiciário. A amostra foi composta por 253 observações. As tabelas 2 e 3 mostram os índices de Malmquist para cada tribunal (DMU) e para cada ano.

Tabela 2
Índices de desempenho por tribunal

Tribunal	Modelo geral			Porte
	Vef	Vtec	Malmquist
1	0,972	1,029	1,001	L
2	1,000	1,008	1,008	L
3	1,006	1,017	1,022	L
4	1,002	1,005	1,007	L
5	0,996	1,003	0,999	M
6	1,008	0,993	1,001	M
7	0,975	1,028	1,002	M
8	0,975	0,992	0,967	M
9	0,988	1,005	0,993	M
10	0,986	1,001	0,987	M
11	0,977	1,032	1,008	M
13	1,000	1,001	1,001	M
14	0,997	1,018	1,015	S
15	1,031	1,009	1,040	L
16	1,000	0,999	0,999	S
17	1,015	0,983	0,997	S
18	1,017	1,029	1,047	M
19	0,963	1,000	0,963	S
20	1,051	1,016	1,069	S
21	1,003	0,998	1,001	S
22	1,027	0,997	1,024	S
23	1,017	0,973	0,990	S
24	0,980	0,969	0,950	S
Média geométrica	0,999	1,004	1,004

• Fonte: Dados da pesquisa. Notas: Vef: eficiência técnica; Vtec: mudança tecnológica; L: Grande; M: Médio; S: Pequeno; Malmquist: índice de produtividade total.

Os resultados indicam melhoria no desempenho devido à adoção de inovação em 16 tribunais. Estes são os tribunais que são mais inovadores porque contribuíram para mudar a fronteira tecnológica. Os outros sete tribunais não contribuíram para a melhoria do desempenho. Para o período analisado, a justiça do trabalho melhorou mais o desempenho devido à adoção de inovações do que pela variação na eficiência técnica, embora o último índice tenha se aproximado de 1,0. O valor 1,0 significa que o tribunal não aumentou nem diminuiu a eficiência técnica. Seis tribunais alcançaram melhorias nos índices de eficiência técnica e na adoção da inovação.

Todos os tribunais de grande porte apresentaram índices de variação tecnológica acima de 1,0 no período estudado, indicando que houve melhora nesse índice. Em média, a justiça do trabalho melhorou o desempenho no índice de produtividade total de Malmquist, cujo resultado foi de 1,004. Essa melhoria no desempenho foi mais em função da adoção da inovação (1,004) do que da melhoria na eficiência técnica (0,999).

Tabela 3
Índice de desempenho por ano

Ano	Vef	∆% Vef	Vtec	∆% Vtec	Malmquist	∆% Malmquist
2003/2004	0,996	-	1,092	-	1,088
2004/2005	0,951	-4,52%	1,052	-3,66%	1,001	-8,00%
2005/2006	1,033	8,62%	0,928	-11,79%	0,958	-4,30%
2006/2007	0,991	-4,07%	1,023	10,24%	1,014	5,85%
2007/2008	1,057	6,66%	0,988	-3,42%	1,044	2,96%
2008/2009	1,052	-0,47%	0,872	-11,74%	0,917	-12,16%
2009/2010	0,984	-6,46%	1,058	21,33%	1,041	13,52%
2010/2011	0,952	-3,25%	1,029	-2,74%	0,980	-5,86%
2011/2012	1,036	8,82%	0,936	-9,04%	0,969	-1,12%
2012/2013	0,948	-8,49%	1,092	16,67%	1,036	6,91%
Geometric mean	0,999		1,004		1,004

• Fonte: Dados da pesquisa. Notas: Δ% Vef: variação percentual do índice de eficiência técnica entre os anos; Δ% Vtec: variação percentual dos índices de mudança tecnológica entre os anos; Δ% Malmquist: variação percentual dos índices de Malmquist entre os anos.

Em 2006, a Lei n^o 11.419 formalizou o uso do processo judicial eletrônico no Brasil. Naquele ano, em comparação com 2005, o índice Vtec diminuiu, possivelmente devido a mudanças e ajustes que os tribunais fizeram para adotar essa inovação. Em 2007, comparado a 2006, esse resultado já havia mudado para melhor. Em 2012, o Conselho Superior da Justiça do Trabalho (CSJT) do Brasil determinou a adoção de um processo eletrônico unificado para a justiça do trabalho. Índices de 2012, comparados a 2011, exibiram uma redução no índice Vtec, indicando também que os tribunais podem levar certo tempo para assimilar a nova tecnologia, por exemplo, por meio de ações como treinamento e adaptação da nova tecnologia. No entanto, em 2013, comparado a 2012, observou-se melhora no índice, indicando que o sistema havia se institucionalizado. Esses resultados estão de acordo com a percepção dos gestores e magistrados da justiça do trabalho de que a introdução do processo eletrônico inicialmente levou a uma diminuição do desempenho (Sousa e Guimarães, 2017).

A tabela 4 mostra a correlação entre os índices de desempenho e as variáveis utilizadas no estudo.

Tabela 4
Correlação de Spearman entre os índices de desempenho e variáveis de recursos

		II	Workload	Magistrate	Staff	ICT	IE	Pending	New
Vef		-,022	,019	-,013	-,026	,006	-,043	-,011	,017
	N	110	230	230	230	228	149	230	230
Vtec		,225**	,069	,013	,044	-,211***	,226***	,040	,033
	N	110	230	230	230	228	149	230	230
Malm		,129	,087	-,043	-,021	-,147**	-,010	-,003	,027
	N	110	230	230	230	228	149	230	230

• Fonte: Dados da pesquisa. Notas: Vef: eficiência técnica; Vtec: mudança tecnológica; Malmquist: índice de produtividade total. *** p≤ 0,01. ** p≤ 0,05.

Percebe-se que há correlação positiva e estatisticamente significante entre o índice de mudança tecnológica (Vtec) e o índice de processo eletrônico (II), como era esperado. A maior correlação positiva ocorre entre o índice Vtec e investimento em treinamento (IE), também um resultado esperado, confirmando resultados encontrados por Sousa e Guimarães (2017) que argumentam que o investimento em treinamento é importante no processo de adoção de inovações pelo Judiciário trabalhista. A variável investimento em TIC é negativamente correlacionada com Vtec e Malmquist, o que não era esperado, dado que tal investimento poderia ter o efeito de melhorar o desempenho.

4.2 Modelo de ineficiência

Para o teste do modelo de ineficiência, foram desenvolvidos quatro modelos, conforme a disponibilidade de dados, seguindo a especificação das equações 3 e 4. O modelo 1 abrange todo o período da pesquisa, 2003 a 2013, e os demais modelos cobrem o período de 2009 a 2013. A tabela 5 mostra os modelos e testes estimados. O uso do duplo logaritmo natural permite a verificação direta da elasticidade.

Tabela 5
Fronteira estocástica com média condicional de ineficiência

	Modelo 1	Modelo 2	Modelo 3	Modelo 4
β 0	0,636 (2,5)***	5,673 (6,3)***	7,912 (5,912)***	9,094 (8,872)***
lnMagistrate	0,040 (3,25)***	0,130 (5,007)***	0,092 (2,21)**	0,042 (1,675)**
lnStaff/Magistrate	0,078 (1,893)**	0,161 (1,323)*	0,019 (0,265)	-0,001 (-0,10)
lnNew/Magistrate	0,785 (20,907)***	0,207 (2,726)***	0,132 (1,608)*	0,089 (1,106)
lnPending/Magistrate	0,057 (2,791)***	-0,155 (-1,696)**	-0,327 (-3,797)***	-0,379 (-4,658)***
Tempo2 (2004)	0,189 (5,127)***
Tempo3 (2005)	0,113 (2,909)***
Tempo4 (2006)	0,150 (3,651)***
Tempo5 (2007)	0,167 (4,509)***
Tempo6 (2008)	0,194 (5,007)***
Tempo7 (2009)	0,148 (4,092)***
Tempo8 (2010)	0,186 (4,946)***	0,031 (0,590)	0,058 (0,608)	0,056 (1,223)
Tempo9 (2011)	0,206 (5,259)***	0,042 (0,738)	0,058 (0,42)	0,052 (1,053)
Tempo10 (2012)	0,180 (4,848)***	0,044 (798)	0,087 (3,324)***	0,069 (1,353)*
Tempo11 (2013)	0,482 (11,599)***	0,054 (0,956)	0,097 (0,747)	0,087 (1,706)**
Modelo de ineficiência
δ0	-6,600 (-3,027)***	0,185 (0,185)	1,217 (4,304)***	1,616 (2,703)***
Large	-2,069 (-34)***	-0,113 (-0,881)	-0,027 (-1,288)*	-0,086 (-0,907)
Small	0,404 (3,277)***	-0,074 (-0,708)	-0,044 (-0,778)	0,018 (0,306)
LnICT	0,146 (3,698)***	0,067 (1,178)	0,005 (0,381)	0,013 (0,338)
Workload	0,001 (2,99)***	0,000 (-4,176)***	0,000 (-2,244)**	-0,001 (-5,606)***
lnIE		-0,010 (-1,297)*	-0,009 (-1,46)*	-0,010 (-1,895)**
II				0,025 (0,441)
N_adopt			-0,041 (-0,414)
Adopt			0,013 (0,220)
σ2	0,304 (2,809)***	0,022 (4,116)***	0,017 (11,618)*	0,015 (6,734)***
γ	0,982 (131,785)***	0,353 (2,1)**	0,000 (0,036)	0,181 (1,839)**
Tribunais	24	24	24	24
Observações	262	113	113	113
Teste LR	35,970	28,280	46,370	55,450
Restrições	6	7	9	8
Valores críticos (Kodde and Palm, 1986)	21,67	23,55	27,13	25,37
Log verossimilhança	162,767	59,239	68,286	72,825

• Fonte: Dados da pesquisa. Notas: Estatística t: * p≤ 0,1; ** p≤ 0,05; *** p≤ 0,01. Os valores críticos propostos por Kodde e Palm com referência a α=0,001. Os valores da estatística t estão em parênteses.

Todos os parâmetros do modelo 1 são estatisticamente significantes. Para os modelos 2, 3 e 4, é possível adicionar algumas variáveis disponíveis mais recentemente, mas algumas variáveis não são significantes. O aumento no número de juízes contribui para um aumento no desempenho dos tribunais trabalhistas. Esse resultado é consistente com o estudo de Schwengber (2006) do Poder Judiciário do Estado do Rio Grande do Sul, Brasil. No entanto, difere dos resultados encontrados por Castro (2011) e Dimitrova-Grajzl e colaboradores (2012) que estudaram, respectivamente, o Judiciário estadual brasileiro e tribunais locais e distritais da Eslovênia. O número de servidores contribui para o aumento do desempenho do Judiciário trabalhista, resultado também encontrado por Rosales-López (2008). No modelo 1, um aumento de 1% no número de juízes aumenta a produção em 0,04%, um valor consistente com o modelo 4. O número de servidores, controlado pelo número de juízes, aumenta praticamente o dobro, 0,08%. Juntos, os coeficientes relacionados com os recursos humanos atingem 0,12.

Casos novos e pendentes estão relacionados com a carga de trabalho do juiz. Um aumento de 1% em novos casos aumenta a produção em 0,76%. Para casos pendentes, o percentual é menor, 0,06%, e até torna-se negativo em alguns dos modelos. Juntos, os coeficientes relacionados com a carga de trabalho chegam a 0,84. Esses resultados são consistentes com outros estudos (Beenstock e Haitovsky, 2004; Dimitrova-Grajzl et al., 2012; Lewin, Morey e Cook, 1982; Rosales-López, 2008; Schwengber, 2006), indicando que um aumento na carga de trabalho do juiz pode levar a um maior desempenho, um resultado que confirma a hipótese H₁. Certamente que o aumento na carga de trabalho do juiz terá um limite além do qual pode haver um desempenho decrescente. exigiria estudos longitudinais. Observa-se que o desempenho aumentou ao longo do tempo, conforme indicado pelas variáveis relacionadas com o tempo.

A vantagem do modelo de fronteira estocástica em relação ao DEA é que o primeiro proporciona a verificação em um único estágio de fatores individuais que afetam a variação de ineficiência no Judiciário do trabalho. A variável porte é relevante para avaliar a ineficiência dos tribunais. Os tribunais de grande porte parecem conseguir reduzir a ineficiência (-2,07%), ao contrário dos tribunais de pequeno porte (0,4%), resultado também observado por Schwengber (2006), o que confirma a hipótese H₂.

O índice do processo eletrônico não foi estatisticamente significante para os modelos propostos. Variáveis dummy, representando os tribunais com índice de processo eletrônico igual a zero, ou seja, que não adotaram a inovação (N_adopt), até 50% (Adopt) e acima de zero e abaixo de 50%, também foram incluídas, mas não foram estatisticamente significantes, não confirmando a hipótese H₃. Esse resultado indica que, utilizando a técnica de fronteira estocástica para o período analisado, a inovação não se traduziu em diminuição da ineficiência do tribunal. Esse resultado pode estar relacionado com a tentativa de padronizar rotinas relacionadas com o processo judicial eletrônico em escala nacional iniciadas em 2012, não decorrido o tempo necessário para impactar positivamente o desempenho.

O investimento em TIC aumentou a ineficiência dos tribunais (0,15%), deixando de confirmar a hipótese H₄, e não atendeu ao resultado esperado. Uma possível explicação para essa descoberta é que as mudanças recentes que exigiram investimentos pesados em TIC ainda não tiveram um impacto direto sobre a ineficiência dos tribunais trabalhistas. Quatro fatores são comumente listados para explicar o paradoxo relacionado com o investimento em TIC: erros de medição de recursos e desempenho, tempo necessário para adaptação e aprendizagem, redistribuição e dissipação de benefícios (o investimento pode não impactar positivamente o setor, embora possa beneficiar organizações específicas) e problemas na gestão de recursos de TI (Brynjolfsson, 1993).

Outro possível fator para explicar esse resultado é a diferença entre o investimento em tecnologias de uso mais geral e tecnologias desenvolvidas especificamente para as necessidades da organização. O último investimento está relacionado com um aumento no desempenho. Da mesma forma, os sistemas de processamento de informações específicos do contexto formal e informal da organização têm o potencial de criar uma vantagem competitiva sustentável (Barney, 1991).

A carga de trabalho do juiz é estatisticamente significante e apresenta impacto positivo no modelo 1 (0,1%). Esse comportamento não é observado nos outros modelos e é negativo para o modelo 4. Segundo Beenstock e Haitovsky (2004), é de se esperar que a pressão sobre os juízes causada por um aumento na carga de trabalho diminua a ineficiência. Por um lado, como discutido anteriormente, casos novos e pendentes exercem pressão para o aumento da produção. Por outro lado, a variável Workload, além de casos novos e pendentes, aumenta a quantidade de recursos novos e pendentes. Esse acréscimo de recursos pode prejudicar o desempenho dos tribunais. O investimento em treinamento (IE), como esperado, ajuda a reduzir a ineficiência nos modelos 2, 3 e 4, onde foi possível incluir essa variável. Os resultados confirmam a hipótese H₅ .

O parâmetro γ tem a função de testar o modelo. Foi estatisticamente significante e próximo de 1 (0,982) no modelo 1, o que significa que: 1) os modelos de regressão à média não foram adequados para analisar os dados empíricos; 2) a maior parte da variação do erro residual refere-se à ineficiência; e 3) o erro aleatório está próximo de zero.

5. Conclusões

O objetivo do estudo foi desenvolver e validar modelos teóricos e empíricos que expliquem as relações entre recursos, inovação e desempenho no Judiciário e mensurar o desempenho da justiça do trabalho por meio dos índices de Malmquist e da análise de fronteira estocástica. O painel de dados utilizado abrangeu 24 tribunais trabalhistas brasileiros entre 2003 e 2013, abrangendo todo o período disponível na base de dados Justiça em Números.

Dois métodos foram utilizados, aproveitando abordagens paramétricas e não paramétricas. Os índices de Malmquist indicam melhora no índice relacionado com a adoção de inovação em 16 tribunais, enquanto os outros sete tribunais não conseguiram melhorar o desempenho como resultado da adoção da inovação. Para o período de 2003 a 2013, os tribunais trabalhistas apresentaram maior variação positiva no desempenho relacionado com a adoção da inovação. Comparando os índices calculados com as variáveis de recurso, foi encontrada uma relação significativa e positiva entre o índice relacionado com a adoção da inovação e as variáveis investimento em treinamento e índice de processo eletrônico, enquanto houve correlação negativa com o investimento em TIC.

A análise de fronteira estocástica confirmou três das cinco hipóteses, indicando que: a carga de trabalho impactou positivamente o desempenho, com coeficientes aproximadamente sete vezes maiores que os relacionados com recursos humanos; o tamanho do tribunal afeta a eficiência; e o investimento em treinamento ajudou a reduzir a ineficiência em todos os modelos em que sua inclusão era possível. As seguintes hipóteses não foram confirmadas: o índice de processo eletrônico não foi estatisticamente significante e o investimento em TIC contribuiu para o aumento da ineficiência, indicando que a adoção da inovação não se traduz necessariamente em ganhos de desempenho e que os investimentos em TICs realizados na fase de padronização iniciada em 2012 ainda não impactaram o desempenho.

O presente estudo preenche uma lacuna na pesquisa, desenvolve e testa modelos quantitativos teóricos e empíricos de um painel de tribunais para explicar as relações entre recursos, inovação e desempenho no Judiciário. Portanto, os resultados geram conhecimento que pode contribuir para o planejamento e a alocação de recursos nos tribunais, e, em um nível mais amplo, pode apoiar a formulação de políticas para os tribunais. Dado que o desenvolvimento e a adoção da inovação estão em andamento nos tribunais, esses resultados representam um retorno importante para os responsáveis pela gestão judicial e inovação nos tribunais.

O estudo limitou-se aos dados disponíveis em um banco de dados disponível no Brasil. O índice Vtec analisa o desempenho como uma função da adoção da inovação, mas não identifica especificamente qual inovação e em que medida essa contribuição ocorre. Consequentemente, outras inovações não discutidas neste estudo podem influenciar o desempenho, dado que o índice do processo eletrônico foi estatisticamente positivo, embora baixo (0,225), indicando que outras variáveis, ou seja, outros aspectos da profissionalização do tribunal não estudados podem impactar o índice Vtec. O investimento em treinamento obteve correlação positiva e estatisticamente significante, embora baixo (0,226). Isso significa que outras variáveis podem ajudar a explicar o desempenho. A variável investimento em TIC cobre investimentos amplos ao longo de todo o ciclo, incluindo aquisição, desenvolvimento e manutenção de tecnologias. As variáveis estão disponíveis apenas no nível agregado do tribunal.

Sugere-se para estudos futuros o uso de variáveis no nível da vara. Em um nível micro, os modelos podem mostrar relações que não são detectadas em nível agregado, como examinado neste estudo. A análise da carga de trabalho ótima do juiz, além da qual há um desempenho em declínio, também é sugerida. Além disso, dada a natureza complexa de medir o desempenho dos tribunais, outras abordagens, por exemplo, o desenvolvimento e validação de uma escala para avaliar a inovação e o desempenho por meio de variáveis latentes, não diretamente observáveis, como a orientação para a inovação e o modelo e gestão mais flexível e menos formalista, podem lançar novas luzes para o tema da gestão do tribunal.

References

• ABRAMO, Claudio W. Tempos de espera no Supremo Tribunal Federal. Revista Direito GV, v. 6, n. 2, p. 423-441, 2010.
• ANDERSON-IV, Robert. Distinguishing judges: an empirical ranking of judicial quality in the United States Court of Appeals. Missouri Law Review, v. 76, n. 2, p. 315-348, 2011.
• ARAGÃO, Cecília V. Fatores agilizadores e restritivos à atuação da justiça do trabalho: um estudo exploratório. Rev. Adm. Pública, v. 31, n. 4, p. 183-215, 1997.
• BARNEY, Jay B. Firm resources and sustained competitive advantage. Journal of Management, v. 17, n. 1, p. 99-120, 1991.
• BATTESE, George E.; COELLI, Tim J. A model for technical inefficiency effects in a stochastic frontier production function for panel data. Empirical Economics, v. 20, n. 2, p. 325-332, 1995.
• BEENSTOCK, Michael; HAITOVSKY, Yoel. Does the appointment of judges increase the output of the judiciary? International Review of Law & Economics, v. 24, n. 3, p. 351-369, Sept. 2004.
• BOYNE, George A. Explaining public service perfomance: does management matter?. Public Policy and Administration, v. 19, n. 4, p. 100-117, 2004.
• BOYNE, George A. et al.Explaining the adoption of innovation: an empirical analysis of public management reform. Environment and Planning C: Government and Policy, v. 23, n. 3, p. 419-435, 2005.
• BRYNJOLFSSON, Erik. The productivity paradox of information technology: review and assessment. Communication of the ACM, v. 36, n. 12, p. 67-77, 1993.
• BUSCAGLIA, Edgardo; ULEN, Thomas. A quantitative assessment of the efficiency of the judicial sector in Latin America. International Review of Law & Economics, v. 17, n. 2, p. 275-291, 1997.
• CASTRO, Alexandre S. Indicadores básicos e desempenho da Justiça Estadual de primeiro grau no Brasil. Brasília: Ipea, 2011.
• CHARNES, Abraham; COOPER, William W.; RHODES, Edwardo. Measuring the efficiency of decision making units. European Journal of Operational Research, v. 2, n. 6, p. 429-444, 1978.
• CHOI, Stephen J.; GULATI, Mitu; POSNER, Eric A. How well do measures of judicial ability predict judicial performance? A case study using securities class actions. International Review of Law & Economics, v. 33, p. 37-53, 2013.
• CHRISTENSEN, Robert K; SZMER, John. Examining the efficiency of the U. S. courts of appeals: pathologies and prescriptions. International Review of Law & Economics, v. 32, n. 1, p. 30-37, 2012.
• CNJ. Justiça em números 2013: ano-base 2012. Brasília: {s.n.}, 2013. Available at: <Available at: http://www.cnj.jus.br/images/pesquisas-judiciarias/Publicacoes/relatorio_jn2013.pdf >. Acessed on: 25 Feb. 2015.
  » http://www.cnj.jus.br/images/pesquisas-judiciarias/Publicacoes/relatorio_jn2013.pdf
• CNJ. Justiça em números 2014: ano-base 2013. Brasília: s.n., 2014. Available at: <Available at: ftp://ftp.cnj.jus.br/Justica_em_Numeros/relatorio_jn2014.pdf >. Acessed on: 28 Feb. 2015.
  » ftp://ftp.cnj.jus.br/Justica_em_Numeros/relatorio_jn2014.pdf
• COOPER, William W.; SEIFORD, Lawrence M.; TONE, Kaoru. Data envelopment analysis: a comprehensive text with models, applications, references and DEA-Solver software. 2. ed. New York: Springer Science, 2007.
• COSTA, Paulo R. S. Justiça do trabalho: descentralização e informatização. Revista Eletrônica Parlatorium, v. 1, n. 1, p. 1-7, 2008.
• COSTA, Silvia G. et al. Mensuração da carga de trabalho de magistrados: uma análise comparativa do estudo realizado no Tribunal de Justiça do Estado do Rio Grande do Sul com experiências internacionais. Revista da Faculdade de Direito da Universidade Federal do Rio Grande do Sul, v. 26, n. 221-255, p. 1-30, 2006.
• CRUNKILTON, Dhira D. Staff and client perspectives on the journey mapping online evaluation tool in a drug court program. Evaluation and Program Planning, v. 32, n. 2, p. 119-128, 2009.
• DAMANPOUR, Fariborz; SCHNEIDER, Marguerite. Characteristics of innovation and innovation adoption in public organizations: assessing the role of managers. Journal of Public Administration Research and Theory, v. 19, n. 3, p. 495-522, 2009.
• DAMANPOUR, Fariborz; WISCHNEVSKY, Daniel. Research on innovation in organizations: Distinguishing innovation-generating from innovation-adopting organizations. Journal of Engineering and Technology Management, v. 23, n. 4, p. 269-291, 2006.
• DEYNELI, Faith. Analysis of relationship between efficiency of justice services and salaries of judges with two-stage DEA method. European Journal of Law and Economics, v. 34, n. 3, p. 477-493, 2012.
• DIAS JÚNIOR, Nélio S. A garantia da razoável duração do processo. In: WAMBIER, Teresa A. A. et al. Reforma do judiciário: primeiras reflexões sobre a emenda constitucional n. 45/2004. São Paulo: Revista dos Tribunais, 2004. p. 59-62.
• DIMITROVA-GRAJZL, Valentina et al. Court output, judicial staffing, and the demand for court services: evidence from Slovenian courts of first instance. International Review of Law & Economics, v. 32, n. 1, p. 19-29, 2012.
• FÄRE, Rolf et al. Productivity growth, technical progress, and efficiency change in industrialized countries. The American Economic Review, v. 84, n. 1, p. 66-83, 1994.
• FOLEY, Paul; ALFONSO, Ximena. E-Government and the transformation agenda. Public Administration, v. 87, n. 2, p. 371-396, 2009.
• HARA, Noriko. Information technology support for communities of practice: how public defenders learn about winning and losing in court. Journal of The American Society for Information Science and Technology, v. 58, n. 1, p. 76-87, 2007.
• JOIA, Luiz A. Governo eletrônico e capital intelectual nas organizações públicas. Rev. Adm. Pública, v. 43, n. 6, p. 1379-1405, 2009.
• JOIA, Luiz A. The impact of government-to-government endeavors on the intellectual capital of public organizations. Government Information Quarterly, v. 25, n. 2, p. 256-277, 2008.
• KITTELSEN, Sverre A. C.; FØRSUND, Finn R. Efficiency analysis of Norwegian district courts. Journal of Productivity Analysis, v. 3, n. 3, p. 277-306, 1992.
• KODDE, David A.; PALM, Franz C. Wald criteria for jointly testing equality and inequality restrictions. Econometrica, v. 54, n. 5, p. 1243-1248, 1986.
• LEE, Geunjoo; PERRY, James L. Are computers boosting productivity? A test of the paradox in state governments. Journal of Public Administration Research and Theory, v. 12, n. 1, p. 77-102, 2002.
• LEWIN, Arie Y.; MOREY, Richard C.; COOK, Thomas J. Evaluating the administrative efficiency of courts. Omega The International Journal of Management Science, v. 10, n. 4, p. 401-411, 1982.
• MALMQUIST, Sten. Index numbers and indifference surfaces. Trabajos de Estadística, v. 4, n. 2, p. 209-242, 1953.
• MCKECHNIE, Dougal. The use of the internet by courts and the judiciary: findings from a study trip and supplementary research. International Journal of Law and Information Technology, v. 11, n. 2, p. 109-148, 2003.
• MITSOPOULOS, Michael; PELAGIDIS, Theodore. Does staffing affect the time to dispose cases in Greek courts? International Review of Law & Economics, v. 27, n. 2, p. 219-244, 2007.
• OSBORNE, David; GAEBLER, Ted. Reinventing government: how the entrepreneurial spirit is transforming the public sector. New York: Plume, 1993.
• PEDRAJA-CHAPARRO, Francisco; SALINAS-JIMENEZ, Javier. An assessment of the efficiency of Spanish Courts using DEA. Applied Economics, v. 28, n. 11, p. 1391-1403, 1996.
• RAMSEYER, Mark J. Talent matters: judicial productivity and speed in Japan. International Review of Law & Economics, v. 32, n. 1, p. 38-48, 2012.
• RAUEN, Andre T. Desafios da avaliação em políticas de inovação no Brasil. Revista do Serviço Público, v. 64, n. 4, p. 427-445, 2013.
• ROGERS, Everett M. Diffusion of innovations 5. ed. New York: The Free Press, 2003.
• ROSA, João; TEIXEIRA, Claudio; PINTO, Joaquim S. Risk factors in e-justice information systems. Government Information Quarterly, v. 30, n. 3, p. 241-256, 2013.
• ROSALES-LÓPEZ, Virginia. Economics of court performance: an empirical analysis. European Journal of Law and Economics, v. 25, n. 3, p. 231-251, 2008.
• SAMAN, Wan S. Wan Mohd; HAIDER, Abrar. E-Shariah in Malaysia: technology adoption within justice system. Transforming Government: People, Process and Policy, v. 7, n. 2, p. 256-276, 2013.
• SCHNEIDER, Martin R. Judicial career incentives and court performance: an empirical study of the German Labour Courts of Appeal. European Journal of Law and Economics, v. 20, n. 2, p. 127-144, 2005.
• SCHWENGBER, Silvane. Mensurando a eficiência no sistema Judiciario: métodos paramétricos e não paramétricos. 2006. Thesis (PhD) - Faculdade de Economia, Administração, Contabilidade e Ciência da Informação e Documentação, Universidade de Brasília, Brasília.
• SMYTH, Russell; BHATTACHARIA, Mita. How fast do old judges slow down? A life cycle study of aging and productivity in the Federal Court of Australia. International Review of Law & Economics, v. 23, n. 2, p. 141-164, 2003.
• SOARES, Yuri; SVIATSCHI, Maria M. The impact of modernization on court efficiency in Costa Rica. OVE working papers 0610, Inter-American Development Bank, Washington, 2010.
• SOLOW, Robert M. We’d better watch out. New York Times, 1987. p. 36.
• SOUSA, Marcos M.; GUIMARAES, Tomas A. Inovação e desempenho na administração judicial: desvendando lacunas conceituais e metodológicas. Revista de Administração e Inovação, v. 11, n. 2, p. 321-344, 2014.
• SOUSA, Marcos M.; GUIMARAES, Tomas A. The adoption of innovations in Brazilian labor courts from the perspective of judges and court managers. Revista de Administração, v. 52, n. 1, p. 103-113, 2017.
• STRATOPOULOS, Theophanis; DEHNING, Bruce. Does successful investiment in information technology solve the productivity paradox? Information & Management, v. 38, n. 2, p. 103-117, 2000.
• TST . Varas instaladas e não instaladas 2015. Available at: <Available at: http://www.tst.jus.br/instaladas-e-nao-instaladas >. Accessed on: 24 Sept. 2015.
  » http://www.tst.jus.br/instaladas-e-nao-instaladas
• TULKENS, Henry. On FDH efficiency analysis: some methodological issues and applications to retail banking, courts, and urban transit. The Journal of Productivity Analysis, v. 4, n. 1, p. 183-210, 1993.
• VELICOGNA, Marco. Justice systems and ICT: what can be learned from Europe? Utrecht Law Review, v. 3, n. 1, p. 129-147, 2007.
• VELICOGNA, Marco; ERRERA, Antoine; DERLANGE, Stéphane. Building e-justice in Continental Europe: the TéléRecours experience in France. Utrecht Law Review, v. 9, n. 1, p. 38-59, 2013.
• VELICOGNA, Marco; ERRERA, Antoine; DERLANGE, Stéphan e. e-Justice in France: the e-Barreau experience. Utrecht Law Review, v. 7, n. 1, p. 163-187, 2011.
• YEUNG, Luciana L.; AZEVEDO, Paulo F. Measuring efficiency of Brazilian courts with data envelopment analysis (DEA). Journal of Management Mathematics, v. 22, p. 343-356, 2011.
• ZHU, Joe. Quantitative models for performance evaluation and benchmarking: data envelopment analysis with spreadsheets. 2. ed.New York: Springer Science , 2009.

• 5
  {Versão traduzida}
• Pesquisa financiada com recursos da Capes (bolsa do primeiro autor) e do CNPq (projeto de pesquisa do segundo autor).
• 7
  Os autores agradecem as críticas e sugestões de avaliadores anônimos da RAP, que contribuíram para a melhoria da qualidade do texto.

Datas de Publicação

• Publicação nesta coleção
  May-Jun 2018

Histórico

• Recebido
  08 Mar 2017
• Aceito
  03 Mar 2018