Acessibilidade / Reportar erro

UMA ANÁLISE EMPÍRICA DOS TRIBUNAIS DE CONTAS BRASILEIROS: CAPACIDADES E DESEMPENHO

AN EMPIRICAL ANALYSIS OF BRAZILIAN ACCOUNTABILITY COURTS: CAPABILITIES AND PERFORMANCE

Resumo

Este artigo busca, por meio de análise empírica, responder à seguinte questão: as características institucionais dos Tribunais de Contas, conforme definidas na Constituição Federal de 1988, influenciam seu desempenho? A resposta foi alcançada por meio do método estatístico dos mínimos quadrados, em que se analisou a relação entre a performance e as capacidades desses órgãos autônomos. A atuação foi medida pelas variáveis: número de processos julgados; quantidade de fiscalizações in loco; valor das multas e ressarcimentos; e percentual de rejeição das contas de governo. E as capacidades por: orçamento em 2015, total de funcionários, percentual de efetivos, existência de Ministros/Conselheiros substitutos e Procuradores do Ministério Público de Contas (ambos providos por concurso), e de Ministros/Conselheiros advindos dessas carreiras. Os dados foram coletados diretamente dos Tribunais de Contas por meio da Lei de Acesso à Informação. O artigo, na busca por uma abordagem mais realista dos Tribunais de Contas, também apresenta críticas importantes a estudos anteriores. Apesar do grande foco de discussões para aprimoramento dos Tribunais de Contas no Brasil girar em torno das indicações de Ministros e Conselheiros, o estudo indica que outro fator, negligenciado nos debates, está diretamente associado a um aumento da produtividade e da independência das Cortes de Contas, qual seja, o percentual de agentes públicos advindos de concurso público.

Direito Constitucional; Direito Administrativo; Administração Pública; Tribunais de Contas; Empirismo

Abstract

The study seeks, through empirical analysis, to answer the following question: Do the institutional characteristics of the Courts of Accountability, as defined in Federal Constitution of 1988, influence their performance? The response was achieved through statistical regression using the least squares method, which analyzed the relationship between performance and the capabilities of these autonomous organs. The performance was measured by the variables: number of cases judged; number of on-site inspections (initiative); amount of fines and refunds imputed; and percentage of rejection of government accounts in relation to the total of judged judgments. And the capacities for the following: value of the annual budget, total staff, percentage of permanent employees, whether there are Substitute Ministers/Substitute Judges and Prosecutors (both provided by public selection), and Ministers/Judges coming of these careers. Data were collected directly from the Courts through the Information Access Law. The article also presents important criticisms to previous studies in search of a more complete approach of the subject. This article, in search of a more real approach to the Courts of Accountability, also presents important criticisms to previous studies. Despite the focus of discussions for the improvement of the Courts of Accountability in Brazil revolving around the nominations of Ministers and Judges, the study indicates that another factor, neglected in the debates, is directly associated with an increase in the productivity and independence of these Courts, that is, the percentage of public agents coming from public selections.

Constitutional right; Administrative law; Public administration; Courts of Accounts; Empiricism

Introdução

Neste artigo, busca-se responder à seguinte questão de pesquisa: a organização institucional dos Tribunais de Contas, conforme definida pela Constituição brasileira e por suas leis orgânicas, influencia sua atividade de controle da Administração Pública?

O objetivo é entender a relação entre as diferentes capacidades das Cortes de Contas brasileiras e o impacto dessas diferentes formações nas atividades dessas entidades.

O Tribunal de Contas da União (TCU), em um momento histórico, no dia 7 de outubro de 2015, decidiu, por unanimidade, emitir parecer prévio pela reprovação das contas da então Presidente da República Dilma Rousseff.

Em 125 anos de existência da Corte, foi a segunda vez que isso aconteceu. A primeira vez ocorreu em 1937, com a reprovação das contas de Getúlio Vargas de 1936. Além disso, o TCU, em 2016, emitiu novo parecer prévio pela rejeição das contas da presidente já referida. Duas rejeições consecutivas também foram algo inédito no país.

Apesar de a Constituição Federal de 1988 atribuir ao Congresso Nacional, no seu artigo 49, inciso IX, a competência para julgar as contas do Presidente da República, o parecer prévio emitido pelo TCU atestou de forma técnica um conjunto grave de irregularidades praticadas pelo governo federal no ano de 2014.

A reprovação teve como fundamento, principalmente, as chamadas “pedaladas fiscais”, arranjos que consistiam em atrasar repasses do caixa do Tesouro Nacional aos bancos públicos, afrontando as disposições da Lei de Responsabilidade Fiscal (LRF).

O processo foi envolto por grandes discussões sobre recursos, prazos e competências do TCU. A mídia brasileira expôs de forma ativa o andamento do processo, e o país passou a discutir as irregularidades apontadas pelo TCU. Mais ainda, as irregularidades descobertas são a base do processo de impeachment da Presidente Dilma Rousseff.

Nesse momento de marcante popularização dos Tribunais de Contas, mostra-se oportuno um estudo que avalie aspectos mais profundos dessas Cortes, como sua formação e sua atuação. Assim, a partir de dados coletados dos próprios tribunais, por meio da Lei de Acesso à Informação, busca-se controlar aspectos da estrutura das Cortes e descobrir quais impactam sua atividade.

O artigo toma como base para discussão o artigo intitulado “Political and Institutional Checks and Corruption: Explaining the Performance of Brazilian Audit Institutions”, publicado no Comparative Political Studies em 2009 e desenvolvido pelos pesquisadores Marcus André Melo, Carlos Pereira e Carlos Mauricio Figueiredo. Esta pesquisa busca ampliar a análise do referido artigo para todos os 34 Tribunais de Contas e ainda discutir as variáveis utilizadas naquele artigo, propondo novas e diferentes variáveis que possam retratar mais fidedignamente a atuação das Cortes com maior rigor jurídico.

Além disso, o artigo utiliza a teoria das “capacidades para o desenvolvimento” apresentada pelo pesquisador Derick Brinkerhoff (2010)BRINKERHOFF, Derick W. Developing capacity in fragile states. Public Administration and Development, v. 30, p. 66-78, 2010., em seu artigo “Developing Capacity in Fragile States”, em que a capacidade é definida como o conjunto de recursos, atitudes, relacionamentos e condições necessárias a uma atuação efetiva, objetivando o desenvolvimento de um país. Para o autor, a capacidade diz respeito a três níveis: os indivíduos, as organizações e as instituições (regras, leis, políticas e práticas). Além disso, ele também fixa que estados e organizações fracos são aqueles que têm déficits de capacidade.

Aprofundando e restringindo a análise de capacidades ao seu aspecto relacionado aos recursos humanos, chega-se à discussão sobre a forma de ingresso de profissionais no funcionalismo público brasileiro. A fonte de inspiração é o livro Autonomia e parceria: Estados e transformação industrial (2004), do pesquisador Peter Evans, que afirma ser fundamento para o desenvolvimento de um Estado ter estruturas organizacionais mais próximas ao modelo burocrático de Weber, principalmente no que se refere à forma de seleção de profissionais especializados, no caso brasileiro, concurso público.

Diante de cada vez mais escândalos de corrupção, de nepotismo e de utilização de cargos públicos para barganha política, é importante avaliar como os Tribunais de Contas, órgãos incumbidos constitucionalmente de avaliar a economicidade e a legitimidade das condutas na Administração Pública, comportam-se com relação à contratação de funcionários e como esse comportamento afeta sua ação.

Embora exista uma grande homogeneidade no funcionamento e na organização dos Tribunais de Contas por força de uma simetria constitucional obrigatória (art. 75 da Constituição), algumas importantes diferenças permanecem oriundas tanto de sua liberdade para se auto-organizar quanto do descumprimento das normas constitucionais (MELO, PEREIRA e FIGUEIREDO, 2009). Como exemplos de diferenças entre os tribunais têm-se o quantitativo de funcionários de cada Corte e o percentual de servidores do quadro, a existência de Auditores Constitucionais1 e Procuradores do Ministério Público junto ao tribunal e, ainda, a existência ou não de Ministros ou Conselheiros advindos dos dois últimos cargos citados anteriormente conforme previsão constitucional.

De acordo com Jay Barney (1995)BARNEY, B. Jay. Looking inside for competitive advantage. Academy of Management Executive, v. 9, n. 4, p. 49-61, 1995., uma vantagem sustentada não se cria avaliando apenas as oportunidades e ameaças do ambiente externo, mas sim entendendo a fundo seus recursos internos capazes de gerar vantagem competitiva no ambiente.

A quase completa ausência de análises empíricas no Direito brasileiro coloca a imperiosa necessidade de se adentrar em terreno novo e complexo, entretanto cheio de oportunidades. Vislumbrando essa chance, este artigo se debruça sobre instituições que se tornaram centrais na discussão sobre o aprimoramento do Estado brasileiro. A análise quantitativa realizada sobre as diversas características institucionais dos Tribunais de Contas pode ajudar legisladores, gestores e especialistas em geral a gastarem suas energias no que realmente importa. A suposição geral é de que a atuação das Cortes de Contas brasileiras é diretamente afetada por suas capacidades institucionais.

1. A Constituição de 1988 e os Tribunais de Contas

A Constituição da República de 1988 trouxe grandes avanços no sentido do fortalecimento do controle pelos cidadãos das ações governamentais. Vários mecanismos de participação popular foram criados com o advento da Carta Política, como a ação popular, os conselhos de políticas públicas, o orçamento participativo, o plebiscito, a iniciativa popular das leis, além de instituições como o Ministério Público e os Tribunais de Contas, que ganharam grande destaque. Após um longo período de Regime Militar, havia, finalmente, a obrigatoriedade de prestação de contas pelos governantes e ainda a possibilidade de sofrerem sanções pelo descumprimento das leis e regras, isto é, a accountability começava a se desenvolver no Brasil.

Aliás, o termo accountability, apesar de já existir em dicionário inglês de 1794, apareceu na realidade brasileira apenas bem no fim do século XX.

A Constituição Federal de 1988 conferiu ao Tribunal de Contas competências e relevância sem igual em comparação a períodos anteriores, marcadamente em um período de democratização e início do pensamento de accountability.

A posição das principais disposições sobre o controle externo é esclarecedora do propósito do constituinte (LIMA, 2015LIMA, Luiz Henrique. Controle externo: teoria e jurisprudência para os Tribunais de Contas. São Paulo: Método; Rio de Janeiro: Forense, 2015.). O controle externo não foi colocado no Título “Organização do Estado”, por exemplo, no Capítulo da “Administração Pública” (Título III do Capítulo IV), nem entre as normas referentes às finanças públicas (Capítulo II do Título VI). Porém, foi inserido no Título IV – “Da Organização dos Poderes”–, no Capítulo I – “Do Poder Legislativo”. Essa vinculação ao Legislativo se deve a uma das funções tradicionais do Legislativo, que é fiscalizar a Administração Pública.

Os principais artigos sobre controle externo e Tribunais de Contas constam de uma seção própria dentro do capítulo dedicado ao Poder Legislativo, não constituindo uma subseção dos tópicos dedicados ao Congresso Nacional, à Câmara dos Deputados e ao Senado Federal, indicando que o TCU é órgão técnico que auxilia o Congresso Nacional, mas não lhe é subordinado (LIMA, 2015LIMA, Luiz Henrique. Controle externo: teoria e jurisprudência para os Tribunais de Contas. São Paulo: Método; Rio de Janeiro: Forense, 2015.).

Os Tribunais de Contas são órgãos constitucionais autônomos assemelhados à figura do Ministério Público (BRITTO, 2001BRITTO, Carlos Ayres. O regime constitucional dos Tribunais de Contas. Diálogo Jurídico, Salvador, n. 9, dez. 2001.).

Um fato marcante no desenvolvimento da accountability e dos Tribunais de Contas no Brasil foi a edição da LRF em 2000 (Lei Complementar n. 101/2000), que impôs limites e condições para a administração de receitas, despesas, gastos com pessoal, dívidas, planejamento e transparência, além de responsabilização dos que a descumprirem. Os pareceres prévios do TCU emitidos em 2015 e em 2016 apontaram vários descumprimentos dessa lei como fundamento para a rejeição das contas da Presidente Dilma Rousseff de 2014 e 2015, respectivamente.

Apesar dos muitos problemas relacionados à gestão pública e ao seu controle, muitos passos importantes têm sido dados em direção à accountability desde a promulgação da Constituição da República de 1988, com a criação de novas instituições e o fortalecimento institucional em geral, tendo como exemplos notórios os Tribunais de Contas e o Ministério Público.

2. Metodologia

2.1. Definições e dados descritivos

De acordo com o artigo 73, combinado com o artigo 96 da Constituição, as Cortes de Contas têm a atribuição de organizar suas secretarias e serviços auxiliares e ainda prover por concurso público os cargos necessários. Assim, apesar de possuírem uma estrutura geral muito próxima, os Tribunais de Contas têm diferenças quanto ao número de funcionários e quanto ao percentual de servidores do quadro efetivo em relação ao total de funcionários.

Duas variáveis importantes relacionadas às capacidades e especificamente ao nível que Brinkerhoff (2010)BRINKERHOFF, Derick W. Developing capacity in fragile states. Public Administration and Development, v. 30, p. 66-78, 2010. intitula de indivíduos são o número de funcionários de cada Corte em 2015, que se chamará neste artigo de “funcionários”, e o percentual de servidores do quadro efetivo com relação ao total de funcionários do respectivo tribunal em 2015, ou, simplesmente, “funcionários efetivos”. O percentual médio de servidores efetivos nos Tribunais de Contas no final de 2015 era de 67%, conforme Tabela 1. Segundo a mesma tabela, há Tribunais de Contas que têm apenas 40% de servidores efetivos. Entretanto, outros, como o TCU, têm 100% de concursados.

tabela 1
– “Funcionários – X1” e “Funcionários efetivos – X2”

Segundo Evans (2004)EVANS, Peter. Autonomia e parceria: estados e transformação industrial. Tradução de Christina Bastos Tigre. Rio de Janeiro: Editora UFRJ, 2004. 404p., uma burocracia mais próxima ao modelo de Weber seria um ingrediente básico para uma organização ter mais autonomia e eficiência na sua atuação. O modelo de organização burocrática de Weber adota a seleção racional de trabalhadores na busca dos melhores para exercer determinada função.

Portanto, a partir das ideias de Evans (2004)EVANS, Peter. Autonomia e parceria: estados e transformação industrial. Tradução de Christina Bastos Tigre. Rio de Janeiro: Editora UFRJ, 2004. 404p. e Brinkerhoff (2010)BRINKERHOFF, Derick W. Developing capacity in fragile states. Public Administration and Development, v. 30, p. 66-78, 2010., pode-se inferir que as contratações para a Administração Pública brasileira sem uma seleção racional, visando à escolha dos melhores para exercer determinada função pública, enfraquecem as capacidades dos estados e das organizações para atuar na busca pelos seus objetivos. Esse enfraquecimento da Administração diz respeito aos três níveis anteriormente citados. Indivíduos não profissionais formam organizações enfraquecidas e que decidem e atuam de forma debilitada.

Assim, avaliar a relação entre o quadro de servidores efetivos (em regra concursados) de cada Corte e a atuação de cada uma é fundamental.

A atual Constituição estabeleceu, em seu artigo 73,2 que um terço dos Ministros do TCU deve ser escolhido pelo presidente da República, e dois terços, pelo Poder Legislativo. Da parte que cabe ao Executivo indicar3 (três membros de nove no TCU, e três membros de sete nas demais Cortes de Contas, de acordo com a Súmula 653 do Supremo Tribunal Federal),4 dois devem ser escolhidos alternadamente dentre Auditores5 (Ministros-Substitutos no TCU, Conselheiros-Substitutos ou Auditores Substitutos de Conselheiros nos demais tribunais) e membros do Ministério Público junto aos Tribunais de Contas (Procuradores de Contas) a partir de uma lista tríplice elaborada pelo respectivo tribunal. Portanto, apenas um membro será de livre escolha do chefe do Poder Executivo.

Ainda, de acordo com o inciso III do artigo 52 da Constituição, as indicações feitas pelo Executivo devem ser aprovadas pelo Senado Federal no caso da União e pelos respectivos Poderes Legislativos no caso das demais esferas.

De acordo com o artigo 75 da Constituição, as regras estabelecidas para a organização, composição e atuação do TCU se aplicam às demais Cortes de Contas nos estados e municípios.

Apesar de os estados, o Distrito Federal e os municípios serem obrigados a se adaptar ao modelo constitucional, regras ambíguas tornaram essa adaptação demasiadamente lenta (FERNANDES, 2003FERNANDES, Jorge Ulisses Jacoby. Tribunais de Contas do Brasil: jurisdição e competência. Belo Horizonte: Fórum, 2003.).

Após mais de 27 anos da promulgação da Constituição, ainda há Tribunais de Contas que não cumprem o modelo estabelecido na Constituição, seja pela falta de criação por lei dos cargos de Ministro-Substituto/Conselheiro-Substituto ou de Procurador de Contas, seja pelo não provimento dos respectivos cargos quando estes existem. Sem o provimento desses cargos não há possibilidade de cumprimento do modelo constitucional que fixa em dois o número de membros dos Tribunais de Contas advindos desses cargos.

Em muitos casos, a situação é mantida ativamente pelos governantes para que os chefes do Executivo possam continuar indicando livremente mais do que um Ministro/Conselheiro (MELO, PEREIRA e FIGUEIREDO, 2009).

Portanto, outras duas variáveis importantes são: a existência de cargos providos de Ministro-Substituto ou Conselheiro-Substituto, ou simplesmente “Substitutos”, e de Procurador do Ministério Público junto ao Tribunal de Contas, ou apenas “Procuradores” (videTabela 2). A informação coletada refere-se ao ano de 2015.

tabela 2
– “Substitutos – X3” e “Procuradores – X5”

Mais duas variáveis fundamentais para avaliar as capacidades das Cortes de Contas, também com relação ao ano de 2015, são: existência de Ministros ou Conselheiros advindos dos quadros de Ministros-Substitutos/Conselheiros-Substitutos, conforme Tabela 3, e do Ministério Público junto ao respectivo Tribunal de Contas, de acordo com a Tabela 4.

tabela 3
– “Conselheiro concursado (ex-Substituto) – X4”

tabela 4
– “Conselheiro concursado (ex-Procurador) – X6”

Os cargos de Ministro-Substituto ou Conselheiro-Substituto e de Procurador de Contas integram a estrutura constitucional das Cortes de Contas. Esses cargos são previstos na Constituição e equiparados respectivamente à Magistratura e ao Ministério Público, conforme a seguir:

Art. 73. O Tribunal de Contas da União, integrado por nove Ministros, tem sede no Distrito Federal, quadro próprio de pessoal e jurisdição em todo o território nacional, exercendo, no que couber, as atribuições previstas no art. 96.

[...]

§ 4º O auditor, quando em substituição a Ministro, terá as mesmas garantias e impedimentos do titular e, quando no exercício das demais atribuições da judicatura, as de juiz de Tribunal Regional Federal.

[...]

Art. 130. Aos membros do Ministério Público junto aos Tribunais de Contas aplicam-se as disposições desta seção pertinentes a direitos, vedações e forma de investidura.

Assim, pela importância das funções estabelecidas para os cargos de Ministro-Substituto/ Conselheiro-Substituto e de Procurador de Contas e das garantias da Magistratura e do Ministério Público que, respectivamente, os protegem, pode-se esperar que o provimento desses cargos, com grande independência funcional, tenha relação com Tribunais de Contas mais atuantes e mais independentes.

Outra variável importante com relação à estrutura dos tribunais é o total de recursos orçados pelas Cortes em 2015. Ou seja, considera-se o valor do orçamento empenhado6 no ano de 2015, ou seja, o total de recursos comprometidos pela Corte em 2015 como a variável “orçamento”. Uma descrição mais completa dessa variável pode ser obtida na Tabela 5.

tabela 5
– “Orçamento – X7”

Assim, a capacidade dos Tribunais de Contas é mensurada a partir das seguintes variáveis explicativas (entre parênteses, o código pelo qual as variáveis foram referenciadas nas análises estatísticas):

  1. quantidade de funcionários do Tribunal de Contas em 2015 (X1) – “funcionários”;

  2. razão do total de servidores do quadro efetivo pelo total de funcionários do Tribunal de Contas em 2015 (X2) – “funcionários efetivos”;

  3. quantidade de Ministros-Substitutos/Conselheiros-Substitutos em 2015 (X3) – “Substitutos”;

  4. existência de Ministro/Conselheiro advindo do quadro de Ministros-Substitutos/Conselheiros-Substitutos em 2015 (X4) – “Conselheiro concursado (ex-Substituto)”;

  5. quantidade de Procuradores do Ministério Público junto ao Tribunal de Contas (X5) em 2015 – “Procuradores”;

  6. existência de Ministro/Conselheiro advindo do quadro de Procuradores de Contas (X6) em 2015 – “Conselheiro concursado (ex-Procurador)”;

  7. orçamento empenhado em 2015 do Tribunal de Contas (X7) – “orçamento”.

O desempenho dos Tribunais de Contas é mensurado a partir das seguintes variáveis de resposta (Tabela 6), que serão mais bem explicadas no próximo item:

tabela 6
– “Processos julgados – Y1”, “Multas e débitos – Y2”, “Fiscalizações – Y3” e “Rejeições – Y4”

  1. quantidade de processos julgados ou apreciados pelos Ministros/Conselheiros em 2015 (Y1) – “processos julgados”;

  2. valor das multas e dos débitos imputados em 2015 pelo Tribunal de Contas (Y2) – “multas e débitos”;

  3. auditorias e inspeções realizadas em 2015 pelo Tribunal de Contas (Y3) – “fiscalizações”;

  4. rejeição das contas de governo em 2015 (Y4) – “rejeições”.

Investiga-se a relação de cada uma das variáveis de performance com as variáveis de capacidade, a partir de análise estatística.

Por se tratar de experimento realizado com amostra probabilística representativa da população (total de Tribunais de Contas brasileiros), serão utilizadas técnicas inferenciais para generalizar os resultados obtidos na amostra para a população em geral.

Ressalta-se que não se têm informações completas (a respeito de todas as variáveis do estudo) de todos os Tribunais de Contas avaliados, por isso a coluna das tabelas “TCs analisados” informa o número total de tribunais que forneceram dados válidos para cada variável da pesquisa.

Uma observação importante é que há grande discrepância entre os diversos valores das variáveis das Cortes de Contas, como se pode inferir dos dados descritivos explicitados nas tabelas. A partir de observação da base de dados, observa-se que TCU, Tribunal de Contas do Estado de São Paulo (TCESP), Tribunal de Contas do Estado de Minas Gerais (TCEMG) e Tribunal de Contas do Estado do Rio de Janeiro (TCE-RJ) destacam-se pelos altos valores de orçamento empenhado em 2015, e TCU, TCE-RJ e Tribunal de Contas dos Municípios da Bahia (TCMsBA), pelo valor de multas e débitos imputados em 2015. Apesar de serem valores corretos, esses dados discrepantes são denominados outliers. Sabe-se de antemão que sua presença atrapalha a performance das análises estatísticas, restando propor alternativas para lidar com esse problema.

2.2. Análise dos dados

A regressão linear múltipla propõe-se a estudar a relação de uma variável de resposta e duas ou mais variáveis explicativas. Essa relação se estabelece de forma linear (ou seja, a variável de resposta cresce ou decresce de acordo com a variação do valor das variáveis explicativas, restando avaliar a magnitude dessa variação).

Um modelo de regressão múltipla tem a seguinte forma:

Y = α + β 1 . X 1 + + β n . X n + ε

Em que Y é a variável que se pretende explicar. Neste artigo são as seguintes as variáveis explicativas: “funcionários”, “funcionários efetivos”, “Substitutos”, “Conselheiro concursado (ex-Substituto)”, “Conselheiro concursado (ex-Procurador)”, “Procuradores” e “orçamento”. Já α é uma constante. Os Xs são as variáveis explicativas que serão testadas com o objetivo de explicar a variável Y. ɛ é o erro esperado da análise, e β são os coeficientes que mensuram a magnitude do impacto dos Xs correspondentes em Y.

Com base em dados reais, estima-se o modelo de regressão que melhor se ajuste aos resultados, procurando avaliar a relação entre as variáveis. Conhece-se as variáveis X e Y, restando estimar o α e o β. Um dos possíveis métodos de estimação é o método dos Mínimos Quadrados Ordinários, ou Ordinary Least Squares (MQO ou OLS). Ele se utiliza de procedimentos iterativos, a partir de constantes testes e avaliações de erro, para propor o melhor valor para α e β.

O método que se utiliza nesta pesquisa avalia o modelo incluindo uma a uma as variáveis X, analisando se contribuem ou não de forma significativa para o modelo. Esse método de inclusão um a um é chamado de Enter.

O teste para significância da regressão que será utilizado neste artigo é chamado de estatística F. Esse teste busca avaliar a relação entre a variável de resposta e algumas das variáveis explicativas. Por meio da estatística F, avalia-se se a variável explicativa afeta a variável de resposta de forma significativa. Considera-se neste estudo α = 10%, ou seja, se o p-valor calculado do teste F for menor que 0,1, aceita-se a hipótese de que a variável testada explica a variável de resposta. De forma geral, avalia-se o ajuste do modelo por meio da estatística R2, que, quanto maior for, melhor o ajuste do modelo.

Inicialmente, o modelo de regressão supõe que todas as variáveis sejam do tipo contínuas e não categóricas. Entretanto, duas variáveis do banco de dados são categóricas, com respostas do tipo sim/não. Estas podem ser incluídas no modelo, sendo transformadas em variável dummy, em que seus valores serão codificados como sim = 1 e não = 0. A estimativa de seus coeficientes β segue o mesmo método proposto anteriormente.

É reconhecido que a presença de valores discrepantes no banco de dados influencia o ajuste do modelo. Portanto, o cálculo do logaritmo da variável com valores discrepantes é um método de transformação que suaviza os valores discrepantes, porém retendo a informação original que a variável fornece ao modelo. Por essa razão, esse método será aplicado nas variáveis apropriadas.

A análise proposta não prova relação de causa e efeito entre a variável de resposta e as variáveis explicativas. A identificação de resultados significativos apenas indica a presença de associação ou correlação entre ambas.

2.2.1. Estatística descritiva das variáveis

O Coeficiente de Variação (CV) é interpretado como a variabilidade dos dados em relação à média, ou seja, a divisão do desvio padrão pela média multiplicado por 100. Quanto menor o CV, mais homogêneo é o conjunto de dados. Como não existe um padrão para os dados do presente estudo, será adotado um intervalo de classificação adaptado da literatura com as seguintes classes: CV ≤ 50% é definido como baixo; CV > 50% e ≤ 100%, médio; e CV > 100%, alto (FERREIRA, 2000FERREIRA, Paulo Vanderlei. Estatística experimental aplicada à agronomia. 3. ed. Maceió: Edufal, 2000.).

A Tabela 1 mostra que a variável X1 apresenta média de 672 funcionários por Tribunal de Contas, com variação de 210 a 2.624 funcionários (grande amplitude). Isso faz com que o CV apresente valor de 64,3%, ou seja, uma variabilidade mediana. A média de servidores efetivos nas Cortes de Contas brasileiras é de 67% com média para cada Corte indo de 40% a 100%, com CV no valor de 22,4% (considerado baixo).

Na Tabela 2, as variáveis X3 e X5 apresentaram, respectivamente, médias de 4 substitutos com CV de 75% (média variabilidade) e 5 procuradores com CV de 15% (baixa variação).

Na Tabela 3, nota-se que 75,53% dos Tribunais de Contas têm Ministro/Conselheiro advindo da carreira de Ministro-Substituto/Conselheiro-Substituto (ou “Conselheiro concursado (ex-Substituto) – X4”). A Tabela 4 mostra que 70,59% das Cortes de Contas têm Ministro/Conselheiro advindo da carreira de Procurador junto ao Ministério Público Especial (ou “Conselheiro concursado (ex-Procurador) – X6”).

A Tabela 5 apresenta que o valor médio de empenhos nos Tribunais de Contas no ano de 2015 foi de R$ 276 milhões, contudo, devido à disparidade entre cada Corte, o desvio padrão é maior que a média, e, portanto, o CV apresentou o valor de 117%, sendo este considerado alto.

Na Tabela 6, estão contidos os valores da estatística descritiva das variáveis respostas. A média do número de processos julgados (Y1) em 2015 foi de 14.627, a média das multas (Y2) foi de R$ 337 milhões, foram realizadas em média 320 inspeções ou auditorias in loco em 2015 (Y3) e, por último, o percentual médio de rejeição de contas do governo foi de 15% (Y4). Contudo, os valores médios devem ser observados com cautela, uma vez que existe alta variabilidade em cada variável resposta, demonstrada pelo CV acima de 100% para cada uma das quatro variáveis.

2.2.2. Observação preliminar

Ao incluir variáveis explicativas no modelo, parte-se do pressuposto de que estas contribuem de forma diferente para o modelo, agregando novas informações. Caso duas variáveis explicativas sejam fortemente correlacionadas, a informação que agregam ao modelo é aproximadamente a mesma, sendo provavelmente indiferente a inclusão de uma ou outra no modelo.

Para essa discussão, apresenta-se o cálculo da correlação de Pearson entre as variáveis contínuas do modelo, conforme Tabela 7.

tabela 7
– Correlação de Pearson

Considera-se que há correlação entre as variáveis se o p-valor do teste de correlação de Pearson for menor que 0,1.

Vê-se, na Tabela 7, que as variáveis “funcionários” (Log X1) e “orçamento” (Log X7) são fortemente correlacionadas, e que todas as variáveis que são correlacionadas com “funcionários” (Log X1) também o são com o “orçamento” (Log X7). A partir dessa informação, pode-se supor que modelos de regressão com “funcionários” (Log X1) como variável explicativa poderiam ser descritos também como “orçamento” (Log X7). Essa afirmação será comprovada no final deste artigo.

Uma justificativa plausível para a correlação apresentada é que um número maior de funcionários, em regra, exige um maior orçamento, e, de forma inversa, como boa parte das despesas dos Tribunais de Contas é com pessoal, é natural que, quanto mais orçamento, maior seja o número de funcionários. Isso esclarece por que tanto uma quanto outra variável explicam as variáveis de resposta de forma semelhante, com exceção da variável “grau de rejeição das contas de governo”.

Uma observação é importante: apesar de as variáveis Log X1 e Log X7 apresentarem correlação de 0,885 e significância menor que 1% com base no teste t, quando ambas são utilizadas pelo modelo 2 como variáveis independentes para modelar Log Y1, Log Y2, Y3 e Y4, problemas de multicolinearidade não ocorrem. Isso porque ambas apresentaram valores de 4,6 no fator de inflação da variância (VIF). Somente valores de VIF maiores do que 10 podem causar problemas na estimação dos coeficientes de regressão (DRAPER e SMITH, 1998DRAPER, Norman R.; SMITH, Harry. Applied regression analysis. 3. ed. EUA: John Wiley and Sons, 1998. 706p.). Observam-se valores abaixo de 10 para Log X1 e Log X7, o que confirma a ausência de problemas de multicolinearidade.

2.2.3. Processos julgados no ano de 2015 nas Cortes de Contas

Uma variável de resposta importante para este artigo é o número de processos julgados ou apreciados pelos Ministros ou Conselheiros no Plenário, nas Câmaras ou de forma monocrática em cada Corte no ano de 2015. Chama-se essa variável de “processos julgados”.

A pesquisa de Melo, Pereira e Figueiredo (2009) utiliza uma variável chamada “atividade” das Cortes para avaliar a produtividade dos Tribunais de Contas. Essa variável no referido estudo é definida como a razão entre o número de casos de prestação de contas analisados e o número de unidades administrativas sob jurisdição da Corte. Apesar de avaliar uma parte do trabalho das Cortes, não avalia de forma geral sua atuação. Uma boa parte da produtividade dos Tribunais de Contas concerne à apreciação de denúncias, representações, recursos interpostos, auditorias e inspeções e outros tipos de processos que não se referem à prestação de contas. Outro problema com essa variável é que ela contabiliza as prestações de contas analisadas, isto é, avaliam-se apenas as atividades dos órgãos auxiliares das Cortes, como secretarias, coordenadorias e inspetorias, e não o trabalho decisivo das Cortes, que ocorre com as deliberações dos Ministros e Conselheiros.

Todas as atividades dos tribunais são formalizadas e desenvolvidas por meio de processos, e a principal e decisiva função das Cortes é o julgamento e a apreciação desses processos pelos Ministros e Conselheiros. Assim, o número de processos julgados ou apreciados pelos Ministros ou Conselheiros no Plenário, nas Câmaras ou de forma monocrática é uma boa medida para avaliar a atividade geral ou a produtividade das Cortes de Contas.

É importante avaliar se a atividade de julgamento e apreciação de processos pelos Ministros/Conselheiros é afetada pelas características organizacionais, como número de funcionários, orçamento executado em 2015, percentual de servidores do quadro efetivo, existência de Ministros-Substitutos/Conselheiros-Substitutos, existência de Procuradores de Contas, existência de Ministros/Conselheiros advindos do quadro de Ministros-Substitutos/Conselheiros-Substitutos e existência de Ministros/Conselheiros advindos do quadro do Ministério Público junto aos Tribunais de Contas.

A primeira suposição específica é de que uma maior capacidade é relacionada positivamente com a produtividade das Cortes de Contas.

O modelo de regressão para avaliar o impacto da capacidade na atividade geral das Cortes é representado da seguinte forma:

Y 1 = α + β 1 . X 1 + β 7 . X 7 + β 2 . X 2 + β 3 . X 3 + β 5 . X 5 + β 4 . X 4 + β 6 . X 6 + ε

Conforme justificado anteriormente, as variáveis “processos julgados” (Y1), “multas e débitos” (Y2), “funcionários” (X1) e “orçamento” (X7) foram substituídas pelo logaritmo de seu valor, e as variáveis “Conselheiro concursado (ex-Substituto)” (X4) e “Conselheiro concursado (ex-Procurador)” (X6) foram substituídas por variáveis dummy.

Explica-se o método de seleção das variáveis do modelo de regressão da variável de resposta “processos julgados”, que visa indicar a produtividade das Cortes de Contas em etapas:

Modelo 1: Considera-se a variável explicativa “funcionários” no modelo. De acordo com o p-valor menor que 0,1, a variável é significativa para explicar o comportamento de “processos julgados” (Log Y1). Importante salientar a significância da variável “funcionários” em relação a “processos julgados” de acordo com o modelo. Caso haja um aumento de 10% no número de funcionários do tribunal, o número de processos julgados aumentaria em 6,57%.

Modelo 2: Inclui-se a variável “orçamento” (Log X7) no modelo. De acordo com o p-valor maior que 0,1, considera-se que a variável não é significativa e atrapalha a regressão do modelo, inclusive aumentando o p-valor calculado da outra variável preditora. Assim, opta-se por retirá-la do modelo.

Modelo 3 (escolhido): Retira-se a variável “orçamento” (Log X7) e inclui-se a variável “funcionários efetivos” (X2) no modelo. Avalia-se de novo o p-valor e o R2 para decidir se a variável do modelo é mantida ou retirada.

Seguiu-se o procedimento anterior e, conforme pode ser observado na Tabela 8, concluiu-se que o melhor modelo é o 3. Ele não apresenta o melhor ajuste dos dados, de acordo com o R2, mas tem p-valor menor que 0,1 para as variáveis “funcionários” (Log X1) e “funcionários efetivos” (X2).

tabela 8
– Regressão pelo método dos Mínimos Quadrados Ordinários (Enter) da variável de resposta “Processos julgados – Y1” (Log Y1)

Assim, considerando a significância de 10% de probabilidade pelo teste F e teste t, afirma-se que a quantidade de funcionários e a proporção de servidores concursados estão relacionadas à quantidade de processos julgados e apreciados.

De acordo com o sinal positivo ou negativo do coeficiente padronizado da Regressão apresentada na Tabela 8, pode-se saber se a influência é positiva ou negativa. Identifica-se que a quantidade de funcionários e a proporção de servidores concursados influenciam positivamente a quantidade de processos julgados ou apreciados pelos Ministros/Conselheiros. Quanto ao número de funcionários, o que inclui funcionários efetivos e comissionados, o resultado é intuitivo. Entretanto, no que se refere ao percentual de servidores efetivos, o resultado é muito importante, porque corrobora a ideia de profissionalização da Administração Pública por meio da seleção de profissionais especializados para determinada atuação. A confirmação empírica traz força ao argumento de que o concurso público é salutar para a Administração Pública brasileira.

Ou seja, quanto maior o percentual de servidores do quadro efetivo, maior a produtividade da Corte de Contas. A relação positiva entre o percentual de servidores concursados e a produtividade dos Tribunais de Contas corrobora as teorias apresentadas por Evans (2004)EVANS, Peter. Autonomia e parceria: estados e transformação industrial. Tradução de Christina Bastos Tigre. Rio de Janeiro: Editora UFRJ, 2004. 404p. e Brinkerhoff (2010)BRINKERHOFF, Derick W. Developing capacity in fragile states. Public Administration and Development, v. 30, p. 66-78, 2010. sobre a necessidade de fortalecer a burocracia ou as capacidades burocráticas por meio da seleção meritória de funcionários (concurso público), a busca dos melhores profissionais, para alcançar melhores resultados.

O valor do R2 para o modelo 3 foi de 0,511 ou 51,1%, portanto, 51,1% da quantidade de processos julgados (Log Y1) pode ser prevista a partir de “funcionários efetivos” (X2). O R2 é a proporção de variação na variável dependente (Log Y1), que pode ser prevista a partir da variável independente (X2). Esse valor indica que 51,1% da variação no Log Y1 pode ser prevista a partir da variável X2.

Em outras palavras, a variável “funcionários efetivos” (X2) consegue fazer a previsão dos valores de Log Y1 com boa qualidade.

Além disso, ressalta-se que tanto pelo teste F quanto pelo teste t, os p-valores foram menores do que 0,010 (conforme Figura S1c, constante do Apêndice – Figuras suplementares). Ressalta-se que o teste F é um teste de significância geral que avalia se o grupo de variáveis independentes, quando usado em conjunto, prediz com segurança a variável dependente e não trata da capacidade de nenhuma das variáveis independentes particulares prever as variáveis dependentes. A capacidade de cada variável independente individual de prever a variável dependente é realizada pelo teste t (UCLA, 2016UCLA. Institute for Digitial Research & Education. Regression with SPSS for multiple regression analysis | SPSS annotated output. [S. l.], 2016. Disponível em: https://stats.idre.ucla.edu/spss/webbooks/reg/chapter1/regression-with-spss-annotated-spss-output-for-multiple-regression-analysis/. Acesso em: 14 fev. 2021.
https://stats.idre.ucla.edu/spss/webbook...
).

2.2.4. Ativismo ou iniciativa dos Tribunais de Contas

Outra variável de resposta do estudo é o ativismo das Cortes de Contas, relacionada ao exercício da competência das Cortes de exercer a fiscalização. Apesar das diversas atividades realizadas pelas Cortes de Contas, como apreciação das contas do chefe do Poder Executivo (inc. I do art. 71 da Constituição), julgamento das contas dos responsáveis (inc. II do art. 71 da Constituição) e apreciação dos atos de pessoal (inc. III do art. 71 da Constituição), a única iniciada sem que haja obrigação legal é a de auditar e inspecionar in loco as unidades administrativas dos Poderes Legislativo, Executivo e Judiciário, conforme inciso IV do artigo 71 da Constituição. Por exemplo, diferentemente das prestações de contas anuais que cada unidade administrativa presta por obrigação legal e a Corte deve apreciar, não há obrigação de realizar nenhuma auditoria e inspeção.

As auditorias e inspeções in loco envolvem pessoal especializado e deslocamento de equipes ao local auditado ou inspecionado, muitas vezes por períodos longos, e ainda ao final deve ser elaborado um relatório. Isto é, utilizam muitos recursos financeiros e humanos das Cortes de Contas. Assim, outra hipótese específica é de que uma maior capacidade dos Tribunais de Contas influencie de forma positiva a sua atividade fiscalizadora.

A pesquisa de Melo, Pereira e Figueiredo (2009) usa a variável “autoiniciativa”, que é, naquele estudo, definida como o número de auditorias iniciadas pelo Tribunal de Contas como resultado da iniciativa dos seus membros (Ministros/Conselheiros ou Ministros-Substitutos/Conselheiros-Substitutos). Discute-se a seguir a fragilidade dessa variável.

A maioria das auditorias e inspeções é organizada pelas secretarias de controle externo (ou órgão auxiliar análogo responsável pela realização de auditorias e inspeções) dos Tribunais de Contas, e não pelos Ministros e Conselheiros. Essas secretarias estabelecem um cronograma de atuação anual. São as fiscalizações ordinárias das Cortes. Ao Plenário cabe apreciar esse cronograma.

Algumas fiscalizações ocorrem sem que estejam previstas no cronograma anual previamente aprovado. Isso ocorre quando há necessidade de maiores esclarecimentos sobre fatos ocorridos e que possam causar danos ao erário. São fiscalizações extraordinárias.

Os Ministros/Conselheiros podem propor fiscalizações, mas o fazem como medidas excepcionais. Em verdade, na grande maioria dos casos, eles aprovam ou não pedidos tanto dos seus órgãos auxiliares quanto do Ministério Público de Contas, ou ainda decorrentes de denúncias, de representações ou de pedidos do Legislativo.

De acordo com o inciso IV do artigo 71 da Constituição, as auditorias e inspeções podem ser realizadas tanto por iniciativa própria do Tribunal de Contas (vontade de seus membros) quanto por vontade do Poder Legislativo ou de sua Comissão técnica e/ou de inquérito.

Mesmo quando as auditorias e inspeções são solicitadas pelo Poder Legislativo, cabe ao Tribunal de Contas decidir em que momento realizá-las, ou o quanto de recursos gastar com essas demandas e em quanto tempo. Portanto, o pedido do Legislativo pode ser apreciado instantaneamente ou mesmo nem ser atendido por falta de recursos materiais ou humanos disponíveis.

Assim, diferentemente de Melo, Pereira e Figueiredo (2009), e considerando o exposto anteriormente, nesta análise utiliza-se como variável de resposta para medir o ativismo ou a iniciativa das Cortes de Contas qualquer auditoria e inspeção realizada in loco pelos Tribunais de Contas. Essa variável é chamada de “fiscalizações”, conforme fixado anteriormente. A variável proposta nesta pesquisa avalia a iniciativa das Cortes de Contas de forma mais ampla e mais precisa do que a estabelecida pelos pesquisadores já citados.

Por todo o exposto, espera-se que as capacidades de cada Corte influenciem sua propensão a realizar auditorias e inspeções.

Conclui-se, da Tabela 9, que o modelo 1 é o mais apropriado. Ele não tem o maior valor para R2, mas inclui a única variável explicativa considerando a significância de 10% de probabilidade pelo teste F e teste t.

tabela 9
– Regressão pelo método dos Mínimos Quadrados Ordinários (enter) da variável de resposta “Fiscalizações – Y3”

Desse modo, considerando a significância de 10% de probabilidade pelo teste F e teste t, afirma-se que a quantidade de funcionários está relacionada de forma positiva à quantidade de auditorias e inspeções realizadas in loco. Trata-se de um resultado intuitivamente esperado, tendo em vista que mais funcionários trazem maiores possibilidades de fiscalizações no local em que se está realizando a despesa pública.

Entretanto, o valor do R2 para o modelo 1 foi de 0,127 ou 12,7%, portanto apenas 12,7% da variação da variável “fiscalizações” pode ser prevista por “funcionários” (Log X1).

Além disso, ressalta-se que tanto pelo teste F quanto pelo teste t os p-valores foram menores do que 0,010, indicando associação entre Log X1 e Y3 (conforme Figura S2a, constante do Apêndice – Figuras suplementares).

2.2.5. Multas e débitos

Compete aos Tribunais de Contas aplicar aos responsáveis, em caso de ilegalidade de despesa ou irregularidades de contas, as sanções previstas em lei, que estabelece, entre outras cominações, multa proporcional ao dano causado ao erário, de acordo com o inciso VIII do artigo 71 da Constituição.

De acordo com Luiz Henrique Lima (2015)LIMA, Luiz Henrique. Controle externo: teoria e jurisprudência para os Tribunais de Contas. São Paulo: Método; Rio de Janeiro: Forense, 2015., as leis, em conformidade com a Constituição, previram diversas “sanções” a serem aplicadas pelas Cortes de Contas, como: imputação de débito (ressarcimento); multa proporcional ao débito imputado; multa por irregularidade, por descumprimento de determinação ou por obstrução à auditoria ou à inspeção; multa por não publicação de Relatório de Gestão Fiscal, por elaboração de anteprojeto de Lei de Diretrizes Orçamentárias sem metas fiscais, por inobservância de limitação de empenho ou movimentação financeira ou por falta de adoção de medidas para redução de despesa de pessoal; declaração de inidoneidade para licitar; declaração de inabilitação para exercício de função comissionada; afastamento provisório do cargo por obstrução à auditoria ou à inspeção; e decretação da indisponibilidade de bens.

O valor das multas e dos débitos imputados é um indicador da propensão do Tribunal de Contas em punir condutas ilegais. Os débitos são a quantificação dos danos apurados pelas Cortes de Contas, e as multas são as penalidades impostas pelas Cortes aos responsáveis pelo descumprimentos das leis e regras.

Assim, a variável de resposta a ser analisada é o valor dos débitos imputados e das multas aplicadas no ano de 2015 pelas Cortes de Contas, ou simplesmente “débitos e multas”.

Espera-se que as variáveis explicativas (capacidades) afetem positivamente a propensão das Cortes de Contas em punir desvios de conduta. Isso porque um tribunal com mais orçamento e funcionários, muitos servidores efetivos e com todos os cargos previstos na Constituição de elevada independência (Ministros/Conselheiros, Ministros-Substitutos/Conselheiros-Substitutos e Procuradores do Ministério Público junto ao Tribunal de Contas) atuaria mais e de forma mais independente na elucidação de ilegalidades.

Fazendo um exercício mental, imagine que um tribunal maior em termos orçamentários e de pessoal e provido com carreiras mais independentes gerasse uma sensação de controle maior na Administração Pública e, assim, gerasse também um desincentivo para que gestores atuassem à margem da lei, o que, consequentemente, resultaria em uma menor carga de multas e de imputação de débitos aos gestores públicos. Entretanto, essa visão não deve prosperar. Refuta-se a simulação mental realizada neste parágrafo com um exemplo. Em 2015, o TCU teve um orçamento de R$ 1.783.528.705,00 (um bilhão, setecentos e oitenta e três milhões, quinhentos e vinte e oito mil e setecentos e cinco reais) para fiscalizar o orçamento da União, que, levando em consideração apenas o orçamento fiscal e o orçamento de seguridade social, alcança o valor de R$ 2.863.379.701.677,00 (dois trilhões, oitocentos e sessenta e três bilhões, trezentos e setenta e nove milhões, setecentos e um mil, seiscentos e setenta e sete reais). Assim, pode-se dizer que o orçamento do TCU em 2015 equivale a 0,06229% do orçamento da União também em 2015. Qualquer aumento de recursos humanos ou financeiros do TCU, tendo em vista sua insignificância em relação ao orçamento fiscalizado de toda a União, não parece ter capacidade de realmente interferir na ação ou inação de gestores que adotam condutas ilegais. Suponha que o TCU contrate mais cem Auditores de Controle Externo (aumento do orçamento e do número de funcionários). Apesar de terem um impacto no referido órgão em que atuam, aumentando as possibilidades de o TCU fiscalizar mais e de achar mais ilegalidades, não terão nenhum impacto com relação aos gestores que antes da contratação já atuavam à margem da lei, por exemplo. Entretanto, a chegada de cem auditores certamente aumentará a capacidade do órgão em encontrar irregularidades e de fazer mais análises.

Conclui-se que o modelo 1 é o mais apropriado, como se pode constatar da Tabela 10. Ele não tem o maior valor para R2, mas inclui a única variável explicativa significativa com 10% de probabilidade pelo teste t. É possível inferir a magnitude da influência da variável explicativa na variável de resposta. Um aumento de 10% na variável explicativa “funcionários” geraria, segundo o modelo, um aumento de 6,32% no valor das multas e dos débitos imputados.

tabela 10
– Regressão pelo método dos Mínimos Quadrados Ordinários (Enter) da variável de resposta “Multas e débitos – Y2” (Log Y2)

Assim, identifica-se que a quantidade de funcionários influencia positivamente o valor de multas e débitos imputados pelas Cortes de Contas. Esse resultado não é intuitivo, por isso se torna ainda mais importante.

Interessante notar que esse resultado não é claro antes da análise. A princípio, se há mais funcionários fiscalizando a Administração Pública, dois resultados poderiam ocorrer: ou se geraria um melhor ambiente de controle e haveria menos punições, ou haveria mais descobertas de ilegalidades e irregularidades com a consequente maior responsabilização. A regressão indica que a segunda opção é a que ocorre, ou seja, quanto mais funcionários um Tribunal de Contas tem, mais ilegalidades serão descobertas e punidas e mais recursos serão revertidos aos cofres públicos.

O valor do R2 para o modelo 1 foi de 0,40 ou 40%, portanto 40% da variação das “multas e débitos” pode ser prevista a partir de “funcionários” (Log X1).

Além disso, ressalta-se que tanto pelo teste F quanto pelo teste t os p-valores foram menores do que 0,010, indicando associação entre Log X1 e Log Y2 (conforme Figura S3a, constante do Apêndice – Figuras suplementares).

2.2.6. Rejeição das Contas de Governo

De acordo com o inciso I do artigo 71 da Constituição, os Tribunais de Contas apreciarão as contas prestadas anualmente pelo chefe do Poder Executivo mediante parecer prévio.

Segundo Melo, Pereira e Figueiredo (2009), a emissão de parecer prévio pela rejeição das contas é a sanção mais severa que uma Corte de Contas pode aplicar a um prefeito, um governador ou um presidente da República.

É importante ressaltar que há uma diferença entre contas de governo e contas de gestão. De acordo com Lima (2015)LIMA, Luiz Henrique. Controle externo: teoria e jurisprudência para os Tribunais de Contas. São Paulo: Método; Rio de Janeiro: Forense, 2015., a doutrina e alguns atos normativos têm consagrado o uso dessas expressões para diferenciar duas formas de avaliação de uma gestão governamental. O autor, com base na Resolução Normativa n. 10/2008 do Tribunal de Contas do Estado do Mato Grosso (TCEMT), estabelece que as contas de governo demonstram a conduta do presidente, do governador ou do prefeito no exercício das funções políticas de planejamento, organização, direção e controle das políticas públicas; e as contas de gestão evidenciam os atos de administração e gerência de recursos públicos praticados pelos administradores e demais responsáveis por dinheiros, bens e valores públicos.

A variável de resposta no estudo de Melo, Pereira e Figueiredo (2009) é fixada como o número de casos de parecer prévio pela rejeição das contas de governo dos governadores e prefeitos. Essa variável, conforme definida no referido estudo, pode mostrar-se problemática.

Suponha que o Tribunal de Contas A (TC A) tenha sob sua jurisdição o estado A e seus trezentos municípios, e o Tribunal de Contas B (TC B) tenha sob sua jurisdição apenas o estado B, pois há naquele estado um Tribunal de Contas cuidando dos municípios. Suponha agora que o TC A tenha rejeitado dez contas de prefeitos municipais, e o TC B tenha rejeitado as contas do governador. De acordo com a variável definida no artigo de Melo, Pereira e Figueiredo (2009), o TC A teria um grau muito maior de rejeição das contas que o TC B, entretanto a rejeição das contas do governador é muito mais sensível e, em geral, refere-se a orçamentos muito maiores que os municipais, como será apresentado adiante.

Um exemplo prático do problema da variável como definida no referido estudo se refere à emissão de pareceres prévios no ano de 2015 pelo TCMsBA e pelo Tribunal de Contas do Estado do Maranhão (TCEMA). Nesse ano, o TCMsBA emitiu parecer prévio rejeitando 113 contas de governos municipais, enquanto o TCEMA rejeitou 108. Pela variável definida no estudo de Melo, Pereira e Figueiredo (2009), o TCEMA teria um grau de rejeição de contas de governo menor que o TCMs BA. Entretanto, o TCMsBA emitiu 452 pareceres prévios em contas de prefeitos em 2015; o TCEMA, apenas 152. Ou seja, o TCEMA rejeitou 71% das contas de prefeitos que apreciou, enquanto o TCMsBA, apenas 25%.

Visando corrigir o problema apontado anteriormente, nesta pesquisa primeiro se estabelece que as contas do governador são tão importantes e sensíveis quanto o conjunto das contas de todos os prefeitos dos municípios do território do referido estado. O fundamento dessa afirmação é que o orçamento estadual é, na maioria dos casos, superior ao orçamento do conjunto dos municípios do seu território, conforme a Tabela 11.

tabela 11
– Receitas realizadas pelos estados e pelos municípios de seu território

Em segundo lugar, considera-se a rejeição das contas de governo sempre de forma relativa, dividindo, no caso de tribunais que têm sob sua jurisdição municípios, os pareceres prévios pela rejeição pelo total de pareceres prévios emitidos.

Dessa maneira, a variável “grau de rejeição das contas de governo”, ou simplesmente “rejeições”, fica assim definida para os Tribunais de Contas estaduais que têm municípios sob sua jurisdição:

( 0 , 5 × R G ) + ( 0 , 5 × R P P P )

Sendo,

RG = rejeição das contas do governador em 2015, que será igual a 0 se aprovadas e igual a 1 se rejeitadas;

RP = número de pareceres prévios pela rejeição das contas do prefeito em 2015;

PP = número de pareceres prévios emitidos em 2015.

Para os demais Tribunais de Contas – TCU, Tribunal de Contas do Estado da Bahia (TCEBA), Tribunal de Contas do Estado de Ceará (TCECE), Tribunal de Contas do Estado de Goiás (TCEGO), Tribunal de Contas do Estado do Pará (TCEPA), Tribunal de Contas do Distrito Federal (TCDF), Tribunal de Contas do Município do Rio de Janeiro (TCMRJ), Tribunal de Contas do Município de São Paulo (TCMSP) –, a variável “grau de rejeição das contas de governo” fica assim definida: 0 se as contas forem aprovadas e 1 se as contas forem rejeitadas.

A hipótese específica é que a pretensão em rejeitar as contas do chefe do Poder Executivo é tanto maior quanto maior for a capacidade do Tribunal de Contas.

De acordo com a Tabela 12, conclui-se que o modelo 1 é o mais apropriado. Ele não tem o maior valor para R2, mas inclui a única variável explicativa significativa considerando a significância de 10% de probabilidade pelo teste F e teste t.

tabela 12
– Regressão pelo método dos Mínimos Quadrados Ordinários (Enter) da variável de resposta “Grau de rejeição das contas de governo em 2015 – Y4”

Assim, quanto maior o número de funcionários da Corte de Contas, maior o grau de rejeição das contas de governo. Da mesma forma que a análise realizada para a variável “multas e débitos”, um maior orçamento ou um maior número de funcionários capacita o Tribunal de Contas a fiscalizar e investigar mais e a descobrir mais irregularidades. Consequentemente, haverá maior probabilidade de rejeição de contas de governo.

O valor do R2 para o modelo 1 foi de 0,179 ou 17,9%, portanto 17,9% da variação da “rejeição das contas de governo em 2015 (Y3)” pode ser prevista a partir de “funcionários” (Log X1). Além disso, ressalta-se que tanto pelo teste F quanto pelo teste t o p-valores foram menores do que 0,010, indicando associação entre Log X1 e Y4 (conforme Figura S4a, constante do Apêndice – Figuras suplementares).

2.2.7. Retomando a observação preliminar sobre a análise

A observação preliminar apontou uma forte correlação entre “funcionários” (Log X1) e “orçamento” (Log X7) (Tabela 7). Assim, testes foram realizados nos modelos para avaliar se a suposição de que ambas as variáveis influenciam de forma análoga o modelo é verdadeira. Os resultados são apresentados na Tabela 13.

tabela 13
– Regressão pelo método dos Mínimos Quadrados Ordinários (Enter) das variáveis de resposta “Processos julgados – Y1” (Log Y1), “Fiscalizações – Y3”, “Multas e débitos – Y2” (Log Y2) e “Rejeições – Y4”

Nos três primeiros modelos, a variável “orçamento” (Log X7) se mostrou significativa para explicar a variável de resposta.

Assim, é possível afirmar que, quanto maior o orçamento (variável explicativa “orçamento”) do tribunal, maior o valor das variáveis explicativas “processos julgados”, “fiscalizações” e “multas e débitos” ou, de forma geral, maior a produtividade, iniciativa e punitividade.

Poder-se-ia imaginar que, por ser a proposta de orçamento do Tribunal de Contas avaliada e aprovada ou não pelo Poder Legislativo, a Corte teria reduzido seu poder de punir gestores – que muitas vezes são parlamentares em licença ou, ainda, pertencentes aos partidos que compõem o respectivo Legislativo – se quisesse ter seu orçamento aprovado.

Interessante observar que, de forma contraintuitiva, a análise mostrou que um maior orçamento está relacionado de forma positiva a um maior poder punitivo das Cortes de Contas. Isso porque, com um maior orçamento, haverá mais recursos para que o tribunal exerça fiscalizações e investigações e, consequentemente, será maior a probabilidade de descobrir ilegalidades, assim como de punir os responsáveis pelas irregularidades descobertas.

Todas as estatísticas referentes à modelagem de dados podem ser encontradas no Apêndice – Figuras suplementares APÊNDICEFIGURAS SUPLEMENTARES figuras S1 – Regressão 1. variável de resposta: “Processos julgados – Y1” (Log Y1) Fonte: Elaboração própria. figuras S2 – Regressão 2. variável de resposta: “Fiscalizações – Y3” Fonte: Elaboração própria. figuras S3 – Regressão 3. variável de resposta: “Multas e débitos – Y2” (Log Y2) Fonte: Elaboração própria. figuras S4 – Regressão 4. variável de resposta: “Rejeições – Y4” Fonte: Elaboração própria. .

Conclusão

Este artigo avaliou a relação entre diferentes modelos organizacionais e o impacto deles nas performances das Cortes de Contas. Para isso, coletaram-se dados dos 34 Tribunais de Contas existentes no Brasil.

A hipótese geral de que a capacidade, conforme definida em Brinkerhoff (2010)BRINKERHOFF, Derick W. Developing capacity in fragile states. Public Administration and Development, v. 30, p. 66-78, 2010., das Cortes influenciaria a atuação dos Tribunais de Contas foi proposta como resposta ao seguinte problema de pesquisa: a estrutura organizacional dos Tribunais de Contas brasileiros, conforme fixado pelo ordenamento pátrio, influencia a sua atividade de controle da Administração Pública?

A hipótese geral foi dividida em outras quatro hipóteses específicas para que pudessem ser testadas. Assim, utilizaram-se métodos estatísticos para confirmar ou não as hipóteses propostas.

A primeira hipótese estabelece que uma maior capacidade é relacionada positivamente ao grau de atividade geral das Cortes de Contas. Essa afirmação foi parcialmente comprovada de acordo com resultados apresentados. Pôde-se constatar que, quanto maior o número de funcionários do Tribunal de Contas e/ou quanto maior o orçamento da respectiva Corte, maior o número de processos julgados (produtividade), o valor das multas e dos débitos, o número de fiscalizações in loco (iniciativa) e o percentual de contas de governo rejeitadas.

A informação mais importante refere-se à análise da primeira hipótese específica. Confirmando as previsões das teorias de Evans (2004)EVANS, Peter. Autonomia e parceria: estados e transformação industrial. Tradução de Christina Bastos Tigre. Rio de Janeiro: Editora UFRJ, 2004. 404p. e Brinkerhoff (2010)BRINKERHOFF, Derick W. Developing capacity in fragile states. Public Administration and Development, v. 30, p. 66-78, 2010., os resultados da regressão pelo método dos mínimos quadrados mostraram que, quanto maior o percentual de servidores do quadro efetivo do Tribunal de Contas, maior é sua produtividade.

A segunda hipótese também foi confirmada parcialmente. Os testes mostraram que o orçamento das Cortes de Contas e o seu número de funcionários estão relacionados positivamente ao seu ativismo. Isto é, quanto maior o orçamento do tribunal e o seu número de funcionários, mais fiscalizações in loco são realizadas.

A terceira hipótese específica se confirma apenas parcialmente. Quanto mais orçamento e mais servidores, mais recursos humanos e materiais as Cortes detêm para exercer mais fiscalizações e encontrar mais irregularidades e ilegalidades.

A quarta e última hipótese estabelece que as capacidades influenciam positivamente o grau de rejeição das contas de governo. Ela foi parcialmente comprovada. O número de funcionários tem relação direta e positiva com o grau de rejeição das contas de governo, ou seja, quanto mais funcionários no Tribunal de Contas, maior a propensão em rejeitar as contas de governo. Esse resultado poderia ser considerado contraintuitivo, dado que, para conseguir mais recursos financeiros e humanos, os Tribunais de Contas necessitam de boas relações com os poderes Legislativo e Executivo, reduzindo seu ímpeto sancionador. Entretanto, esse resultado está ligado à hipótese explicitada no parágrafo anterior. Quanto mais recursos financeiros e humanos, maiores as possibilidades de as Cortes de Contas encontrarem desvios e, encontrando mais irregularidades, a chance de chegar a rejeições nas contas de governo é maior.

Os resultados confirmam parcialmente a hipótese geral, ou seja, neste artigo foi possível verificar que alguns aspectos importantes da capacidade das Cortes de Contas, como a quantidade de funcionários, o orçamento e o percentual de servidores do quadro efetivo, influenciam positivamente a atuação independente delas. E não foi possível comprovar que a existência de Ministros-Substitutos/Conselheiros-Substitutos e de Procuradores do Ministério Público de Contas ou de Ministros/Conselheiros advindos dessas duas carreiras (“concursados”) geraria impacto positivo nas atividades dos Tribunais de Contas.

Outra relevante análise do trabalho foi a comparação realizada com relação ao trabalho de Melo, Pereira e Figueiredo (2009). No referido estudo, os autores utilizaram a variável “razão entre o número de casos de prestação de contas analisados e o número de unidades administrativas sob jurisdição da Corte”, que não retrata de forma completa a atividade dos Tribunais de Contas porque deixa de levar em consideração denúncias, representações, aposentadorias, recursos, auditorias, etc. Neste artigo, ampliamos a variável para processos julgados tendo em vista que é a atividade-fim e alcança todos os processos que tramitam na Corte. Outro problema é que os autores avaliaram apenas a atividade dos servidores e deixaram de lado a atividade dos julgadores e procuradores da Corte. Mais uma vez, a variável escolhida “processos julgados” consegue captar a ação desses importantes agentes das Cortes de Contas.

Outro problema da análise feita por Melo, Pereira e Figueiredo (2009) em seu artigo foi definirem uma das variáveis de resposta como “autoiniciativa” dos Tribunais de Contas, levando em consideração apenas as fiscalizações solicitadas pelos julgadores (Ministros/Conselheiros). Essa escolha não abarca todas as fiscalizações realizadas pelos tribunais. Há fiscalizações solicitadas pelo Legislativo, há fiscalizações sugeridas pelos servidores (que são a maioria), e em menor número as requeridas pelos Ministros ou Conselheiros. Neste artigo, qualquer fiscalização realizada pelos Tribunais de Contas in loco foi analisada como iniciativa, independentemente de quem a tenha requerido, o que tornou a análise mais completa e precisa.

A contribuição deste artigo para a área do Direito e da Administração Pública está no uso de ferramentas empíricas para analisar o impacto das estruturas organizacionais e institucionais nas atividades dos Tribunais de Contas de acordo com o delineamento fixado pelo legislador pátrio. Esses órgãos constitucionais, apesar de terem grande importância para a democracia e para a accountability, ainda são pouco estudados, e esta pesquisa visa ajudar a preencher essa lacuna. O atual estudo parte de artigos e teorias de autores reconhecidos e chega a resultados novos e importantes, como a comprovação da relação positiva entre servidores efetivos e a atividade geral das Cortes de Contas, e a contraintuitiva relação positiva entre o orçamento e funcionários dos tribunais e seu poder punitivo.

Apesar de os atuais debates no Congresso Nacional (diversas Propostas de Emenda à Constituição – PECs tratam do tema) sobre alterações institucionais que aprimorem os Tribunais de Contas focarem-se principalmente no aumento do percentual de Ministros/Conselheiros advindos da carreira de Ministro-Substituto/Conselheiro-Substituto (concursados), este artigo traz evidências importantes de que o caminho para o aprimoramento das Cortes de Contas brasileiras deve ser trilhado de maneira a aumentar o percentual não apenas de membros advindos de concurso – Ministros/Conselheiros –, mas também de servidores como os da carreira de Auditor de Controle Externo. A regressão evidencia que, quanto maior for o percentual de servidores ou membros advindos de concurso, maiores são a produtividade e a independência dessas Cortes constitucionais de controle externo. De forma mais direta, em comparação com tribunais que têm 80%, 90% ou 99% de pessoal concursado, a pesquisa identificou que as Cortes de Contas com percentuais de 40%, 50% e 60% têm piores resultados quanto à produtividade e à independência.

Um trabalho de pesquisa não se esgota em si mesmo, sempre abrindo espaço para novos estudos. Algumas perguntas surgem dos resultados alcançados nesta pesquisa e podem subsidiar estudos futuros. Como foi confirmado que o número de funcionários afeta a atuação das Cortes de Contas e também se sabe que boa parte dos orçamentos dos Tribunais de Contas são gastos de pessoal, seria interessante avaliar se o salário médio também tem influência na performance desses órgãos. Outra possibilidade de análise é avaliar como modelos diferentes de Corte podem ajudar a buscar órgãos mais independentes e atuantes.

Além disso, visando à obtenção de resultados empíricos ainda mais robustos, será utilizada no futuro a análise de diversos anos (séries temporais) para que seja possível estudar a dinâmica dessas correlações ao longo do tempo e criar modelos de predição para “Processos julgados – Y1” (Log Y1), “Fiscalizações – Y3”, “Multas e débitos – Y2” (Log Y2) e “Rejeições – Y4” mais gerais e, portanto, menos específicos.

agradecimentos

O autor agradece especialmente ao Presidente do Tribunal de Contas do Município do Rio de Janeiro, Dr. Thiers Vianna Montebello, por todo o apoio, incentivo e por todos os ensinamentos. Agradece ao seu orientador do Mestrado na FGV, Professor Dr. Carlos Pereira, que possibilitou que sua dissertação fosse um passo importante para o desenvolvimento deste artigo.

Referências

  • AGUIAR, Simone Coelho. Origem e evolução dos Tribunais de Contas. XXII Encontro Nacional do CONPEDI. Florianópolis: FUNJAB, 2013. p. 314-337.
  • BARNEY, B. Jay. Looking inside for competitive advantage. Academy of Management Executive, v. 9, n. 4, p. 49-61, 1995.
  • BARRETO, Pedro Humberto Teixeira. O sistema Tribunais de Contas e instituições equivalentes. Rio de Janeiro: Renovar, 2004.
  • BARROS, Lucivaldo Vasconcelos. TCU: presença na história nacional. In: TRIBUNAL DE CONTAS DA UNIÃO. Prêmio Serzedello Corrêa 1998: Monografias Vencedoras. Brasília: [s.n.], 1999. p. 221-280.
  • BRINKERHOFF, Derick W. Developing capacity in fragile states. Public Administration and Development, v. 30, p. 66-78, 2010.
  • BRITTO, Carlos Ayres. O regime constitucional dos Tribunais de Contas. Diálogo Jurídico, Salvador, n. 9, dez. 2001.
  • CAMPOS, Anna Maria. Accountability: quando poderemos traduzi-la para o português? Revista de Administração Pública, Rio de Janeiro, fev./abr. 1990.
  • CASTRO, José Ricardo Parreira D. Ativismo de Contas: controle das políticas públicas pelos Tribunais de Contas. Rio de Janeiro: Jam Jurídica, 2015.
  • DAFT, Richard L. Teoria e projeto das organizações. 6. ed. Rio de Janeiro: LTC, 1997.
  • DI PIETRO, Maria Sylvia Zanella. Direito Administrativo. 28. ed. São Paulo: Atlas, 2015.
  • DRAPER, Norman R.; SMITH, Harry. Applied regression analysis. 3. ed. EUA: John Wiley and Sons, 1998. 706p.
  • EVANS, Peter. Autonomia e parceria: estados e transformação industrial. Tradução de Christina Bastos Tigre. Rio de Janeiro: Editora UFRJ, 2004. 404p.
  • FERNANDES, Jorge Ulisses Jacoby. Tribunais de Contas do Brasil: jurisdição e competência. Belo Horizonte: Fórum, 2003.
  • FERREIRA JÚNIOR, Adircélio de Moraes. O bom controle público e as Cortes de Contas como Tribunais da Boa Governança. 2015. 257 f. Dissertação (Mestrado em Direito) – Universidade Federal de Santa Catarina, Florianópolis, 2015.
  • FERREIRA, Paulo Vanderlei. Estatística experimental aplicada à agronomia. 3. ed. Maceió: Edufal, 2000.
  • HELD, David. Modelos de democracia. Tradução de Alexandre Sobreira Martins. Belo Horizonte: Paidéia, 1987.
  • LENZA, Pedro. Direito Constitucional esquematizado. 19. ed. São Paulo: Saraiva, 2015.
  • LIMA, Luiz Henrique. Controle externo: teoria e jurisprudência para os Tribunais de Contas. São Paulo: Método; Rio de Janeiro: Forense, 2015.
  • MATHESON, Craig. Understanding the policy process: the work of Henry Mintzberg. Public Administration Review, v. 69, n. 6, p. 1148-1161, 2009.
  • MELLO, Celso Antônio Bandeira de. Curso de Direito Administrativo. São Paulo: Malheiros, 2008.
  • MELO, Marcus André; PEREIRA, Carlos; FIGUEIREDO, Carlos Mauricio. Political and institutional checks on corruption: explaining the performance of Brazilian audit institutions. Comparative Political Studies, v. 42, n. 9, p. 1217-1244, 18 mar. 2009.
  • MORETTIN, Pedro A.; BUSSAB, Wilton O. Estatística básica. 6. ed. São Paulo: Saraiva, 2010.
  • O’DONNELL, Guillermo. Horizontal accountability in new democracies. In: SCHEDLER, Andreas; DIAMOND, Larry; PLATTNER, Marc F. The self-restraining state: power and accountability in new democracies. Boulder and London: Lynne Rienner Publishers, 1999.
  • PORTER, Michael E. What is strategy. Harvard Business Review, v. 74, n. 6, p. 61-78, nov./dez. 1996.
  • SANTOS, Homero. O controle da Administração Pública. Revista do TCU, Brasília, n. 74, p. 17-26, 1997.
  • SCHEDLER, A. Conceptualizing accountability. In: SCHEDLER, Andreas; DIAMOND, Larry; PLATTNER, Marc F. (ed.). The self-restraing state: power and accountability in new democracies. Boulder and London: Lynne Rienner Publishers, 1999.
  • UCLA. Institute for Digitial Research & Education. Regression with SPSS for multiple regression analysis | SPSS annotated output. [S. l.], 2016. Disponível em: https://stats.idre.ucla.edu/spss/webbooks/reg/chapter1/regression-with-spss-annotated-spss-output-for-multiple-regression-analysis/ Acesso em: 14 fev. 2021.
    » https://stats.idre.ucla.edu/spss/webbooks/reg/chapter1/regression-with-spss-annotated-spss-output-for-multiple-regression-analysis/
  • 1
    Auditor Constitucional é o estabelecido no § 4º do art. 73 da Constituição Federal.
  • 2
    “Art. 73. O Tribunal de Contas da União, integrado por nove Ministros, tem sede no Distrito Federal, quadro próprio de pessoal e jurisdição em todo o território nacional, exercendo, no que couber, as atribuições previstas no art. 96. [...] § 2º Os Ministros do Tribunal de Contas da União serão escolhidos: I – um terço pelo Presidente da República, com aprovação do Senado Federal, sendo dois alternadamente dentre auditores e membros do Ministério Público junto ao Tribunal, indicados em lista tríplice pelo Tribunal, segundo os critérios de antiguidade e merecimento; II – dois terços pelo Congresso Nacional.”
  • 3
    O TCU é formado por nove ministros, de acordo com o artigo 73 da Constituição, e os Tribunais de Contas Estaduais e Tribunais de Contas Municipais e dos Municípios são formados por sete Conselheiros, de acordo com o § 1º do artigo 75 da Carta Política brasileira.
  • 4
    Súmula 653 do STF: “No Tribunal de Contas estadual, composto por sete conselheiros, quatro devem ser escolhidos pela Assembleia Legislativa e três pelo Chefe do Poder Executivo estadual, cabendo a este indicar um dentre auditores e outro dentre membros do Ministério Público, e um terceiro à sua livre escolha”.
  • 5
    O cargo de Auditor estabelecido no § 4º do artigo 73 da Constituição da República, conforme item 22 do Anexo Único da Resolução n. 3/2014 (Diretrizes de Controle Externo 3301/2014) da Associação dos Membros dos Tribunais de Contas do Brasil (Atricon), deverá ser denominado Ministro-Substituto no TCU e Conselheiro-Substituto nos demais Tribunais de Contas.
  • 6
    Lei n. 4.320/1964 – Art. 58: “O empenho de despesa é o ato emanado de autoridade competente que cria para o Estado obrigação de pagamento pendente ou não de implemento de condição”.

APÊNDICEFIGURAS SUPLEMENTARES

figuras S1
– Regressão 1. variável de resposta: “Processos julgados – Y1” (Log Y1)

figuras S2
– Regressão 2. variável de resposta: “Fiscalizações – Y3”

figuras S3
– Regressão 3. variável de resposta: “Multas e débitos – Y2” (Log Y2)

figuras S4
– Regressão 4. variável de resposta: “Rejeições – Y4”

Datas de Publicação

  • Publicação nesta coleção
    14 Abr 2021
  • Data do Fascículo
    2021

Histórico

  • Recebido
    20 Jan 2019
  • Aceito
    15 Jan 2021
Fundação Getulio Vargas, Escola de Direito de São Paulo Rua Rocha, 233, 11º andar, 01330-000 São Paulo/SP Brasil, Tel.: (55 11) 3799 2172 - São Paulo - SP - Brazil
E-mail: revistadireitogv@fgv.br