Uma comparação direta do desempenho de uma PPP com o modelo tradicional de contratação pública

Resumo

Este artigo avalia a experiência do município de Belo Horizonte na construção e operação de infraestrutura escolar por meio de Parcerias Público-Privadas (PPPs). Entre 2009 e 2015, Belo Horizonte construiu escolas similares usando tanto PPPs como o modelo tradicional de contratação pública (MTCP). Dado que a escolha do modelo de contratação não tinha relação causal direta com os resultados avaliados, pode-se afirmar que essa experiência constitui um quasi experimento que permite a comparação simples e direta das PPPs com o MTCP. Avaliamos os principais resultados nas fases de construção e operação usando dados administrativos fornecidos pela prefeitura e com questionário aplicado aos diretores das escolas. O artigo mostra que as escolas construídas no modelo de PPP tiveram um desempenho melhor do que as que usaram o MTCP.

Palavras-chave:
avaliação de impacto; contratação pública; infraestrutura social; Parcerias Público-Privadas; quasi experimento

Abstract

This paper assesses the city of Belo Horizonte’s experience building school infrastructure through public-private partnerships (PPPs). Between 2009 and 2015, Belo Horizonte built very similar schools using both PPPs and traditional public contracting (TPC). As the choice of mode of contracting was unrelated to our outcomes of interest, the experience constitutes a quasi-experiment that allows for a simple and direct comparison of PPPs to TPC. We examine construction- and operation-phase outcomes measured using administrative data and a survey of school administrators. We find that schools constructed under the PPP contracting model outperformed those built using TPCs in most outcomes.

Keywords:
impact evaluation; public-private partnerships; pubic contracting; quasi-experiment; social infrastructure

Resumen

Este artículo evalúa la experiencia del municipio de Belo Horizonte en la construcción y operación de infraestructura escolar a través de una Colaboración Público-Privada (CPP). Entre 2009 y 2015, Belo Horizonte construyó escuelas similares usando tanto CPPs como el modelo tradicional de contratación pública (MTCP). Dado que la elección del modelo de contratación no tenía relación causal con los resultados evaluados, se puede afirmar que esa experiencia constituye un cuasi experimento que permite la comparación simple y directa de las CPPs con el MTCP. Evaluamos los principales resultados en las etapas de construcción y operación usando datos administrativos sumistrados por la alcaldía y con cuestionario aplicado a los directores de las escuelas. El artículo muestra que las escuelas construidas en el modelo de CPP tuvieron un desempeño mejor que las que usaron el MTCP.

Palabras clave:
evaluación de impacto; contratación pública; infraestructura social; Colaboración Público-Privada; cuasi experimento

1. INTRODUÇÃO

Em 2009, o novo governo de Belo Horizonte — uma das maiores cidades do Brasil¹ — priorizou a expansão de matrículas na pré-escola, o que exigiu a construção de um número considerável de novas unidades escolares. Depois do esforço inicial para melhorar a infraestrutura educacional da cidade, valendo-se do modelo tradicional de contratação pública (MTCP), o governo introduziu um novo programa para construir e operar escolas usando Parcerias Público-Privadas (PPPs). Neste artigo, examinamos se esse esforço foi bem-sucedido.

As PPPs há décadas vêm sido usadas nos níveis federal, estadual e local em várias áreas da política como uma alternativa ao MTCP. Apesar da atenção dada à questão na literatura acadêmica, em que a maioria dos estudiosos aponta para vantagens das PPPs em relação ao MTCP, surpreendentemente ainda há poucos estudos que fazem uma comparação direta do desempenho de construção e operação dos dois modelos. A escassez de trabalhos acadêmicos destinados a esse aspecto deve-se em grande parte à falta de dados sobre projetos de MTCP e às dificuldades em estabelecer uma comparação clara entre projetos de PPP e do MTCP em setores, períodos e localidades semelhantes.

O exemplo de Belo Horizonte constitui um quasi experimento que permite uma comparação direta do desempenho das PPPs em relação ao MTCP em termos de construção e operação das escolas. No período entre 2009 e 2015, a cidade construiu unidades pré-escolares usando ambas as modalidades de contratação de forma simultânea. Argumentamos que a escolha do método de contratação para cada escola foi impulsionada por fatores não relacionados com os resultados que aqui analisamos e, como tal, os dois conjuntos de escolas são de fato muito comparáveis.

Embora não possamos comparar os custos de construção e operação, analisamos os dados administrativos e uma pesquisa de opinião com diretores de escolas de ambos os grupos e examinamos os resultados que incluem o tempo de construção e o desempenho operacional pós-construção. Descobrimos que os projetos de PPP tiveram melhores resultados em relação à contratação tradicional em quase todos os resultados analisados.

Começamos com uma revisão da literatura comparando o desempenho das PPPs com o da contratação tradicional, enfatizando particularmente as PPPs na área de educação. Em seguida, descrevemos o contexto institucional e a iniciativa de construção de escolas de Belo Horizonte. Na seção subsequente, apresentamos nosso projeto de pesquisa e evidência de que os dois grupos de escolas são, de fato, comparáveis. Por fim, descrevemos os dados e apresentamos nossos resultados, oferecendo comentários finais e análises.

2. COMPARANDO PPPS COM O MODELO TRADICIONAL DE CONTRATAÇÃO PÚBLICA

Os trabalhos teóricos analisando se os governos devem fornecer serviços por conta própria ou por meio de contratação sugerem que privatizações poderiam levar a custos mais baixos, mas com resultados ambíguos em termos de qualidade, pelo menos em algumas áreas (Hart, Shleifer e Vishny, 1997). Trabalhos subsequentes que explicaram a possibilidade de serviços híbridos (por exemplo, colaboração público-privada) sugerem que elas frequentemente produzem resultados superiores (Bennett e Iossa, 2006). Muitos trabalhos empíricos seguiram na tentativa de avaliar o desempenho relativo às PPPs.

Qualquer avaliação desse tipo requer uma definição operacional do que seria uma PPP, e essas definições variam consideravelmente. No sentido mais amplo possível, as PPPs podem ser definidas de modo a incluir parcerias não apenas com empresas, mas também com organizações comunitárias ou voluntárias e ONGs. O objetivo e a função das PPPs também variam amplamente e podem incluir construção de infraestrutura e prestação de serviços, tais como o desenvolvimento de políticas, planejamento, coordenação e avaliação (Bovaird, 2004). Neste artigo, nos concentramos em uma comparação das PPPs para construir e operar ativos públicos (no caso, escolas) vis-à-vis o que rotulamos de “contratação pública tradicional”.

No que é tipicamente descrito como o modelo “tradicional” para projetos de infraestrutura, os governos contratam um empreiteiro para a fase de construção do projeto, mantendo a responsabilidade pela manutenção e operação do ativo na fase de pós-construção. Duffield define esse tipo de contratação tradicional como “projetos de capital que são financiados pelo governo por meio de um contrato de construção de curto prazo. A operação contínua dessas instalações e a responsabilidade pela prestação de serviços permanecem com os departamentos e/ou agências do governo” (Duffield, 2008:8).

Mesmo sem uma definição única ou padrão do que constitui uma parceria público-privada, as PPPs diferem desse modelo de várias maneiras. O caso de Belo Horizonte se enquadra na definição de PPPs do Banco Mundial que as caracteriza como um “contrato de longo prazo entre uma entidade privada e uma entidade governamental, para fornecer um ativo ou serviço público, no qual a parte privada assume uma responsabilidade significativa de risco e gerenciamento, e a remuneração está vinculada ao desempenho” (World Bank, 2014). Em uma literatura mais ampla, entretanto, o pagamento vinculado ao desempenho não é considerado essencial (Li et al., 2005; Leiringer, 2006), e embora a maioria dos autores se refira a algum compartilhamento de risco, eles não estipulam que os riscos incorridos pela parte privada sejam significativos (Jacobson e Choi, 2008).

As avaliações empíricas, principalmente na forma de estudos de caso, investigaram os fatores que levam a PPPs bem-sucedidas (Jacobson e Choi, 2008; Trafford e Proctor, 2006; Akintoye e Chinyio, 2005, inter alia). Em termos de resultados de políticas, muitos estudos destacam potenciais vantagens do modelo de PPP e avaliam problemas encontrados em projetos de obras públicas tradicionais (Larson, 1995; Glagola e Sheedy, 2002; Chan et al., 2004; Tang et al., 2006). A maioria dessas conclusões deriva da análise dos incentivos gerados por modelo e não necessariamente de uma comparação real dos resultados. Nesses trabalhos, entende-se que as PPPs induzem a colaboração intersetorial (Jacobson e Choi, 2008) e o compartilhamento de riscos (Gaffney et al., 1999), enquanto o MTCP apresenta processos de licitação restritivos que não são igualmente uniformes e apropriados para cada projeto (Tang et al., 2006). A maioria das avaliações negativas se concentra nas consequências políticas das PPPs (Flinders, 2005), na diluição do controle político sobre a formulação de políticas e na geração de empregos de baixa qualidade (Bovaird, 2004).

Dadas as fortes expectativas de desempenho superior das PPPs, a evidência empírica é surpreendentemente ruidosa e, às vezes, contraditória (Hodge e Greve, 2007). As dificuldades em determinar uma referência contrafatual para julgar o desempenho das PPPs são, talvez, o maior impedimento para avaliações de qualidade mais acurada que poderiam produzir evidências sobre o desempenho relativo das PPPs (Hodge e Greve, 2007).

A dificuldade não está nas PPPs, mas sim em identificar e avaliar corretamente a alternativa. Os estudos usados para demonstrar as vantagens das PPPs ante o MTCP são frequentemente obrigatórios por lei e normalmente não detalham adequadamente a estrutura de custos do “comparador do setor público”. Como foi detalhado por Ball (2011), esse problema é comum mesmo em países com significativa experiência na implementação de PPPs, como a Austrália e o Reino Unido.

Os estudos que comparam as PPPs com o MTCP raramente se envolvem em comparações diretas de resultados de desempenho. Por exemplo, a principal conclusão no relatório da Infrastructure Partnerships Australia de 2007 (IPA, 2007) é que há uma maior transparência nos projetos de PPP do que no modelo tradicional de contratação pública. Essa também é uma conclusão feita pelo National Audit Office do Reino Unido (National Audit Office, 2009). Obviamente, a transparência é importante. No entanto, não é uma medida abrangente de desempenho. Da mesma forma, Marin (2009), em sua análise de projetos de saneamento nos países em desenvolvimento, argumenta que, dada a falta de dados confiáveis sobre o desempenho dos serviços de saneamento fornecidos pelo Estado, o impacto das PPPs só seria avaliado em comparação com resultados anteriores à implementação das PPPs, e não com a prestação simultânea de serviços similares, o que seria desejável. Novamente, a comparação com os resultados anteriores à implementação das PPPs é um interessante segundo melhor cenário, mas que não considera possíveis mudanças no desempenho do MTCP ao longo do tempo.

O Banco Mundial (World Bank, 2014) constatou que os estudos com foco na fase operacional de projetos de infraestrutura são ainda mais raros do que aqueles com ênfase na fase de construção. No entanto, em um estudo que consiste em uma exceção, Gassner, Popov e Pushak (2009) examinaram o papel dos parceiros privados em PPPs e outras formas de privatizações, incluindo projetos relacionados com serviços de saneamento e de energia. O estudo avaliou resultados em 71 países e demonstrou que a participação privada gerou ganhos de eficiência, como menores perdas de água e melhor gestão de pessoal. Nessa mesma linha, trabalhos recentes de Cabral, Lazzarini e Azevedo (2013) comparam o desempenho das penitenciárias no Brasil que passaram da gestão privada para a pública por motivos políticos e não por motivos de desempenho. O estudo não encontra essencialmente nenhuma mudança na qualidade da prestação de serviços depois que o Estado assumiu o controle.

Dos estudos que examinaram a fase de construção de projetos de infraestrutura, os mais notáveis foram conduzidos pelo National Audit Office (2009) no Reino Unido, e na Austrália por Duffield (2008) e Infrastructure Partnerships Australia (2007). Esses estudos abrangem projetos de infraestrutura em educação e saúde, entre outros. A comparação de projetos de infraestrutura entre diferentes setores, no entanto, apresenta outra dificuldade. Os fatores específicos de cada setor provavelmente afetarão de forma considerável os custos de construção e o prazo para conclusão. Como o ente público geralmente adota o mesmo modelo para um setor inteiro em um determinado momento, uma comparação entre modelos dentro de um setor específico nem sempre é viável. Em vez disso, esses estudos comparam os custos reais e o tempo de conclusão com o que foi planejado, gerando uma medida relativa de previsibilidade em diferentes modelos.

No Reino Unido, 31% dos projetos de PPP sofreram atrasos em relação ao plano original, em comparação aos 37% dos projetos MTCP (National Audit Office, 2009). Com relação aos custos, 35% das PPPs e 46% dos projetos de MTCP ultrapassaram o orçamento inicial previsto. Embora esses resultados sugiram uma ligeira superioridade das PPPs, os autores observam a limitada comparabilidade entre os projetos examinados. Na Austrália, os estudos mostram que projetos acima do orçamento são muito mais comuns em MTCP do que em PPPs; atrasos ocorreram em cerca de um quarto dos projetos sob MTCP e, praticamente, ausentes entre as PPPs (IPA, 2007; Duffield, 2008).

Vários países têm utilizado as PPPs para expandir a infraestrutura e o acesso à educação. Existem PPPs relacionadas com educação no Reino Unido, Austrália, Canadá, Alemanha e Holanda, entre outros países (LaRocque, 2008). Além destes, o Egito aceitou propostas para a construção de mais de 300 escolas, e há relatos de Parcerias Público-Privadas para escolas em Botswana, bem como para universidades nos Emirados Árabes Unidos (Oyewole, 2009).

O Reino Unido é, de longe, o país com maior experiência no uso de PPPs na educação, com investimentos de mais de £ 8 bilhões (Epec, 2012). A maior parte desses investimentos vem do projeto Building schools for the future (BSF). Lançado em 2003, o BSF é o maior projeto de infraestrutura escolar que o Reino Unido realizou nos últimos 50 anos. Seu objetivo era construir 3.500 escolas secundárias (PricewatherhouseCoopers, 2007), embora, segundo estimativas, o projeto tenha conseguido construir apenas 310 escolas até 2011 (James, 2011). Naquele ano, o BSF foi substituído por uma nova iniciativa chamada Priority school building program (PSBP), que apresentou um objetivo mais modesto de construir 260 escolas durante a primeira fase. Entre as mudanças com esse novo projeto, destacamos a introdução da centralização na licitação dos projetos e a exclusão de serviços como limpeza, lavanderia e segurança, focando a parceria estritamente em serviços relacionados com manutenção predial (Devney, 2015). Até o ano de 2015, o PSBP já havia construído 16 escolas e outras 55 estavam em construção. Ainda em 2015, o governo anunciou uma segunda fase do projeto que visava a construção de 277 escolas adicionais (DFE, 2015).

Apesar desses exemplos de PPPs relacionados com educação, existem poucos estudos com foco na avaliação de desempenho. Por exemplo, Patrinos, Barrera-Osorio e Guaquetá (2009) apontam que a maioria dos estudos que examinam Parcerias Público-Privadas para a educação priorizara escolas autônomas (charter) (nos EUA) e iniciativas de voucher (em vários outros países). Nenhum estudo, no entanto, examinou PPPs destinadas a construir e/ou operar a infraestrutura escolar. Nem mesmo na Austrália ou no Reino Unido (países que implementaram um grande número de projetos de PPP) há evidências de qualquer avaliação rigorosa desses programas (Eggers e Startup, 2006). Os estudos realizados na Austrália enfocaram aspectos contratuais (IPA, 2007); enquanto os estudos que avaliaram programas do Reino Unido adotaram a abordagem de estudo de caso (Gibbson e Davies, 2008; Nisar, 2007). Entre estes, Kakabadse, Kakabadse e Summers (2007) apresentam um estudo que merece destaque. Os autores entrevistaram 27 autoridades de escolas locais no Reino Unido e descobriram que 76% dos entrevistados avaliaram sua experiência com PPPs como boas ou excelentes. Embora alguns dos entrevistados tenham reportado perda de flexibilidade de gestão, houve um amplo consenso de que uma PPP seja a maneira mais prática de assumir projetos de construção e reforma de escolas.

Em resposta à falta de pesquisas dedicadas à avaliação das experiências de PPP em todo o mundo, Patrinos, Barrera-Osorio e Guaquetá (2009) recomendaram e promoveram uma agenda de pesquisa mais ampla, demandando estudos relacionados com o desempenho das PPPs voltadas à infraestrutura educacional. Nosso trabalho faz exatamente isso, comparando sistematicamente dois grupos de escolas construídas ao mesmo tempo, usando dois métodos de licitação diferentes. Os projetos foram implementados em uma única cidade grande em um país em desenvolvimento, na qual a demanda por escolas supera amplamente a oferta.

3. O CONTEXTO DE BELO HORIZONTE

As PPPs começaram a ser usadas no Brasil em 2004, quando uma nova lei estabeleceu dois tipos de modelos de infraestrutura: 1) concessões administrativas, iniciativas totalmente financiadas pelo governo; e 2) concessões patrocinadas, projetos que são parcial ou totalmente financiados pelos usuários (Monteiro, 2015). A literatura acadêmica identifica 76 projetos de PPP no Brasil, a maioria delas iniciadas após 2012 por estados e municípios em todo o país (Pereira, 2015:4). A maioria desses projetos era de infraestrutura, como centros administrativos, estádios, saneamento, iluminação pública, projetos de mobilidade urbana, hospitais e prisões. Sua natureza particular e o fato de que foram, em geral, conduzidos em diferentes jurisdições dificultam compará-los diretamente com iniciativas que adotaram o modelo tradicional de contratação pública. Além disso, a falta de transparência em muitas entidades públicas é mais um impedimento para a avaliação desses projetos. A experiência de Belo Horizonte com PPPs, no entanto, não apresenta a maioria dessas dificuldades.

No início de seu primeiro mandato como prefeito de Belo Horizonte em 2009, Márcio Lacerda declarou que a expansão das pré-escolas e de sua infraestrutura na cidade seria uma prioridade.² Atingir essa meta exigiria a construção de um grande número de pré-escolas novas, formalmente conhecidas como Unidades Municipais de Educação Infantil (Umeis).

Na época, os municípios eram legalmente obrigados a matricular crianças a partir dos seis anos de idade.³ A cobertura pré-escolar não era uniforme em todo o país. Em Belo Horizonte, a cobertura estava em 84% para crianças de quatro e cinco anos, e em 28% para crianças abaixo de três anos de idade. O movimento para expandir a cobertura já estava ganhando força. Logo em seguida, a Lei Federal n^o 12.796/2013 estendeu a cobertura escolar obrigatória para crianças de quatro e cinco anos. Em 2014, o plano nacional de educação do Brasil estabeleceu que essa meta de cobertura ampliada deveria ser atingida até 2016. Além disso, a nova lei exigia que a cobertura fosse ampliada para 50% das crianças entre zero e três anos até 2024.

Em 2008, Belo Horizonte possuía 40 Umeis. Desde o início do mandato de Lacerda até maio de 2015 (mês em que este estudo foi iniciado), 59 novas escolas foram construídas (e várias outras estavam em construção), ampliando a cobertura escolar para quase 26 mil crianças. Mais da metade das novas escolas foram construídas por meio de contratos do modelo tradicional (explicados abaixo). No entanto, 45% das unidades foram construídas usando modelos de PPP. Essa foi, de fato, a primeira PPP no Brasil para a construção e operação de infraestrutura educacional.⁴ A iniciativa foi tão inovadora que foi finalista do prêmio Citi Ingenuity Awards do Financial Times (Business Wire, 2013) e citada pela empresa de consultoria KPMG como um dos projetos de infraestrutura mais inovadores do mundo (KPMG, 2012).

A tabela 1 apresenta uma análise ano a ano, distribuída pelo método de contratação utilizado para a de construção de Umeis em Belo Horizonte durante os dois mandatos do prefeito Lacerda (2009-2015). Até 2012, apenas contratos de MTCP eram usados. A partir de 2013, as PPPs tornaram-se o método de contratação predominante. A razão para essa mudança foi a constatação por parte das autoridades do governo de que a velocidade dos métodos tradicionais de construção não era suficiente, já que as regras tradicionais de contratação impediam o progresso para atingir as metas anunciadas pelo prefeito. Além disso, após a aprovação da nova lei em 2013, o compromisso com as PPPs foi fortalecido ainda mais devido às novas metas de cobertura nacionais.

As Umeis construídas por meio do modelo tradicional ficaram sujeitas às regras padrão para contratação pública de projetos de construção no Brasil, um processo que pode ser extremamente oneroso. A lei de licitações exige que o governo produza estudos para cada projeto individual, obtenha as permissões e licenças, e desenvolva um plano ou projeto básico de engenharia prévio ao processo de licitação da fase de construção. Além disso, a lei estipula que os contratos sejam de curto prazo e limitados apenas à construção de instalações (Gusmão, 2008; Lobato, 2015).

Tabela 1
Número de Umeis iniciadas e entregues por ano e tipo de contrato⁵

	Umeis Iniciadas			Umeis Entregues
	MTCP	PPP	MTCP	PPP
2009	9		1
2010	6		5
2011	2		4
2012	12		4
2013	3	20	6	3
2014	1	17	8	17
2015		7	2	24
Total	33	44	30	44

• Fonte: Elaborada pelos autores a partir de dados administrativos.

Devido a esses requisitos, as agências governamentais tendem a, inicialmente, licitar a elaboração do projeto básico e, posteriormente, conduzir um segundo e maior processo de licitação para a construção em si. Como resultado observa-se a perda de eficiência do projeto, já que os incentivos dos licitantes contratados para desenhar o projeto não estão alinhados com os das empresas de construção — ou de quem irá operar a unidade.

A operação geralmente fica sob a alçada do órgão do governo, que geralmente conduz outros processos de licitação para terceirizar alguns dos serviços de manutenção. Nesse caso, os serviços são contratados separadamente e os diretores têm um trabalho intenso na coordenação dos profissionais envolvidos nesses serviços não pedagógicos, assim como na interação com diferentes órgãos do governo.

A característica mais nefasta da lei, entretanto, é que cada projeto demanda uma licitação própria. No caso de Belo Horizonte, o município teve que conduzir um processo de licitação separado para cada uma das Umeis, implicando a gestão de múltiplos contratos e licitantes, muitos dos quais pequenas empresas que nem sempre podiam garantir a prestação do serviço contratado. Como consequência, houve atrasos, redução de eficiência e cancelamento de contratos.

A carga de trabalho administrativa foi imensa e limitou a capacidade do governo de construir mais escolas. Faltou à administração municipal não somente os recursos financeiros, como também recursos humanos suficientes para planejar, conduzir a licitação e supervisionar a construção desses múltiplos pequenos projetos.

Para as Umeis construídas por meio de PPPs, a cidade adotou um regime de “concessão administrativa”, no qual a receita da parte privada foi totalmente fornecida por pagamentos do governo. O governo fornece as diretrizes básicas para a construção, enquanto a empreiteira é responsável pela engenharia do projeto, construção e prestação de serviços não pedagógicos. Os pagamentos do governo foram divididos em aportes para compensação de investimento e contraprestações mensais.

Os serviços de pós-construção não pedagógicos presentes no contrato não incluíam serviços como ônibus escolar e refeitório, mas eles incorporavam a manutenção e a conservação de edifícios, ligação de água, luz e esgoto, suprimentos, serviços de cópia, segurança, limpeza e lavanderia, e infraestrutura de tecnologia de informação (TI) dentro das unidades (Belo Horizonte, 2015).⁶ Em contraste com o modelo MTCP, nas PPPs, os serviços não pedagógicos são realizados pelo parceiro privado. Nesse sentido, todo o trabalho relacionado com contratação e gestão desses profissionais é de responsabilidade da concessionária, liberando os diretores para dar maior atenção às questões pedagógicas.

Ao transferir o risco e a responsabilidade do projeto (inclusive o gerenciamento, financiamento e prestação de serviços) para a concessionária, o contrato buscou introduzir a eficiência do setor privado na prestação de serviços públicos. Os contratos também vinculavam os pagamentos relacionados com as operações com uma métrica de desempenho detalhada, sujeita a auditoria independente de terceiros.

As obrigações da parte privada no contrato original de 20 anos incluíam a construção de 30 novas Umeis e a reabilitação de duas unidades existentes.⁷ Na PPP, as propostas eram aceitas apenas para o conjunto completo de escolas (não para unidades individuais), a fim de maximizar os ganhos com economia de escala. Em 2014, o contrato foi ampliado para incluir 14 Umeis adicionais, elevando o número total para 44 novas unidades construídas por meio de PPP. O contrato estipulava que as primeiras sete Umeis deviam ser entregues dentro de 12 meses, já que essas unidades tinham projetos detalhados e licenças de construção. Não havia cronograma de entrega para as unidades restantes, exigindo apenas que todas fossem concluídas em um período de 24 meses.⁸ Embora não houvesse um projeto de engenharia detalhado para essas unidades, todas as Umeis eram obrigadas a seguir um modelo de construção comum, chamado de tipo III,⁹ e a aderir às práticas e padrões de construção já implementados pelo município em outras escolas. Isso significa que todas as Umeis devem ser similares em tamanho e escopo,¹⁰ com uma capacidade máxima de 440 alunos e uma área construída de 1.115 m² divididos em dois andares e com instalações ao ar livre. O primeiro deveria incluir cozinha, refeitório, despensa (seca e refrigerada), banheiros adequados à idade, pátio interno, duas salas de aula para crianças de um e dois anos, sala para fins diversos, biblioteca, fraldário, berçário, sala de atividades, escritórios de assistente administrativo e direção e elevador. O segundo andar incluía oito salas de aula para crianças de três a cinco anos, uma sala de reuniões e banheiros apropriados para a idade. As unidades também eram obrigadas a incluir infraestrutura ao ar livre composta por um estacionamento para professores e funcionários, um gramado, horta, playground, auditório, pátio, unidades para eliminação de lixo e instalações adequadas de armazenamento de gás de cozinha.

4. A EXPERIÊNCIA DE BELO HORIZONTE COMO UM QUASI EXPERIMENTO

A premissa essencial deste estudo é que as Umeis construídas em Belo Horizonte entre 2009 e maio de 2015, e que utilizaram o modelo tradicional de contratação pública, são, como um grupo, muito semelhantes às Umeis construídas usando contratos de PPP na mesma cidade durante o mesmo período. Como as Umeis não foram designadas aleatoriamente para os dois métodos de aquisição, essa premissa requer alguma justificativa.

Como ponto preliminar, nem todas as Umeis entregues no período em análise eram de fato semelhantes. As Umeis diferem, por exemplo, no que diz respeito ao tipo de construção. De acordo com os funcionários do governo municipal, os tipos de construção eram geralmente associados a características topográficas particulares das parcelas que tornavam a construção consideravelmente mais difícil (ou mais fácil). No entanto, os tipos III e IV — que representam mais da metade das Umeis entregues — foram completamente equivalentes e comparáveis. Na verdade, esses dois tipos eram geralmente mesclados na documentação governamental, pois tinham características arquitetônicas idênticas que divergiam apenas em termos de acabamento e materiais estruturais.

Portanto, restringimos nossa análise às 46 Umeis dos tipos III e IV que estavam em operação por um período mínimo de seis meses no momento da coleta de dados. Dessas, 27 foram construídas com contratação de PPP e 19 pelo MTCP. Embora a construção por meio da PPP tenha começado mais tarde, mais da metade dos Umeis de MTCP em nossa amostra foi entregue em 2013 e 2014, os mesmos anos em que a maioria das Umeis por PPP na amostra foram concluídas.

As Umeis por PPP e MTCP na amostra também compartilham semelhanças geográficas, em termos de onde foram construídas. O contrato de PPP incluiu Umeis que atendiam aos seguintes critérios: i) a existência de demanda para a escola com base em indicadores socioeconômicos; ii) a existência de terrenos que já eram de propriedade do governo ou que poderiam ser facilmente adquiridos; e iii) a exigência de que o projeto ainda não estivesse em uso ou que não estivesse já incluído em outro processo tradicional de licitação.

Os dois primeiros critérios eram comuns para as unidades PPP e MTCP. O terceiro requisito estava relacionado com o momento da decisão de mudar para PPPs. Nosso argumento é de que esse critério não está relacionado com os resultados que avaliamos, já que não deve afetar o tempo de construção da unidade específica nem a dificuldade em operá-la.

Se os dois tipos de unidades fossem construídos em bairros com diferentes indicadores socioeconômicos, elas poderiam não ser diretamente comparáveis. A relevância desse potencial fator de confusão é mais apropriada para a análise dos resultados da fase de operação. Por exemplo, se a cidade tivesse construído unidades nos bairros mais pobres e, subsequentemente, em áreas mais ricas, seria possível argumentar que era mais difícil operar no primeiro caso do que no segundo. Essas diferenças também poderiam alterar o tempo de construção, já que é concebível que seja mais difícil finalizar um projeto de construção nos distritos mais pobres devido a diferenças na facilidade de acesso, segurança e infraestrutura existente.

Felizmente, os dados disponíveis sugerem que esse não é o caso. Os dois grupos de Umeis foram, na verdade, bem equilibrados em indicadores observáveis, como o Índice de Vulnerabilidade Social (IVS).¹¹ Além disso, ambos os tipos de métodos de contratação foram utilizados em seis das nove regiões administrativas, o que implica considerável sobreposição geográfica.¹²

Os dois grupos de Umeis são quase idênticos em relação às características socioeconômicas médias. Essas características, presumivelmente, poderiam afetar o funcionamento posterior de cada unidade, uma vez que a dificuldade de fornecer determinados serviços poderia variar de acordo com as características socioeconômicas da região em que cada escola estivesse localizada. A média nos dois grupos é muito semelhante no que diz respeito aos aspectos demográficos de cada uma das regiões em que as unidades foram construídas, considerando indicadores como o Índice de Desenvolvimento Humano (IDH) e seu subíndice para educação IDH-ED (tabela 2). Relatamos diferenças médias padronizadas entre os dois grupos e valor-p de testes t das diferenças para cada atributo — embora não esteja claro que essa seja a métrica mais adequada para avaliar o equilíbrio (ver, por exemplo, Ho et al., 2007). O teste coletivo de Hansen-Bowers para as diferenças gerais nessas quatro características sociodemográficas produz uma estatística de 4,66, com um valor-p correspondente de 0,324, uma indicação de que não podemos descartar que os dois grupos sejam idênticos (Hansen e Bowers, 2008).

Esses dados corroboram nossa afirmação de que podemos tratar os dois grupos como se o modo de contratação tivesse sido atribuído aleatoriamente, pelo menos no que diz respeito aos resultados operacionais pós-construção. De fato, como demonstraremos mais adiante, as diferenças nos resultados da operação não são particularmente sensíveis à inclusão de controles sociodemográficos, o que seria esperado com uma atribuição “como se aleatória” (as-if random).

Tabela 2
aracterísticas dos grupos de Umeis por PPP e MTCP

	MTCP	PPP	Diferença média padronizada	P-valor
Regiões Administrativas	8/9	7/9
Sociodemográfico (médias)
IDH	0.80	0.79	-0.207	0.488
IDH-ED	0.73	0.72	-0.221	0.458
Expectativa de vida	78.08	77.92	-0.097	0.744
Renda per capita	1084.2	890.8	-0.363	0.228
Construção (médias)
Área (m2)	1089.2	1415.4	0.427	0.158
Tipo de construção (tipo III)	0.58	1	1.298	<0.01
Tipo de terreno (inclinado)	0.32	0.82	1.157	<0.01

• Fonte: Elaborada pelos autores.

A tabela 2 também mostra que os dois grupos não são idênticos em relação a todas as características que poderiam influenciar a dificuldade de construção. Primeiro, todas as Umeis de PPP eram do tipo IV, enquanto algumas Umeis do MTCP também eram do tipo III. Servidores do governo sustentam que as diferenças entre esses dois tipos são bem menores. Além disso, houve maior prevalência de terrenos inclinados nas unidades de PPP e de terrenos planos nas unidades de MTCP.¹³ Essa diferença deveria ter dificultado a construção de Umeis de PPP (na verdade, essa observação é contrária aos resultados que encontramos e serão apresentados mais adiante). Felizmente, a área de construção é essencialmente idêntica em ambos os tipos de contratação, uma variável importante que pode ter impactos significativos no tempo de construção. Ainda assim, dado esse desequilíbrio entre os grupos, controlamos essas características ao verificar a robustez de nossos resultados.

Autoridades do governo insistiram que o tipo de contratação não foi definido com base nas características do terreno; portanto, enquanto reconhecemos o desequilíbrio com relação às características do tipo e do terreno, nos sentimos justificados em controlar estatisticamente essas diferenças mais tarde na análise do tempo de entrega. Como demonstraremos, a inclusão desses controles não afeta os resultados de nossa análise.

5. DADOS E MÉTODOS

Comparamos os dois grupos de Umeis, analisando um resultado da fase de construção e vários resultados da fase operacional. Para todos os resultados, comparamos os dois grupos por meio de diferenças formais de médias ou diferenças nos testes de proporção. Dada a nossa suposição de seleção “como se” aleatória em ambos os grupos, essa simples comparação é suficiente para examinar se o desempenho é diferente entre os dois modelos de contratação.

Para cada comparação, estimamos também a diferença entre os grupos PPP e MTCP, controlando os potenciais fatores de confusão. Isso é particularmente importante para a fase de resultados da construção, pois detectamos um desequilíbrio nas características do terreno e outras variáveis que poderiam afetar o tempo de construção. Embora não tenhamos encontrado tal desequilíbrio nas variáveis que poderiam influenciar os resultados operacionais, optamos por apresentar resultados controlando o Índice de Desenvolvimento Humano (IDH) da região de cada Umei, a fim de servir como verificação de robustez para os resultados. Em ambos os casos, a especificação com controles também fornece uma verificação adicional em nosso projeto de pesquisa como um todo, já que nossa suposição de uma atribuição “como se” aleatória implicaria que quaisquer resultados deveriam ser estáveis na presença de controles.

5.1 Resultados da fase de construção

O resultado de interesse da fase de construção é o tempo de construção, medido como o tempo de entrega desde seu início. Aqui focamos não apenas em uma comparação de médias dos dois grupos, mas também em desvios-padrão, pois a variação do tempo até a conclusão é uma medida de incerteza e, portanto, também substantivamente relevante. Construímos essa variável a partir de registros administrativos obtidos da secretaria de educação da cidade (SME) e da agência de desenvolvimento de infraestrutura (Superintendência de Desenvolvimento da Capital, ou Sudecap). A Sudecap também forneceu os dados sobre o tipo de construção.

Para as unidades de PPP, o tempo de construção foi calculado como o período entre a data de emissão da licença de construção (“alvará”) pelo órgão governamental competente e a data em que o “Termo de Recebimento Provisório” foi assinado pelo funcionário municipal responsável. Para as Umeis de MTCP, o início da construção é indicado por uma ordem de serviço emitida pela Sudecap; a entrega é marcada por um documento de transferência entre a Sudecap e o representante do escritório regional do governo da cidade. Não podemos usar exatamente os mesmos marcadores do início e do fim da fase de construção, porque os dois tipos de sistemas de aquisição são diferentes. No melhor de nosso conhecimento, no entanto, esses marcos usados aqui são completamente comparáveis. Além disso, em ambos os casos, o evento que marca o início da fase de construção só acontece depois que o terreno está legalmente disponível para o desenvolvimento. Quaisquer atrasos no processamento de licenças de construção não são, portanto, incluídos e não afetam nossa medida de tempo de construção.

5.2 Resultados da fase de operação

Para os resultados da fase operacional, entrevistamos os diretores das escolas das Umeis da nossa amostra. A entrevista foi realizada entre 9 de setembro e 2 de outubro de 2015, e utilizou a plataforma eletrônica Qualtrics. O questionário foi distribuído por e-mail aos diretores usando endereços de e-mail fornecidos pelo governo municipal (que também aprovou o estudo).¹⁴ Após ligações telefônicas de acompanhamento e um esforço considerável, obtivemos respostas de 42 das 46 unidades da amostra (91,3%), 24 das quais eram PPPs e 18 de MTCP.

A pesquisa (reproduzida integralmente nos materiais de Informações Suplementares) produziu dados que nos permitem investigar as diferenças entre os dois tipos de modelos de contratação. Essas diferenças incluem a parcela de tempo que os diretores dedicam às atividades pedagógicas, bem como medidas de sua satisfação com os serviços prestados pelo município para as Umeis do MTCP, ou pela parte privada no caso das Umeis de PPP. Os tipos de serviços na pesquisa foram velocidade e qualidade dos serviços de manutenção de infraestrutura, serviços de limpeza e lavanderia, serviços de suporte de TI e acesso à internet.¹⁵ Apenas para as Umeis de PPP, também avaliamos a satisfação dos diretores com os serviços de suporte técnico e administrativo. Como esses serviços não estavam disponíveis para os diretores do MTCP, não foi possível fazer a comparação desses resultados.

6. RESULTADOS

Para maior clareza de apresentação, separamos os resultados das fases de construção e operacional.

6.1 Resultados para a fase de construção

O tempo até a entrega foi de 19,8 meses no grupo de MTCP e 10,9 meses para o grupo de PPP, o que significa que as escolas do grupo PPP foram construídas quase duas vezes mais rápido que as unidades de MTCP.¹⁶ Essa diferença de 8,9 meses foi tão grande que poderia impedir um teste estatístico formal. Ainda assim, como esperado, essa diferença é estatisticamente significativa em um teste t de duas amostras com variâncias separadas (valor-p <0,001).

Apresentamos duas estimativas adicionais dessa diferença usando duas especificações (tabela 3). Em ambas as especificações adicionais, estimamos a diferença entre os dois grupos pela regressão dos Mínimos Quadrados Ordinários (OLS) com erros-padrão robustos, fazendo o controle das duas variáveis em que houve desequilíbrio entre os dois grupos, conforme discutido anteriormente. A primeira inclui indicadores para a região da cidade em que cada Umei está localizada e as características do terreno (ou seja, se o local era plano ou não). A segunda especificação inclui um indicador para o tipo de construção (ou seja, se o tipo de construção era III ou IV).

Os resultados mais importantes são mostrados nas primeiras linhas da tabela. Enquanto as características da região e do terreno quase não têm efeito sobre o resultado, a inclusão do tipo de construção reduz o efeito da PPP, embora o tipo de construção não seja estatisticamente significativo. Entretanto, mesmo neste último modelo, a diferença atribuível ao tipo de contratação ainda é considerável, com as unidades de PPP sendo construídas sete meses mais rapidamente que as unidades construídas por MTCP. O resultado para o modo de contratação é estatisticamente significativo em todas as especificações, enquanto os potenciais fatores de confusão não são. A conclusão geral é inequívoca: o tempo para entrega foi muito menor com PPP do que com o MTCP.

Tabela 3
Efeitos das PPP no tempo de entrega das Umeis¹⁷

	DiM	OLS (Modelo 1)	OLS (Modelo 2)
PPP	-8,93	-8,80	-6,85
valor-p	<0,001	<0,001	0,001
Tipo de terreno (inclinação = 1)		1,42	1,25
valor-p		0,340	0,454
Tipo de construção (tipo IV=1)			4,65
valor-p			0,206
Efeitos Regionais	Não	Sim	Sim
N	46	46	46

• Fonte: Elaborada pelos autores. DiM indica estimativas por diferenças de médias e OLS estimativas por regressão. Valores-p nas regressões OLS foram computados a partir de erros-padrão agrupados.

As PPPs reduziram drasticamente a variabilidade no tempo de entrega das unidades. O desvio-padrão do tempo para conclusão foi de 1,3 mês no grupo PPP e 6,2 meses para o grupo MTCP — uma diferença que é estatisticamente significativa quando usada a variante de Brown-Forsythe do teste de Levene (estatística do teste = 37,541, valor-p = < 0,001) .¹⁸

Considerando o prazo de entrega do método MTCP prometido contratualmente por 13 meses, a diferença é gritante: 79% das unidades contratadas por meio do MTCP foram entregues com atraso, enquanto todas as unidades de PPP foram entregues antes do prazo.

6.2 Resultados para a fase operacional

O primeiro — e talvez mais instrutivo — resultado operacional de interesse foi se os diretores eram capazes de dedicar mais atenção e esforço para as atividades pedagógicas (em oposição às administrativas). Examinamos essa questão perguntando aos diretores qual é a parcela do tempo que eles dedicam a atividades pedagógicas na escola. Em seguida, procuramos validar a resposta perguntando se os diretores pensavam que dedicavam muito tempo às atividades não pedagógicas.

Os diretores do grupo PPP relataram que gastavam 70% de seu tempo em atividades pedagógicas, comparado a 56% no grupo MTCP. Conforme refletido nas primeiras linhas da tabela 4, essa diferença de 14 pontos percentuais é estatisticamente significativa e permanece essencialmente inalterada se controlarmos o IDH regional (uma diferença de 26 pontos, valor-p = 0,027). Nessa especificação (tabela 4, coluna dois), empregamos erros-padrão agrupados no nível da região, porque o nível de desenvolvimento está disponível apenas no nível da região e não no nível da unidade.

Na questão de validação, perguntamos se os diretores concordaram com a afirmação de que eles gastavam muito tempo em tarefas administrativas. A concordância foi expressa em uma escala de cinco pontos, que, por simplicidade, tratamos como uma variável contínua. Valores mais altos denotam mais concordância com a afirmação e são interpretados como resultado normativamente negativo. Em consonância com os resultados da pergunta anterior, os diretores de Umeis de PPP expressaram menos concordância com a afirmação, indicando um resultado superior nessa modalidade de contrato. O resultado é, novamente, essencialmente o mesmo com ou sem a variável de controle.

Na tabela 5 e na tabela 6, reportamos as diferenças entre as Umeis de PPP e de MTCP em relação a todos os outros resultados operacionais para os quais coletamos dados. Os oito resultados foram agrupados em quatro categorias. Em cada uma, relatamos os resultados para a diferença simples no teste de médias (DiM), bem como diferenças estimadas por mínimos quadrados ordinários com erros-padrão agrupados por região (OLS CLSE), controlando o IDH. Como o IDH só está disponível no nível da região, e não no nível da unidade, também empregamos erros-padrão robustos agrupados no nível da região.

Nessas questões, a variável de desfecho é sempre medida em uma escala de cinco pontos, na qual os valores baixos indicam que os diretores estavam muito insatisfeitos e os valores altos indicam níveis mais altos de satisfação. Nós tratamos a escala como uma variável linear, mas resultados semelhantes são mantidos com outras especificações. Como o grupo MTCP é a linha de base, os efeitos positivos indicam que a contratação por PPP tem melhores avaliações.

Tabela 4
Diferenças no tempo dos diretores dedicado às atividades pedagógicas

	Parcela do tempo gasto em atividades pedagógicas		Muito tempo gasto em atividades não pedagógicas
	DiM	OLS	DiM	OLS
PPP	14	13,691	-0,736	-0,716
valor-p	0.028	0,030	0.064	0,068
IDH		-71,202		4,622
valor-p		0,201		0,236
N		42		42

• Fonte: Elaborada pelos autores. DiM indica estimativas por diferenças de médias e OLS estimativas por regressão. Valores-p nas regressões OLS foram computados a partir de erros-padrão agrupados.

Em nenhum caso a inclusão do controle altera substancialmente o resultado com as diferenças simples no teste de médias. Essa é mais uma evidência da validade da suposição “como se fosse aleatória” para os resultados operacionais, nos quais este artigo é baseado.

Tabela 5
Diferenças na manutenção e suprimentos e materiais operacionais

	Manutenção				Suprimentos e materiais
	Tempo de Resposta		Qualidade		Disponibilidade		Qualidade
	DiM	OLS	DiM	OLS	DiM	OLS	DiM	OLS
PPP	1,133	1,133	1,093	1,088	0,292	0,293	0,808	0,800
valor-p	0.001	<0,001	0.002	<0,001	0,086	0,056	0.014	0,001
IDH		-0,249		-4.899		-0,449		-1.207
valor-p		0,895		0,131		0,81		0,631
N	39		41		41		39

• Fonte: Elaborada pelos autores. DiM indica estimativas por diferenças de médias e OLS estimativas por regressão. Valores-p nas regressões OLS foram computados a partir de erros-padrão agrupados.

As PPPs conquistaram mais satisfação dos diretores em relação ao tempo de resposta e à qualidade dos serviços de manutenção. Os resultados para esses itens são não só estatisticamente muito significativos (valores de p <0,01), como também substantivamente grandes, pois somam mais de um ponto na escala de resposta de cinco pontos, que nesse caso também corresponde a pouco mais de um desvio-padrão da distribuição de respostas.

Para os serviços de apoio administrativo, as PPPs recebem pontuações igualmente altas na qualidade de suprimentos e materiais operacionais (por exemplo, suprimentos de limpeza, papel higiênico, lençóis, toalhas etc.). Para a disponibilidade de material, a diferença é menos notada e um pouco mais ruidosa do que os outros itens, mas ainda favorece claramente as PPPs.

Curiosamente, as PPPs tiveram um desempenho pior do que o MTCP no que diz respeito à qualidade e ao tempo de resposta dos serviços de TI, embora a diferença fosse estatisticamente significativa apenas para a qualidade dos serviços. Da mesma forma, não houve essencialmente nenhuma diferença entre os grupos em relação à disponibilidade ou velocidade dos serviços de internet.

Tabela 6
Diferenças no suporte de TI e serviços da internet

	Suporte de TI				Internet
	Velocidade		Qualidade		Disponibilidade		Velocidade
	DiM	OLS	DiM	OLS	DiM	OLS	DiM	OLS
PPP	-0,674	-0,669	-0,247	-0,264	-0,005	0,008	0,261	0,254
valor-p	0,007	0,011	0,416	0,181	0,987	0,983	0,466	0,374
IDH		-2,202		-8,303		-3,052		-3,659
valor-p		0,376		0,011		0,247		<0,001
N	39		37		40		39

• Fonte: Elaborada pelos autores. Valores-p nas regressões OLS foram computados a partir de erros-padrão agrupados.

Ao contrário dos materiais de manutenção e administrativos, a responsabilidade pelos serviços de TI e internet no modelo de PPP é de fato compartilhada entre a parte privada e a parte pública. A responsabilidade do contratante limitava-se a fornecer a infraestrutura de rede com e sem fio local, fornecendo computadores, pontos de acesso e outros equipamentos necessários. A obrigação do município, por outro lado, era cuidar da parte da conexão externa da unidade à internet, bem como cuidar do fornecimento e da manutenção de computadores, servidores e impressoras. Isso ajuda a explicar por que esses resultados se afastam dos resultados anteriores, sendo um ponto para o qual retornamos com mais detalhes na seção de discussão.

7. DISCUSSÃO

As Umeis por PPP superaram as de MTCP na fase de construção (tempo de entrega e previsibilidade) e em seis dos 10 resultados operacionais. Três itens não mostraram essencialmente nenhuma diferença, e as unidades de MTCP superaram as unidades de PPP apenas em relação à velocidade das solicitações de suporte de TI. No entanto, acreditamos que essa simples contagem subestima a superioridade das PPPs no presente caso.

Primeiramente, considera-se que as PPPs geraram um tempo de entrega muito menor e muito mais previsibilidade de entrega. Se não houvesse nenhuma outra diferença entre os dois métodos de licitação, isso provavelmente seria suficiente para justificar as PPPs. Embora não tenhamos conseguido examinar os custos de nenhum dos modelos,²⁰ o MTCP é provavelmente um tipo de contratação que gera mais gastos para a cidade, já que as alterações de cronograma estão associadas a alterações orçamentárias. Além disso, um atraso de dois anos na entrega de uma unidade afeta aproximadamente 880 alunos. Para compensar isso, a cidade paga por provedores de serviços não estatais, aumentando ainda mais os custos. A incerteza com relação à entrega das unidades de MTCP torna mais difícil planejar a contratação e o treinamento de professores e funcionários, levando a redundâncias ou falta de pessoal, o que pode gerar mais gastos.

O tempo de entrega também afeta a capacidade da cidade de expandir sua rede. Embora a necessidade de construção das unidades fosse uma prioridade desde o início da administração Lacerda, antes de adotar o modelo de PPP, a cidade conseguiu abrir uma média de 4,25 Umeis por ano. Nos quatro anos pós-PPP e com dados disponíveis, o município abriu uma média de 14,7 escolas por PPP por ano, aumentando também o número de unidades de MTCP entregues para 5,7 Umeis por ano. Ou seja, as PPPs aumentaram consideravelmente a capacidade da cidade de construir escolas. Esse resultado é compatível com as conclusões de Kakabadse, Kakabadse e Summers (2007), aos quais os funcionários públicos confidenciaram que as PPPs são, às vezes, o único modelo para alcançar projetos de construção de escolas em larga escala.

As unidades em PPP apresentaram melhor desempenho do que as unidades de MTCP na redução da carga de trabalho administrativo dos diretores, liberando-os para prestar mais atenção às questões pedagógicas. Essa é provavelmente a consequência mais importante dos resultados operacionais. Embora não tenhamos estatísticas de desempenho dos alunos ou dados de professores, acreditamos que a alocação de tempo dos diretores seja um substituto aceitável para o nível geral de atenção e de atenção ao ensino (que deve ser a principal preocupação das escolas). Nossos resultados estão de acordo com os de Patrinos, Barrera-Osorio e Guaquetá (2009) e IFC (2013), que sugerem que, quando o corpo docente não precisa se preocupar com trabalhos não pedagógicos, ocorre melhoria no aprendizado dos alunos simultaneamente a melhoria na qualidade dos serviços de infraestrutura.

Os quesitos em que as PPPs não superaram os MTCPs estão todos relacionados com tecnologia. Aqui, a responsabilidade compartilhada por esses resultados é a provável explicação. É em tese mais difícil para os diretores e outras partes interessadas determinar quem é responsável por determinado problema, assim como a solução em si pode exigir ação por parte do contratado e do governo. De fato, quando nossos resultados foram apresentados aos diretores, muitos deles apontaram que, como o governo era responsável pela maioria dos serviços de TI, sempre que enfrentavam um problema, tendiam a entrar em contato com o governo e não com o contratado. Houve um consenso de que os serviços de TI simplesmente não eram tão relevantes no presente caso, devido à faixa etária das crianças atendidas. No fim das contas, o desempenho insuficiente nos serviços relacionados com TI não é provavelmente atribuível ao modelo de PPP, da mesma forma que não é um ponto central de preocupação para os diretores.

8. CONCLUSÃO

Este artigo apresentou uma comparação direta entre as PPPs e as contratações públicas tradicionais para a construção e operação da infraestrutura pré-escolar. Analisou o caso de Belo Horizonte, uma cidade grande brasileira, na qual escolas semelhantes foram construídas durante o mesmo período, utilizando ambos os modelos de contratação. Argumentamos que esse cenário cria um quasi experimento e, portanto, podemos empregar uma análise estatística simples para examinar as diferenças de desempenho entre os dois grupos de escolas. Coletamos dados de registros administrativos sobre o tempo de entrega das unidades escolares e realizamos uma pesquisa com os diretores de ambos os tipos de escolas, a fim de examinar os resultados operacionais. As Umeis contratadas por PPP superaram as por MTCP na maioria das categorias.

Três observações são relevantes. Primeiro, uma importante limitação do nosso estudo é que o modelo de PPP implementado em Belo Horizonte difere do MTCP em vários aspectos além do planejamento de construção, financiamento, execução e operação de equipamentos pós-construção. Além desses aspectos mais centrais da distinção PPP/MTCP, Belo Horizonte também divergiu em relação a outras características nesses dois modos de licitação. As regras que regem o MTCP no Brasil tendem a fazer com que as contratações sejam realizadas escola por escola, exigindo um processo de licitação separado para cada uma, permitindo que empresas relativamente pequenas possam competir, além de oferecer economia de escala limitada. Em contrapartida, o modelo PPP foi implementado como um pacote único, aumentando o tamanho do projeto, restringindo potenciais licitantes para empresas maiores e gerando economia de escala. Assim, em Belo Horizonte, as diferenças de desempenho podem ser atribuídas ao conjunto completo de políticas representadas pelas PPPs. Uma consequência desse ponto é que provavelmente é possível melhorar o MTPC como praticado no Brasil, alterando marginalmente algumas de suas características.

No caso de Belo Horizonte, há aspectos que devem fazer com que analistas e formuladores de políticas façam uma pausa antes de generalizar os resultados. A expansão da infraestrutura escolar foi de alta prioridade para a administração e parte de um projeto de longo prazo bem comunicado. O município também foi capaz de buscar consultoria especializada do Banco Nacional de Desenvolvimento Econômico e Social (BNDES) e da Corporação Financeira Internacional (IFC), que ajudaram a estruturar as PPPs. Finalmente, como esse era um programa emblemático e o primeiro desse tipo, todas as entidades públicas tinham um interesse particular em trabalhar com o contratado para que o projeto fosse bem-sucedido, com o objetivo de replicar a iniciativa em outro lugar. Como tal, a experiência de Belo Horizonte incorpora quase todos os fatores que a literatura considera importante para o sucesso das PPPs, como plano/visão específica, compromisso, disposição para chegar em acordos e aconselhamento especializado (Jacobson e Choi, 2008; Trafford e Proctor, 2006; Sagalyn, 2007; Zhang, 2005).

Nossa análise não examina os custos. Como em estudos anteriores, essa limitação decorre da incapacidade de contabilizar os custos operacionais nas escolas de MTCP, que são administradas e pagas pelo governo. A dificuldade surge porque alguns serviços prestados no MTCP fazem parte de contratos de terceirização maiores (abrangendo várias agências do governo), enquanto outros são fornecidos diretamente por diferentes órgãos governamentais, para os quais é difícil atribuir um valor monetário. Suspeitamos fortemente que o tempo de entrega muito maior em unidades de MTCP esteja associado a custos excessivos e altos custos de oportunidade para o serviço público. Se fosse possível realizar uma análise de custo-benefício adequada, suspeitamos que ela também seria favorável às PPPs. No entanto, tais alegações permanecem em grande parte especulativas neste momento. Com essas ressalvas em mente, nossa comparação direta dos dois modos de contratação aponta uma superioridade ampla das PPPs, particularmente quando em contextos de capacidade limitada do Estado para supervisionar uma rápida expansão de serviços para os quais há grande demanda.

REFERENCES

• AKINTOYE, Akintola; CHINYIO, Ezekiel. Private Finance Initiative in the healthcare sector: trends and risk assessment. Engineering, Construction and Architectural Management, v. 12, n. 6, p. 601-616, 2005.
• BALL, Robert. Provision of public service infrastructure - the use of PPPs in the UK and Australia. International Journal of Public Sector Management, v. 24, n. 1, p. 5-22, 2011.
• BELO HORIZONTE. BH metas e resultados: expansão da educação infantil. 2015. Available at: <Available at: http://bhmetaseresultados.pbh.gov.br/content/expansao-da-educacao-infantil >. Accessed on: 27 June 2015.
  » http://bhmetaseresultados.pbh.gov.br/content/expansao-da-educacao-infantil
• BELO HORIZONTE. Edital e Contrato da Parceria Público-Privada das Umeis 2015. Available at: <Available at: http://portalpbh.pbh.gov.br/pbh/ecp/comunidade.do?evento=portlet&pIdPlc=ecpTaxonomia MenuPortal&app=pppeducacao&tax =24123&lang=pt_BR&pg=9061& taxp=0& >. Accessed on: 27 June 2015.
  » http://portalpbh.pbh.gov.br/pbh/ecp/comunidade.do?evento=portlet&pIdPlc=ecpTaxonomia MenuPortal&app=pppeducacao&tax =24123&lang=pt_BR&pg=9061& taxp=0&
• BELO HORIZONTE. Expansão da Rede Municipal de Atendimento à Educação Infantil e ao Ensino Fundamental. In: CONGRESSO NACIONAL DE GESTÃO PÚBLICA, 5., 2015, Brasília. Anais...Brasília: Conagesp, 2015. p. 1-19.
• BELO HORIZONTE. Plano estratégico de Belo Horizonte 2030: BH no rumo certo. 2. versão. Belo Horizonte: Prefeitura de Belo Horizonte, 2011.
• BENNETT, John; IOSSA, Elisabetta. Delegation of contracting in the private provision of public services. Review of Industrial Organization, v. 29, n. 1, p. 75-92, 2006.
• BOVAIRD, Tony. Public-private partnerships: from contested concepts to prevalent practice. International Review of Administrative Sciences, v. 70, n. 2, p. 199-215, 2004.
• BOWERS, Jake; FREDRICKSON, Mark; HANSEN, Ben. RItools: randomization inference tools. R package version 0.1-13. Viena: The R Foundation, 2016.
• BRAZIL. Lei n ^o 8.987, de 13 de fevereiro de 1995 Dispõe sobre o regime de concessão e permissão da prestação de serviços públicos previsto no art. 175 da Constituição Federal, e dá outras providências. Brasília, DF: Casa Civil, Feb. 1995.
• BRAZIL. Lei n ^o 11.079, de 30 de dezembro de 2004 Institui normas gerais para licitação e contratação de parceria público-privada no âmbito da administração pública. Brasília, DF: Casa Civil, Dec. 2004.
• BRAZIL. Lei n ^o 12.796, de 4 de abril de 2013 Altera a Lei n^o 9.394, de 20 de dezembro de 1996, que estabelece as diretrizes e bases da educação nacional, para dispor sobre a formação dos profissionais da educação e dar outras providências. Brasília, DF: Casa Civil, abr. 2013. Available at:<Available at:http://www.planalto.gov.br/ccivil_03/_ato2011-2014/2013/lei/l12796.htm >. Accessed on:27 June 2015.
  » http://www.planalto.gov.br/ccivil_03/_ato2011-2014/2013/lei/l12796.htm
• BRAZIL. Ministério da Administração Federal e Reforma do Estado. Plano diretor da reforma do aparelho do Estado Brasília: Imprensa Nacional, 1995.
• BUSINESS WIRE. Financial Times e Citi indicam finalistas para 2013 FT/Citi Ingenuity Awards 2013. Available at:<Available at:http://www.businesswire.com/news/home/20131002006555/pt/ >. Accessed on: 30 June 2015.
  » http://www.businesswire.com/news/home/20131002006555/pt/
• CABRAL, Sandro; LAZZARINI, Sergio G.; AZEVEDO, Paulo F. Private entrepreneurs in public services: a longitudinal study of outsourcing and statization in prisons. Strategic Entrepreneurship Journal, v. 7, n. 1, p. 6-25, 2013.
• CHAN, Albert P. C. et al. Exploring critical success factors for partnering in construction projects. Journal of Construction Engineering and Management, v. 30, n. 2, p. 188-198, 2004.
• DFE. Department for Education. 6 billion investment to rebuild and improve schools across England 2015. Available at: <Available at: http://www.gov.uk/government/news/6-billion-investment-to-rebuild-and-improve-schools-across-england >. Accessed on: 30 June 2015.
  » http://www.gov.uk/government/news/6-billion-investment-to-rebuild-and-improve-schools-across-england
• DEVNEY, Simon. UK government approach to schools private finance UK Funding Education Agency, 2015. Available at:<Available at:http://www.fespsp.org.br/reinounido2015/workshop/UK%20Govt.pdf >. Accessed on: 23 Sept. 2015.
  » http://www.fespsp.org.br/reinounido2015/workshop/UK%20Govt.pdf
• DUFFIELD, Colin F. Report on the performance of PPP projects in Australia when compared with a representative sample of traditionally procured infrastructure projects Parkville: The University of Melbourne, 2008.
• EGGERS, William D.; STARTUP, Tom. Closing the infrastructure gap: the role of public-private partnerships. New York: Deloitte, 2006.
• EPEC. European PPP Expertise Centre. United Kingdom - England: PPP units and related institutional framework. 2012. Available at:<Available at:http://www.eib.org/mwg-internal/de5fs23hu73ds/progress?id=0Ij7JnLLZPJmehl-GbelwQqyY-QG-G74U1_0QJZR4v4 >. Accessed on: 23 Sept. 2015
  » http://www.eib.org/mwg-internal/de5fs23hu73ds/progress?id=0Ij7JnLLZPJmehl-GbelwQqyY-QG-G74U1_0QJZR4v4
• FLINDERS, Matthew. The politics of public-private partnerships. British Journal of Politics and International Relations, v. 7, n. 2, p. 215-239, 2005.
• GAFFNEY, Declan et al. PFI in the NHS: is there an economic case? British Medical Journal, v. 319, n. 7202, p. 116-119, 1999.
• GASSNER, Katharina; POPOV, Alexander; PUSHAK, Nataliya. Does private sector participation improve performance in electricity and water distribution?Washington, DC: World Bank, 2009.
• GIBBSON, Helen; DAVIES, Brent. The impact of public private partnerships on education: a case study of Sewell Group Plc and Victoria Dock Primary School. International Journal of Educational Management, v. 22, n. 1, p. 74-89, 2008.
• GLAGOLA, Charles R.; SHEEDY, William M. Partnering on defense contracts. Journal of Construction Engineering and Management, v. 128, n. 2, p. 127-138, 2002.
• GUSMÃO, José Reinaldo Luna. Planejamento na contratação de obras públicas: estudo das disposições legais sobre projeto básico, licenciamento ambiental, definição dos custos e fonte dos recursos no processo de contratação de empreendimentos públicos. 67 f. 2008. Monograph (MBA in Construction Management) - Escola Politécnica, Universidade Federal da Bahia, Salvador.
• HANSEN, Ben B.; BOWERS, Jake. Covariate balance in simple, stratified and clustered comparative studies. Statistical Science, v. 23, n. 2, p. 219-236, 2008.
• HART, Oliver; SHLEIFER, Andrei; VISHNY, Robert W. The proper scope of government: Theory and an application to prisons. Quarterly Journal of Economics, v. 112, n. 4, p. 1127-1161, 1997.
• HO, Daniel E. et al. Matching as nonparametric preprocessing for reducing model dependence in parametric causal inference. Political Analysis, v. 15, n. 3, p. 199-236, 2007.
• HODGE, Graeme; GREVE, Carsten. Public-private partnerships: an international performance review. Public Administration Review, v. 7, n. 3, p. 545-558, 2007.
• IFC. International Finance Corporation. Learning PPPs Washington, DC: Handshake, 2013. Available at:<Available at:https://pppknowledgelab.org/handshake >. Accessed on: 23 Sept. 2015.
  » https://pppknowledgelab.org/handshake
• IPA. Infrastructure Partnerships Australia. Performance of PPPs and traditional procurement in Australia. Sidney: The Allen Consulting Group, 2007. Available at: <Available at: http://www.irfnet.ch/files-upload/knowledges/IPA_Performance%20of%20PPPs_2007.pdf >. Accessed on: 23 Sept. 2015.
  » http://www.irfnet.ch/files-upload/knowledges/IPA_Performance%20of%20PPPs_2007.pdf
• JACOBSON, Carol; CHOI, Sang Ok. Success factors: public works and public-private partnerships. International Journal of Public Sector Management, v. 21, n. 6, p. 637-657, 2008.
• JAMES, Sebastian. Review of education capital London: Crown, 2011.
• KAKABADSE, Nada K.; KAKABADSE, Andrew P.; SUMMERS, Nick. Effectiveness of private finance initiatives (PFI): study of private financing for the provision of capital assets for schools. Public Administration and Development, v. 27, n. 49-61, 2007.
• KPMG INTERNATIONAL. Infrastructure 100: world cities edition. Amstelveen: KPMG, 2012.
• LAROCQUE, Norman. Public-private partnerships in basic education: an international review. Reading: CfBT Education Trust, 2008.
• LARSON, Erik. Project partnering: results of study of 280 construction projects. Journal of Management in Engineering, v. 11, n. 2, p. 30-35, 1995.
• LEIRINGER, Roine. Technological innovation in PPPs: incentives, opportunities and actions. Construction Management and Economics, v. 24, n. 3, p. 301-308, 2006.
• LI, Bing et al. Critical success factors for PPP/PFI projects in the UK construction industry. Construction Management and Economics, v. 23, n. 5, p. 459-471, 2005.
• LOBATO, Marcelo C. E S. Licitações de obras públicas pela Lei n^o 8.666/93. Brasília: Advocacia Geral da União, 2015. Available at: <Available at: http://www.agu.gov.br/page/download/index/id/16859616 >. Accessed on: 10 Oct. 2015.
  » http://www.agu.gov.br/page/download/index/id/16859616
• MARIN, Philippe. Public-private partnerships for urban water utilities: a review of experience in developing countries. Washington, DC: World Bank, 2009.
• MONTEIRO, Vera. Aspectos legais da experiência brasileira na modelagem de concessão e propostas para melhorar as normas vigentes. In: PINHEIRO, Armando Castelar et al. (Org.). Estruturação de projetos de PPP e concessão no Brasil: diagnósticos do modelo brasileiro e propostas de aperfeiçoamento. São Paulo: International Finance Corporation, 2015.
• NAHAS, Maria Inês Pedrosa. Metodologia de construção de índices e indicadores sociais, como instrumentos balizadores da gestão municipal da qualidade de vida urbana: uma síntese da experiência de Belo Horizonte. In: HOGAN, Daniel (Org.). Migração e ambiente nas aglomerações urbanas Campinas: Unicamp, 2001. p. 465-487.
• NAO. National Audit Office. PFI: construction performance. London: NAO, 2003.
• NAO. National Audit Office. Performance of PFI construction London: NAO , 2009.
• NISAR, Tahir M. Value for money drivers in public private partnership schemes. The International Journal of Public Sector Management, v. 20, n. 2, p. 147-156, 2007.
• OYEWOLE, Bayo. Public-private partnerships in education. In: PPPs FOR SOCIAL SERVICES AND INFRASTRUCTURE SEMINAR, Accra, 2009. Proceedings…Washington, DC: International Finance Corporation, 2009. p. 1-22.
• PATRINOS, Harry A.; BARRERA-OSORIO, Felipe; GUAQUETÁ, Juliana. The role and impact of public-private partnerships in education Washington, DC: The World Bank, 2009.
• PEREIRA, Bruno. Panorama das PPPs no Brasil. In: INTERNATIONAL MEETING INFRASTRUCTURE AND PPP’S, 2015, Brasília. Anais... Brasília: CBIC, 2015. p. 1-13.
• PRICEWATERHOUSERCOOPERS. Delivering the PPP promise: a review of PPP issues and activity. Londres: PricewaterhouseCooper, 2005.
• PRICEWATERHOUSECOOPERS. Evaluation of building schools for the future London: Department for Children Schools and Families, 2007.
• REVISTA REVISTAREVISTA Planejar BH, Belo Horizonte, ano 2, n. 8, 2000.
• SAGALYN, Lyanne B. Public/private development: lessons from history, research, and practice. Journal of the American Planning Association, v. 73, n. 1, p. 7-22, 2007.
• TANG, Wenzhe; DUFFIELD, Colin F.; YOUNG, David M. Partnering mechanism in construction: an empirical study on the Chinese construction industry. Journal of Construction Engineering and Management, v. 132, n. 3, p. 217-229, 2006.
• TRAFFORD, Sue; PROCTOR, Tony. Successful joint venture partnerships: public‐private partnerships. International Journal of Public Sector Management, v. 19, n. 2, p. 117-129, 2006.
• WORLDBANK. Public-private partnerships: reference guide version 2.0. Washington, DC: World Bank, 2014. Available at: <Available at: http://www.initiative-ppp-afrique.org/content/download/990/7987/version/2/file/PPPreferenceguide2.0_PPIAF.pdf >. Accessed on: 23 Sept. 2015.
  » http://www.initiative-ppp-afrique.org/content/download/990/7987/version/2/file/PPPreferenceguide2.0_PPIAF.pdf
• ZHANG, Xueqing. Critical success factors for public-private partnerships in infrastructure development. Journal of Construction Engineering and Management, v. 131, n. 1, p. 3-14, 2005.

• 1
  O Brasil tem pouco mais de 5 mil municípios. Com uma população de cerca de 2,5 milhões, Belo Horizonte é a sexta maior cidade (e a terceira maior área metropolitana) do país. Neste artigo, usamos os termos “cidade” e “município” de forma intercambiável.
• 2
  Os municípios são governados por prefeitos eleitos que cumprem um mandato de quatro anos e são autorizados a pleitear sua reeleição imediata uma vez. Marcio Lacerda foi prefeito de Belo Horizonte por dois mandatos consecutivos, de 2009 a 2016.
• 3
  Essa exigência foi estabelecida pela Lei Geral de Educação do Brasil (Lei Federal n^o 9.394/1996), conhecida como Lei de Diretrizes e Bases da Educação, ou simplesmente LDB.
• 4
  O contrato da PPP foi assinado em 2012.
• 5
  A tabela exclui as Umeis que foram transferidas para o município no período. Uma das Umeis feitas por MTCP e entregue no período foi iniciada antes de 2005. As diferenças restantes entre Umeis iniciadas e entregues são devidas a Umeis que deveriam ter sido entregues em 2016, após a realização do estudo. Nossa amostra é o subconjunto das unidades incluídas nesta tabela que estavam em operação por pelo menos seis meses no momento do estudo (ou seja, no final de 2015).
• 6
  A cidade ainda ficou com a obrigação de fornecer acesso à internet para as escolas e fornecer equipamentos de informática.
• 7
  O contrato também contemplou a construção de cinco novas escolas primárias, que não foram incluídas na análise.
• 8
  O período de 24 meses foi calculado após um período de carência de 30 dias a partir da assinatura do contrato.
• 9
  O tipo III foi utilizado tanto em unidades construídas por PPP como em unidades construídas concomitantemente por meio de MTCP. De acordo com a equipe técnica da cidade, o tipo III se parece bastante com o tipo IV, que também foi usado em outras unidades construídas por meio de MTCP durante o mesmo período.
• 10
  Esses parâmetros estão especificados no documento “Anexo 5 — Especificações de Projetos e Obras das Unidades de Ensino, p. 2”, disponível como material suplementar para este artigo.
• 11
  O IVS é um índice que calcula uma taxa de inclusão/exclusão para a população de cada região da cidade. O índice é baseado no acesso público à infraestrutura, bem como no acesso a serviços culturais, econômicos, jurídicos e de saúde (Nahas, 2000; Belo Horizonte, 2000).
• 12
  As unidades de MTCP foram construídas no Barreiro, Centro Sul, Leste, Noroeste, Norte, Oeste, Pampulha e Venda Nova. As unidades de PPP foram construídas no Barreiro, Leste, Nordeste, Norte, Oeste, Pampulha e Venda Nova.
• 13
  Codificamos essa variável a partir dos relatórios individuais emitidos em cada projeto. Consideramos os terrenos “planos” quando pouca ou nenhuma preparação era necessária para nivelar o terreno. Isso incluiu situações em que parte do terreno era plano o suficiente para construir, mesmo se algumas de suas partes fossem inclinadas.
• 14
  Obtivemos autorização da Secretaria Municipal de Educação em 9 de julho de 2015.
• 15
  Também avaliamos a satisfação dos diretores com os serviços de suporte técnico e administrativo. Como esses serviços não são oferecidos ao grupo de MTCP, não os relatamos aqui, mas incluímos os resultados nos materiais suplementares.
• 16
  Esses resultados não são influenciados por outliers; a mediana do tempo para conclusão foi de 19 e 11 meses, respectivamente.
• 17
  A variável de resultado é o tempo de entrega, medido em meses. A amostra é a mesma em todas as especificações.
• 20
  A comparação de custos foi a nossa primeira ideia de pesquisa. No entanto, é impossível obter custos de construção para unidades específicas construídas por meio de PPP, porque os pagamentos públicos consideram construção e operação em conjunto. Também é impossível obter custos operacionais para unidades individuais operadas pelo município, pois muitos serviços são agrupados entre unidades.

• {Versão traduzida}
• Os autores agradecem a Armando Castelar e Flávio Menezes pelos comentários nas versões anteriores deste artigo, bem como a Michele Bergamini, Cristiano Castro, Jane Menezes e Alessandra Cardoso pela sua valiosa ajuda na pesquisa de campo
• 18
  Essa variante do teste de Levene baseia-se nos desvios absolutos da mediana (em vez da média) e é considerada muito mais robusta em relação aos desvios da suposição de normalidade.
• 19
  A tabela 5 apresenta os resultados para duas variáveis dependentes: parcela do tempo destinada à atividades pedagógicas e concordância com a afirmação de que o diretor passa muito tempo envolvido em atividades não pedagógicas. A primeira estimativa em cada caso é uma diferença simples de médias (DiM), enquanto a segunda estimativa é derivada por mínimos quadrados ordinários com erros-padrão agrupados (OLS CL SE). Os valores-p são mostrados em itálico.

Datas de Publicação

• Publicação nesta coleção
  Nov-Dec 2018

Histórico

• Recebido
  11 Out 2017
• Aceito
  05 Abr 2018