Acessibilidade / Reportar erro

Organizações sociais de saúde: o modelo do Estado de São Paulo

Social health organizations: the São Paulo State model

Resumos

A experiência de um novo modelo de gestão dos serviços públicos de saúde implantada no Estado de São Paulo é analisada neste artigo, a partir da caracterização da especificidade da lei que regulamenta a criação das Organizações Sociais de Saúde, tendo como referencial a gestão estadual do Sistema Único de Saúde, seus antecedentes e a situação atual. Os dados apresentados foram coletados a partir de relatórios produzidos pela equipe técnica responsável pelo convênio entre a Secretaria e a Faculdade de Saúde Pública -- USP, para acompanhamento do projeto. Os resultados encontrados demonstraram o cumprimento satisfatório por parte das OSS/SUS, a partir das metas estabelecidas no contrato de gestão pela Secretaria, para o primeiro ano de atividade. O trabalho aborda, ainda, as perspectivas do novo modelo e da atual política. Os autores alertam para o fato de que a regulação, através de um novo contrato de gestão, deve considerar o desempenho das OSS, enfatizando processos, resultados e inserção sistêmica, referenciada pela demanda de saúde regional.

Modelos organizacionais; Organizações de saúde; Contratos de gestão; Autonomia; Descentralização


The experience with a new model of public health services management, introduced in the São Paulo State is analyzed in this paper based on the characterization of the specificity of the law that referring to the creation of Social Organizations of Health. It has still as a referential the state management of the Single Health System given by the antecedents and actual situation. The data showed were collected from reports produced by the technical team responsible by the agreement between the Health Secretary of State and the Public Health Faculty -- São Paulo University. The results achieved showed from the fixed aim in the management agreement, by the Secretary, for the first year of activity a satisfactory performance by the Social Organizations of Health. The paper discuss the perspectives of a new model and the actual politics, taking in care the threatens and opportunities. The authors distinguish aspects related to a new regulation linked to process, results and systems since health regional demand.

Organizational models; Health organizations; Autonomy; Decentralization


ARTIGO

ARTICLE

Nelson Ibañez 1
Olímpio José Nogueira Viana Bittar 2
Evelin Naked de Castro Sá 3
Edison Keiji Yamamoto 4
Márcia Furquim de Almeida 5
Cláudio Gastão Junqueira de Castro 3

Organizações sociais de saúde: o modelo do Estado de São Paulo

Social health organizations: the São Paulo State model

1 Superintendência do Hospital do Servidor Público do Estado de São Paulo. Av. Ibirapuera 981, 04029-000, São Paulo SP. nibanez@iamspe.saude.sp.gov.br
2 Faculdade de Saúde Pública, Universidade de São Paulo
3 Departamento de Prática de Saúde Pública, Faculdade de Saúde Pública da Universidade de São Paulo
4 Secretaria de Estado da Saúde
5 Departamento de Epidemiologia, Faculdade de Saúde Pública da Universidade de São Paulo

Abstract The experience with a new model of public health services management, introduced in the São Paulo State is analyzed in this paper based on the characterization of the specificity of the law that referring to the creation of Social Organizations of Health. It has still as a referential the state management of the Single Health System given by the antecedents and actual situation. The data showed were collected from reports produced by the technical team responsible by the agreement between the Health Secretary of State and the Public Health Faculty ¾ São Paulo University. The results achieved showed from the fixed aim in the management agreement, by the Secretary, for the first year of activity a satisfactory performance by the Social Organizations of Health. The paper discuss the perspectives of a new model and the actual politics, taking in care the threatens and opportunities. The authors distinguish aspects related to a new regulation linked to process, results and systems since health regional demand.

Key words Organizational models, Health organizations, Autonomy, Decentralization

Resumo A experiência de um novo modelo de gestão dos serviços públicos de saúde implantada no Estado de São Paulo é analisada neste artigo, a partir da caracterização da especificidade da lei que regulamenta a criação das Organizações Sociais de Saúde, tendo como referencial a gestão estadual do Sistema Único de Saúde, seus antecedentes e a situação atual. Os dados apresentados foram coletados a partir de relatórios produzidos pela equipe técnica responsável pelo convênio entre a Secretaria e a Faculdade de Saúde Pública ¾ USP, para acompanhamento do projeto. Os resultados encontrados demonstraram o cumprimento satisfatório por parte das OSS/SUS, a partir das metas estabelecidas no contrato de gestão pela Secretaria, para o primeiro ano de atividade. O trabalho aborda, ainda, as perspectivas do novo modelo e da atual política. Os autores alertam para o fato de que a regulação, através de um novo contrato de gestão, deve considerar o desempenho das OSS, enfatizando processos, resultados e inserção sistêmica, referenciada pela demanda de saúde regional.

Palavras-chave Modelos organizacionais, Organizações de saúde, Contratos de gestão, Autonomia, Descentralização

Introdução

Estimuladas pelo movimento internacional de Reforma do Estado, proliferaram, no país, experiências na área da administração pública, cujas características básicas visavam conferir maior flexibilidade gerencial com relação à compra de insumos e materiais, à contratação e dispensa de recursos humanos, à gestão financeira dos recursos, além de estimular a implantação de uma gestão que priorizasse resultados, satisfação dos usuários e qualidade dos serviços prestados.

Ferlie et al. (1999) caracteriza, no contexto internacional das reformas do Estado, quatro modelos da nova administração pública:

1) modelo do impulso para a eficiência: aproximação entre serviços públicos e serviços privados, preconizando a transformação do setor público através da introdução de padrões de eficiência desenvolvidos pelo setor privado;

2) maior controle financeiro: introdução de sistemas de custos e auditorias ¾ quanto aos aspectos financeiros e profissionais, poder outorgado à administração superior, com estabelecimento de objetivos claros, com monitoramento do desempenho e desregulamentação do mercado de trabalho;

3) modelo downsizing e descentralizado: separação entre o financiamento público e dotação do setor autônomo (paramercados), mudança da gestão hierárquica para a gestão por contrato, surgimento de organizações separadas para compra e para prestação de serviços e redução drástica da folha de pagamento das organizações públicas;

4) modelo da busca pela excelência, baseado na Escola de Relações Humanas, com ênfase para a "cultura organizacional": modelo de orientação para o serviço público, até hoje este tem sido o padrão menos desenvolvido, fruto da fusão entre os modelos definidos pelos serviços público e privado, conferindo, ao primeiro, aspectos administrativos qualitativos presentes no segundo, incluindo-se a responsabilidade dos serviços com os usuários e os cidadãos, não mais considerados como meros consumidores ou simples usuários.

No caso brasileiro, nas últimas décadas, os modelos jurídico-administrativos acordes com estas inovações obedeceram às figuras da administração indireta (autarquias, empresas públicas) ou, até mesmo, às fundações de direito privado, de apoio à administração direta e, mais recentemente, o de Organização Social, formulado pelo Ministério da Administração Federal e Reforma do Estado ¾ MARE (1995). Assinale-se que o Plano Diretor da Reforma do Aparelho de Estado (PDRAE) foi adotado rápida e legalmente no Executivo Federal e nos Legislativos das Unidades Federadas.

No texto produzido pelo PDRAE, a organização social é caracterizada como entidade de interesse social e de utilidade pública, associação civil sem fins lucrativos, e surgiria pela qualificação de pessoas jurídicas de direito privado nas atividades de ensino, pesquisa científica, desenvolvimento tecnológico, proteção e preservação do meio ambiente, cultura e saúde, podendo, ainda, ser criada a partir da substituição de órgão público de qualquer figura jurídica, pela extinção da instituição e dos cargos públicos vagos e em comissão, com inventário do patrimônio. A continuidade das atividades seria supervisionada por órgão da Presidência da República, com registro formal da organização social após qualificação proposta pelo ministro de Estado da área correspondente e aprovação do presidente da República.

O instrumento básico que garantiria a administração gerencial diferenciada seria o contrato de gestão entre o poder público e a organização social, prevendo multas, resultados, prestação de contas, processos de fiscalização, modelo de estrutura e outros itens, a exemplo do Laboratório Nacional Luiz Sincrotón, da Fundação Roquette Pinto, do Instituto Nacional do Câncer, entre outros.

Em documento específico ¾ MARE (1995) ¾ sobre contrato de gestão, o ministério traça os compromissos institucionais e de apoio à modernização da gestão, definindo as seguintes medidas para o realinhamento estratégico-estrutural: redefinição de sua missão, identificação precisa de produtos e clientes, objetivos e metas claramente definidos, definição de estrutura organizacional e tecnologia a serem utilizadas, além do desenvolvimento de metodologias na área de planejamento, avaliação de desempenho, informatização, recursos humanos, custos e regulamentação específica para investimentos.

Lima (1996) define o contrato de gestão como instrumento gerencial originado da administração por objetivos (APO) ou administração sistêmica por objetivos e resultados. Segundo André (1993), o contrato consiste no estabelecimento periódico e sistemático de compromissos negociados e acordados entre o nível local e o central, acerca dos objetivos e metas para um dado período de gestão, com o intuito de induzir à participação maior e à co-responsabilização na operacionalização dos referidos objetivos e metas. Em contrapartida, a administração central concede à local maior autonomia gerencial, liberando-a do controle dos meios, que passa a ser realizado sobre os resultados alcançados.

Outra abordagem para este tipo de contrato no setor da saúde refere-se à sua dimensão sistêmica, a fim de evitar que a desarticulação, desintegração e atomização hoje existentes venham a ser reforçadas. Nesse sentido, afirma Lima (1996), é necessário que esse tipo de contrato esteja associado a políticas e a outros instrumentos gerenciais de âmbito regional/central que assegurem a integração, a articulação e o equilíbrio da rede de serviços, bem como o acesso da população às ações por elas desenvolvidas.

Fleury (1996) aponta um outro aspecto "no problema ligado à autonomia, regulação e desempenho que é a questão da prestação de contas, da responsabilização, accountability, do interesse público". Essa dimensão, segundo a autora, transcende a realidade institucional, remetendo ao contexto da reestruturação das relações ente Estado e sociedade.

Ferlie et al. (1999), pensando na possibilidade de classificar as mudanças organizacionais ocorridas a partir das reestruturações em curso na nova administração pública, propõe especificamente para a análise do NHS (National Health Service) seis indicadores de extensão e profundidade deste processo, a saber: extensão da mudança múltipla inter-relacionada ao sistema como um todo; criação de novas formas organizacionais para o setor público; desenvolvimento de mudanças em cascata, afetando todo o sistema até ao nível local; introdução de mudanças nos serviços prestados e no modo de prestá-los; reconfiguração das relações de poder; e formação de cultura, ideologia e significados organizacionais novos.

O objeto do presente artigo é analisar o modelo de parceria adotado pelo governo do Estado de São Paulo para a gestão de hospitais, finalizados entre 1998 e 2001, previsto no Programa Metropolitano de Saúde, formalizado pela lei complementar no 846/1998, que "dispõe sobre a qualificação de entidades como organizações sociais e dá outras providências". O fio condutor da análise situa a nova política adotada para gerência das unidades no contexto maior da Administração Pública Paulista e da gestão do SUS no Estado de São Paulo, e especificamente na região metropolitana. Para tanto, procurou-se inicialmente caracterizar as mudanças da Secretaria de Estado da Saúde de São Paulo, definindo a especificidade da lei que regulamenta as organizações sociais, seus antecedentes, bem como a situação da gestão estadual do SUS frente à rede de serviços de saúde na região metropolitana.

Posteriormente, avalia-se, a partir de dados preliminares e relatórios elaborados pelo convênio entre Secretaria e Faculdade de Saúde Pública/USP, o desempenho mínimo exigido pelo contrato de gestão firmado entre a SESSP e as OSS, enfocando o grau de autonomia gerencial, a eficiência e seus resultados.

Por último, discutem-se as perspectivas desta nova política, abordando as oportunidades e ameaças que no momento atual apresentam-se com referência à gestão do SUS, além de apontar algumas sugestões para o seu aprimoramento.

Contexto e avaliação da nova política

São três as dimensões de contexto que informam a avaliação e análise da nova política: a) a legitimidade e potencialidade da regulamentação legal das OSS, como recurso organizacional do SUS; b) antecedente e atual situação do gestor estadual frente à rede de serviços de saúde na região metropolitana; c) avaliação do desempenho das OSS.

A seguir analisaremos cada uma dessas dimensões separadamente.

a) Especificidade da regulamentação das OSS em São Paulo

O Estado de São Paulo adota a potencialidade da nova figura de organização social dentro das medidas de gestão estratégica e modernização do serviço público, compreendendo o programa de privatizações, o estímulo à demissão voluntária, a adoção do contrato de gestão nas descentralizadas, o programa de aumento da produtividade e qualidade, entre outros.1 1 As decisões do Governo quanto à Administração Pública Paulista vinham caracterizando as formas direta e indireta autárquicas de administração como em tal grau homogeneizadas, a ponto de não estimularem a sua utilização como formas organizacionais inovadoras ou em expansão no serviço público. As fundações autorizadas pelo legislativo, e aquelas de apoio, foram, aos poucos, legitimadas em suas funções de "melhorar" a obtenção e gestão dos meios e insumos para as autarquias direta e indireta. Considerava-se, como paradigma, a impossibilidade de mudança inovadora naquelas formas organizacionais, mas que estes insumos seriam legítimos, criando-se, assim, organizações híbridas em praticamente todos os setores, como se verifica em Sá (1998).

A proposta de organização social do governo do Estado, em 1996-1997, abrangia, inicialmente, as áreas de saúde, agricultura e cultura, conforme minuta de anteprojeto de lei complementar. Porém, a necessidade premente de incorporar à rede de serviços de saúde dez hospitais gerais em condições de operação restringiu a proposta de OSS exclusivamente à área de saúde.

A opção por essa alternativa justifica-se, entre outros motivos, pela impossibilidade de recrutamento de recursos humanos frente às limitações financeiras determinadas pela Lei Camata, pelos modelos de padrões salariais vigentes e pelo calendário eleitoral.

As reações na área da Saúde contra tal iniciativa foram imediatas, baseadas em dois argumentos centrais: o restabelecimento das características legais próprias das figuras da Administração Pública Indireta, como autarquias e fundações, e a realização de parcerias mediante convênios e contratos entre poder público e outros órgãos permitiriam adotar todos os aspectos valorizados na gerência da organização social; o segundo argumento alertava para um grave desvio do modelo SUS, com a entrega de partes da administração pública para a esfera privada.

Às críticas que se faziam ao Plano de Atendimento à Saúde (PAS) do município de São Paulo, em contexto totalmente diferente, vinha-se somar a organização social, como responsabilidade do Estado com a Saúde. A Organização Social/Saúde/São Paulo é uma forma de parceria, explicitada em hierarquia legal (lei complementar), adequada para garantir os mecanismos de controle social e os princípios que devem reger a administração pública.2 2 A caracterização do modelo em lei complementar tem, entre outras precauções, a definida em trecho da Mensagem n o 7 do governador do Estado, ao encaminhar o projeto ao Poder Legislativo: Inexistirá, nas organizações sociais, participação direta do Poder Público Estadual nos seus órgãos diretivos para evitar a atração dessas entidades para o âmbito da Administração Indireta, com a incidência, cedo ou tarde, do plexo normativo que, minuciosamente, reflita a gestão descentralizada de serviços e entidades públicas. É de se enfatizar que a atividade privada de interesse público a ser fomentada, a par das normas condicionantes da qualificação como organizações sociais previstas no projeto em pauta, estará sujeita a intenso controle de resultados por parte do Poder Público, na forma discriminada no contrato de gestão respectivo, sem prejuízo do controle do uso dos recursos públicos a ser efetuado, internamente, pelos órgãos competentes do Poder Executivo e, externamente, pelo Tribunal de Contas, Ministério Público e Poder Judiciário.

Seguem-se os comentários de Sá (1998) sobre o texto final da lei, quanto aos aspectos que lhe dão legitimidade como recurso organizacional SUS: é exclusivo para atendimento SUS, na complementaridade prevista na Constituição Federal, e na lei complementar no 791/95 ¾ que estabelece o Código de Saúde do Estado, devidamente incorporados à lei complementar 846/98 (artigo 22); não altera o modelo SUS; utilizará tabela SUS e receberá mais 50% (cinqüenta por cento), com dotação no orçamento estadual; inclui contrato de gestão como instrumento de administração da parceria e, finalmente, prevê convocação pública para escolha, embora não licitada na forma convencional. Como veremos mais adiante, as instituições qualificadas pela Secretaria já são, em grande parte, as responsáveis pelo atendimento SUS na região metropolitana de São Paulo.

Do ponto de vista da potencialidade organizacional do SUS, o escopo da lei propicia os efeitos desejados por uma nova política da administração pública, ou seja: extensão progressiva do modelo aos hospitais de administração direta, visto que o atendimento restringe-se exclusivamente à clientela SUS; revisão das relações do sistema gestor da Secretaria com as entidades que atualmente obedecem ao modelo federal de compra de serviços; aprimoramento da eficiência e do controle social dos serviços, afetando todo o sistema até ao nível local.

b) Antecedentes e situação da gestão estadual de serviços de saúde na região metropolitana

As unidades hospitalares ¾ que constituíam o objeto do contrato das Organizações Sociais (OSS/SUS) ¾ fizeram parte do Programa Metropolitano de Saúde (PMS), cuja origem foi o Projeto de Expansão da Rede de Serviços Básicos de Saúde para a Região Metropolitana de São Paulo ¾ SES (1981), documento-base do contrato assinado em julho de 1984 com o Banco Mundial, para financiamento da construção de unidades hospitalares e básicas de saúde, bem como para a implementação de um novo modelo gerencial e assistencial.

O período de redemocratização cujo marco foram as eleições de 1982 para os governos estaduais, aliado às transformações implantadas no âmbito federal pelas AIS (Ações Integradas de Saúde), precursoras do SUDS e do SUS, são fatores que influenciaram a assinatura desse acordo.

O projeto inicial da SES (1975) diagnosticava, além das péssimas condições de saúde (insuficiência de habitação e saneamento e alta concentração demográfica), uma rede de serviços públicos insuficiente, concentrada na região central do município, com baixo poder de resolução e de coordenação.

Por essa razão, o Projeto de Expansão de 1981 concebeu uma nova estrutura para os serviços de saúde. Segundo o documento, os objetivos eram: estabelecer um Sistema Estadual de Saúde, envolvendo a regionalização e hierarquização dos serviços de saúde; estender a cobertura das unidades básicas de saúde e de leitos hospitalares a toda a população da região, mediante a ampliação da rede física, visando, em primeiro lugar, eliminar as deficiências qualitativas e quantitativas da rede de serviços de saúde; implantar uma política estadual de saúde, capaz de assumir a coordenação para construção ou melhoria de unidades sanitárias e hospitalares em áreas consideradas carentes, mudança na forma de sua atuação e adoção de uma política de recursos humanos adequada aos objetivos propostos.

As estratégias de mudança na gestão estadual a partir do PMS, foram vinculadas à capacidade de a administração pública responder de maneira eficiente ao modelo de gestão integrada de centros de saúde e hospitais, sob direção única, tendo como base as demandas de saúde da população, prevendo já à época a possibilidade de uma gestão privada (exemplo o módulo de Cotia), como se verifica em Ibañez et al. (1986).

De acordo com Viana (1994), a análise do PMS evidencia, portanto, a inter-relação existente entre a implantação de um novo modelo assistencial, a rede física de serviços e a política de recursos humanos: é impossível mudar o modelo de atendimento sem introduzir modificações na rede física e na política de recursos humanos. A autora comenta, ainda, alguns dos fatores que limitaram a expansão da proposta do PMS na Secretaria:

• o setor público estadual de saúde, no período 1983-1986, apesar de visar à mudança do modelo e de buscar a integração das ações e a incorporação da assistência médica pelos serviços ambulatoriais públicos, não possuía uma oferta de serviços suficiente para cobrir a população do Estado, pois a maioria dos leitos hospitalares era privada, e a rede ambulatorial pública estava desaparelhada para oferecer atendimento médico;

• o INAMPS detinha a hegemonia do atendimento curativo mediante contratos e convênios com serviços privados ¾ e este tipo de prestação tem sua lógica própria e não visa à integração;

• os recursos humanos da SES não estavam capacitados e preparados culturalmente para tais mudanças;

• os recursos financeiros (do Ministério da Previdência, através das Autorizações de Internação Hospitalar/AIH, ou do Tesouro Estadual) eram insuficientes para garantir estas mudanças, que, não por acaso, tiveram que contar com auxílio de verbas internacionais.

Apesar desse quadro ¾ que só seria modificado a partir da emergência do SUDS/SUS, em 1987-1988 ¾, pode-se afirmar que o PMS serviu como instrumento catalisador do processo de descentralização da saúde, em virtude das diretrizes adotadas pelo governo Montoro: provocou a reforma da SES de 1986, com a mudança das estruturas regionais (GERA, 1971), estabelecendo os Escritórios Regionais de Saúde (ERSAS), com grau de autonomia maior que o das direções regionais anteriores.

A municipalização dos serviços de saúde, cujos processos de implementação e regulamentação ocorreram através das NOBs 93 e 96, com a definição de competências para a gestão do SUS e gerência das unidades de saúde, nesta instância descentralizada, orienta a mais recente inflexão da gestão estadual do SUS. O curso desse processo ocorreu em ritmo variado no Estado de São Paulo: acelerado no interior, e lento na capital, em virtude das diferentes políticas assumidas pela gestão municipal no período, dificultando sobremaneira a implementação da gestão do SUS nesta região.

Com base no intenso processo de municipalização ocorrido no Estado, aliado à hipertrofia da estrutura estadual dos ERSAS e à nova filosofia de redução do tamanho do Estado, em 1995, a gestão estadual da saúde promove uma mudança nos órgãos regionais da SES, reduzindo seu número de mais de 65 Escritórios Regionais no interior e 15 na região metropolitana para 24 Diretorias Regionais de Saúde, 19 e 15, respectivamente.

No município de São Paulo, Dir -1 Capital, foram criados cinco núcleos de saúde, definindo competências relacionadas à rede básica e à integração com os hospitais locais. A regional da capital é responsável pela coordenação de 17 hospitais de administração direta, parte dos hospitais especializados já existentes na capital, e aqueles construídos na primeira etapa do PMS, além dos cinco hospitais ligados ao antigo INAMPS e da rede básica não-municipalizada.

Do ponto de vista da descentralização, o poder de coordenação dessas instâncias tornou-se cada vez mais ineficiente em função dos seguintes aspectos: em relação à rede básica, a SES não definiu de maneira clara uma política de implementação, somando-se a grande dificuldade de articulação dos serviços estaduais e municipais decorrentes das divergências políticas na condução do SUS no município, tendo como resultante a implantação do PAS na capital; em relação à rede hospitalar, os graus de inovação e principalmente de autonomia gerencial nos hospitais de administração direta foram insignificantes, facilitando a desintegração entre a rede básica e a hospitalar; quanto à política de recursos humanos, as propostas de reformulação enfrentaram dificuldades pela própria situação financeira do governo do Estado e pela legislação e políticas de gestão de pessoal ultrapassadas.

Deve-se ressalvar, quanto ao aspecto de reorganização da Secretaria, a criação do Programa QUALIS, ligado à concepção do Programa de Agente Comunitário (PAC) e Programa do Médico de Família (PSF) em algumas áreas do município, que tiveram um efeito inovador, com a introdução, nas instâncias centrais e regionais, de mecanismos de referência e contra-referência da demanda hospitalar pelo Plantão Controlador.

Nesse contexto cujas características básicas são a presença descoordenada do setor público (Estado e municípios) na área metropolitana, a descontinuidade de políticas (o PMS foi um programa abortado nas suas concepções assistenciais e gerenciais, desenvolvendo-se, apenas, quanto ao seu aspecto físico) e a grande carência e iniqüidade na oferta de serviços, insere-se a nova política relacionada às organizações sociais.

c) Análise e avaliação do desempenho das OSS

As OSS assumiram, em tempos diferentes, dez novos hospitais (2.200 leitos), localizados em áreas periféricas, cuja distribuição e entidades mantenedoras é apresentada na tabela 1.

Para o acompanhamento do novo modelo, foi firmado convênio entre a Secretaria de Estado da Saúde e a Faculdade de Saúde Pública da Universidade de São Paulo. A coordenação do convênio definiu três subprojetos:

• análise das atividades hospitalares,

• análise de demanda;

• política de medicamentos.

Algumas consultorias especiais também foram utilizadas visando complementar aspectos da avaliação não contemplados nos subprojetos.

Os dados expostos a seguir foram obtidos a partir do relatório (Bittar et al., 2000) elaborado pela equipe responsável pelo subprojeto de análise das atividades hospitalares. A metodologia utilizada foi a seguinte: visitas aos hospitais, com roteiro estruturado a fim de reunir informações quanto à estrutura física do hospital, vínculos de referência e contra-referência, detalhes organizacionais das diversas áreas e subáreas que interferem na produção e na qualidade dos programas e serviços prestados; coleta mensal de dados, a partir do mês de julho de 1999, utilizando formulário estruturado (Relatório de Atividades Hospitalares), adotado pela Secretaria como padrão, contendo as informações sobre capacidade instalada, produção, recursos humanos, financeiros, produtividade e qualidade; análise da morbidade visando à caracterização da complexidade do hospital, fazendo uso dos relatórios das AIHs, segundo causa de internação e procedimentos.

O período analisado corresponde aos meses de julho de 1999 a junho de 2000, das seis primeiras OSS-SUS listadas acima, juntamente com as datas de qualificação, da assinatura do contrato de gestão e do início das atividades. Para este artigo foram selecionados os dados do mês de junho de 2000; os hospitais foram identificados como H1, H2, H3, H4, H5 e H6.

Desempenho mínimo exigido no contrato de gestão

Uma primeira análise do desempenho das OSS/ SUS baseou-se em parâmetros do Plano Operacional/Metas, anexo à minuta de contrato de gestão, resolução SS 106, de 10.6.1998, revelando o seguinte:

A) Indicadores de produção de serviços

• atendimento ambulatorial e de pronto-socorro: no prazo máximo de 6 (seis) meses deverá ser atingida a meta de 15.000 atendimentos/mês de Ambulatório e Pronto-Socorro; os atendimentos não poderão ter restrições quanto ao tipo de patologia; após 1 (um) ano de atividade, o hospital deverá manter média mensal mínima de 15.000 (quinze) mil atendimentos no Ambulatório e Pronto-Socorro;

• atendimento hospitalar: no prazo máximo de 6 (seis) meses deverá ser atingida a meta de 800 (oitocentas) saídas/mês; após 1 (um) ano de atividade, o hospital deverá apresentar: média mensal mínima de 1.000 (mil) saídas/mês; taxa de ocupação de no mínimo 75% (setenta e cinco por cento); média de permanência mínima de 3,5 (três e meio) dias; após 1 (um) ano de atividade, o valor médio da AIH deverá ser de no mínimo R$350,00 (trezentos e cinqüenta reais).

B) Indicadores de qualidade dos serviços

• taxa de cesárea: inferior a 30% (trinta por cento);

•taxa de infecção hospitalar: inferior a 5% (cinco por cento);

•taxa de letalidade hospitalar: inferior a 10% (dez por cento).

C) Indicadores de satisfação da clientela

A partir de um ano de funcionamento, a OSS deverá realizar pesquisas com freqüência anual entre os usuários do hospital, internação, atendimento de pronto-socorro e ambulatorial, em que no mínimo 80% (oitenta por cento) das pessoas atendidas considerem o nível de atendimento prestado igual, ou melhor, àquele recebido em outros serviços públicos ou privados, dos quais se utilizaram nos últimos dois anos.

D) Indicadores de produção

A tabela 2 mostra os indicadores de produção selecionados a partir do contrato de gestão, acrescidos dos números de cirurgias e partos.

Na análise dos dados, verifica-se:

a) em relação às metas ambulatoriais, os resultados encontrados foram distintos para os hospitais localizados no município de São Paulo e fora dele. No primeiro caso, a meta de 15.000 consultas foi ultrapassada em mais de 50%, enquanto que, no segundo, a meta não foi atingida. A explicação para isso deve-se ao fato de que no município de São Paulo, além das deficiências apresentadas pela rede básica, existem fatores ligados à demanda reprimida e à porta aberta no Pronto-Atendimento, enquanto que os hospitais localizados fora da capital apresentam-se mais como referência para as redes ambulatoriais e para o plantão controlador regional da SES, como prontos-socorros municipais;

b) com relação ao atendimento hospitalar, praticamente todas as unidades alcançaram as metas, chamando a atenção as elevadas taxas de ocupação em quatro delas, cujas médias de permanência encontram-se acima do valor planejado. Sobre este último aspecto, os dados do perfil de morbidade hospitalar (tabela 10) desses hospitais indicam uma justificativa plausível, relacionada a dois fatores: operação de leitos psiquiátricos em duas unidades e o elevado percentual de causas externas apresentado em todas as unidades.

c) o volume de cirurgias e partos deixa evidente a importante participação dessas unidades no sistema de saúde da região metropolitana de São Paulo, promovendo um alívio no atendimento dos hospitais públicos.

Valores médios das AIHs

A tabela 3 indica os valores médios encontrados após um ano de funcionamento, sendo que somente metade dos hospitais atingiu o valor estipulado no contrato. A análise deste dado inclui a complexidade do atendimento, bem como a valorização defasada de alguns procedimentos clínicos e cirúrgicos de nível secundário, oferecidos pela tabela SUS, e que constitui a grande demanda para estes hospitais. Na tabela 10, o perfil de morbidade dos diferentes hospitais confirma em parte a afirmação supracitada.

Indicadores de qualidade

As tabelas 4 e 5 trazem as médias das taxas de cesáreas, de mortalidade geral e a amplitude de variação das taxas de infecção hospitalar.

Tanto a taxa de cesárea como a de mortalidade estão dentro dos parâmetros solicitados. Porém, no caso da mortalidade, a discussão e o levantamento de dados mais específicos por clínicas e serviços (UTIs) enfatizam a idéia de que este critério é muito geral, devendo-se manter como um dos pontos centrais do contrato, a partir do funcionamento das comissões de prontuário e de óbitos, considerando-se os registros em atas e a análise mais circunstanciada quanto à qualidade da assistência e à oportunidade da intervenção realizada pelo hospital e/ ou o sistema loco regional de saúde.

As taxas aferidas nas diferentes unidades encontram-se dentro dos limites desejados, porém, a partir de outros parâmetros obtidos nas visitas e entrevistas, estes revelam a necessidade de homogeneizar os critérios das Comissões de Controle de Infecção Hospitalar, por subáreas, procedimentos, riscos e unidades de medida, para permitirem uma comparação desta taxa entre os hospitais, sugestão já aceita para o novo contrato de gestão a ser negociado.

Indicadores de satisfação de clientela

A preocupação demonstrada pelas unidades em medir a satisfação da clientela, e o resultado afirmativo de que as comunidades assistidas por estes hospitais encontram-se satisfeitas com os programas e serviços apresentados até o momento não espelham uma precisão em relação a este tipo complexo de avaliação, mesmo porque as regiões eram carentes de equipamentos deste porte e não houve a necessária padronização de critérios metodológicos que permitissem uma análise mais consistente em relação a este item.

Outros indicadores

Além dos indicadores previstos no anexo do contrato de gestão supramencionado, outros parâmetros foram utilizados, visando medir o desempenho das OSS/SUS. Portanto, foram estabelecidos indicadores relativos aos recursos humanos, incluindo a produtividade de alguns setores, políticas de terceirização, dados financeiros e da morbidade hospitalar.

Dado o perfil de hospitais de nível secundário, observa-se que a proporção de funcionários por leito/cama encontra-se mais próxima das médias alcançadas em hospitais privados do que das observadas nos hospitais públicos (em torno de 7,0 funcionários por leito), de acordo com Bittar (1997) e Zucchi (1998).

Duas outras informações relevantes que podem ser consideradas neste item: a relação percentual entre terceiros e funcionários próprios, e os gastos comparados aos totais com pessoal.

A tabela 7 mostra os gastos com pessoal próprio e de terceiros segundo as OSS.

Para a análise destas informações, convém salientar os três tipos de terceirização encontrados: sistema de apoio administrativo (lavanderia, limpeza, manutenção, segurança); apoio de diagnóstico e terapêutico (imagem, sangue, laboratório clínico, anatomia patológica, anestesia); e serviços médicos propriamente ditos. O primeiro, adotado pela maioria dos hospitais públicos, tem hoje parâmetros claramente definidos, permitindo a comparação entre as OSS e outros hospitais da rede. O segundo tipo é mais comum aos hospitais privados, realizando contratos que envolvem percentuais de faturamento ligados à produção. Porém, a experiência em terceirização de corpo clínico por especialidades é nova para gestão deste tipo de hospital, merecendo um acompanhamento mais cuidadoso. Em alguns hospitais, os gastos com os serviços terceirizados representam mais de 50% do total de gastos com pessoal, que, por sua vez, chega a representar, em algumas unidades, 80% dos seus gastos totais.

Outro aspecto que merece destaque refere-se à política salarial, observada nas OSS para o profissional de saúde, que, em média, é maior do que o praticado pela rede pública de saúde, principalmente médicos e enfermeiros.

A produtividade pode ser medida de várias maneiras, porém, aquela obtida pela relação entre a produção e o número de funcionários da subárea, incluindo chefes e supervisores, é a que retrata com maior visibilidade este indicador.

Comparando-se os dados encontrados com os de quatro hospitais públicos e privados estudados por Bittar (1997), nota-se que a produtividade média está acima desse padrão. Depreende-se, também, da tabela acima, que existem diferenças marcantes entre os hospitais, em subáreas iguais, sugerindo análise detalhada para possíveis correções, na busca de uma adequação tanto do quadro de pessoal, como da implementação de técnicas de administração e treinamento, entre as principais medidas a serem tomadas.

Dentre os indicadores financeiros, a tabela 9 mostra que as receitas provenientes das AIHs correspondem, no máximo, a 48% das necessidades do hospital, sendo que um deles conseguiu somente 24%, ficando para a Secretaria de Saúde aportar o restante. Comparando-se com valores de despesas realizadas nos hospitais da administração direta, verifica-se um padrão semelhante às OSS/SUS. Quando essa comparação é realizada com hospitais privados sem fins lucrativos conveniados ao SUS, o padrão de despesa é menor e o percentual de receita do SUS chega a cobrir mais de 50% dos gastos.

Não causa surpresa a defasagem existente entre o custo dos procedimentos e os valores contemplados na tabela SUS, para o nível secundário de atendimento, mas chama a atenção os valores três vezes superiores aos da tabela.

A tabela 10 foi construída a partir da análise das informações contidas nas AIHs emitidas nos mês de junho de 2000 pelos diferentes hospitais, segundo o critério de causa de internação relacionado aos capítulos do CID 10, especificando percentualmente as mais freqüentes. Os procedimentos cirúrgicos foram catalogados, quanto à complexidade, por portes.

A análise das principais causas de internação levantadas a partir das AIHs emitidas mostra um perfil semelhante ao dos hospitais de porte secundário da rede contratada pelo SUS, em que as causas obstétricas representam em média 40% das internações, seguida de causas clínicas ligadas ao aparelho respiratório, digestivo, causas externas e cardiovascular.

O atendimento à psiquiatria somente está sendo realizado em dois hospitais. Em alguns hospitais a área reservada para psiquiatria foi destinada à outra especialidade médica, o que denota um grau de resistência e uma tendência ao desvirtuamento da política estabelecida pela Secretaria (pacientes alcoólatras e drogados são internados nas enfermarias de clínica médica).

Os procedimentos cirúrgicos são de porte médio, o que se confirma a partir da relação estabelecida com o tempo médio de cirurgia. A AIH não é um instrumento para análise de morbidade em hospitais, apresentando falhas, já que omite dados, inclusive os relativos aos diagnósticos secundários. Uma análise mais apropriada da morbidade hospitalar ocorreria a partir do preenchimento regular específico para morbi-mortalidade, como fora padronizado pela SESSP, através do Boletim CAH 106.

Perspectivas: oportunidades e ameaças

Após a análise dos indicadores no tópico anterior, elegeram-se alguns aspectos considerados relevantes no modelo de OSS desenvolvido no Estado de São Paulo pela SES, procurando, a partir do contexto atual, discutir oportunidades e ameaças na perspectiva desta experiência.

O primeiro ponto a ser discutido é o próprio contrato de gestão, visto como oportunidade de negociação permanente, de metas e de redirecionamento de políticas e objetivos. No primeiro contrato firmado com as OSS, a grande preocupação demonstrada pela composição dos itens foi uma rápida ativação dos leitos hospitalares, bem como a obtenção de alguns indicadores de qualidade fundamentais. A satisfação dessas metas, como foi visto, suscitou por parte do núcleo central, e gradativamente dos níveis regionais da Secretaria, outras questões para o acompanhamento e regulação das OSS/SUS:

a) a importância da regulação através da demanda e não da oferta, isto é, o grau de autonomia que pode alcançar uma OSS/SUS está limitado pela satisfação da demanda regional e local do sistema. As experiências vividas em hospitais deste porte, quanto à relação entre administração e corpo de profissionais, demonstra que as lógicas mais freqüentes orientam-se para uma oferta cada vez mais seletiva de serviços, determinada pela vocação profissional e/ou insuficiência de recursos e articulações necessárias para atendimento da demanda. A função já citada do plantão controlador, a integração com os núcleos regionais, rede básica e hospitalar pública e privada sem fins lucrativos, bem como os estudos de demanda já realizados, são instrumentos imprescindíveis para inversão dessa lógica dos serviços públicos;

b) a importância da regulação com a utilização não somente de indicadores de resultados, mas de indicadores de processos, conduz ao melhor conhecimento dos aspectos relacionados a atividades administrativas, de recursos humanos (recrutamento, seleção, treinamento & desenvolvimento, cargos e salários) e de sistemas de informação. Seria desejável que a partir de discussões no âmbito das OSS/SUS, destas com os níveis regionais e outras unidades hospitalares do sistema fossem criados indicadores padronizados e comparativos entre eles;

c) a questão da regulação envolve ainda aspectos políticos e organizacionais importantes para o desenvolvimento do processo. Esta questão, vista a partir da lei e das obrigações formais, pode ser uma ameaça à implementação do modelo. A ênfase maior nos aspectos formais pode impossibilitar as inovações desejadas, bem como limitar a regulação aos meios e não aos resultados com enfoque sistêmico que, em última análise, é o objeto maior desta política.

A forma e o lócus de regulação são aspectos importantes a serem definidos nesse tipo de inovação. A possibilidade de manter as atuais estruturas centrais da Secretaria, que respondem de certa forma a toda a rotina e aos procedimentos já estabelecidos, constitui uma ameaça aos processos inovadores, se não forem revistas as relações já estabelecidas nas diferentes instâncias.

Nos processos inovadores da administração pública, a estratégia mais freqüente tem sido a criação de estruturas paralelas, e transitórias no início, para depois assumirem caráter definitivo. As propostas desenvolvidas pela nova administração pública internacional têm reforçado a separação entre as atividades de compra, financiamento e provisão de recursos, utilizando figuras administrativas independentes. Quanto a esse aspecto, incluem-se as propostas de mudança de cultura organizacional da Secretaria, bem como de criação de nova política de contratação de recursos humanos e de autonomia gerencial.

Qualquer que seja a opção adotada na forma proposta, a grande ameaça é a de que possa render-se a interesses outros que não os inicialmente propostos, em virtude de um processo de transição e conseqüentes ingerências político-administrativas de mudanças de governo,

O estabelecimento de contrato com grupos médicos especializados para a prestação de assistência foi uma das inovações relacionadas à administração pública tradicional, introduzida em duas das OSS/SUS. Este tipo de contrato no setor público tem sido coibido pela legislação e pelas auditorias dos Tribunais de Contas. Algumas especialidades são mais presentes que outras, entre elas: ortopedia, anestesiologia, endoscopia, diagnóstico por imagem, terapia intensiva, ginecologia/obstetrícia, cirurgia geral e infantil.

Esta prática, segundo os dirigentes destas unidades, só tem trazido vantagens, tais como: recrutamento e seleção mantidos como critério da unidade; escalas de serviço e coberturas de plantão rigidamente seguidas, com substituições automáticas pelo grupo de ausências eventuais; desligamento, por parte da instituição, de profissionais que não correspondam de maneira técnica e comportamental apropriada; e participação obrigatória nas comissões.

O cálculo financeiro para este tipo de contrato tem permitido estabelecer em algumas áreas valores fixos e adicionais por produtividade. Esta forma de relacionamento entre a administração e o corpo clínico merece observação mais minuciosa sobre outros aspectos, até agora não evidenciados.

A forma de negociação do contrato de gestão tem permitido um alto grau de autonomia gerencial às unidades, principalmente no que diz respeito aos recursos humanos. Com base nas observações feitas sobre a atual negociação e encaminhamento dos contratos de gestão, algumas sugestões podem ser oferecidas para aprimorar o modelo:

1) fórum de acompanhamento das OSS/SUS: com participação dos núcleos e diretorias regionais de saúde, para tratar de assuntos ligados à gerência dos hospitais, tais como morbidade e mortalidade local e regional, recursos humanos, materiais e financeiros, referência e contra-referência de pacientes, introdução, complementação ou extinção de programas e serviços e parcerias;

2) gestão de pacientes: desenvolvimento de um núcleo técnico dentro das OSS/SUS que coordene as informações e os serviços de referência, dando visibilidade às demandas reprimidas, reorientando prioridades a partir da demanda e criando indicadores de qualidade dos serviços oferecidos;

3) gestão financeira: elaboração e acompanhamento do orçamento anual, juntamente com contabilidade de custos hospitalares;

4) gestão de recursos humanos: rever o quadro de pessoal, baseado, entre outros instrumentos, no cálculo da produtividade por subárea; busca de alternativas para recrutamento de profissionais diaristas, especialmente médicos e enfermeiros, numa tentativa de reduzir o número de plantonistas, que exigem um quadro maior de profissionais, podendo levar à queda na qualidade da assistência médica hospitalar; e investimento na formação de gestores;

5) gerência clínica: elaboração de protocolos clínicos; ativação das comissões de prontuário, óbito, medicamentos, infecção hospitalar e padronização; estabelecimento de grupos homogêneos de diagnóstico, com parâmetros de média de permanência, serviços complementares de diagnóstico e terapêutica e de critérios de alta.

Considerações finais

Pode-se concluir que os pontos e parâmetros apontados no plano operacional/metas anexo ao contrato de gestão, Resolução SS 106, foram alcançados de maneira satisfatória por todas as OSS. Esta análise considerou os fatores de ameaça e oportunidades a que estiveram submetidas, bem como os ajustes e readaptações intrínsecos a uma fase inicial de implementação, que reforça o êxito alcançado pelo projeto.

A segunda consideração, também de ordem geral, refere-se às diferentes vocações e culturas organizacionais das OSS matrizes que, se por um lado, criam a possibilidade de diversificação das experiências de gestão adequadas às realidades locais, por outro, podem restringir, dada à inércia, interesses e o poder centralizador dessas organizações, a autonomia e individualização das OSS/SUS. Mais do que a avaliação de resultados, que já nesta fase se apresenta com tendências de ampliação destas diferenças, é necessária a avaliação de processos de desenvolvimento institucional das OSS/SUS, com indicadores definidos para sua mensuração.

Mais especificamente, chama a atenção o comportamento dos gastos e rateios médios destas unidades, tanto em relação às AIHs médias quanto aos valores apresentados por internação. Este aspecto, apesar de avaliação preliminar, aponta para a preocupação futura de manutenção do sistema.

Notas

  • André M 1993. Contratos de gestão como instrumentos de promoção de qualidade, produtividade no serviço público. Indicadores de Qualidade e Produtividade IPEA (1) fev.
  • André M 1994. Contratos de gestão: subsídios para a reforma do Estado IBAN/ENAP, Rio de Janeiro.
  • Bittar OJNV 1997. Hospital: qualidade & produtividade Editora Sarvier, São Paulo.
  • Bittar OJNV, Ibañez N, SÁ ECN, Yamamoto EK 2000. Avaliação preliminar das OSS/SUS/Hospitais. Faculdade de Saúde Pública/USP, São Paulo, (mimeo).
  • Brasil 1995. Plano diretor da reforma do aparelho do Estado Presidência da República, Câmara da Reforma do Estado, Ministério da Administração Federal e Reforma do Estado, Brasília, 86 pp.
  • Brasil 1997. Medida Provisória n. 1.591, de 9 de outubro de 1997 Dispõe sobre a qualificação de entidades como organizações sociais, a criação do Programa Nacional de Publicização, a extinção do Laboratório Nacional de Luiz Sincrotrón e da Fundação Roquette Pinto e a absorção de suas atividades por organizações sociais, e dá outras providências. DOU, 10 out. Brasília.
  • Brasil 1997. Ministério da Administração Federal e Reforma do Estado. Organizações Sociais. Cadernos do MARE de Reforma do Estado Caderno 2. MARE, Brasília.
  • Ferlie E, Asburner L, Fitzgerald L, Pettigrew A 1999. A nova administração pública em ação. UNB/ENAP, Brasília
  • Fleury S 1996. Tendências e perspectivas da autonomia e regulação da gestão pública no Brasil Seminário fev/ RJ/BNSP/FIOCRUZ ¾ ESPP, novembro, (mimeo).
  • Governo do Estado de São Paulo 1970. Legislação referente à promoção, preservação e recuperação da saúde no campo de competência da Secretaria de Estado da Saúde. SP.
  • Governo do Estado de São Paulo 1971. Reforma administrativa do serviço público estadual, coletânea n. 11 Secretaria de Estado da Saúde, GERA, SP.
  • Ibañez N, Viana AL 1986. Estratégias de implementação do Programa Metropolitano de Saúde. Revista Paulista de Hospitais, pp. 10-5.
  • Lima SML 1996. O contrato de gestão e modelos gerenciais para as organizações hospitalares públicas. Revista de Administração Pública, 30(5):201-235.
  • Ministério da Administração Federal e Reforma do Estado 1995. Modelo padrão de Lei de implementação de contrato de gestão ¾ Organizações Sociais Brasília.
  • Ministério da Administração Federal e Reforma do Estado 1995. Modelo padrão de contrato de gestão - poderoso instrumento de gestão institucional Brasília.
  • Ministério da Administração Federal e Reforma do Estado 1995. Modelo padrões de propostas organizacionais sociais, exposição de motivos interministerial Brasília.
  • Pierantoni CR 2000. Reformas da Saúde e recursos humanos: novos desafios x velhos problemas. Um estudo sobre recursos humanos e as reformas recentes da Política Nacional de Saúde. Tese de doutorado, Instituto de Medicina Social da Universidade do Estado do Rio de Janeiro.
  • Sá ENC 1998. Organizações sociais: recurso organizacional para a saúde SUS Faculdade de Saúde Pública/USP, julho, São Paulo, (mimeo).
  • Secretaria de Estado da Saúde 1981. Projeto de expansão da rede de serviços básicos de saúde para região metropolitana de São Paulo, (mimeo).
  • Secretaria de Estado da Saúde 1975. Relatório da área de saúde. Região Metropolitana de São Paulo: diagnóstico SP, (mimeo).
  • Viana AL 1994. Sistema e descentralização de políticas de saúde no estado de São Paulo nos anos 80: formação e tensão. Tese de doutorado, UNICAMP ¾ Instituto de Economia.
  • Zucchi P 1998. Funcionários por leito: estudo em alguns hospitais públicos e privados. Revista de Administração Pública 32 (3):65-76.
  • 1
    As decisões do Governo quanto à Administração Pública Paulista vinham caracterizando as formas direta e indireta autárquicas de administração como em tal grau homogeneizadas, a ponto de não estimularem a sua utilização como formas organizacionais inovadoras ou em expansão no serviço público. As fundações autorizadas pelo legislativo, e aquelas de apoio, foram, aos poucos, legitimadas em suas funções de "melhorar" a obtenção e gestão dos meios e insumos para as autarquias direta e indireta. Considerava-se, como paradigma, a impossibilidade de mudança inovadora naquelas formas organizacionais, mas que estes insumos seriam legítimos, criando-se, assim, organizações híbridas em praticamente todos os setores, como se verifica em Sá (1998).
  • 2
    A caracterização do modelo em lei complementar tem, entre outras precauções, a definida em trecho da Mensagem n
    o 7 do governador do Estado, ao encaminhar o projeto ao Poder Legislativo:
    Inexistirá, nas organizações sociais, participação direta do Poder Público Estadual nos seus órgãos diretivos para evitar a atração dessas entidades para o âmbito da Administração Indireta, com a incidência, cedo ou tarde, do plexo normativo que, minuciosamente, reflita a gestão descentralizada de serviços e entidades públicas. É de se enfatizar que a atividade privada de interesse público a ser fomentada, a par das normas condicionantes da qualificação como organizações sociais previstas no projeto em pauta, estará sujeita a intenso controle de resultados por parte do Poder Público, na forma discriminada no contrato de gestão respectivo, sem prejuízo do controle do uso dos recursos públicos a ser efetuado, internamente, pelos órgãos competentes do Poder Executivo e, externamente, pelo Tribunal de Contas, Ministério Público e Poder Judiciário.
  • Datas de Publicação

    • Publicação nesta coleção
      17 Jul 2007
    • Data do Fascículo
      2001
    ABRASCO - Associação Brasileira de Saúde Coletiva Av. Brasil, 4036 - sala 700 Manguinhos, 21040-361 Rio de Janeiro RJ - Brazil, Tel.: +55 21 3882-9153 / 3882-9151 - Rio de Janeiro - RJ - Brazil
    E-mail: cienciasaudecoletiva@fiocruz.br