AVALIAÇÃO E PROCESSOS DE SUBJETIVAÇÃO NA ATENÇÃO BÁSICA À SAÚDE: AVALIAÇÃO E SUBJETIVAÇÃO

LA EVALUACIÓN Y LOS PROCESOS DE SUBJETIVACIÓN EN LA ATENCIÓN PRIMARIA DE SALUD: EVALUACIÓN Y SUBJETIVACIÓN

RESUMO

Desde a redemocratização no Brasil, o tema da subjetividade tem sido um componente importante na discussão e na formulação das políticas públicas no país. Existe um grande embate na literatura em torno dos méritos e dos prejuízos decorrentes dos processos de avaliação. O objetivo desta pesquisa é investigar os efeitos das práticas avaliativas nos processos de subjetivação vividos por profissionais das equipes de Saúde da Família na Atenção Básica, em um distrito sanitário do município de Belo Horizonte. Buscamos também compreender os efeitos da avaliação na subjetividade dos profissionais envolvidos. Realizamos 16 entrevistas semiestruturadas com os profissionais e gestores de duas Unidades Básicas de Saúde. Fizemos uma análise temática das entrevistas em três eixos: os ganhos desencadeados pelas práticas de avaliação, os seus aspectos problemáticos e os processos de subjetivação decorrentes das avaliações. Os ganhos que as avaliações permitiram foram: detectar as falhas no trabalho e redirecionar as atividades; melhorar o atendimento à população e modificar o comportamento com os colegas e em relação ao trabalho. As críticas se direcionaram aos indicadores dos instrumentos, aos processos de avaliação, à dificuldade de colocar em prática os resultados obtidos e ao não cumprimento dos acordos por parte dos gestores municipais. Os processos de subjetivação promovidos pelas avaliações foram por um lado a reflexão em relação ao trabalho e aos colegas, produzindo mudanças de atitudes, e por outro os sentimentos de medo, culpa e frustração em relação ao processo de avaliação, seus resultados e consequências.

Palavras-chave:
Avaliação de processos (cuidados de saúde); subjetividade; atenção primária à saúde

RESUMEN

Hay un embate en la literatura en torno a los méritos y los perjuicios derivados de los procesos de evaluación. Esta pesquisa investiga los efectos de las prácticas evaluativas en los procesos de subjetivación vividos por los profesionales de los Equipos de Salud de la Familia en la Atención Básica, en un distrito sanitario del municipio de Belo Horizonte. También buscamos comprender los efectos de la evaluación sobre la subjetividad de los profesionales involucrados. Realizamos 16 entrevistas semiestructuradas con los profesionales y gestores de dos Unidades Básicas de Salud. Hicimos un análisis temático de las entrevistas en tres ejes: las ganancias desencadenadas por las prácticas de evaluación, sus aspectos problemáticos y los procesos de subjetivación derivados de las evaluaciones. Las ganancias fueron: detectar los fallos en el trabajo y reorientar las actividades; mejorar la atención a la población y modificar el comportamiento con los colegas y con relación al trabajo. Las críticas se dirigieron a los indicadores de los instrumentos, a los procesos de evaluación, a la dificultad de poner en práctica los resultados obtenidos y al incumplimiento de los acuerdos por parte de los gestores municipales. Los procesos de subjetivación promovidos por las evaluaciones fueron, por un lado, la reflexión con relación al trabajo y a los colegas, lo que produjo cambios de actitudes, y, por otro lado, los sentimientos de miedo, culpa y frustración con relación al proceso de evaluación, sus resultados y consecuencias.

Palabras clave:
Evaluación de proceso (atención de salud); subjetividad; atención primária de salud

ABSTRACT

This study aimed to investigate the effects of evaluation practices in the processes of subjectivation experienced by professionals from Family Health Teams in Primary Health Care, in a health district in the municipality of Belo Horizonte, state of Minas Gerais. We also sought to understand the effects of evaluation on the subjectivity of the professionals involved. We conducted 16 semi-structured interviews with professionals and managers of two Basic Health Units. A thematic analysis of the interviews was carried out in three axes: the gains triggered by the evaluation practices, their problematic aspects and the subjectivation processes resulting from the assessments. The gains that the evaluations allowed were: detecting work failures and redirecting activities; improve service to the population and change behavior with coworkers and in relation to work. Criticism was directed towards the instruments’ indicators, the evaluation processes, the difficulty of putting into practice the results obtained and the non-compliance with the agreements by the municipal managers. The subjectivation processes promoted by the evaluations were, on the one hand, the self-reflection in relation to work and coworkers, producing changes in attitudes, and, on the other, the feelings of fear, guilt and frustration regarding evaluation process, its results and consequences.

Keywords:
Process evaluation (health care); subjectivity; primary health care

Introdução

O tema da avaliação na saúde pública surgiu, de forma incipiente, no Brasil, durante a década de 1990, mas sem a sua necessária institucionalização, que só se iniciou nos anos 2000 (Carvalho & Shimuzu, 2017). Se compararmos com o setor da educação, em 1988 já havia o Sistema de Avaliação da Educação Básica e, em 1993, o Programa de Avaliação Institucional das Universidades Brasileiras (Felix, Bertolin, & Polidori, 2017). Entretanto, no contexto da máquina pública, o setor saúde acolheu melhor a proposta, tanto por parte dos gestores quanto por parte dos trabalhadores (Furtado & Vieira-da-Silva, 2014), do que o setor da educação. Pacheco (2010) considera que o setor de saúde no Brasil está mais preparado para lidar com a avaliação, do que o resistente setor da educação, em função da lógica de remuneração por procedimento adotada pelo SUS, que teria aberto “[...] caminho para a mensuração de serviços prestados” (Pacheco, 2010, p. 206). Por outro lado, a literatura em ciências humanas e sociais, em geral, é bem mais cética e reativa às propostas de avaliação, do que o setor de saúde brasileiro (Ferreira Neto, 2017).

No embate na literatura em torno dos méritos e dos prejuízos decorrentes dos processos de avaliação, entre autores favoráveis e contrários, há um ponto em comum, considerar a avaliação como um dos instrumentos de governo ou de gestão (Menicken & Miller, 2012; Pinto, 2014; Martuccelli, 2015; Triantafillou, 2017). Ou seja, ela não deve ser entendida como uma ação isolada que visa exclusivamente mensurar, mas possui uma estreita vinculação com a gestão de políticas, programas, serviços e pessoas. Trata-se também de um ‘governo dos homens’ (Martuccelli, 2015), de uma ação que visa produzir ‘eus calculáveis’ (Menicken & Miller, 2012), de mudanças na subjetividade.

Uma voz dissonante na literatura crítica atual é Deirdre Duffy (2017), que considera a tendência atual de se reduzir a avaliação a mero gerencialismo problemática. Segundo ela, essa tendência falha em reconhecer que a avaliação, mesmo não sendo um método perfeito, possui o mérito de enfatizar “[...] a reflexão sobre o presente, para permitir uma discussão sobre o futuro” (Duffy, 2017, p. 2). Compartilhamos, nesta pesquisa, de seu interesse nas possibilidades críticas e criativas das práticas avaliativas, mesmo reconhecendo e evidenciando seus numerosos problemas.

O início do debate sobre avaliação na saúde no Brasil ocorreu via indução por organismo internacional. Em 1996, o programa Reforço e Reorganização do SUS (Reforsus) recebeu repasses no valor de 650 milhões de dólares do Banco Mundial, que demandou o uso da avaliação “[...] tanto para a liberação de financiamentos, como para apreciação do impacto dos projetos” (Furtado & Vieira-da-Silva, 2014, p. 2647).

Em 2003, o Ministério da Saúde (MS) desenvolveu ações visando implementar o Monitoramento e Avaliação da Atenção Básica, “[...] com o objetivo de institucionalizar a avaliação” no SUS (Felisberto, Freeze, Bezerra, Alves, & Samico, 2010, p. 1080), transformando-a assim em uma política nacional. A institucionalização da avaliação é a diretriz principal desse esforço, entendida como a integração da avaliação em um sistema organizacional, associando-a às ações de gestão e aos processos de trabalho, de modo permanente. O objetivo é fomentar uma cultura de avaliação que envolva todos os sujeitos, de trabalhadores locais aos gestores federais.

Os dois instrumentos de avaliação mais consolidados no município onde ocorreu a pesquisa foram: 1) Programa Nacional de Melhoria do Acesso e da Qualidade da Atenção Básica - PMAQ-AB; e 2) Avaliação de Desempenho do Servidor - AD.

O PMAQ visa “[...] induzir a ampliação do acesso e a melhoria da qualidade da atenção básica, com garantia de um padrão de qualidade comparável nacional, regional e localmente, de maneira a permitir maior transparência e efetividade das ações governamentais direcionadas à Atenção Básica em Saúde” (Saúde mais Perto de Você, 2012, p. 7).

É aplicado em ciclos de dois anos e a adesão ao programa é voluntária. Caso contratualize, o município recebe 20% do componente do Piso de AB variável (PAB variável) por equipe participante. O restante é transferido a depender do desempenho das equipes. A ideia é utilizar o instrumento associado ao financiamento da AB. O PMAQ se tornou um importante instrumento para decisões de financiamento, desde sua instituição em 2011. Através dele, o Ministério da Saúde buscou implementar um modelo de gestão que valoriza mais a avaliação e “[...] a utiliza para o planejamento, qualificação e financiamento de suas ações” (Pinto, 2014, p. 204). É composto por sete indicadores: saúde da mulher, saúde da criança, controle de diabetes e hipertensão, saúde bucal, produção geral, tuberculose e hanseníase, e saúde mental.

Já a Avaliação de Desempenho (AD) é um instrumento aplicado a todos os funcionários da prefeitura de Belo Horizonte (PBH). Ela é composta por dez indicadores, sendo oito do núcleo comum (conhecimento, organização, comprometimento, iniciativa, flexibilidade, relacionamento interpessoal, zelo pelo patrimônio e pontualidade) e dois da área da saúde (relacionamento com usuário e trabalho em equipe). Todos os anos os funcionários são avaliados pela gerência, por pares e por eles próprios. O resultado é determinante para a progressão de carreira, obtida pelos servidores que tiverem média de ao menos nota 8 no triênio.

Desde a redemocratização no Brasil, o tema da subjetividade tem sido um componente importante na discussão e na formulação das políticas públicas no país. Na maior parte das menções enfatiza-se a subjetividade na posição de protagonismo dos sujeitos que concorrem para a produção de saúde, sejam eles gestores, trabalhadores ou usuários. Um dos autores que influenciaram esse debate foi Michel Foucault, desde suas visitas ao país nos anos 1970, quando dialogou intensamente com sanitaristas e profissionais de saúde mental. Com base nele entendemos subjetividade como processualmente produzida por práticas de coerção e/ou de liberdade a partir “[...] de um certo número de regras, de estilos, de convenções [...]” presentes na cultura (Foucault, 2004, p. 291). A produção foucaultiana, a partir de 1977, passou a problematizar as relações de poder como sendo não apenas derivadas das práticas de coerção, mas também de práticas mais autônomas de liberdade, tomando o tema da subjetividade como seu derradeiro eixo de pesquisa.

O objetivo desta pesquisa é investigar os efeitos das práticas avaliativas nos processos de subjetivação vividos por trabalhadores das Equipes de Saúde da Família (EqSF) na Atenção Básica, em um distrito sanitário do município de Belo Horizonte. Para isso, buscou-se conhecer aspectos dos instrumentos de avaliação considerados pelos trabalhadores como ganhos, e aqueles considerados problemáticos, bem como analisar os efeitos de subjetivação nos profissionais.

Método

Realizamos 16 entrevistas semiestruturadas em duas Unidades Básicas de Saúde (UBS) do distrito sanitário Barreiro, no período entre agosto de 2017 e março de 2018. O roteiro abordou temas como a cultura de avaliação em saúde, quais os instrumentos de avaliação que conheciam, aspectos positivos e negativos de cada instrumento. O critério de escolha das unidades foi a presença de EqSF lotadas nas unidades há mais tempo, com menor rotatividade de profissionais. As entrevistas ocorreram com oito enfermeiras, dois médicos, duas técnicas de enfermagem, duas agentes comunitárias de saúde (ACS) e os dois gerentes. As enfermeiras de todas as equipes foram entrevistadas em função de se responsabilizarem pelos principais aspectos da gestão do trabalho de suas equipes, inclusive pelo manejo dos dados referentes ao Programa Nacional de Melhoria do Acesso e da Qualidade da Atenção Básica - PMAQ-AB. Por isso, as enfermeiras entrevistadas foram as que mais sabiam sobre o PMAQ-AB, seguidas pelos médicos. Os ACS o conheciam pouco e as técnicas de enfermagem apenas reconheciam sua existência, pois não participaram dos ciclos de avaliação. Já a AD, por ser aplicada de forma individualizada, era bem conhecida por todos. A UBS A possuía cinco equipes e a B três equipes. Entrevistamos ainda dois membros das comissões locais de saúde, ambos com ensino médio completo. Contudo, ambos desconheciam por completo as avaliações em curso, ainda que entendessem seu funcionamento em sua própria experiência profissional, sendo por isso descartados.

Os entrevistados foram nomeados segundo a profissão, a ordem de entrevista e a UBS em que trabalhavam. Para a profissão utilizamos a letra ‘E’ para as enfermeiras, ‘A’ para as agentes comunitárias de saúde, ‘M’ para os médicos, ‘T’ para as técnicas de enfermagem e ‘G’ para os gestores. Para identificar as UBS utilizamos ‘A’ para nos referir à primeira que visitamos e ‘B’ para a segunda. Para exemplificar, E1B é a primeira enfermeira entrevistada na segunda UBS.

Fizemos uma análise temática dedutiva (Souza, 2019), baseados na literatura e nos objetivos da pesquisa: os ganhos decorrentes das práticas de avaliação, os seus aspectos problemáticos e os processos de subjetivação decorrentes das avaliações.

A pesquisa foi aprovada pela Comissão de Ética em Pesquisa da Pontifícia Universidade Católica de Minas Gerais com o CAAE: 58882516.2.0000.5137.

Ganhos decorrentes das avaliações

De modo geral, os entrevistados apontaram benefícios decorrentes do uso dos instrumentos de avaliação tanto no nível pessoal quanto em relação ao desempenho no trabalho. As mudanças profissionais relataram respeito às relações com os usuários e com os colegas.

A principal característica ressaltada foi a condição de identificarem o que é de fato importante no trabalho e assim promoverem mudanças nessa direção. Quase todos os profissionais de todas as categorias apontaram que as avaliações auxiliam no redirecionamento do trabalho individual e em equipe. Ao afirmar que “[...] avaliar o que a gente tem feito, a forma que tem feito para tentar melhorar... pra mim... pessoalmente sempre foi isso, né? Porque a gente avaliando o que a gente fez, o que a gente não fez... onde a gente... falhou pra tentar consertar e tá ofertando” (E1B), a enfermeira aponta que os indicadores do PMAQ produziram novos parâmetros de erros que os profissionais acolheram e utilizaram para redirecionar suas ações.

O mesmo ocorreu após a AD. Os trabalhadores souberam as opiniões dos colegas e gerentes que os avaliaram, atentando para determinados comportamentos que podiam ser aprimorados. Para uma ACS, “[...] quando ela é feita com o profissional correto eu acho que ela é válida porque aí você sabe como é que você está, em que você pode melhorar, né?” (A1A).

O tema da melhoria nos processos de trabalho foi o ponto central levantado pelos trabalhadores. Tanto o PMAQ, quanto a AD ajudaram a reorientar as ações dos profissionais. Segundo Power (2000), o gerenciamento de auditoria, do qual a avaliação faz parte, visa realinhar a vida organizacional. No presente caso, o primeiro instrumento o fez através dos números e dos indicadores, e o segundo a partir da opinião dos colegas de trabalho e gerentes, criando “[...] um momento oportuno de reflexão. De parar, de pensar, de avaliar mesmo, de ver o que [...] ponderar, tentar melhorar, entendeu?” (E1A).

Em relação aos ganhos trazidos pela avaliação foram apontados elementos de melhoria dos processos de trabalho das equipes. Conforme a metade dos entrevistados, o PMAQ trouxe diversos ganhos para as EqSF. Uma das áreas de avanço proporcionada pela avaliação foi a estratificação de risco, aprimorando a atenção aos usuários. “O PMAQ trouxe isso, pra estratificar, ver melhor aquele que é mais necessitado. [...] Então o PMAQ veio para ajudar nesse sentido, nesse sentido de estratificação de risco” (E5A). Para os gestores, o PMAQ facilitou “[...] fazer recortes dentro desse território aquilo que ele aponta né, eh... então ele ajudou a organizar algumas ações” (G1A) e “[...]ele veio para avaliar se a equipe, ela tem o controle sobre os seus pacientes” (G1B).

Sete dos entrevistados, incluído um dos gerentes, apontaram alguma melhora na atenção aos usuários, como afirma uma das enfermeiras: “[...] por causa disso a gente consegue ‘oh, eu tô pecando aqui, tô deixando de dar essa atenção para esse tipo de atendimento’ a gente acaba se concentrando e fazendo estratégia” (E2A). Entretanto, há que se notar algumas adjetivações utilizadas pelos profissionais que indicam certo efeito culpabilizante presente nas práticas de avaliação, tais como ‘erro’ e ‘pecado’.

Outra enfermeira exemplifica as mudanças promovidas pelo PMAQ no trabalho, como a maior preocupação com a continuidade dos tratamentos e com o registro das atividades. Diante da ausência da gestante à consulta, solicita-se à ACS uma visita familiar. “Aí eu entro no prontuário da paciente e escrevo: ‘o ACS foi na casa da paciente e foi visto que ela está fazendo pré-natal e consultou dia tal’ para pelo menos ter um registro” (E3A).

Com a estratificação de risco proposta no PMAQ, as equipes foram capazes de identificar casos graves, que passavam despercebidos, criando estratégias para abordá-los. Como consequência, a atenção aos usuários foi intensificada gerando buscas ativas e registro de informações mais precisas. Uma das enfermeiras, inclusive, criou seu próprio instrumento para controle do acompanhamento de gestantes: “Eu fui aprimorando ele de acordo com o meu conhecimento... meu conhecimento desses indicadores de avaliação... então hoje eu falo que ele tá bem melhor do que o início” (E1B).

Mesmo em menor proporção, a AD também gerou mudanças na atividade fim. Foi o caso de uma médica que percebeu que ao tentar ajudar alguns usuários, atendendo favores de última hora, ela prejudicava outros que estavam agendados. Vendo isso, ela mudou sua postura.

[…] a maneira como tantos pares me avaliaram e como a gestão me avaliou... me trouxe um outro olhar [...] aqui tem igual tem o horário de agendamento de consulta programada, chega um paciente e bate na porta e me pede um favor eu faço. Eu não estou sendo justa com quem veio no horário certo e esperou, esperou o dia da consulta. Então eu gostei desse outro olhar que foi trazido para mim, e eu tenho exercitado isso com os pacientes, sabe? Eu até achei que fosse complicado ou que eles fossem achar ruim. […] agora eu estou negociando com os pacientes: ‘Não é esse o caminho’, ‘não é dessa forma, tem que ser assim’ (M1B).

A retórica da negociação, importante na Atenção Básica, por vezes se choca com uma formação de atuação com viés mais vertical e prescritivo, como vemos nos exemplos oferecidos pela médica: ‘não é’, ‘tem que’. Porém, isso não invalida o movimento que a médica buscou realizar a partir da avaliação dos colegas. Os processos avaliativos geraram mudanças significativas no cuidado ao usuário nas duas UBS. Como apontam Abelson, Humphrey, Syrowatka, Bidonde e Judd (2018), as avaliações têm o potencial de promover a reestruturação do sistema público de saúde. Os autores afirmam que os resultados das avaliações promovem abordagens mais compreensivas e transparentes para a gestão do trabalho.

O último benefício proporcionado pelos instrumentos de avaliação que identificamos foi em relação à equipe de trabalho. Algumas enfermeiras ressaltaram mudanças pontuais nesse sentido. A primeira foi a possibilidade de uma cobrança mais incisiva da equipe como apontado por uma enfermeira: “[...] com o PMAQ, com os indicadores a gente fica mais atenta em relação a isso, cobrar mesmo da equipe algumas coisas que com o passar do tempo ficam automáticas” (E4A). Outra enfermeira entende que a necessidade comum entre as equipes poderia uni-las para melhorar os indicadores: “[...] aqui nós somos cinco equipes na mesma estrutura. Se mais de uma equipe estiver precisando de ajuda, porque não juntar três equipes e ir pro salão da igreja e fazer uma ação coletiva para poder melhorar esse indicador, né?” (E2A). Quanto à AD, apenas uma técnica de enfermagem relatou melhora na sua relação com a equipe por causa dos feedbacks recebidos. Ela afirma que a avaliação trouxe melhoras na “[...] interação porque eu não era muito de me interagir com as pessoas [...] nesse sentido eu observei, eu observei não, eu tive que melhorar meu desempenho sim” (T1A).

Constatamos, portanto, que as avaliações promovem mudanças não só no sentido de exigir esforços para alcançar um novo patamar de eficácia, mas também de viabilizar a promoção de ações que melhoram a atenção ao usuário. Acompanhamos o raciocínio de Triantafillou (2017) ao afirmar que as avaliações não se restringem a mensurar, mas visam transformar. Essa transformação atinge não somente os processos de trabalho, mas a própria subjetividade. Para o autor elas produzem novas visibilidades e estruturas normatizadoras que permitem fazer comparações que estimulam a constante mudança organizacional e das práticas que são mensuradas.

Aspectos problemáticos das avaliações

As críticas feitas às avaliações aconteceram em maior número do que as falas sobre os ganhos obtidos, que analisamos na seção anterior. As críticas se direcionaram aos indicadores dos instrumentos, aos processos de avaliação, à dificuldade de colocar em prática os resultados obtidos e ao não cumprimento dos acordos por parte dos gestores municipais.

A crítica mais enfática, apontada por 11 dos entrevistados, dentre eles um dos gerentes, é que nenhum dos dois instrumentos conseguiu dar conta da realidade que eles vivenciam no cotidiano de trabalho. Eles reclamaram que os indicadores do PMAQ se preocupavam apenas com os números gerados pelos atendimentos. “Mas do que a gente tá vendo agora, tá tendo negativo, porque acho que realmente veio uma cobrança simplesmente de... de quantidade, e a gente não está tendo retorno à qualidade do atendimento... para atendimento” (E5A). Esse pendor quantitativo dos instrumentos de avaliação pode reduzir a tarefa de avaliar uma simples mensuração daquilo que é passível de quantificação (Dujarier, 2015). Por essa razão, Duffy (2017, p. 136-137) entende que a avaliação deveria explicitar os limites do instrumento que utiliza, “[...] não buscando produzir uma mensuração definitiva, [...] mas deveria buscar identificar o que é imensurável ou o que excede a mensuração”.

Uma enfermeira exemplificou o caso que acompanhou de uma pessoa em situação de rua. Para serem bem avaliados no acompanhamento de pré-natal, todas as equipes precisavam registrar o procedimento seis vezes em todas as gestantes que fossem registradas na unidade. Como a gestante, no caso, não tinha endereço, eles conseguiram fazer apenas o primeiro atendimento. “Ela nem era da nossa área e a gente ofereceu atendimento pra ela na hora, a gente acolheu ela”. Sem condição de continuar o acompanhamento, eles foram prejudicados na avaliação. “Não tinha nem como fazer busca ativa porque eu nem sabia qual lugar ela estava morando, porque ela morava na rua e se você for olhar o indicador é ruim para isso” (E3A).

Outro problema eram as gestantes que faziam uso da saúde suplementar. Elas eram consideradas como população a ser atendida pela equipe, mas resultavam em avaliação negativa por não fazerem o acompanhamento na unidade. Um dos médicos aponta essa situação: “No bairro C tem gestantes que... tem convênio, elas têm um outro tratamento, né? [...]. Então, ela entra como fator negativo no nosso numerador sem que isso esteja ao alcance da gente” (M1A).

Com o exclusivo foco quantitativo, os indicadores não abarcavam os desafios do dia a dia. Uma enfermeira contou que; “[...] a gente tem uma paciente mesmo que a gente tem uma dificuldade para ela vir aderir então a gente faz um trabalho grande”. E quando conseguiram finalmente acessar a paciente eles “[...] fazem tudo de uma vez só, aquilo ali não vai gerar indicador nenhum, mas a gente conseguiu fazer, teve a oportunidade e mesmo se não está marcado e tudo a gente conseguiu alguma coisa” (E3A). Não há no PMAQ um indicador que capture os casos de difícil manejo, que em geral demandam árduo trabalho por parte da equipe. As três situações demonstram que a avaliação estritamente numérica, ao não abranger as dificuldades, os percalços, os esforços extras empregados pelas equipes, enfim a complexidade envolvida no cuidado em saúde, prejudica os resultados das equipes.

Quanto à AD, os profissionais não sentiam que suas atuações profissionais eram devidamente avaliadas. Seu enfoque se direcionava mais para as relações interpessoais, como afirma um dos médicos: “Às vezes a pessoa tem uma boa produtividade, um bom desempenho, mas não é uma pessoa simpática a outras, né, que vão avaliar” (M1A). A efetividade do profissional e seu esforço para melhorar no trabalho também não eram considerados: “eu acho que poderia ter pergunta relacionada ao quê que você desenvolveu de diferente na unidade” (E4A); “[...] uma coisa também que eu acho que deveria ser avaliada que eu tô aqui lembrando... se o profissional que participa de Congresso, se faz algum curso à distância” (M1B).

Nas duas avaliações os indicadores não abordaram toda a realidade do trabalho cotidiano, uma vez que nem todas as ações da atividade laboral são passíveis de mensuração (Ferreira Neto, 2017). Contudo, nos casos mencionados, os esforços extras não só foram ignorados, como também foram considerados trabalhos incompletos.

A metade dos entrevistados, incluindo os dois gerentes, considerou que alguns dos indicadores dos instrumentos de avaliação ou eram difíceis de compreender ou eram pouco específicos. Segundo um dos gerentes, o PMAQ possuía “[...] um número excessivo de indicadores [...] um critério de avaliação sem a incorporação e a subjetivação do trabalhador de entender esses indicadores” (G1A). Já a outra gerente pontuou que “Algum tipo de nome que estava lá as vezes muito técnico: ‘Vocês fazem micro nebulização?’ Às vezes o profissional tentava explicar que não é nesse termo que a gente faz” (G1B). Quanto à AD, uma das enfermeiras afirmou que “[...] algumas [perguntas] que são muito amplas assim, sabe? E às vezes não encaixa às vezes uma coisa que eu daria nota, por exemplo, menor para um colega ou para mim mesma, aí tá tão amplo que você não consegue” (E3A).

Os problemas percebidos fizeram com que os profissionais questionassem a validade dos resultados dos dois instrumentos. Para um dos médicos, o PMAQ precisa ser “[...] aperfeiçoado, pra que você não seja... que cê não tenha falsos... eh... indicadores falsamente ruins, nem falsamente positivos” (M1A). A outra médica pontou que “[...] esses instrumentos [...] eles não são... confiáveis, vamos dizer assim” (M1B). Entendemos que um bom instrumento avaliativo deve carregar consigo o compromisso de sua contínua revisão e aperfeiçoamento. Isso é particularmente importante no caso do PMAQ e esperamos que esta e outras pesquisas colaborem nesse sentido. O PMAQ colaborou para criação de novas iniciativas municipais de avaliação, como as já citadas do Monitoramento Quadrimestral e da Gestão do Cuidado no Território, que utilizam seus dados e indicadores, e agregam novos elementos. Já em relação à AD, praticada pela PBH, temos problemas mais estruturais tanto no formato do instrumento, quanto no processo de execução por pares e gerentes. Em última instância, a lista de dez itens com uma nota a ser atribuída cria uma medida de opinião, indicador eminentemente subjetivo. Alguns trabalhadores consideram ainda que as perguntas são amplas e vagas. “Tem algumas que são muito amplas assim, sabe?” (E3A).

Na AD, a avaliação por pares ou por colegas que não se conhecem interferiu na confiabilidade dos resultados. Além disso, por estar vinculada à progressão na carreira, dois terços dos entrevistados apontaram que as pessoas não pontuam os colegas com nota abaixo do mínimo necessário, para não prejudica-los. Há, na maioria das vezes, uma defesa corporativa para garantir a todos a progressão na carreira a cada três anos. Como uma enfermeira resume: “Dá oito pra quem precisa. Dá dez pra quem merece. Entendeu?” (E3B). Dentre as entrevistas existiu uma exceção. Pelos conflitos interpessoais, uma enfermeira se sentiu lesada pelos colegas em sua avaliação: “[...] as relações no trabalho elas são conflituosas e as pessoas levam para essa avaliação de desempenho não o desempenho do profissional em si, mas o desempenho da relação que eu tenho com esse profissional” (E4B). Essa situação, mesmo que minoritária, é confirmada pelo médico da outra unidade.

Cê pode pegar todas as avaliações, ela tá entre nove e dez pra todo mundo, ou às vezes acontece de cair uma avaliação nas mãos de um desafeto ou de uma coisa assim, vai lá e detona a avaliação com 7,5. […] não sei se eu concordo muito com esse tipo de avaliação, principalmente pra progressão salarial (M1A).

Em razão dessas questões, vários trabalhadores sugeriram desvincular a AD da progressão de carreira, supondo que isso permitiria uma avaliação de pares mais honesta, como vimos na fala anterior.

No que tange ao PMAQ, um terço dos entrevistados ressaltou os longos ciclos de aplicação do instrumento como um problema no processo. Isso os fez perderem o direcionamento ao longo do tempo, como aponta uma enfermeira. “Eles não dão muito... ‘norte’ assim para a gente. Eles vêm... e pergunta como é o nosso controle, o que a gente tem… e eu acho que deveria ter uma coisa mais constante, não só de vez em quando” (E2B). Este aspecto é um dos fatores do principal problema apontado para o PMAQ: a sua aplicabilidade no cotidiano.

A maioria dos profissionais técnicos pontuou que o principal elemento dificultador para a aplicação dos resultados do PMAQ no cotidiano é o modelo de organização do trabalho da atenção básica no município, que dedicava muito tempo dos atendimentos para casos agudos. Os profissionais reclamaram que era “[...] muito bonitinho falar de como o PMAQ seria, mas com essa porta escancarada tá ficando cada dia mais difícil” (E3A). Isso os sobrecarregava: “[...] o embate no dia a dia, eu acho que ele é meio sufocante ainda, sabe? Ele é sufocante” (M1A).

Os profissionais consideravam que o papel da atenção básica é promoção e prevenção da saúde. Assim, a necessidade de atender aos casos agudos entrava em conflito com a concepção dos profissionais. Essa percepção se assemelha aos resultados de Gomes, Cotta, Araújo, Cherchiglia e Martins (2011) ao analisarem as representações sociais dos profissionais em relação à atenção básica, que consideravam restringir o seu papel à promoção e à prevenção de saúde. Uma análise dos resultados do primeiro PMAQ, realizado em 2012, indicou a incipiência das ações de prevenção e promoção da saúde na atenção básica de todo o país (Medina et al., 2014), corroborando assim com a percepção dos entrevistados. Contudo, Norman e Tesser (2015) entendem que historicamente temos trabalhado com uma falsa dicotomia entre demanda espontânea e demanda programada, sendo esta última marcada historicamente por um caráter preventivista. Na perspectiva dos autores, o mais importante seria garantir o acesso da população adscrita às equipes, em encontros que não fossem marcados pelo binômio queixa-conduta, mas pelo cuidado integral. Para que isso ocorra seria necessário diminuir a população adscrita por EqSF, tal como ocorre em países que possuem assistência universal. Essa perspectiva pode desafiar a percepção de que a integralidade em seus componentes de prevenção e promoção é impedida pela pressão da ‘demanda espontânea’, mas entendemos que isso precisará envolver não somente uma revisão do processo de trabalho das equipes, mas um investimento no aumento do número de EqSF e a consequente diminuição de sua população adscrita.

Por fim, o último problema apontado diz respeito ao compromisso firmado pelos gestores municipais. Quase todos os profissionais e um dos gerentes das duas UBS ressaltaram a falta de transparência por parte da PBH quanto ao repasse do recurso prometido pelo Ministério da Saúde para as equipes que tivessem bons resultados no PMAQ. “[…] eles falaram que... essa verba do PMAQ ia vir pro centro de saúde... pra dividir pros funcionários da equipe... e esse dinheiro nunca chegou” (E3B). Isso levou inclusive a um boicote por parte dos profissionais, que se recusaram a aderir ao terceiro ciclo do PMAQ⁴. As afirmações dos profissionais reforçam o que a literatura aponta. A eficácia de um instrumento e da sua aplicação nas atividades avaliadas dependem não só do material, mas também do ambiente onde ele se insere. Segundo Hood (2012), a gestão baseada em números melhora ou piora a eficácia de um serviço dependendo do contexto e dos objetivos para os quais ela serve. A avaliação isoladamente não gera as mudanças almejadas se o ambiente onde ela se encontra não é propício para a transformação.

Verificamos que os problemas com avaliações possuem múltiplos fatores que não dizem respeito apenas aos instrumentos. Além da crítica direcionada aos próprios indicadores, o processo de avalição e sua vinculação a ganhos financeiros, como exposto, também foram alvos de críticas dos entrevistados.

Processos de subjetivação produzidos pelas avaliações

A análise dos dados permitiu constatar efeitos de subjetivação que as práticas de avaliação produziram nos entrevistados. Os principais efeitos foram um conhecimento reflexivo sobre o que é importante no trabalho, associado ao desenvolvimento de estratégias de melhoria das ações laborais; sentimentos de medo, de culpa e de frustração em relação ao resultado do próprio desempenho; a ação coletiva de recusa de adesão ao novo ciclo do PMAQ-AB, diante do não cumprimento do compromisso de repasse de recursos às unidades e aos trabalhadores.

Os entrevistados ressaltam que adotaram o material como referência e compararam com a atividade que realizavam e com a atitude que tinham. Com esses dados eles passaram a pensar suas atitudes de forma diferente e a direcionar melhor suas ações individualmente e em equipe. Uma enfermeira demonstrou como a sua equipe trabalhou em reuniões para compreender os resultados: “[...] a gente faz uma discussão maior, a gente olha indicador por indicador [...] então a gente vê onde é que tem as falhas” (E3A).

Tem ocorrido a ‘introjeção do olhar avaliador’, como preconizado em documento do Ministério da Saúde (Humaniza SUS, 2004). Partindo das novas percepções promovidas pelas avaliações, os trabalhadores sentiram-se impelidos a promoverem mudanças em suas ações. Mesmo com as críticas relacionadas à dificuldade de colocar em prática o que aprenderam com os processos, metade dos entrevistados disse ter mudado suas atitudes no trabalho. Com os resultados do PMAQ, as mudanças focalizaram primeiramente a gestão do trabalho em equipe. As enfermeiras se mostraram protagonistas nesse processo. “Algumas coisas que normalmente a gente não cobra no... da equipe, que a partir de alguns... alguns itens né, que foram requisitados no PMAQ, a gente acaba inserindo no nosso trabalho do dia-a-dia" (E4A). Concomitantemente a isso houve uma reorganização do trabalho e dos dados. “Então, hoje eu já preparo a equipe de modo que se de repente o prefeito falar ‘todo mundo tem que responder o PMAQ’ eu já tenho esses indicadores meio que eh... organizados, entendeu?” (E2A).

Apesar de a avaliação de desempenho ter sido considerada pouco confiável por causa do seu viés econômico, ela também promoveu mudanças na postura dos profissionais. Dois exemplos, já vistos anteriormente, foram a médica que mudou sua postura com os pacientes em relação ao horário de atendimento (M1B) e a técnica de enfermagem que mudou a sua postura com a equipe (T1A). As avaliações promoveram o aumento do conhecimento sobre a própria atuação no trabalho por parte dos profissionais. Conforme os resultados e as posturas esperadas, as atitudes foram modificadas. Pesquisa desenvolvida em município do interior do Rio Grande do Norte identificou que as principais mudanças a partir da implantação do PMAQ-AB ocorreram na organização do trabalho, na infraestrutura e na organização dos registros (Feitosa et al., 2017).

O segundo efeito de subjetivação produzido foram sentimentos de medo, culpa e frustração em relação ao resultado do próprio desempenho. Expressões como ‘falha’, ‘erro’ e mesmo ‘pecado’ estiveram presentes nas conversas com os entrevistados.

Em relação aos efeitos de subjetivação, Dujarier (2015) entende que a gestão por comparação dos resultados da avaliação pode instilar o medo de punições. Por se sentir acuado o trabalhador tende a tomar posturas para sabotar o processo. No caso de uma das enfermeiras, ao receber uma avaliação negativa no PMAQ, ela passou a sofrer e decidiu não participar do ciclo seguinte de avaliações. Ela se posicionou dizendo: “Eu acho que não assinar os próximos ciclos é uma maneira da gente... ‘entrar na toca’. Não podem só ficar jogando pedra em mim. [...] Eu fico na toca e fico jogando pedras lá de dentro também” (E4B).

Mais da metade dos entrevistados, incluindo um dos gerentes, pontuou algum sentimento negativo decorrente da avaliação. O principal sentimento enunciado diretamente por eles foi a frustração, presente na fala de nove deles.

Um aspecto apontado por sete profissionais foi a dificuldade de se pôr em prática o que haviam aprendido com o PMAQ. Os profissionais da saúde entendem que a organização do serviço na UBS engessa o trabalho e retira a autonomia dos profissionais, gerando frustração e desmotivação. “A gente fica desmotivado... né?" (E3B). Eles se sentiam limitados para efetivar a proposta:

O negativo é que nem sempre você consegue, ou você tem instrumentos, ou você tem condições de mudar, melhorar aquela situação. Às vezes você percebe que uma falha existe, mas nem sempre você vai conseguir sanar. [...] Nós não temos autonomia para mudar fluxo dentro aqui (E1A).

O terceiro efeito de subjetivação foi a recusa coletiva, mediada pelo Sindicato, de adesão ao novo Ciclo do PMAQ-AB, caso não houvesse garantias de repasse financeiro para as unidades e para os trabalhadores. “Então, o pessoal tá... não tá querendo responder PMAQ mais não” (E5A). “Porque o que tem acontecido na Prefeitura a respeito, eu participei de uma reunião agora do PMAQ, muitas equipes não querem aderir à avaliação mais, sabe?” (E2B).

A falta do repasse financeiro do PMAQ foi bastante sentida. Todos se esforçaram para atingir as metas exigidas pelos indicadores, com a promessa de que as UBS receberiam algum recurso para melhorias na infraestrutura e na aquisição de materiais. O contato com colegas que trabalhavam em outros municípios e recebiam repasses causou revolta entre as equipes. “Belo Horizonte que é maior, quem estava na gestão não repassou para gente. [...] Na verdade, as pessoas ficaram frustradas, porque você tenta fazer um serviço e dar o seu melhor e de repente...” (A1A).

Dujarier (2015) sugere haver dois vetores nos processos de subjetivação. O primeiro seria uma subjetivação servil, modelada pelo medo. O segundo seria o surgimento de posturas estratégicas e autônomas, que podem desfazer os laços do submetimento. Mesmo que se possa considerar a recusa de adesão e o consequente não financiamento federal como uma medida temerária, foi através dela que a Secretaria de Saúde realizou, em 2017, um acordo que vinha sendo negociado desde 2015. Como reação a certos processos avaliativos, os trabalhadores, que são sempre o foco das avaliações, tendem, com o tempo, a encontrar estratégias para burlar o processo, rompendo com a adesão às regras do jogo (Dujarier, 2015).

Não podemos ignorar que a avaliação é um instrumento de governo, de gestão, e nessa relação se produzem tanto momentos de alinhamento quanto momentos de enfrentamentos. Ambos os momentos podem ter contornos de autonomia. Como afirma Foucault, a postura crítica implica que ao ouvir do outro ‘obedeça’, deve-se avaliar se nisso há uma ideia justa. A partir da reflexão autônoma pode-se conduzir à recusa da ordem ou à obediência, que, neste caso, “[...] estará fundada na própria autonomia” (Foucault, 1978, p. 6). Ou seja, nem todo alinhamento é sempre submissão, da mesma forma que nem todo enfrentamento é sempre autonomia. Assim, processos de subjetivação mais autônomos ou mais submetidos dependerão de processos individuais e coletivos vividos pelos trabalhadores diante das práticas de avaliação. Duffy (2017), ancorada nas contribuições de Foucault e Deleuze, afirma que a transformação subjetiva não está separada da regulação, pois as denominadas ‘práticas de si’ envolvem o manejo autônomo de normas, estilos e convenções presentes na cultura.

Considerações finais

A avaliação tem se tornado uma realidade do Sistema Único de Saúde. Apesar da maior parte da literatura afirmar que a avaliação promove constrições às subjetividades avaliadas, analisamos que ela também pode ser um material produtor de subjetividades engajadas em aprimorar o atendimento dos usuários de SUS e aperfeiçoar o processo de trabalho das equipes.

O PMAQ e a AD propulsaram subordinações, engajamentos e resistências. Promoveram reflexões sobre as atitudes e ações dos servidores, levando-os a novos posicionamentos quanto ao trabalho. Com o PMAQ, principalmente, o trabalho foi reorganizado para melhor atender aos usuários das UBS. Mas, para além do engajamento e planejamento em equipe, as avaliações também geraram conflitos, frustrações e culpabilizações.

Esse artigo possui limitações quanto a sua possibilidade de generalização, pelo caráter regional do estudo, contudo adiciona novas reflexões sobre a função das avaliações nas instituições de saúde. A avaliação demonstra ser um instrumento potencializador de novas ações, aprimorando o atendimento da população e desencadeando processos de subjetivação dos profissionais. Por outro lado, também ressaltamos que ela não funciona isolada, sendo necessários contextos que acolham as transformações, que cumpram os acordos e que ela seja revisada periodicamente para construção constante de novas possibilidades. Assumir que a avaliação só é transformadora quando o ambiente institucional for propício a isso, como apontado por Hood (2012), pode indicar um importante limite da eficácia dos processos avaliativos. Apesar disso, entendemos que a própria cultura de avaliação pode sensibilizar seu entorno para a possibilidade de transformação, o que amplia sua potência como intervenção.

Referências

• Abelson, J., Humphrey, A., Syrowatka, A., Bidonde, J. & Judd, M. (2018). Evaluating patient, family and public engagement in health services improvement and system redesign. Health Quarterly, 21, 61-67. DOI: https://doi.org/10.12927/hcq.2018.25636
  » https://doi.org/10.12927/hcq.2018.25636
• Carvalho, A. L., & Shimuzu, H. E. (2017). A institucionalização das práticas de monitoramento e avaliação: desafios e perspectivas na visão dos gestores do Sistema Único de Saúde. Interface, 21(60), 23-33. DOI: https://doi.org/10.1590/1807-57622015.0817
  » https://doi.org/10.1590/1807-57622015.0817
• Duffy, D. (2017). Evaluation and governing in the 21th century: disciplinary measures, transformative possibilities. Londres, UK: Palgrave MacMillan.
• Dujarier, M. A. (2015). A automatização do julgamento emitido sobre o trabalho: medir não é avaliar. In G. Balandier (Org.). O que avaliar quer dizer? (A. Danesi, Trad.). São Paulo, SP: Fasp-Unifesp.
• Feitosa, R. M., Paulino, A., Lima-Júnior, J. O., Oliveira, K. K., Freitas, R. J., & Silva, W. F. (2017). Mudanças ofertadas pelo programa nacional de melhoria do acesso e da qualidade da atenção básica. Saúde e Sociedade, 25(3), 821-829. DOI: https://doi.org/10.1590/s0104-12902016151514
  » https://doi.org/10.1590/s0104-12902016151514
• Felisberto, E., Freeze, E., Bezerra, L., Alves, C. & Samico, I. (2010). Análise da sustentabilidade de uma política de avaliação: o caso da atenção básica no Brasil. Cadernos de Saúde Pública, 26(6), 1079-1095. DOI: https://doi.org/10.1590/S0102-311X2010000600003
  » https://doi.org/10.1590/S0102-311X2010000600003
• Felix, G., Bertolin, J., & Polidori, M. (2017). Avaliação da educação superior: um comparativo dos instrumentos de regulação entre Brasil e Portugal. Avaliação, 22(1), 35-54. DOI: https://doi.org/10.1590/s1414-40772017000100003
  » https://doi.org/10.1590/s1414-40772017000100003
• Ferreira-Neto, J. L. (2017). Cultura de avaliação e efeitos de subjetivação na saúde. Psicologia em Estudo , 22(4), 539-549. DOI: https://doi.org/10.4025/ psicolestud.v22i4.36676
  » https://doi.org/10.4025/ psicolestud.v22i4.36676
• Foucault, M. (1978). O que é a crítica? Crítica e Aufklärung (G. Borges, Trad.). Recuperado de http://michel-foucault.weebly.com/uploads/1/3/2/1/13213792/critica.pdf
  » http://michel-foucault.weebly.com/uploads/1/3/2/1/13213792/critica.pdf
• Foucault, M. (2004). Ética, sexualidade, política Rio de Janeiro, RJ: Forense Universitária.
• Furtado, J., & Vieira-da-Silva, L. (2014). A avaliação de programas e serviços de saúde no Brasil enquanto espaço de saberes e práticas. Cadernos de Saúde Pública, 30(12), 2643-2655. DOI: https://doi.org/10.1590/0102-311x00187113
  » https://doi.org/10.1590/0102-311x00187113
• Gomes, K. O., Cotta, R. M. M., Araújo, R. M. A., Cherchiglia, M. L., & Martins, T. C. P. (2011). Atenção Primária à Saúde - a “menina dos olhos” do SUS: sobre as representações sociais dos protagonistas do Sistema Único de Saúde. Ciência e Saúde Coletiva, 16(1), 881-892. DOI: https://doi.org/10.1590/S1413-81232011000700020
  » https://doi.org/10.1590/S1413-81232011000700020
• Hood, C. (2012). Public management by numbers as a performance-enhancing drug: two hypotheses. Public Administration Review, 72(1), 585-592. DOI: https://doi.org/10.1111/j.1540-6210.2012.02634.x
  » https://doi.org/10.1111/j.1540-6210.2012.02634.x
• Humaniza SUS: Política Nacional de Humanização. (2004). Brasília, DF: Ministério da Saúde. Departamento de Atenção Básica.
• Martuccelli, D. (2015). Crítica da filosofia da avaliação. In G. Balandier (Org.). O que avaliar quer dizer? (A. Danesi, Trad.). São Paulo, SP: Fasp-Unifesp .
• Medina M. G., Aquino R., Vilas Bôas A., Mota E, Pinto-Júnior, E., Luz, L. A., … Pinto, I. C. M. (2014). Promoção da saúde e prevenção de doenças crônicas: o que fazem as equipes de Saúde da Família? Saúde em Debate, 38(esp.), 69-82. DOI: https://doi.org/10.5935/0103-1104.2014S006
  » https://doi.org/10.5935/0103-1104.2014S006
• Menicken, A., & Miller, P. (2012). Accounting, territorialization and power. Foucault Studies, 13, 4-24. DOI: https://doi.org/10.22439/fs.v0i13.3503
  » https://doi.org/10.22439/fs.v0i13.3503
• Norman, A., & Tesser, C. (2015) Acesso ao cuidado na Estratégia Saúde da Família: o equilíbrio entre demanda espontânea e prevenção/promoção da saúde. Saúde e Sociedade, 24(1), 165-179. DOI: https://doi.org/10.1590/S0104-12902014000300011
  » https://doi.org/10.1590/S0104-12902014000300011
• Pacheco R. S. (2010). A agenda da Nova Gestão Pública. In M. Loureiro, F. Abrucio, R. Pacheco (Org.). Burocracia e política no Brasil: desafios para a ordem democrática no século XXI Editora FGV.
• Pinto, H. (2014). Múltiplos olhares sobre e a partir do Programa de Melhoria do Acesso e Qualidade (Dissertação de Mestrado). Escola de Enfermagem, Programa de Pós-graduação em Saúde Coletiva, Universidade Federal do Rio Grande do Sul, Porto Alegre.
• Power, M. (2000). The audit society - second thoughts. International Journal of Auditing, 4(1), 111-119. DOI: https://doi.org/10.1111/1099-1123.00306.
  » https://doi.org/10.1111/1099-1123.00306
• Saúde mais Perto de Você. Acesso e Qualidade. Programa Nacional de Melhoria do Acesso e da Qualidade da Atenção Básica (PMAQ): Manual Instrutivo (2012). Brasília, DF: Ministério da Saúde. Departamento de Atenção Básica.
• Sindibel. (2017). Sindicato dos servidores públicos municipais de Belo Horizonte. Sindibel Informa (panfleto distribuído aos servidores da saúde).
• Souza, L. K. (2019). Pesquisa com análise qualitativa de dados: conhecendo a Análise Temática. Arquivos Brasileiros de Psicologia, 71(2), 51-67. DOI: https://doi.org/10.36482/1809-5267.ARBP2019v71i2p.51-67
  » https://doi.org/10.36482/1809-5267.ARBP2019v71i2p.51-67
• Triantafillou, P. (2017). Neoliberal power and public management reforms Manchester, UK: Manchester Press.

• 4
  Somente em setembro de 2017, quando foi negociado o aumento de 15% para 20% do recurso para Remuneração por Desempenho, o Sindicato orientou os servidores a aderirem à contratualização (Sindibel, 2017).

Datas de Publicação

• Publicação nesta coleção
  16 Mar 2022
• Data do Fascículo
  2022

Histórico

• Recebido
  08 Jun 2019
• Aceito
  03 Set 2020