A APLICAÇÃO DA TÉCNICA DE ANÁLISE DE SENTIMENTO EM MÍDIAS SOCIAIS COMO INSTRUMENTO PARA AS PRÁTICAS DA GESTÃO SOCIAL EM NÍVEL GOVERNAMENTAL

LA APLICACIÓN DE LA TÉCNICA DE ANÁLISIS DE SENTIMIENTO EN MEDIOS SOCIALES COMO INSTRUMENTO PARA LAS PRÁCTICAS DE LA GESTIÓN SOCIAL A NIVEL GUBERNAMENTAL

Resumo

A análise de sentimento é uma técnica de descoberta de conhecimento por meio da mineração de dados, sua finalidade é revelar a opinião das pessoas sobre temas específicos. Essa é uma técnica apropriada para aplicação em fontes de dados não estruturados, como as mídias sociais, que abarcam informações sobre diversos temas, inclusive política e administração pública. O objetivo deste estudo foi identificar se a análise de sentimento pode refletir a opinião pública e, assim, trazer contribuições para as práticas da gestão social. Para tanto, a técnica foi aplicada para revelar as opiniões dos cidadãos expressas no Twitter sobre alguns dos principais programas sociais em vigor no Brasil durante o governo Dilma Rousseff. O estudo consistiu no confronto entre os resultados da análise de sentimento e os conceitos e aplicações envolvendo quatro estratégias de utilização de mídias sociais pelos governos sob a ótica da gestão social. Os resultados da pesquisa revelaram que a técnica da análise de sentimento pode contribuir para as práticas da gestão social no contexto da estratégia de rede.

Palavras-chave:
análise de sentimento; mineração de opinião; mídias sociais; gestão social; gestão pública

Resumen

El análisis de sentimiento es una técnica de descubrimiento de conocimiento a partir de la minería de datos que tiene la finalidad de revelar la opinión de las personas sobre temas específicos. Esta es una técnica apropiada para aplicación en fuentes de datos no estructurados, como los medios sociales, que abarcan información sobre diversos temas, inclusive política y administración pública. En este ámbito, el objetivo de este estudio fue identificar si el análisis de sentimiento puede reflejar la opinión pública y, así, traer contribuciones a las prácticas de la gestión social. Para ello, la técnica se aplicó para revelar la opinión de los ciudadanos expresada en Twitter sobre algunos de los principales programas sociales vigentes en Brasil durante el gobierno de Dilma Rousseff. El estudio consistió en la confrontación de los resultados del análisis de sentimiento con los conceptos y aplicaciones que involucran cuatro estrategias de utilización de medios sociales por parte de los gobiernos bajo la óptica de la gestión social. Los resultados de la investigación revelaron que la técnica de análisis de sentimiento puede contribuir a las prácticas de la gestión social en el contexto de la estrategia de red.

Palabras clave:
análisis de sentimiento; minería de opiniones; medios de comunicación social; gestión social; gestión pública

Abstract

Sentiment analysis is a knowledge discovery technique developed from data mining; its purpose is to reveal people’s opinions on specific topics. This is an appropriate technique to apply to unstructured data sources, such as social media, that cover information on a variety of topics (such as politics and public administration). In this context, the objective of this study was to identify whether sentiment analysis can reflect public opinion and, thus, contribute to practices of social management. Therefore, the sentiment analysis technique was applied to reveal citizens’ opinions, which were expressed on Twitter and concerned some of the main social programs in force during Brazil’s Rousseff government. The study consisted of a comparison between the results of the sentiment analysis and the concepts and applications involving four strategies of social media used by governments from the point of view of social management. The results revealed that the sentiment analysis technique could contribute to social management practices in the context of the network strategy.

Keywords:
sentiment analysis; opinion mining; social media; social management; public administration.

1. Introdução

O surgimento das mídias sociais alterou radicalmente a maneira como os indivíduos se comunicam (Kontopoulos, Berberidis, Dergiades, & Bassiliades, 2013). Cada vez mais as mídias sociais estão sendo utilizadas pelos cidadãos para se comunicar com familiares, amigos, empresas e até mesmo com o governo (Kavanaugh et al., 2012). Diante dessas novas possibilidades de interação, os cidadãos não mais se limitaram a cumprir apenas o papel de receptores passivos das políticas do governo (Bonsón, Torres, Royo, & Flores, 2012). Cientes disso, os governos têm adotado, gradativamente, as mídias sociais como um mecanismo que permite a interação com o público (Gustafsson, 2012; Mergel, 2013b; Snead, 2013). Essa interação entre Estado e sociedade pode contribuir para incorporar a opinião da sociedade civil na administração pública (Guimarães & Amorim, 2013). Isso se alinha com as práticas da gestão social, que, segundo Cançado, Pereira e Tenório (2015), é uma ação gerencial dialógica que busca converter fluxos comunicacionais em ações e decisões políticas. Porém, o desafio é mensurar os resultados dessa comunicação, bem como a opinião dos cidadãos perante a atuação dos governos (Mergel, 2013a).

A adoção de técnicas inovadoras para a análise de mídias sociais está criando expectativas sobre as futuras oportunidades de inovação e o surgimento de ferramentas que possibilitem utilizar essas mídias como fonte de conhecimento (Criado, Sandoval-Almazan, & Gil-Garcia, 2013). Uma técnica promissora é a análise de sentimento, também conhecida como mineração de opinião, que tem o propósito de identificar opiniões polarizadas (positivas, negativas e neutras) sobre determinados temas em bases de dados não estruturadas (Sobkowicz, Kaschesky, & Bouchard, 2012).

O objetivo deste estudo é investigar como a técnica de análise de sentimento pode contribuir para as práticas da gestão social por meio da identificação da opinião dos cidadãos em relação a temas que envolvem o interesse público e, dessa forma, estabelecer uma possibilidade, mesmo que preliminar, de participação da sociedade civil no processo decisório da res publica. Propõe-se, assim, responder a seguinte questão: como a utilização da técnica de análise de sentimento, baseada na opinião dos cidadãos extraída de mídias sociais, pode contribuir para as práticas da gestão social? Para responder essa questão, foram utilizadas ferramentas de mineração de dados com o objetivo de identificar a opinião dos cidadãos expressa no Twitter sobre alguns dos principais programas sociais desenvolvidos no Brasil durante o governo Dilma Rousseff. Posteriormente, fez-se o confronto entre os resultados da análise de sentimento e os conceitos e aplicações envolvendo quatro estratégias de utilização de mídias sociais pelos governos sob a ótica da gestão social.

Este estudo justifica-se diante da carência de pesquisas sobre o desenvolvimento e a análise de métodos e técnicas adequados à prática da gestão social (Paes de Paula, 2010; Cançado, Pereira, & Tenório, 2015). Além disso, é preciso testar novas ferramentas e métodos que possam mensurar o potencial das mídias sociais para aumentar a participação social e fortalecer a democracia (Sobaci & Karkin, 2013; Snead, 2013). Segundo Oliveira, Bermejo e Santos (2015), é necessário avaliar se a análise de sentimento pode contribuir para promover uma gestão pública participativa, estabelecendo uma relação dialógica entre Estado e sociedade. Pretende-se, basicamente, contribuir para o preenchimento dessas lacunas.

Este artigo está estruturado da seguinte forma: na próxima seção são apresentadas as estratégias de utilização de mídias sociais pelos governos. Na terceira seção, discute-se o potencial participativo oferecido pelas tecnologias da informação e comunicação. Na quarta seção são abordados os principais conceitos sobre gestão social no âmbito das relações entre Estado e sociedade. Na quinta seção, são descritas as principais abordagens sobre a técnica de análise de sentimento. A metodologia que foi aplicada no estudo está detalhada na sexta seção. Na sétima seção, são apresentados os resultados e, na oitava, o estudo é concluído.

2. Estratégias de utilização de mídias sociais pelos governos

A adoção estratégica de ferramentas de mídia social pelos governos - como blogs, microblogs, wikis e redes sociais eletrônicas - está mudando o panorama de órgãos públicos e burocracias em todo o mundo (Mergel, 2013a). Nos EUA, as mídias sociais são utilizadas pelo governo com o objetivo de promover a transparência, a participação e a colaboração, que foram características predominantes da Open Government Initiative, do governo Obama (Chun & Luna-Reyes, 2012; Mergel, 2012, 2013a, 2013b; Criado, Sandoval-Almazan, & Gil-Garcia, 2013; Meijer & Thaens, 2013; Snead, 2013). Outros estudos revelam que as mídias sociais estão sendo utilizadas pelos governos de vários países, como China (Zheng, 2013), Turquia (Sobaci & Karkin, 2013), México (Picazo-Vela, Gutiérrez-Martínez, & Luna-Reyes, 2012), Suécia (Gustafsson, 2012), Holanda (Bekkers, Edwards, & Kool, 2013) e também outros países da União Europeia (Bonsón et al., 2012). O foco da utilização das mídias sociais pelos governos varia bastante, desde accountability até segurança pública e prevenção de tragédias naturais (Kavanaugh et al., 2012; Meijer & Thaens, 2013).

Nos últimos anos, as pesquisas sobre o processo de adoção das mídias sociais pelos governos demonstram a aplicação de diferentes estratégias. Mergel (2012) e Meijer e Thaens (2013) apresentam quatro tipos de estratégias, conforme o Quadro 1.

Quadro 1
Estratégias de utilização de mídias sociais por governos

Em governos que utilizam a estratégia push, as mídias sociais são predominantemente utilizadas para transmitir informações aos cidadãos, sem que haja interação entre ambos, assim como acontece nas mídias de massa tradicionais (Mergel, 2012). Já na estratégia pull, os governos utilizam as mídias sociais com o objetivo de atrair a atenção dos cidadãos para que eles forneçam informações por meio de comentários (Meijer e Thaens, 2013). Nos governos que adotam a estratégia de rede, as mídias sociais não são utilizadas apenas para controlar ou direcionar mensagens para seus públicos, mas como ferramentas estratégicas de compartilhamento de informações e criação de conhecimento por meio da interação e da discussão de questões reais com os cidadãos (Mergel, 2013c). Em governos que utilizam a estratégia de transação, as mídias sociais são utilizadas para transações reais entre governos e cidadãos, ou seja, há a prestação direta de serviços públicos por meio de aplicativos de mídia social (Meijer & Thaens, 2013).

Para Chun e Luna-Reyes (2012), a utilização das mídias sociais pelos governos pode ser considerada uma inovação tecnológica, bem como um agente transformador, gerando, portanto, o engajamento cívico por meio de iniciativas de participação social que promovem decisões mais democráticas, temas que serão abordados na próxima seção.

3. A promoção da participação social

Cançado, Pereira e Tenório (2015) acreditam que a democracia representativa no Brasil poderá abrir mais espaço à participação política do cidadão à medida que os processos de ação comunicativa se ampliem na sociedade. Desse modo, é necessário buscar formas de ultrapassar o nível existente de democracia (Dahl, 2001) por meio da democracia participativa, que pode ser definida como “[...] um sistema piramidal, com democracia direta na base e democracia por delegação nos outros níveis” (Paes de Paula, 2005, p. 160). Assim, a ampliação da democracia representativa rumo à democracia participativa está ao alcance da sociedade, principalmente com o surgimento das novas tecnologias da informação e comunicação (Cançado, Pereira & Tenório, 2015).

Atualmente, estas tecnologias - em especial as ferramentas baseadas na internet - têm o potencial de contribuir significativamente na promoção da participação social em grande escala, rompendo as barreiras da democracia representativa (Chun & Luna-Reyes, 2012; Criado, Sandoval-Almazan, & Gil-Garcia, 2013; Sobaci & Karkin, 2013). Essas tecnologias contribuem para a associação dos cidadãos em prol de objetivos comuns, que, segundo Habermas (2003), eleva a sociedade a um nível em que é possível que ela seja ouvida pelos governantes.

A defesa da participação social não implica uma deliberação pública constante sobre todos os temas, impondo aos cidadãos um envolvimento permanente e exclusivo na esfera pública, pois “[...] o importante é que as pessoas tratem das questões centrais e que as informações fundamentais estejam disponíveis” (Guimarães & Amorim, 2013, p. 130). O desafio é construir um modelo em que o todo esteja representado nas partes, “[...] superando a fragmentação geoespacial e funcional, típica das burocracias clássicas” (Keinert, 2007, p. 97). Esse é um desafio que já havia sido lançado por Alexis de Tocqueville, em sua obra A democracia na América, publicada originalmente em 1835, quando afirmou que “[...] até agora, não se descobriu forma política alguma que favoreça igualmente o desenvolvimento e a prosperidade de todas as classes que compõem a sociedade” (Tocqueville, 1998, p. 180). Na atualidade, emerge um campo do conhecimento que propõe uma nova forma de gestão na tentativa de preencher essa lacuna: a gestão social.

4. Gestão social

De acordo com Cançado, Pereira e Tenório (2015), a gestão social tem como protagonista a sociedade nas relações com o Estado e com o mercado. Trata-se de um processo gerencial dialógico em que a decisão é compartilhada entre as partes envolvidas, ou seja, “[...] o adjetivo social qualificando o substantivo gestão é percebido como o espaço privilegiado de relações sociais onde todos têm direito à fala, sem nenhum tipo de coação” (Tenório, 2006, p. 1146).

Para compreender esse universo da gestão social é necessário, a princípio, conhecer melhor alguns termos-chave que são frequentemente relacionados com o tema na literatura, tais como: sociedade civil, esfera pública, fluxos comunicacionais, cidadania deliberativa e saberes alternativos (Habermas, 2003; Tenório, 1998, 2006, 2008; Keinert, 1994, 2007; Fischer et al., 2006; Natividade, Pereira, & Oliveira, 2011; Guimarães e Amorim, 2013; Cançado, Pereira, & Tenório, 2015).

De acordo com Habermas (2003, p. 100), a sociedade civil é composta por “[...] movimentos, organizações e associações, os quais captam os ecos dos problemas sociais que ressoam nas esferas privadas, condensam-nos e os transmitem, a seguir, para a esfera pública política”. Para o autor, a sociedade civil tem opiniões próprias que são capazes de influenciar decisões políticas em um contexto democrático. Para Cançado, Pereira e Tenório (2015, p. 101), “[...] a gestão social se situa no espaço de interseção das relações entre Estado, Mercado e Sociedade e torna-se capaz de converter os fluxos comunicacionais das esferas públicas em ações e decisões políticas a partir de sua organização na sociedade civil”. Esses autores consideram que a principal tarefa da gestão social é sistematizar os saberes alternativos, estruturar avaliações técnicas especializadas e voltadas para o bem comum e fortalecer a esfera pública municiando-a de informações de qualidade. Dessa perspectiva, considera-se que as mídias sociais têm contribuído muito para o desenvolvimento da gestão social, na medida em que proporcionam oportunidades de participação da sociedade nas questões políticas, levando em conta a formação da opinião pública.

Keinert (2007) chama a atenção para uma questão importante ao considerar que, apesar de a esfera pública ser historicamente vinculada ao Estado, suas raízes estão na própria sociedade. Segundo Habermas (2003), a esfera pública é uma rede de comunicação de conteúdos, tomadas de posição e opiniões, na qual os fluxos comunicacionais baseados na linguagem natural se condensam em opiniões públicas específicas. Dessa forma, cabe à esfera pública reforçar a pressão exercida pelos problemas e não somente identificá-los, buscando problematizá-los e dramatizá-los até que sejam assumidos pelos governantes (Habermas, 2003). Dessa perspectiva, a gestão social, ao ocupar o espaço de intermediação entre Estado, sociedade e mercado, deve identificar, compreender e propor soluções para os problemas da sociedade (Tenório, 2008; Cançado, Pereira, & Tenório, 2015).

Os fluxos comunicacionais da esfera pública estão muito ligados aos domínios da vida privada e levam a sociedade civil a identificar novos problemas antes mesmo dos agentes estatais (Habermas, 2003). Desse modo, a gestão social, baseada em uma ação comunicativa, seria uma forma de ampliar as possibilidades de emancipação social (Cançado, Pereira, & Tenório, 2015). Nos termos de Habermas (2003, p. 22), essa rede comunicacional forma “[...] arenas nas quais pode acontecer uma formação mais ou menos racional da opinião e da vontade acerca de matérias relevantes para toda a sociedade”. A formação de um sistema público de comunicação é, portanto, fundamental para renovar a base discursiva da soberania popular e dar voz àqueles que são social ou culturalmente marginalizados e desfavorecidos (Guimarães & Amorim, 2013). Nesse contexto, Habermas (2003, p. 84) afirma que “[...] a integração de uma sociedade altamente complexa não se efetua através de um sistema paternalista que ignora o poder comunicativo do público de cidadãos”.

Assim, as práticas de gestão social estão relacionadas com os princípios da cidadania deliberativa, que constitui um processo participativo de reflexão e decisão, baseado no entendimento entre as partes, para tomada de decisão dentro da esfera pública (Tenório, 2008; Cançado, Pereira, & Tenório, 2015). Em linhas gerais, a cidadania deliberativa significa que a legitimidade das decisões deve ter origem em “processos de discussão orientados pelos princípios da inclusão, do pluralismo, da igualdade participativa, da autonomia e do bem comum” (Tenório, 2008, p. 160). De forma complementar a esses princípios e ao conhecimento especializado, os saberes alternativos, que são aqueles formulados pelo conhecimento e informação do público em geral, formam o que Habermas (2003) denomina de comunidade de intérpretes, pois o fato de o público ser composto por leigos e “[...] a comunicação pública se dar numa linguagem compreensível a todos não significa necessariamente um obscurecimento das questões essenciais ou das razões que levam a uma decisão” (Habermas, 2003, p. 107).

Esclarecido o conceito de gestão social, resta saber como colocar em prática seus princípios. Cançado, Pereira e Tenório (2015) consideram a necessidade de serem criados instrumentos de gestão que possam efetivar as propostas da gestão social, corroborando Guimarães e Amorim (2013, p. 138), quando propõem que “[...] a formação de uma opinião pública democrática como horizonte [...] convida a imaginação democrática a criar as condições de possibilidade de sua máxima realização no contexto histórico em que se exerce”.

Nessa circunstância, este estudo propõe testar a técnica de análise de sentimento como uma possível contribuição à identificação de informações importantes para o processo decisório da administração pública tendo como base a relação dialógica entre governo e sociedade civil sob a ótica da gestão social.

5. Análise de sentimento

Também conhecida como mineração de opinião e análise de favorabilidade (Pang & Lee, 2008; Kontopoulos et al., 2013), a análise de sentimento é um subcampo do processamento de linguagem natural voltada a extrair, classificar e analisar opiniões sobre diversos temas em grandes volumes de dados textuais (Yoon, Elhadad, & Bakken, 2013). Seu objetivo é classificar textos não por tópicos, mas pelo sentimento ou opinião contidos na base de dados (Di Caro & Grella, 2013). Essa é uma técnica que tem como tarefa básica a classificação automática de bases de dados contendo opiniões polarizadas (positivas, negativas ou neutras) sobre temas previamente definidos (Yang & Yu, 2013; Pang & Lee, 2008; Sobkowicz, Kaschesky, & Bouchard, 2012). Com o auxílio da tecnologia da informação, a análise de sentimento reduz drasticamente a necessidade de se lerem grandes quantidades de documentos para extrair opiniões (Yu, Duan, & Cao, 2013).

A análise de sentimento procura cumprir o desafio de identificar e extrair informações subjetivas de grandes volumes de dados não estruturados por meio da combinação de técnicas de mineração de dados, processamento de linguagem natural, recuperação da informação e gestão do conhecimento (Mouthami, Devi, & Bhaskaran, 2013). Atualmente, a técnica de análise de sentimento é aplicada sob duas abordagens principais: aprendizagem supervisionada e aprendizagem não supervisionada. A aprendizagem supervisionada exige a classificação manual de amostras da base de dados (ou conjunto de treino) para se criarem padrões baseados no texto que servirão de parâmetro à classificação automática de toda a base de dados com o auxílio de algoritmos de aprendizagem de máquina (Pang & Lee, 2008). De outro modo, a aprendizagem não supervisionada é baseada na orientação semântica com base em um conjunto de palavras previamente construído, contendo termos positivos e negativos, de forma que a identificação automatizada da polaridade seja determinada pela frequência desses termos no texto, sem a necessidade de que uma amostra da base de dados seja previamente classificada (Yu, Duan, & Cao, 2013). A vantagem da aprendizagem supervisionada em relação à não supervisionada está no fato de que, quando as amostras de dados são classificadas, incorporam-se ao classificador palavras ou sentenças pertencentes ao mesmo domínio e contexto da base de dados que será submetida à classificação automatizada, proporcionando maior precisão nos resultados (Liu & Zhang, 2012). Por essa razão, a abordagem da aprendizagem supervisionada prevalece na maioria das pesquisas (Kontopoulos et al., 2013; Yang & Yu, 2013).

Para Yu, Duan e Cao (2013), há três principais razões para escolher a análise de sentimento como uma abordagem de pesquisa: 1) converte grandes volumes de dados não estruturados em informações que permitem previsões sobre questões específicas; 2) constrói modelos para agregar a opinião coletiva e revela informações úteis sobre o comportamento da população para previsão de tendências futuras; 3) possibilita recolher informações sobre a opinião das pessoas a respeito de vários temas.

A técnica da análise de sentimento pode ser aplicada em diversos tipos de dados textuais, online e offline. Porém, a ascensão das mídias sociais, como blogs, microblogs e sites de redes sociais, tem despertado o interesse de vários pesquisadores em explorar a opinião dos usuários de tais mídias por meio da análise de sentimento (Mouthami, Devi, & Bhaskaran, 2013). De acordo com Zhang e He (2013), o fato de os cidadãos utilizarem cada vez mais essas mídias para expressar suas opiniões sobre temas variados tornou-as uma das principais fontes de dados, atualmente, para a análise de sentimento. O crescimento do número de pesquisas envolvendo a análise de sentimento trouxe progressos significativos para as técnicas de rastreamento de opiniões em conteúdos de mídias sociais, especialmente àqueles que adotam o Twitter como fonte de dados (Yu, Duan, & Cao 2013).

6. Metodologia

O presente estudo é uma pesquisa aplicada, interdisciplinar e exploratória que pode ser classificada como qualitativa quanto ao processo de classificação dos dados e quantitativa por verificar a frequência de opiniões positivas, negativas e neutras contidas na base de dados (Rambocas e Gama, 2013). Os procedimentos metodológicos adotados foram baseados nos estudos de Yoon, Elhadad e Bakken (2013) e Oliveira, Bermejo e Santos (2015, 2017), constituindo-se nas seguintes etapas: 1) definir objeto de estudo; 2) escolher a fonte de dados; 3) definir palavras-chave para mineração de dados; 4) selecionar aplicativo de mineração de opinião; 5) coletar e preparar os dados; 6) delimitar o conjunto de treino; 7) realizar a classificação automatizada; e 8) validar os resultados.

Para verificar se a técnica de análise de sentimento pode refletir a opinião pública e, assim, trazer contribuições para as práticas da gestão social, tomou-se como objeto de estudo (etapa 1) a opinião dos cidadãos sobre os principais programas sociais desenvolvidos no Brasil durante o governo Dilma Rousseff. Foram selecionados para análise os quatro programas sociais¹ considerados por Carazzai e Britto (2014) “bandeiras” do governo Dilma:

• Bolsa Família: programa de transferência direta de renda que beneficia famílias em situação de pobreza e de extrema pobreza em todo o país;

• Minha Casa, Minha Vida: financiamento habitacional que oferece descontos, subsídios e redução do valor de seguros habitacionais facilitando a aquisição da casa própria;

• Mais Médicos: busca melhoria do atendimento aos usuários da saúde pública por meio de investimentos em infraestrutura dos hospitais e unidades de saúde, além de levar médicos brasileiros e estrangeiros para regiões onde há escassez e ausência de profissionais; e

• Programa Nacional de Acesso ao Ensino Técnico em Emprego (Pronatec): tem como objetivo ampliar a oferta de cursos gratuitos de educação profissional e tecnológica no Brasil.

A fonte de dados (etapa 2) foi estabelecida com base em três critérios: a mídia social deveria ser popular no Brasil; as postagens dos usuários deveriam ser predominantemente em forma de texto; e deveria haver viabilidade técnica para a mineração e análise dos dados. Dessa forma, a mídia social escolhida como fonte de dados foi o Twitter,² que pode ser acessado tanto em desktops quanto em dispositivos móveis. Nele os usuários compartilham informações e opiniões por meio de mensagens curtas, ou tweets, limitados a 140 caracteres (Deller, 2011; Larsson & Moe, 2011; Bae & Lee, 2012). Em virtude dessa limitação, os tweets tendem a ser mais concisos, expressando a opinião dos usuários de forma mais objetiva, o que torna o processamento desses dados mais eficaz do que as postagens longas permitidas em outras mídias sociais (Kontopoulos et al., 2013).

O próximo passo foi definir as palavras-chave (etapa 3) para a realização da mineração de dados. Visando conseguir coletar o maior número possível de postagens sobre cada um dos quatro programas sociais escolhidos como objeto deste estudo, as palavras-chave utilizadas na mineração de dados foram definidas em dois padrões distintos baseados nas regras de busca avançada do Twitter. O primeiro padrão constitui-se da utilização dos nomes dos quatro programas sociais entre aspas, o que garante a busca apenas da expressão exata, reduzindo ruídos nos dados. O segundo padrão é formado por hashtags³ oficiais utilizadas no compartilhamento de informações referentes a estes programas. Dessa maneira, as palavras-chave utilizadas na mineração de dados foram definidas conforme o Quadro 2.

Quadro 2
Palavras-chave utilizadas na mineração de dados

O aplicativo selecionado (etapa 4) para realização deste estudo foi o DiscoverText.⁴ Outros aplicativos como Rapidminer⁵ e Scup⁶ foram analisados, no entanto, o DiscoverText foi escolhido pela viabilidade técnica, disponibilidade gratuita para fins acadêmicos e seu desempenho em outros estudos (e.g., Beyer, 2012; Oliveira, Bermejo, & Santos, 2015, 2017). O DiscoverText é um aplicativo de análise de textos baseado em nuvem, capaz de capturar, filtrar e classificar um grande volume de dados estruturados e não estruturados. Além de facilitar a captura de dados das mídias sociais, fornece ferramentas analíticas bem integradas para explorar e codificar esses dados (Beyer, 2012). Por meio desse aplicativo é possível personalizar e reutilizar classificadores baseados em aprendizagem de máquina que permitem o uso combinado de algoritmos e codificação humana (aprendizagem supervisionada), o que aumenta a precisão nos resultados (Kontopoulos et al., 2013).

A coleta de dados (etapa 5) foi realizada entre os dias 3 de julho e 3 de agosto de 2014 por meio do aplicativo DiscoverText, utilizando-se as palavras-chave definidas no Quadro 2. Após a coleta, os dados foram preparados aplicando-se filtros para eliminação de ruídos, como tweets em outros idiomas, links e dados duplicados.

A dimensão do conjunto de treino (etapa 6) considerada para este trabalho foi definida em 30% do total de tweets coletados sobre cada programa social que compõe o objeto de estudo - uma vez que Oliveira, Bermejo e Santos (2015) identificaram que a classificação manual de 30% dos dados coletados é suficiente para se obter uma precisão satisfatória na classificação automatizada com o aplicativo DiscoverText. Assim, o conjunto de treino foi calculado conforme a Tabela 1.

Tabela 1
Cálculo do conjunto de treino

Programas Sociais	Dados brutos	Dados preparados	Conjunto de treino (30%)
Bolsa Família	12.598	2.033	610
Minha Casa, Minha Vida	15.537	2.525	758
Mais Médicos	16.641	2.342	703
Pronatec	14.236	3.276	983
TOTAL	59.012	10.176	3.054

• Fonte: Elaborado pelos autores.

De acordo com a Tabela 1, houve uma grande redução dos dados brutos relativamente aos dados preparados. Isso se deve à aplicação de filtros que eliminaram tweets duplicados e outros ruídos nos dados brutos, além da exclusão de postagens feitas por agências de notícias, resultando em um conjunto de dados composto apenas por tweets de cidadãos brasileiros.

O próximo passo foi realizar a classificação manual do conjunto de treino. Nessa etapa, foram classificados manualmente cada conjunto de treino a fim de estabelecer regras e padrões (aprendizagem de máquina) para que o aplicativo pudesse classificar de forma automatizada todos os dados. Terminada a classificação manual de cada conjunto de treino, foi realizada a classificação automatizada (etapa 7) de todos os conjuntos de dados, indicando o sentimento (positivo, negativo e neutro) sobre cada um dos programas sociais.

Após a classificação automatizada, foi realizada a validação dos resultados (etapa 8) para averiguar a sua precisão - esta foi calculada com base em uma amostra aleatória simples dos dados classificados de forma automatizada (Cochran, 2007). O tamanho da amostra manteve a mesma proporção do conjunto de treino, ou seja, 30% dos dados. O cálculo da precisão foi baseado no modelo de Eirinaki, Pisal, e Singh (2012), dividindo-se o número total de classificações corretas pelo número total de cada amostra, como demonstrado na Tabela 2.

Tabela 2
Precisão da análise automatizada dos dados

Programas Sociais	A	B	C	D
	Dados classificados de forma automatizada	Amostra para cálculo da precisão (A × 30%)	Dados classificados corretamente	Precisão (%) C ÷ B × 100
Bolsa Família	1.423	427	318	74,47%
Minha Casa, Minha Vida	1.767	530	441	83,20%
Mais Médicos	1.639	492	385	78,25%
Pronatec	2.293	688	592	86,04%

• Fonte: Elaborado pelos autores.

A coluna A da Tabela 2 representa os dados classificados de forma automatizada, que são o resultado da subtração entre os dados preparados e o conjunto de treino, classificado manualmente (ver Tabela 1). A coluna B refere-se à amostra para o cálculo da precisão, que foi definida na proporção de 30% dos dados da coluna A. A coluna C corresponde ao número de dados da amostra classificados corretamente pelo aplicativo. A coluna D representa a precisão da classificação automatizada, que foi obtida pela divisão do número de classificações corretas (coluna C) pelo total de cada amostra (coluna B).

A precisão alcançada pelo aplicativo utilizado neste estudo é aceitável, pois na literatura uma ferramenta que gera em média 80% de acertos já é tida como satisfatória (Mostafa, 2013; Yoon, Elhadad, & Bakken, 2013; Yu, Duan, & Cao, 2013; Oliveira & Bermejo, 2017). Mesmo que alguns conjuntos de dados tenham apresentado precisão inferior a 80%, pode-se afirmar que a confiabilidade alcançada pela média aritmética dos quatro conjuntos de dados apresentados é de 80,49%.

7. Resultados e discussão

Os resultados da classificação automatizada dos tweets relacionados com os programas sociais revelaram que nos programas “Pronatec” e “Minha Casa, Minha Vida” houve predominância de opiniões positivas, enquanto os tweets sobre os programas “Mais Médicos” e “Bolsa Família” foram majoritariamente negativos, como demonstrado no Gráfico 1.

Gráfico 1
Opinião polarizada dos brasileiros em relação aos quatro programas sociais pesquisados

Conforme os resultados da análise de sentimento, o programa social que apresentou o maior número de tweets positivos foi o “Pronatec” (69%). Este foi também o programa com maior número de tweets neutros (16%). O programa “Minha Casa, Minha Vida” apresentou uma tímida vantagem de tweets positivos (49%) em relação às opiniões negativas (39%).

Os programas “Mais Médicos” e “Bolsa Família” atingiram 54% e 58% de tweets negativos respectivamente. No entanto, esses programas sociais foram os que apresentaram menor precisão na classificação automatizada. Um dos motivos é a presença de falsos-positivos classificados pelo aplicativo. Isso se deve a tweets com alta carga de ironia, gírias ou erros ortográficos (Montoyo, Martínez-Barco, & Balahur, 2012). Alguns exemplos de tweets classificados neste estudo constam do Quadro 3.

Quadro 3
Exemplo de tweets classificados pela polaridade

Apurados os resultados da análise de sentimento sobre os quatro programas sociais em questão, resta saber se essa técnica pode realmente contribuir para as práticas da gestão social. Essa questão pode ser respondida por meio do confronto entre os conceitos e as aplicações que envolvem as quatro estratégias de utilização de mídias sociais pelos governos (Mergel, 2012; Meijer & Thaens, 2013), a gestão social (Tenório, 2006; Cançado, Pereira, & Tenório, 2015) e a técnica de análise de sentimento (Pang & Lee, 2008; Sobkowicz, Kaschesky, & Bouchard, 2012), que foram discutidos anteriormente neste estudo e agora apresentam-se distribuídos no Quadro 4.

Quadro 4
Relação entre estratégias de utilização de mídias sociais, gestão social e análise de sentimento

De acordo com o Quadro 4, a análise de sentimento pode contribuir para as práticas da gestão social na promoção de coprodução de políticas em governos que adotam a estratégia de rede na utilização de mídias sociais. Como visto anteriormente, são princípios da gestão social: a emancipação social, a inclusão, o pluralismo, a igualdade participativa, a dialogicidade, a autonomia e o bem comum (Tenório, 1998, 2006, 2008; Cançado, Pereira, & Tenório, 2015). Trata-se de uma ação gerencial dialógica voltada para o interesse público não estatal, capaz de converter os fluxos comunicacionais das esferas públicas - inclusive os saberes alternativos - em ações e decisões políticas (Cançado, Pereira, & Tenório, 2015). Analisando as quatro estratégias sobre o processo de adoção de mídias sociais pelos governos descritas por Mergel (2012) e Meijer e Thaens (2013), sob a ótica da gestão social, percebe-se que as estratégias push (cidadãos como receptores de informações) e pull (cidadãos como sensores do governo) não atendem aos requisitos para as práticas da gestão social, pois são formas monológicas de comunicação. Já as estratégias de rede (cidadãos como coprodutores de políticas governamentais) e de transação (cidadãos como parceiros nas atividades do governo) estão diretamente relacionadas com os princípios da gestão social, por estabelecerem uma relação dialógica entre Estado e sociedade. Dessa forma, estratégias push e pull tendem a arranjos mais centralizados e possuem limitações na relação com o público (Meijer & Thaens, 2013).

De forma análoga, ao analisar a possibilidade de aplicação dessas estratégias por meio da análise de sentimento, percebe-se que as estratégias push e de transação não podem ser aplicadas com a utilização dessa técnica. Na estratégia push, a comunicação se dá de forma unilateral, do governo para os cidadãos, por meio da disseminação de informações nos perfis oficiais dos órgãos governamentais, não sendo viável a utilização da análise de sentimento nesse caso, uma vez que as publicações oficiais tendem a ser informativas e não opinativas. No caso da estratégia de transação, os cidadãos atuam como parceiros do governo. Essa parceria pode se firmar, por exemplo, pela contribuição na divulgação e na organização, via mídias sociais, de atividades relacionadas com campanhas e programas promovidos pelo governo em diversas áreas, como saúde, educação, meio ambiente, segurança pública, entre outros. Desse modo, a análise de sentimento não é adequada para a estratégia de transação, pois essa técnica pode identificar a opinião dos cidadãos sobre determinados temas, mas não pode contribuir na execução de serviços públicos. Já as estratégias pull e de rede podem ser aplicadas por meio da técnica de análise de sentimento. Na estratégia pull, a análise de sentimento pode servir como um termômetro da opinião dos cidadãos sobre diversos temas relacionados com o governo. Quanto à estratégia de rede, a análise de sentimento pode favorecer a coprodução de políticas governamentais. Mas como isso é possível? De acordo com Meijer e Thaens (2013), na estratégia de rede as decisões são descentralizadas e atendem a múltiplos objetivos de coprodução entre o governo e os cidadãos, como a consulta sobre a opinião dos cidadãos para avaliar determinada política pública. E, conforme já visto, as mídias sociais são instrumentos eficazes no exercício da liberdade de expressão, que é fundamental para que os cidadãos participem mais ativamente da gestão pública e tenham a capacidade de pressionar e direcionar as decisões do governo (Habermas, 2003). Verificou-se também que essas mídias possibilitam a partilha de um grande volume de informações e opiniões que pode ser utilizado no processo decisório governamental (Mergel, 2013b). O desafio, nesse caso, foi transformar uma grande quantidade de dados não estruturados em conhecimento que possa influenciar decisões governamentais (Mergel, 2013a), caracterizando um modelo de gestão social nos termos de Cançado, Pereira, & Tenório (2015).

8. Conclusão

Este estudo propôs que a análise de sentimento, realizada por meio da mineração de dados extraídos de mídias sociais, seja utilizada como uma ferramenta de mensuração da opinião pública visando contribuir com as práticas da gestão social. A revisão teórica revelou que as mídias sociais possuem um grande potencial para aumentar a participação social e fortalecer a democracia, mas ainda se fazia necessária uma forma de transformar a grande quantidade de dados não estruturados em conhecimento.

Os resultados aferidos pela aplicação da análise de sentimento foram capazes de identificar com precisão satisfatória o número de opiniões positivas, negativas e neutras referentes aos quatro programas sociais adotados como objeto de estudo. Dois programas sociais revelaram-se com predominância de opiniões positivas (“Pronatec” e “Minha Casa, Minha Vida”) e outros dois com maioria de opiniões negativas (“Mais Médicos” e “Bolsa Família”). Esses resultados revelaram que a técnica de análise de sentimento pode contribuir com as práticas de gestão social mensurando a opinião da sociedade civil sobre diversos temas de interesse público. Desse modo, os resultados obtidos na análise de sentimento revelaram opiniões públicas informais que idealmente se formaram em estruturas de uma esfera pública não desvirtuada pelo poder (Habermas, 2003); nesse caso, o Twitter foi utilizado como uma fonte de dados alternativa e independente que possibilitou aos cidadãos exercerem sua liberdade de expressão (Dahl, 2001). Assim, a análise de sentimento pode ser utilizada na interseção das relações entre Estado e sociedade, sistematizando e convertendo esses fluxos comunicacionais em conhecimento capaz de incorporar a opinião da sociedade civil no corpo político (Guimarães & Amorim, 2013), uma vez que é na sociedade civil que se institucionalizam os discursos capazes de influenciar as decisões políticas (Cançado, Pereira, & Tenório, 2015). Nesse sentido, é preciso estabelecer uma gestão pública que não centralize o poder de decisão apenas no Estado e que considere a complexidade das relações entre os atores envolvidos, incentivando diferentes canais de participação (Paes de Paula, 2005).

A análise de sentimento demonstrou ser uma técnica vantajosa para governos que adotam a estratégia de rede na utilização de mídias sociais, como também para as práticas da gestão social. No entanto, este estudo apresenta algumas limitações. Primeiramente, os resultados da análise de sentimento se restringem à opinião dos cidadãos durante o período de coleta dos dados. Além disso, esses resultados revelam a opinião apenas dos usuários do Twitter, que não necessariamente são atendidos pelos programas sociais utilizados neste estudo. Por isso, é preciso ponderação ao interpretar esses resultados para que não se estabeleça uma “ditadura da maioria”. Outra limitação é a redução da precisão da classificação automatizada em textos com alta carga de ironia. A presença de ironia nos textos é ainda um dos grandes desafios na análise de sentimento (Montoyo, Martínez-Barco, & Balahur, 2012). Para superar esses desafios são necessárias futuras pesquisas que testem a eficácia da técnica de análise de sentimento em diferentes situações, bem como a busca por novas tecnologias que possam dar voz aos cidadãos.

REFERÊNCIAS

• Bae, Y; Lee, H. (2012). Sentiment analysis of twitter audiences: measuring the positive or negative influence of popular twitterers. Journal of the American Society for Information Science and Technology, 63(12), 2521-2535.
• Bekkers, V; Edwards, A; & Kool, D. (2013). Social media monitoring: responsive governance in the shadow of surveillance? Government Information Quarterly, 30(4), 335-342.
• Beyer, Y. (2012). Using discovertext for large scale twitter harvesting. Microform & Digitization Review, 41(3-4), 121-125.
• Bonsón, E; Torres, L; Royo, S; & Flores, F. (2012). Local e-government 2.0: social media and corporate transparency in municipalities. Government Information Quarterly, 29(2), 123-132.
• Cançado, A. C; Pereira, J. R; & Tenório, F. G. (2015). Gestão social: epistemologia de um paradigma(2a ed.). Curitiba: Editora CRV.
• Carazzai, E. H; & Britto, P. (2014, 3 de julho). Muda melhor quem sabe mudar, diz Dilma, em clima de campanha. Folha de S. Paulo, Recuperado de <http://www1.folha.uol.com.br/poder/2014/07/1480765-muda-melhor-quem-sabe-mudar-diz-dilma-em-clima-de-campanha.shtml>
  » http://www1.folha.uol.com.br/poder/2014/07/1480765-muda-melhor-quem-sabe-mudar-diz-dilma-em-clima-de-campanha.shtml
• Chun, S. A; & Luna-Reyes, L. F. (2012). Social media in government. Government Information Quarterly, 29(4), 441-445.
• Cochran, W. G. (2007). Sampling techniques Nova York: John Wiley & Sons.
• Criado, J. I; Sandoval-Almazan, R; & Gil-Garcia, J. R. (2013). Government innovation through social media. Government Information Quarterly, 30(4), 319-326.
• Dahl, R. A. (2001). Sobre a democracia Brasília: Editora da UnB.
• Deller, R. (2011). Twittering on: audience research and participation using Twitter. Participations, 8(1), 216-245.
• Di Caro, L; & Grella, M. (2013). Sentiment analysis via dependency parsing. Computer Standards & Interfaces, 35(5), 442-453.
• Eirinaki, M; Pisal, S; & Singh, J. (2012). Feature-based opinion mining and ranking. Journal of Computer and System Sciences, 78(4), 1175-1184.
• Fischer, T; Melo, V. P; Carvalho, M. R. D. O; Jesus, A. D; Andrade, R. A; & Waiandt, C. (2006). Perfis visíveis na gestão social do desenvolvimento. Revista de Administração Pública, 40(5), 789-808.
• Guimarães, J; & Amorim, A. P. (2013). A corrupção da opinião pública: uma defesa republicana da liberdade de expressão São Paulo: Boitempo.
• Gustafsson, N. (2012). The subtle nature of Facebook politics: swedish social network site users and political participation. New Media & Society, 14(7), 1111-1127.
• Habermas, J. (2003). Direito e democracia: entre facticidade e validade Rio de Janeiro: Tempo Brasileiro.
• Kavanaugh, A. L; Fox, E. A; Sheetz, S. D; Yang, S; Li, L. T; Shoemaker, D. J; Xie, L. (2012). Social media use by government: from the routine to the critical. Government Information Quarterly, 29(4), 480-491.
• Keinert, T. M. M. (1994). Os paradigmas da administração pública no Brasil (1900-92). Revista de Administração de Empresas, 34, 41-48.
• Keinert, T. M. M. (2007). Administração pública no Brasil: crises e mudanças de paradigmas(2a ed.). São Paulo: Annablume.
• Kontopoulos, E; Berberidis, C; Dergiades, T; & Bassiliades, N. (2013). Ontology-based sentiment analysis of Twitter posts. Expert Systems with Applications, 40(10), 4065-4074.
• Larsson, A. O; & Moe, H. (2011). Studying political microblogging: Twitter users in the 2010 swedish election campaign. New Media & Society, 14(5), 729-747.
• Liu, B; & Zhang, L. (2012). A survey of opinion mining and sentiment analysis. In C. C. Aggarwal; & C. X., Zhai (Ed.), Mining text data (Cap. 13, pp. 415-463). Chicago: Springer.
• Meijer, A; & Thaens, M. (2013). Social media strategies: understanding the differences between North American police departments. Government Information Quarterly, 30(4), 343-350.
• Mergel, I. (2012). The social media innovation challenge in the public sector. Information Polity, 17(3-4), 281-292.
• Mergel, I. (2013a). A framework for interpreting social media interactions in the public sector. Government Information Quarterly, 30(4), 327-334.
• Mergel, I. (2013b). Social media adoption and resulting tactics in the U.S. federal government. Government Information Quarterly, 30(2), 123-130.
• Mergel, I. (2013c). Social media in the public sector: a guide to participation, collaboration and transparency in the networked world San Francisco: John Wiley & Sons.
• Merriam-Webster. (2014). Definition of hashtag. Merriam-Webster Online Dictionary, Oxford. Recuperado de http://www.merriam-webster.com/dictionary/hashtag
  » http://www.merriam-webster.com/dictionary/hashtag
• Montoyo, A; Martínez-Barco, P; & Balahur, A. (2012). Subjectivity and sentiment analysis: an overview of the current state of the area and envisaged developments. Decision Support Systems, 53(4), 675-679.
• Mostafa, M. M. (2013). More than words: social networks’ text mining for consumer brand sentiments. Expert Systems with Applications, 40(10), 4241-4251.
• Mouthami, K; Devi, N. K; & Bhaskaran, M. V. (2013). Sentiment analysis and classification based on textual reviews. In Anais da International Conference on Information Communication and Embedded Systems (ICICES) (pp. 271-276), Chennai: IEEE.
• Natividade, E. A; Pereira, J. R; & Oliveira, V. A. R. (2011). Gestão de política pública de trabalho e renda: uma análise do Programa Nacional de Incubadoras de Cooperativas Populares. In J. R. Pereira(Ed.), Gestão social de políticas públicas (Cap. 3, pp. 93-142). Lavras: Editora Ufla.
• Oliveira, D. J. S; & Bermejo, P. H. S. (2017). Mídias Sociais e Administração Pública: Análise do sentimento social perante a atuação do governo federal brasileiro. Organizações & Sociedade, 24(82), 491-508.
• Oliveira, D. J. S; Bermejo, P. H. S; & Santos, P. A. (2015). Sentiment analysis, social media, and public administration. In D, Ćemal; K, Ejub; R, Dragan, & S, Boban(Ed.), Handbook of research on democratic strategies and citizen-centered E-government services (Cap. 13, pp. 231-249). Hershey: IGI Global.
• Oliveira, D. J. S; Bermejo, P. H. S; & Santos, P. A. (2017). Can social media reveal the preferences of voters? A comparison between sentiment analysis and traditional opinion polls. Journal of Information Technology & Politics, 14(1), 34-45.
• Paes de Paula, A. P. (2005). Por uma nova gestão pública: limites e potencialidades da experiência contemporânea Rio de Janeiro: Editora da FGV.
• Paes de Paula, A. P. (2010). Por uma nova gestão pública: reinserindo o debate a partir das práticas possíveis. In Cunha, A. S., Medeiros, B. A., & Aquino, L. M. C. (Ed.), Estado, instituições e democracia: república (Vol. 9, Cap. 15, pp. 505-530). Brasília: Ipea.
• Pang, B; & Lee, L. (2008, janeiro). Opinion mining and sentiment analysis. Foundations and Trends in Information Retrieval, 2(1-2), 1-135.
• Picazo-Vela, S; Gutiérrez-Martínez, I; & Luna-Reyes, L. F. (2012). Understanding risks, benefits, and strategic alternatives of social media applications in the public sector. Government Information Quarterly, 29(4), 504-511.
• Rambocas, M; & Gama, J. (2013). Marketing research: the role of sentiment analysis Porto: Universidade do Porto.
• Snead, J. T. (2013). Social media use in the U.S. executive branch. Government Information Quarterly, 30(1), 56-63.
• Sobaci, M. Z; & Karkin, N. (2013). The use of twitter by mayors in Turkey: tweets for better public services? Government Information Quarterly, 30(4), 417-425.
• Sobkowicz, P; Kaschesky, M; & Bouchard, G. (2012). Opinion mining in social media: modeling, simulating, and forecasting political opinions in the web. Government Information Quarterly, 29(4), 470-479.
• Tenório, F. G. (1998). Gestão social: uma perspectiva conceitual. Revista de Administração Pública, 32(5), 7-23.
• Tenório, F. G. (2006). A trajetória do Programa de Estudos em Gestão Social (Pegs). Rev. Adm. Pública, 40(6), 1145-1162.
• Tenório, F. G. (2008). Tem razão a administração? Ensaios de teoria organizacional (3a ed.). Ijuí: Editora da Unijuí.
• Tocqueville, A. (1998). A democracia na América (4a ed.). Belo Horizonte: Itatiaia.
• Yang, Dong-Hui; & Yu, G. (2013). A method of feature selection and sentiment similarity for chinese micro-blogs. Journal of Information Science, 39(4), 429-441.
• Yoon, S; Elhadad, N; & Bakken, S. (2013). A practical approach for content mining of tweets. American Journal of Preventive Medicine, 45(1), 122-129.
• Yu, Y; Duan, W & Cao, Q. (2013). The impact of social and conventional media on firm equity value: a sentiment analysis approach. Decision Support Systems, 55(4), 919-926.
• Zhang, P., & He, Z. (2013). A weakly supervised approach to chinese sentiment classification using partitioned self-training. Journal of Information Science, 39(6), 815-831.
• Zheng, L. (2013). Social media in Chinese government: drivers, challenges and capabilities. Government Information Quarterly, 30(4), 369-376.

• 1
  Mais informações sobre cada um dos programas sociais estão disponíveis na seção “Planos e Programas” do Portal Brasil: www.brasil.gov.br/planos-e-programas
• 2
  Twitter: www.twitter.com
• 3
  Hashtag: Palavra ou frase que precedida pelo símbolo # classifica ou categoriza o texto que o acompanha, como em um tweet (Merriam-Webster, 2014).
• 4
  DiscoverText: www.discovertext.com
• 5
  Rapidminer: https://rapidminer.com
• 6
  Scup: www.scup.com/

Datas de Publicação

• Publicação nesta coleção
  Jan-Feb 2019

Histórico

• Recebido
  07 Jan 2017
• Aceito
  27 Jun 2017