SciELO - Scientific Electronic Library Online

 
vol.49 issue4Judicial governance: a theoretical-methodological model proposalMechanisms of municipal management and promotion of human rights author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

Indicators

Related links

Share


Revista de Administração Pública

Print version ISSN 0034-7612

Rev. Adm. Pública vol.49 no.4 Rio de Janeiro July/Aug. 2015

http://dx.doi.org/10.1590/0034-7612131581 

Artigos

Avaliação do sítio da Receita Federal do Brasil como medida da efetividade do governo eletrônico para o cidadão

Evaluación de la página web de la Hacienda Nacional de Brasil como medida de la eficacia del gobierno electrónico a los ciudadanos

Evaluation of the website of Federal Revenue of Brazil as a measure of the effectiveness of e-Government for the citizen

Alexandre Rampelotto 1  

Mauri Leodir Löbler 2  

Monize Sâmara Visentini 3  

1Secretaria da Receita Federal do Brasil (RFB). Porto Alegre / RS — Brasil

2Universidade Federal de Santa Maria (UFSM) / Programa de Pós-Graduação em Administração (PPGA). Santa Maria / RS — Brasil

3Universidade Federal da Fronteira Sul (UFFS) / Curso de Administração. Cerro Largo / RS — Brasil

RESUMO

Este estudo teve como objetivo avaliar a efetividade do sítio da Receita Federal na prestação de informações e serviços aos cidadãos. Adotou-se uma pesquisa multimétodo, com caráter exploratório e descritivo, coletando e analisando simultaneamente dados quantitativos e qualitativos para a elaboração e validação dos questionários online e presencial. Realizaram-se, até a aplicação final dos instrumentos, análise documental, entrevistas em profundidade com técnicos do órgão, validações com especialistas e validações estatísticas com base em 950 observações. A aplicação final dos instrumentos com profissionais da área da contabilidade de todas as unidades federativas do Brasil possibilitou uma amostra final de 2.474 respondentes, dos quais 1.113 responderam ao questionário online e 1.361 ao questionário presencial. O estudo traz contribuições para o conhecimento da utilização do e-Gov como instrumento de interação com os cidadãos, sendo a primeira pesquisa com essa característica e amplitude no âmbito da Receita Federal.

Palavras-Chave: sítios; governo eletrônico; Receita Federal

RESUMEN

El objetivo de este estudio es evaluar la efectividad del sitio web de la Secretaria de Hacienda Nacional dependiente del Ministerio de Hacienda, por el suministro de información y servicios a los ciudadanos. Se realizó una investigación multi-método con características exploratorias y descriptivas, con la recolección y el análisis simultáneo de datos cuantitativos y cualitativos para el desarrollo y la validación de los cuestionarios virtuales y personales. También fue realizada la ejecución de los instrumentos del estudio (cuestionarios), análisis documental, entrevistas en profundidad, validaciones con expertos y validaciones estadísticas basadas en 950 observaciones. La aplicación final de los instrumentos con profesionales de la contabilidad de todas las unidades federales de Brasil proporcionó una muestra final de 2.474 encuestados, de los cuales 1.113 respondieron al cuestionario en línea y 1.361 respondieron al cuestionario presencial. El estudio está focalizado para ser una contribución al conocimiento de la utilización del e-Gov como una herramienta para interactuar con los ciudadanos, siendo el primer estudio de este tipo con estas características y amplitud.

Palabras-clave: página web; gobierno electrónico; Hacienda Nacional

ABSTRACT

This paper aimed to evaluate the effectiveness of the Federal Revenue website in providing information and services to citizens. We adopted a multimethod research with exploratory and descriptive characteristics, collecting and analyzing both quantitative and qualitative data for the development and validation of online and face-to-face questionnaires. We also applied, up to the final implementation of the questionnaires, documentary analysis, in-depth interviews with its technicians, validations with experts and statistical validations based on 950 observations. The final application of the questionnaires with accounting professionals of all Federal Units of Brazil provided a final sample of 2.474 respondents, of whom 1.113 answered to the online questionnaire and 1.361 answered to the face-to-face questionnaire. This paper brings contributions to the knowledge of e-Gov's use as a tool to interact with citizens, being the first survey with this characteristic and range within the Federal Revenue.

Key words: website; electronic government; Federal Revenue

1. Introdução

A busca de ferramentas que forneçam respostas às demandas da sociedade por serviços qualificados e eficiência nas organizações públicas tem sido uma constante, desde que as administrações passaram a fazer uso intensivo das novas tecnologias da informação e comunicação (TICs), ampliando as possibilidades de desenvolvimento e adequação de processos (Sobreira Neto, 2007). Os avanços na área de telecomunicações e o surgimento da internet criaram o cenário propício para transformar a relação do governo com a sociedade, inaugurando uma fase na qual o fornecimento de informações e a prestação de serviços online, sem limitações temporal e geográfica, passaram a nortear um modelo que se convencionou chamar de e-Gov, abrindo caminhos para uma administração pública transparente e eficaz, em condições de interagir diretamente com os cidadãos (Chain et al., 2004).

Nesse contexto, o gestor público tem o papel de identificar as oportunidades oriundas da utilização das TICs e do e-Gov, inovando, racionalizando processos e adotando modelos de gestão que priorizem a disponibilização de informações e serviços para os cidadãos por meio da internet, ao mesmo tempo que a administração pública se abre para a participação e o controle social, estimulando o exercício pleno da cidadania.

No Brasil, a política oficial de e-Gov passou a ser delineada no ano de 2000, com a edição do Livro Verde, pelo Ministério da Ciência e Tecnologia, consolidando as possíveis aplicações das TICs. A materialização do e-Gov como instrumento de interação entre os órgãos públicos e a sociedade ocorreu por intermédio de projetos desenvolvidos no âmbito do Programa de Governo Eletrônico Brasileiro. Especificamente, em relação ao fornecimento de informações e prestação de serviços por meios eletrônicos, destaca-se o Projeto Padrões Brasil e-Gov. Desde então, como é peculiar nessa área, foi marcante a evolução das TICs e sua utilização como ferramenta de apoio às ações de e-Gov.

Entretanto, estudos indicam que muitos sítios governamentais ainda são utilizados, sobretudo, como um quadro de avisos eletrônicos para divulgar informações, ressentindo-se de uma maior interatividade (Pinho, 2008). Freire e colaboradores (2009) destacam que o atendimento aos critérios de acessibilidade em sítios de órgãos públicos ainda não é satisfatório, sendo necessário propor políticas públicas mais efetivas que garantam o acesso universal do cidadão brasileiro ao conteúdo da Web, referências coerentes com as constatações de Capella (2010), quando aponta as exclusões social e digital como desafios a serem superados à plena utilização dos potenciais do e-Gov pela sociedade. De fato, constatações como essas e as apresentadas por Cunha, Frega e Lemos (2008) são reveladoras da carência de pesquisas na área: apesar da longa presença de órgãos públicos na Web, e de toda a experiência acumulada na prestação de serviços online, ainda se desconhece quem são os visitantes dos sítios governamentais, quem são os usuários dos serviços e as razões que os remetem a essa forma de atendimento, em substituição ao atendimento presencial. Às mesmas constatações pode-se adicionar o desconhecimento dos fatores que conduzem o cidadão a um processo inverso, ou seja, à busca de atendimento presencial para um serviço que também está disponível na internet.

Presencia-se, portanto, um fenômeno contemporâneo, cujo estudo de experiências de sucesso poderá servir de referência para práticas de e-Gov. Nesse aspecto, alguns órgãos governamentais já apresentam um cenário promissor, como é o caso da Secretaria da Receita Federal do Brasil (Receita Federal), considerada um dos órgãos públicos pioneiros na prestação e informações e serviços na internet. Com presença na Web desde 1995, sempre aproveitou as oportunidades que as TICs oferecem para incrementar a eficiência de seus processos, em especial, a interação com os cidadãos. A representatividade do atendimento por meio do Centro Virtual de Atendimento ao Contribuinte (Portal e-CAC) comprova o crescimento vertiginoso dessa forma de interação na Receita Federal.

No entanto, as estatísticas do atendimento presencial do órgão revelam que muitos cidadãos ainda buscam essa forma de atendimento para serviços que estão disponíveis na internet. Situação coerente com o apurado em recente pesquisa sobre o uso das TICs, realizada pelo Comitê Gestor da Internet no Brasil (CGI), indicando que "a principal forma de acesso aos serviços públicos é a presencial, com a preferência de atendimento presencial por 60% dos indivíduos" (Barbosa, 2010:27).

Tendo em vista o cenário apresentado, este estudo teve como objetivo avaliar a efetividade do sítio da Receita Federal na prestação de informações e serviços aos cidadãos. Especificamente, criar e validar instrumentos que possibilitem avaliar a efetividade, identificar os fatores que contribuem para que a mesma ocorra e os fatores que conduzem o cidadão a procurar atendimento presencial para buscar informações ou serviços que também estão disponíveis na internet. Este trabalho, com características de estudo de caso, teve seus objetivos propostos buscados por meio de uma pesquisa multimétodo, com caráter exploratório e descritivo, coletando e analisando simultaneamente dados quantitativos e qualitativos com base no procedimento de métodos mistos concomitantes de Creswell (2010).

A relevância desta proposta torna-se presente quando a pesquisa realizada pela CGI, referida anteriormente, apura que mais da metade dos entrevistados mostrou-se disposta a escolher a internet como forma de acessar serviços de governo em uma próxima vez que tivesse necessidade (Barbosa, 2010). Além disso, o desenvolvimento de um instrumento para mensurar a efetividade dos sítios e portais governamentais, e a identificação dos fatores de efetividade ou não das ferramentas de e-GOV contribuíram para aparelhar as administrações públicas, na busca da promoção do desenvolvimento institucional, por meio de uma prática profissional alicerçada nas TICs e no aumento da eficiência de seus processos. O foco do desenvolvimento de ferramentas de e-Gov deve ser sempre o cidadão. Para tanto, deve-se procurar conhecer, entender e trabalhar com os potenciais usuários, avaliar seu perfil, contexto de utilização e as razões que os levam a utilizar um sítio governamental (Brasil, 2010).

2. Governo eletrônico no Brasil

Capella (2010:12) define o e-Gov como um fenômeno recente, e acrescenta que "a compreensão sobre o desenvolvimento da política de governo eletrônico no Brasil ainda é bastante limitada, em função dos poucos estudos mais aprofundados na área". Destacando, ainda, que a simplificação no acesso do cidadão às informações e serviços, muitas vezes, é incompatível com a complexidade das estruturas organizacionais. No processo de construção do e-Gov no Brasil, a Receita Federal se insere de forma inovadora e, em alguns aspectos, inédita para instituições dessa natureza. Destacam-se a grande variedade de serviços já disponíveis por meio do Portal e-CAC, o pioneirismo na entrega de Declarações pela internet, o controle da arrecadação, os processos eletrônicos e o Sistema Público de Escrituração Digital desenvolvido em parceria com as Administrações Tributárias Estaduais e Municipais, projeto que deverá nortear o cumprimento das obrigações tributárias nos próximos anos.

A Receita Federal sempre procurou agregar novas facilidades ao sítio e introduzir serviços cada vez mais interativos, passando a ser considerada referência em matéria de e-Gov no Brasil. "São bem conhecidos os casos da Receita Federal, com a simplificação do processo de declaração de ajuste anual do IR", comentam Diniz e colaboradores (2009:35). A consolidação da proposta de e-Gov da Receita Federal é comprovada mediante estatísticas de acesso ao sítio, as quais demonstram um crescimento significativo dessa forma de interação com os cidadãos, conforme se observa na tabela 1.

Tabela 1. Estatísticas de acesso ao sítio da Receita Federal 

Fonte: Estatísticas da Receita Federal.

Nos três primeiros trimestres de 2012 o sítio recebeu 746,5 milhões de visitas, sendo 112,9 milhões de visitantes únicos. Considerando-se exclusivamente o Portal e-CAC, principal canal de atendimento virtual da Receita Federal, constatou-se que a representatividade dessa forma de atendimento atingiu o percentual acumulado de 76,7% nesse período, com um total de 51,9 milhões de serviços acessados. São números robustos que contribuem para que se tenha percepção da importância estratégica das práticas de e-Gov dentro do órgão, e para "promover o fortalecimento do poder e da autonomia do cidadão, empresas e organizações" (Gaspar et al., 2008:1).

Ao passo do avanço alcançado no atendimento online, ainda é significativo, em termos absolutos, o número de cidadãos que recorre ao atendimento presencial nas unidades da Receita Federal. Nos três primeiros trimestres de 2012 foram registrados 15,7 milhões de atendimentos presenciais, inclusive para serviços que estão disponíveis na internet. Um serviço considerado básico como a emissão do comprovante de inscrição no Cadastro da Pessoa Física (CPF), que pode ser executado por meio do sítio do órgão, foi realizado de forma presencial por 1,12 milhão de cidadãos, representando 7,11% do total de serviços prestados nas unidades de atendimento da Receita Federal no período, de acordo com dados do Sistema Nacional de Apoio ao Gerenciamento do Atendimento (Saga).

Apesar dessas constatações, não é possível negar os avanços já alcançados, afinal, um órgão público que consegue atingir o percentual de 76,7% de atendimentos com seu Portal de serviços online merece ter suas experiências avaliadas através de pesquisas, objetivando identificar os fatores que contribuem para essa efetividade, assim como os fatores que ainda levam parcela dos usuários a buscar atendimento de forma presencial.

3. Referencial para avaliação de sítios e portais governamentais

O Projeto Padrões Brasil e-Gov foi desenvolvido pelo Programa de Governo Eletrônico do Governo Federal e deu origem à Cartilha de Usabilidade, incluindo recomendações de práticas que objetivam aprimorar a comunicação e a interação entre governo e cidadãos, através de sítios na internet, com base em técnicas que assegurem a facilidade de uso desses instrumentos, conhecida na literatura como usabilidade (Brasil, 2010).

No que se refere ao contexto do Projeto Padrões Brasil e-Gov, o objetivo da aplicação da usabilidade na avaliação de sítios de órgãos governamentais é propiciar que os cidadãos encontrem, de maneira simples, o que estão buscando e se sintam estimulados a utilizar essa forma de interação sempre que quiserem ou necessitarem (Brasil, 2010). Os testes aplicados por Nielsen e Loranger (2007:xvi-xvii), desde 1994, com base em técnicas observacionais delineadas por meio do acompanhamento de pessoas realizando tarefas reais, conduziram à identificação de inúmeros problemas de usabilidade e diretrizes para evitá-los e, em particular, descobrir "o que os usuários realmente fazem, não o que eles dizem fazer", ou seja, identificar como as pessoas utilizam a Web.

Uma importante constatação de Nielsen e Loranger (2007:22) é que "usuários da Web são extremamente impacientes", o que significa que o fato de não encontrarem a informação que estão buscando pode conduzi-los a abandonar o sítio para nunca mais voltarem e, como consequência, procurar a forma presencial de atendimento em uma unidade física do órgão (Brasil, 2010).

Na Cartilha de Usabilidade são propostas sete diretrizes baseadas na observação concreta de problemas comuns nas páginas de instituições públicas no Brasil: contexto e navegação; carga de informação; autonomia; erros; desenho; redação; e consistência e familiaridade. São referências importantes a serem utilizadas como ponto de partida para o desenvolvimento e avaliação de sítios na internet (Brasil, 2010:13-30).

Observa-se, portanto, que a definição de padrões para sítios e portais governamentais está relacionada à afirmação de Brasil (2009:6) de que é "responsabilidade da administração pública oferecer ao cidadão a melhor experiência possível de acesso ao governo eletrônico, respeitando-se as particularidades da população atingida". Ainda, a maneira de identificar o alinhamento de um e-Serviço com as necessidades de um usuário, de modo a permitir sua constante evolução, se dá por intermédio de processos de avaliação permanentes das ferramentas de e-Gov (Brasil, 2007). Do mesmo modo, pesquisas de campo devem ser realizadas para verificar as necessidades daqueles que não acessam o sítio (Brasil, 2009).

Park (2007) destaca os fortes investimentos em e-Gov na área pública como fator incentivador de pesquisas na área de sistemas da informação, com destaque àquelas que buscam esclarecer como mensurar o sucesso dessas iniciativas. Assim como a necessidade de um instrumento que capture o que os cidadãos esperam dessa forma de prestação de serviços.

Com esse propósito, foi desenvolvido o projeto "Indicadores e Métricas para Avaliação de e-Serviços". Coordenado pelo Departamento de Governo Eletrônico (DGE) do governo federal, o mesmo objetiva "avaliar a qualidade dos serviços públicos prestados por meios eletrônicos de acordo com a conveniência para o cidadão" (Brasil, 2007:8). O resultado final do projeto resultou nos Indicadores e Métricas para Avaliação de e-Serviços, demonstrado, sumariamente, na forma de construtos no quadro 1.

Esses construtos e respectivos indicadores integram a base conceitual dos instrumentos, cuja elaboração e validação são propostas neste estudo, para avaliação da efetividade do sítio da Receita Federal na internet, da perspectiva dos próprios usuários. A opção pela adoção de uma metodologia nacional de avaliação vai ao encontro da possibilidade de utilização futura dessa ferramenta para avaliar outros sítios que promovem a interação entre os órgãos públicos e os cidadãos no Brasil. Entretanto, há vasta publicação internacional sobre o tema como os trabalhos de Baker (2009) e de Luna-Reyes, Gil-Garcia e Romero (2012), os quais apresentam indicadores de avaliação de sítios de e-Gov, elaborados a partir de aprofundada análise bibliográfica, bastante similares aos do quadro 1.

Quadro 1. Quadro de construtos  

Fonte: Adaptado de Brasil (2007:21).

No trabalho de Baker (2009) há a proposição de uma metodologia para a construção de modelos de avaliação da usabilidade de sítios do governo, a partir da análise de conteúdo de vários sítios em atividade ou modelos previamente publicados. Aliada à análise de conteúdo, é sugerida a aplicação da metodologia de triangulação, que visa identificar as medidas mais utilizadas nos sítios/modelos investigados, ou seja, aquelas que eram apresentadas com maior frequência, bem como realizada a discussão dos potenciais de cada sítio/modelo avaliado (benchmarking). A título de aplicação da metodologia de análise de conteúdo, o autor aborda seis modelos de avaliação da usabilidade de sítios do governo norte-americano e define um protocolo de avaliação com seis dimensões: "serviços online", que se refere às tarefas que podem ser realizadas via e-Gov, 24 horas por dia, sete dias por semana, através da internet; "ajuda ao usuário", que identifica mecanismos que facilitam o contato eletrônico satisfatório e a interação; "navegação", referente à facilidade de navegação na página virtual; "legitimidade", características que indicam ao usuário que um determinado sítio é projetado para realizar atividades oficiais do governo; "dispositivos de arquitetura de informação", que ilustram como a informação aparece para o usuário; e "mecanismos de acessibilidade", que avaliam a existência de requisitos para deficientes.

Em Luna-Reyes, Gil-Garcia e Romero (2012) também é proposta uma nova metodologia para medir e avaliar o governo eletrônico. Para tanto, os autores realizam uma revisão abrangente da literatura acadêmica, pesquisando em 10 dos mais importantes periódicos das áreas de administração e políticas públicas, no período de 1999-2005, sendo encontrados 73 artigos sobre temas relacionados com o uso, pelo governo, das tecnologias de informação e comunicação. Além disso, foi realizada a análise de outras estruturas existentes para a avaliação de governo eletrônico, tanto na literatura quanto na internet, totalizando 36 modelos para análise. A partir dessas análises, é proposto um modelo com 21 variáveis agrupadas em três dimensões: (1) determinantes do governo eletrônico, (2) características do governo eletrônico, e (3) resultados de governo eletrônico.

4. Metodologia da pesquisa

Os objetivos propostos foram buscados por meio de uma pesquisa multimétodo, com caráter exploratório e descritivo. Quanto à natureza dos dados, a pesquisa contemplou, num primeiro momento, uma abordagem qualitativa, delineando-se através de análise documental e entrevistas em profundidade com técnicos da Receita Federal. Num segundo momento, assumiu uma abordagem de natureza quantitativa, coletando dados com usuários dos serviços através da internet e com usuários que compareceram no atendimento presencial. A coleta e a análise de dados seguiram o procedimento de métodos mistos concomitantes, definido por Creswell (2010:39) como "aqueles em que o pesquisador converge ou mistura dados quantitativos e qualitativos para realizar uma análise abrangente do problema de pesquisa", comparando os dados para determinar se há convergência, diferença ou alguma combinação, numa "conversação paradigmática" que considere igualmente relevantes todos os dados coletados (Teixeira, Nascimento e Carrieri, 2012:212). A população-alvo para a coleta de dados qualitativos envolveu profissionais da contabilidade de todas as Regiões Fiscais nas quais a Receita Federal está estruturada.

4.1 Construção dos instrumentos

Para atingir o objetivo de criar e validar instrumentos que possibilitem avaliar a efetividade do sítio da Receita Federal, uma série de atividades metodológicas foi desenvolvida. Com base nos padrões definidos pelo Programa de Governo Eletrônico do Governo Federal apresentados em Brasil (2007, 2010), ponderados pelo restante do referencial teórico, ocorreram entrevistas exploratórias em profundidade que subsidiaram a elaboração da versão inicial dos instrumentos, denominados questionário online e questionário presencial. Foram entrevistados dois servidores da Receita Federal: um gestor da área de atendimento de uma Delegacia e um gerente de projetos da área de tecnologia. Paralelamente, foram entrevistados dois profissionais da contabilidade: um contador e um técnico em contabilidade que diariamente acessam o sítio da Receita Federal e que também recorrem ao atendimento presencial do órgão. As ponderações dos entrevistados foram consideradas para a redação preliminar dos instrumentos submetidos à validação.

4.2 Validação dos instrumentos

Inicialmente, os questionários foram avaliados por quatro especialistas com atuação nas áreas de sistemas de informação, tecnologia da informação e governo eletrônico, seguindo o proposto por Hoppen, Lapointe e Moreau (1996), para verificar se todas as características escolhidas para o construto são levadas em consideração, ou se refletem um conteúdo ou domínio específico.

Procedidos os ajustes sugeridos, os questionários passaram por um pré-teste junto a pessoas que pertencem à população-alvo do estudo com vistas a assegurar sua validade e precisão (Gil, 2010). Foram aplicados 10 questionários online e 10 questionários presenciais, de modo a identificar questões que necessitavam aperfeiçoamento na redação ou inclusão de observações para esclarecer seu objetivo.

O questionário online passou, ainda, por validação estatística por meio da técnica multivariada de análise fatorial exploratória (AFE). Com vistas a identificar a estrutura de relações entre variáveis pelo exame de suas correlações, a AFE teve o propósito de obter o resumo de dados, ou seja, "dimensões inerentes que, quando interpretadas e compreendidas, descrevem os dados em um número muito menor de conceitos do que as variáveis individuais originais". (Hair et al., 2009, p. 104-105).

As 34 questões que envolvem os construtos no questionário online foram mensuradas com a escala intervalar de classificação métrica tipo Likert, de 7 pontos, variando de 1 "discordo totalmente" a 7 "concordo totalmente". A partir da aplicação do instrumento a 950 servidores da Receita Federal, profundos conhecedores das ferramentas de e-Gov do órgão, conseguiu-se atingir uma relação respondentes/variáveis de 27,9, número muito superior às referências mais conservadoras apresentadas na literatura (Hair et al., 2009). A análise estatística foi realizada com a utilização do software Statistical Package for the Social Sciences for Windows (SPSS).

Para verificar as correlações entre variáveis utilizou-se o teste de esfericidade de Bartlett, cuja significância deve ser menor que 0,05; e da medida de adequação da amostra Kaiser-Meyer-Olkin (KMO), cujo índice varia de 0 a 1. Os resultados demonstrados na tabela 2 são considerados excelentes para fins de utilização da AFE.

Tabela 2. Teste de esfericidade de Bartlett e medida de adequação da amostra 

Fonte: SPSS.

Para extração dos fatores foi utilizado o método de análise de componentes principais, com rotação ortogonal Varimax, que objetiva simplificar as colunas da matriz fatorial. O número de fatores foi estabelecido considerando-se a variância total explicada, com fatores cujos autovalores são maiores do que 1,0 e em número suficiente para atender um percentual especificado de variância explicada de, pelo menos, 60% (Hair et al., 2009). Deve-se destacar que, ao inserir no SPSS o número de fatores indicados no referencial teórico (Brasil, 2007) a priori, o sétimo e oitavo fatores apresentaram autovalores inferiores a 1,0, razão pela qual os testes foram refeitos sem estabelecer um número determinado de fatores. A variância total explicada resultante está demonstrada na tabela 3.

Tabela 3. Variância total explicada 

Fonte: SPSS.

O exame da matriz de cargas fatoriais permitiu identificar as cargas significantes de cada variável e destacar aquelas de maior valor absoluto. Hair e colaboradores (2009) consideram significantes para fins de interpretação, em um nível de significância (a) de 0,05, um nível de poder de 80%, e erros-padrão considerados como o dobro daqueles de coeficientes de correlação convencionais, cargas fatoriais de 0,30 para amostras com tamanho de 350. Deve-se destacar que a amostra avaliada contém 950 observações, e que foram consideradas apenas cargas fatoriais superiores a 0,40. Já a análise das comunalidades teve por finalidade verificar se as variáveis atendem a níveis aceitáveis de explicação. Com variação de 0 a 1, Hair e colaboradores (2009) indicam que as comunalidades devem ser maiores que 0,50 para que as variáveis possam ser mantidas na análise. Considerando-se que os resultados apontaram que algumas variáveis não estavam sendo adequadamente explicadas pela solução fatorial, optou-se por avaliá-las ponderando-se com o referencial teórico, definindo-se pela conveniência ou não de sua eliminação, conforme sugerido por Hair e colaboradores (2009).

A etapa final de validação estatística do questionário teve por objetivo demonstrar que os cinco fatores resultantes da análise fatorial possuem consistência, a partir da análise da confiabilidade de cada um. Hair e colaboradores (2009) indicam, entre os métodos para essa análise, a utilização de uma medida de diagnóstico que identifique o coeficiente de confiabilidade. A mais conhecida forma de se avaliar a consistência da escala é por meio do alfa de Cronbach, cujo índice deve ser superior a 0,60 para ser considerado confiável. A tabela 4 consolida os resultados finais da AFE.

Tabela 4. Consolidação dos resultados da análise fatorial exploratória 

Fonte: SPSS.

A sequência da interpretação indicou que a exclusão das variáveis 17, 19, 20, 33, 34, 36 e 42, e a acomodação das variáveis resultantes em cinco fatores, provocaram uma adequação dos níveis das mesmas, a partir da análise das comunalidades, cujos valores se encontram todos acima da faixa de 0,50. A tabela 4 apresenta, ainda, a matriz de cargas fatoriais maiores que 0,40, destacando-se que, para fins de acumulação de fatores, foram considerados os valores mais significativos nas variáveis que apresentaram cargas cruzadas (variáveis 11 e 32), e a orientação teórica quando muito próximos seus valores (variáveis 13 e 28). A consistência interna, depois de excluídas as variáveis 18 e 41, apresentou coeficientes que demonstram alta coerência no instrumento (Hair et al., 2009).

Os resultados apresentados nesta etapa da validação do questionário conduziram a um agrupamento de quatro dos construtos propostos na matriz teórica (Brasil, 2007). Os construtos "Maturidade" e "Comunicabilidade" consolidaram-se em um único fator, que passará a ser identificado apenas como "Maturidade", já que as variáveis que integram a comunicabilidade adequam-se aos referenciais teóricos que tratam desse tema. Compreende-se a Comunicabilidade como um aspecto que "Busca valorizar a receptividade e a abertura do Estado à influência e participação dos cidadãos" (Brasil, 2007:14), oferecendo meios de contato que permitem a interação direta com o cidadão, para ele ser ouvido e receber o retorno satisfatório. Esse construto está contemplado na fase de Transação do modelo proposto por Braum e Maio (2000), considerado no desenvolvimento do projeto "Indicadores e Métricas para Avaliação de e-Serviços" (Brasil, 2007), o que justifica o agrupamento no modelo de avaliação proposto neste artigo. Além disso, no modelo proposto por Luna-Reyes, Gil-Garcia e Romero (2012), as variáveis que compõem estes construtos são consideradas conjuntamente na dimensão de "determinantes do governo eletrônico", pois são referentes às informações e dados disponíveis ao cidadão, cruciais à utilização do governo eletrônico.

Da mesma forma, os construtos Acessibilidade e Transparência agruparam-se em um fator que terá sua nomenclatura combinada pelas duas definições. Justifica-se pelo fato de ambos serem atributos de cidadania que, embora não afetando diretamente a disponibilidade dos serviços, fornecerão indicativos da falta de acessibilidade em portais governamentais, constatada por Freire e colaboradores (2009), e do estágio de transparência e democratização em que se encontra o órgão (Braum e Maio, 2000). Uma limitação vislumbrada neste resultado corresponde ao fato de haver apenas uma questão referente à acessibilidade no construto final (questão 33, quadro 2), tendo em vista a exclusão das questões de números 19 e 20, também referentes à acessibilidade, com baixas comunalidades. Cabe ressaltar que as questões 19 e 20 já haviam apresentado problemas durante o pré-teste do questionário, decorrente de dificuldades no entendimento do tema, em face do desconhecimento, ou pelo fato de o respondente não ter problemas de acessibilidade. Entretanto, considerando-se que a questão 33 (quadro 2) contempla esse indicador de forma genérica, acredita-se que não haverá prejuízos à análise com a exclusão de tais questões.

Os construtos "Disponibilidade", "Facilidade de Uso" e "Confiabilidade" mantiveram sua estrutura, enquanto o construto "Multiplicidade de Acesso" foi excluído em face da incompatibilidade com o objetivo do estudo, já que trata da avaliação de outros canais de atendimento eletrônico. Os agrupamentos dos construtos e respectivas variáveis estão consolidados no quadro 2, já com a nova numeração resultante das adaptações decorrentes da AFE.

Quadro 2. Construtos e variáveis do questionário online  

Fonte: SPSS.

Em sua formatação final, o questionário online, além de 10 questões relacionadas ao perfil dos respondentes, manteve 25 variáveis relacionadas aos construtos. Foi incluída, ainda, uma questão aberta, para que o respondente pudesse dar sua opinião sobre o sítio da Receita Federal e/ou sugerir melhorias para essa forma de atendimento. O questionário presencial, por sua vez, teve sua formatação final com as mesmas 10 questões relacionadas ao perfil, e uma questão para indicar, entre 26 alternativas, os fatores que levaram o respondente a buscar o atendimento presencial. Por fim, uma questão aberta nos mesmos moldes do questionário online.

Comparando-se o modelo final de avaliação da efetividade do sítio da Receita Federal aos modelos sugeridos por Baker (2009) e Luna-Reyes, Gil-Garcia e Romero (2012), percebe-se que os construtos resultantes desta investigação também são vislumbrados em estudos internacionais. O construto "maturidade" é considerado um determinante do governo eletrônico no modelo Luna-Reyes, Gil-Garcia e Romero (2012), sendo concebido em quatro diferentes variáveis. Já o construto "disponibilidade" é correspondente ao fator "serviços online" proposto por Baker (2009), e no modelo de Luna-Reyes, Gil-Garcia e Romero (2012) é abordado na dimensão de características do governo eletrônico. Os demais construtos apresentados no quadro 2 também encontram fatores equivalentes tanto em Baker (2009) quanto em Lunas-Reyes, Gil-Garcia e Romero (2012), indicando que as métricas resultantes desta investigação estão em conformidade com aquelas aplicadas em vários países.

Tendo em vista que a realização do estudo foi efetivada por meio da operacionalização de uma série de etapas, na figura 1 resume-se cada uma delas. Os números entre parênteses representam a amostra na respectiva etapa.

Fonte: Elaborada pelos autores.

Figura 1. Resumo das etapas seguidas para realização do estudo 

5. Análise de dados e evidências

Ao tratar da análise de dados e evidências, não se pode esquecer que esta pesquisa, com características de estudo de caso, seguiu uma abordagem mista, coletando informações de natureza qualitativa e quantitativa para avaliar o mesmo fenômeno, dando contorno ao que Yin (2001:122) identifica como "convergência de várias fontes de evidências". Nesse aspecto, a combinação dos dois tipos de pesquisa, de acordo com Flick (2009:126), amplia os potenciais de conhecimento do estudo e possibilita uma avaliação unidirecional e mútua dos resultados, compensando-se de forma complementar eventuais "fragilidades e pontos cegos nos métodos individuais". Em ambos os casos, a análise de dados "incluirá a ligação de abordagens qualitativas e quantitativas: no primeiro caso, a codificação de respostas livres na forma de texto, no segundo, dos números recebidos" (Flick, 2009:127).

5.1 Perfil dos respondentes das surveys

A coleta de dados quantitativos compreendeu os dois levantamentos formais (surveys) junto à população-alvo, cujos principais aspectos do perfil dos respondentes estão demonstrados na tabela 5. O questionário de atendimento online foi aplicado a 1.236 respondentes, sendo válidos 1.113 questionários; aqueles questionários excluídos foram em virtude da não identificação da Unidade de Federação de residência do respondente, ou por terem informado que não atuam na área de contabilidade. Já o instrumento do atendimento presencial foi aplicado a 1.582 respondentes, sendo excluídos 221, em decorrência de haver alguma questão em branco ou o respondente não atuar na área de contabilidade; o total de questionários válidos de aplicação presencial foi de 1.361.

Tabela 5. Perfil dos respondentes 

Fonte: Elaborada pelos autores.

O perfil dos respondentes dos questionários online e presencial mostrou que a população-alvo é integrada, na maior parte das observações, por cidadãos com idade superior a 30 anos, de modo que estariam com pelo menos 18 anos em 1999, período considerado um marco na expansão das tecnologias baseadas na internet e no surgimento de serviços online (Capella, 2010). Fato que pode ser um indicativo de maior familiaridade com as TICs.

Embora a natureza da população-alvo da pesquisa seja coerente com um número grande de respondentes com grau de instrução mais elevado, percebe-se uma diferença de perfil nas duas surveys, pois ocorreu uma maior representatividade de respondentes com nível superior ou pós-graduação entre os que responderam o questionário online, com um percentual de 79,96% contra 47,24% dos que compareceram no atendimento presencial. Barbosa (2010:31) já havia constatado que a propensão ao uso da internet também tem relação com a escolaridade, pois "entre os que têm ensino superior atinge 87%".

Com respeito à função que exerce na contabilidade, a relação percentual de contadores que compareceu no atendimento presencial é significativamente menor em relação às demais funções. Destaca-se o conhecimento do sítio da Receita Federal na internet, já que 96,23% e 93,24% dos respondentes dos questionários online e presencial, respectivamente, informaram que acessam o sítio da Receita Federal frequentemente (pelo menos uma vez por semana) ou muito frequentemente (diariamente). Esses dados foram importantes para demonstrar que a população-alvo preenche os requisitos para produzir resultados qualificados em um processo de avaliação de ferramentas de e-Gov, assim como conhecer o perfil de um grupo específico que interage intensivamente com a Receita Federal.

5.2 Avaliação do sítio da Receita Federal na internet

Os cinco construtos estudados foram avaliados considerando-se todas as respectivas variáveis do questionário online agrupadas. Para tanto, foi utilizado o teste de Análise de Variância Anova. Os resultados indicaram que não há diferenças de médias entre os construtos Disponibilidade, Facilidade de Uso, Confiabilidade e Acessibilidade e Transparência. A exceção ficou por conta da Maturidade. Verificou-se, ainda, que os construtos Maturidade e Acessibilidade e Transparência apresentaram médias globais inferiores à medida central da escala (valor igual a 4). Três construtos tiveram avaliação acima do valor central da escala de Likert de 7 pontos, destacando-se o construto Confiabilidade com média de avaliação 5,50. Os construtos Disponibilidade e Facilidade de uso tiveram avaliação semelhante, com médias de 4,85 e 4,74, respectivamente. Os construtos Maturidade, com avaliação média de 3,90, e Acessibilidade e Transparência, com avaliação média de 3,71, foram os piores resultados, se considerado o valor central da escala. Dados demonstrados no gráfico 1.

Fonte: Elaborado pelos autores.

Gráfico 1. Comparativo de resultados: médias do questionário online 

De forma diferente, os dados quantitativos coletados com o questionário presencial devem ser avaliados, considerando-se uma relação inversa no que se refere à efetividade do sítio, pois apontam os fatores que levaram os respondentes a buscar o atendimento presencial. Nesse aspecto, com base no agrupamento das variáveis correspondentes a cada construto, destaca-se negativamente o construto Maturidade, com um total de indicações de 53,63% dos respondentes. Os construtos Disponibilidade e Facilidade de Uso tiveram resultados próximos, seguidos do construto Acessibilidade e Transparência. O destaque positivo nessa avaliação ficou por conta do construto Confiabilidade, cujo apontamento como fator que levou a buscar o atendimento presencial ocorreu em apenas 2,23% das observações, conforme demonstrado no gráfico 2.

Fonte: Elaborado pelos autores.

Gráfico 2. Comparativo de resultados: questionário presencial 

A análise qualitativa dos dados coletados nas entrevistas e documentos do órgão, físicos e/ou digitais, configurara-se em importante fonte de evidências, pois traduz ou reflete a percepção dos cidadãos integrantes da população-alvo, demonstrada pelos dados quantitativos. Buscando sintetizar os principais aspectos constatados através dessas fontes de dados e evidências, o quadro 3 traz os fatores destacados que contribuem ou restringem a efetividade do sítio, segmentados de acordo com os cinco construtos que fundamentam a avaliação, sob a ótica do pesquisador.

Quadro 3. Síntese dos dados qualitativos  

Fonte: Elaborado pelos autores.

A verificação de eventuais convergências, diferenças ou combinação entre os dados coletados, conforme proposto no procedimento de métodos mistos concomitantes de Creswell (2010), por envolver dados quantitativos e qualitativos sobre o mesmo tema, pode apresentar alguma dificuldade de comparação para fins de estabelecer os resultados. "Nas estratégias concomitantes, um pesquisador pode quantificar os dados qualitativos", diz Creswell (2010:257). Dessa forma, será possível a comparação dos resultados de natureza distinta.

Com o objetivo de traduzir em números os dados qualitativos, permitindo uma comparação gráfica com os dados quantitativos, utilizou-se uma escala de 10 pontos para quantificar as percepções verificadas durante as entrevistas e na análise documental em relação aos cinco construtos, com a ressalva de que se trata de uma ponderação particular dos pesquisadores. Paralelamente, estabeleceu-se a relação percentual das médias apuradas, com base nos questionários online. No caso dos questionários presenciais, cujas respostas apontam fatores que levaram o respondente até uma unidade da Receita Federal, adotou-se a relação percentual inversa da representatividade das respostas. Em ambos os casos, com base na escala de 10 pontos e arredondando-se os resultados para valor inteiro. O gráfico 3 consolida os resultados encontrados.

Fonte: Elaborado pelos autores.

Gráfico 3. Análise comparativa de dados 

Verifica-se uma maior convergência entre os dados quantitativos e qualitativos na análise dos construtos Maturidade e Disponibilidade. No primeiro caso, os números mostram que o sítio da Receita Federal estaria em um estágio intermediário entre as fases de interação e transação, coerente com a proposta teórica de Braum e Maio (2000). De fato, nem todos os serviços podem ser prestados de maneira totalmente desmaterializada e completa, conforme esperado por Brasil (2007). A mesma convergência é observada na avaliação da Disponibilidade, cujo elevado nível demonstra que eventuais questões estruturais mencionadas nas entrevistas não afetaram significativamente a percepção dos integrantes da população-alvo.

Já em relação à Facilidade de Uso, os dados qualitativos diferem dos quantitativos. Nota-se uma percepção mais crítica por parte dos entrevistados e do próprio pesquisador, que conduziu a análise documental, enquanto a população-alvo demonstra não encontrar dificuldade em utilizar o sítio. Situação semelhante ocorre com a Confiabilidade. Construto com maior índice de avaliação por parte dos integrantes da população-alvo que responderam aos questionários, com destaque para o questionário presencial. Resultados que demonstram alto nível de confiança no órgão, contrastando com as pesquisas da CGI que apontam esse fator como a principal barreira ao uso efetivo de ferramentas de e-Gov (Barbosa, 2010). O baixo índice atribuído à percepção dos técnicos da Receita Federal não está relacionado a uma visão de que o sítio não é seguro, mas justamente o contrário. Ou seja, o zelo com a segurança refuta propostas de simplificação e/ou flexibilização dos requisitos para acesso ao Portal e-CAC, contrastando com a posição dos respondentes.

A Acessibilidade e Transparência teve prejudicada a avaliação junto aos respondentes do questionário presencial, em face da natureza das afirmativas da questão, que não permitiram contemplar todos os indicadores. Razão da discrepância apresentada no gráfico 3. No entanto, observou-se uma convergência entre os demais dados quantitativos e qualitativos, confirmando o menor índice de avaliação entre todos os construtos. Resultado que pode ter sido afetado pelo desconhecimento acerca do assunto e/ou uma cultura de accountability ainda não consolidada na sociedade brasileira.

6. Considerações finais

Este estudo objetivou criar e validar instrumentos para avaliar a efetividade do sítio da Receita Federal na internet, considerando-se, além da visão técnica, a perspectiva dos próprios usuários das ferramentas de e-Gov. Os instrumentos validados foram aplicados junto à população-alvo, entrevistas foram realizadas e documentos físicos e digitais analisados.

Os dados e evidências indicaram que a confiabilidade e a disponibilidade contribuem diretamente para a efetividade do sítio da Receita Federal. Embora com menor grau, a facilidade de uso também pode ser destacada como um atributo que afeta positivamente a efetividade do sítio, ao menos na percepção dos integrantes da população-alvo que respondeu aos questionários.

Os construtos acessibilidade e transparência tiveram o menor índice de avaliação, o que pode afetar a efetividade do sítio no que se refere à prestação de serviços para uma determinada parcela da população. Entretanto, tal aspecto não foi foco desta investigação, pois não foi questionado se o respondente tinha alguma deficiência. Assim, a resposta baixa pode ter decorrido de nunca ter sido necessária uma maior acessibilidade, ou de realmente o sítio deixar a desejar nesse quesito. De qualquer modo, deve ser objeto de investigação, pois 24% da população brasileira têm algum tipo de deficiência (IBGE, 2014). Isso indica que o órgão precisa aprofundar as práticas de e-Gov nesse aspecto. Por facilitarem a interação com os cidadãos, são o caminho adequado para promover a democratização e conferir maior transparência e accountability dos governos (Prado, 2009).

De forma totalmente convergente, os dados quantitativos e qualitativos relativos à Maturidade indicaram que esse é o construto que mais limita a efetividade, o que, por sua vez, conduz o cidadão a buscar atendimento presencial. De certo modo, esse construto contempla aspectos dos demais, pois o avanço nos respectivos índices irá refletir diretamente no estágio de maturidade do sítio. Ou seja, de nada adiantará a plena disponibilização de informações e serviços através da internet se não houver disponibilidade, facilidade de uso e confiabilidade.

Quanto às limitações da pesquisa, deve-se ter presente que o estudo compreendeu análise documental e de percepções de usuários do atendimento (online e presencial) e técnicos do órgão investigado, não avançando para questões inerentes à ciência da computação, tais como linguagens de programação, arquitetura de dados, redes e recursos tecnológicos. Também se pode apontar para uma divergência entre os itens que constam nos Padrões Brasil e-Gov e os fatores que foram encontrados na AFE. A pesquisa seguiu os itens que compunham os padrões e, com essa linha de raciocínio, procurou confirmar que esses itens fossem os fatores após análise estatística. Entretanto, dadas as características do público investigado, embora em número muito significativo, ainda pode ter um viés de sua especificidade, que compreendeu as questões de forma a pensar que os itens maturidade e comunicabilidade fossem construtos semelhantes, assim como acessibilidade e transparência. Dado que esse foi o estudo inicial, optou-se por seguir o indicado pela AFE mantendo-se os itens agrupados, embora esta deva ser indicada como uma limitação do estudo, pois são construtos que podem apresentar uma distância em seus conceitos.

É importante lembrar, também, que o desenvolvimento apresenta características de um estudo de caso, cujas peculiaridades não favorecem generalizações. Na fase qualitativa, destacam-se as limitações decorrentes das características do universo da população usuária das informações e serviços da Receita Federal e dos critérios para definição da população-alvo da coleta de dados. A forma de distribuição dos questionários conduziu à utilização de uma amostragem por acessibilidade ou conveniência. No entanto, a identificação e quantificação da população (profissionais da contabilidade), associada à ampla divulgação dos questionários entre seus integrantes, minimizou a tendenciosidade da amostra.

Apesar das limitações, os dados apresentados configuram-se em importante contribuição para o conhecimento acerca da utilização de prática de e-Gov como instrumento de interação com os cidadãos, especialmente por trazer o diferencial de contemplar o ponto de vista dos mesmos. Trata-se da primeira pesquisa com essa característica e amplitude de que se tem notícia no âmbito da Receita Federal. Seus resultados permitiram conhecer o perfil dos profissionais da contabilidade que interagem com o órgão, tanto de forma online como por meio do atendimento presencial. O número significativo de respondentes, das 10 Regiões Fiscais, forneceu uma visão ampla da percepção desse público em relação ao sítio da Receita Federal, assim como dos fatores que o levam a procurar o atendimento presencial, servindo de parâmetro para o gerenciamento do atendimento no órgão.

O questionário construído e validado durante o desenvolvimento da pesquisa poderá ser utilizado para a reprodução dos estudos junto a outros órgãos públicos que empregam ferramentas de e-Gov para interação com os cidadãos. Por outro lado, sugere-se a ampliação do desenvolvimento em estudos futuros, para contemplar outros públicos usuários de sítios e portais governamentais, e frequentadores do atendimento presencial, identificando perfis e fatores que podem não se fazer presentes na população pesquisada. Da mesma forma, a realização de experimentos permitirá avaliar o impacto de mudanças no sítio a partir dos resultados colhidos até o momento.

De maneira geral, confirmam-se as referências de Diniz e colaboradores (2009), que tratam a Receita Federal como referência em matéria de e-Gov no Brasil, haja vista a avaliação dos respondentes do questionário online, que atribuiu nota média de 6,39 ao sítio em uma escala de 1 a 10. Especialmente, se considerarmos as constatações de Pinho (2008) retratando a incipiência do uso do e-Gov no país. Nesse contexto, a Receita Federal pode ser considerada referência para outros órgãos públicos. Entretanto, há um longo caminho a ser percorrido para que a utilização dessas ferramentas se consolide e produza os benefícios oriundos de toda a sua potencialidade.

REFERENCES

BAKER, David L. Advancing e-government performance in the United States through enhanced usability benchmarks. Government Information Quarterly, v. 26, n. 1, p. 82-88, 2009. [ Links ]

BARBOSA, Alexandre Fernandes (Coord.). Pesquisa sobre o uso das tecnologias da informação e da comunicação no Brasil: TIC governo eletrônico. São Paulo: Comitê Gestor da Internet no Brasil, 2010. [ Links ]

BRASIL. Ministério do Planejamento, Orçamento e Gestão. Secretaria de Logística e Tecnologia da Informação. Departamento de Governo Eletrônico. Indicadores e métricas para avaliação de e-serviços. Brasília, 2007. [ Links ]

BRASIL. Ministério do Planejamento, Orçamento e Gestão. Secretaria de Logística e Tecnologia da Informação. Departamento de Governo Eletrônico. Padrões Brasil e-Gov: guia de administração. Brasília, 2009. [ Links ]

BRASIL. Ministério do Planejamento, Orçamento e Gestão. Secretaria de Logística e Tecnologia da Informação. Departamento de Governo Eletrônico. Padrões Brasil e-Gov: cartilha de usabilidade. Brasília, 2010. [ Links ]

BRAUM, Christopher H.; MAIO, Andrea Di. Gartner's four phases of e-government model. Gartner research. Stamford, CT: Gartner Group, 2000. [ Links ]

CAPELLA, Ana Cláudia N. A política brasileira de governo eletrônico: um estudo sobre o "Portal Brasil". In: ENCONTRO DE ADMINISTRAÇÃO PÚBLICA E GOVERNANÇA DA ANPAD, 4, 2010, Vitória. Anais... Rio de Janeiro: AnPAD, 2010. [ Links ]

CHAIN, Ali et al. E-gov.br: a próxima revolução brasileira: eficiência, qualidade de democracia: o governo eletrônico no Brasil e no mundo. São Paulo: Prentice Hall, 2004. [ Links ]

CRESWELL, John W. Projeto de pesquisa: métodos qualitativo, quantitativo e misto. Porto Alegre: Artmed, 2010. [ Links ]

CUNHA, Maria Alexandra V. C. da; FREGA, José Roberto; LEMOS, Iomara S. Portais de Serviços Públicos e de Informação ao cidadão: uma descrição do perfil do visitante. In: ENCONTRO DA ASSOCIAÇÃO NACIONAL DE PÓS-GRADUAÇÃO E PESQUISA EM ADMINISTRAÇÃO, 32, 2008, Rio de Janeiro. Anais... Rio de Janeiro: AnPAD, 2008. [ Links ]

DINIZ, Eduardo Henrique et al. O governo eletrônico no Brasil: perspectiva histórica a partir de um modelo estruturado de análise. Rev. Adm. Pública, Rio de Janeiro, v. 43, n. 1, p. 23-48, jan./fev. 2009. [ Links ]

FLICK, Uwe. Qualidade na pesquisa qualitativa. Porto Alegre: Artmed, 2009. [ Links ]

FREIRE, André P. et al. Acessibilidade dos sítios web dos governos estaduais brasileiros: uma análise quantitativa entre 1996 e 2007. Rev. Adm. Pública, Rio de Janeiro, v. 43, n. 2, p. 395-414, mar./abr. 2009. [ Links ]

GASPAR, Marcos Antônio et al. Grau de maturidade dos governos estaduais na utilização de tecnologias eletrônicas: a busca pelo fortalecimento do poder e da autonomia do cidadão. In: SIMPÓSIO DE GESTÃO DA INOVAÇÃO TECNOLÓGICA DA ANPAD, XXV, 2008, Brasília. [ Links ]

GIL, Antônio Carlos. Métodos e técnicas de pesquisa social. 6. ed. São Paulo: Atlas, 2010. [ Links ]

HAIR, Joseph F. et al. Análise Multivariada de Dados. 6. ed. Porto Alegre: Bookmann, 2009. [ Links ]

HOPPEN, Norberto; LAPOINTE, Liette; MOREAU, Eliane. Um guia para a avaliação de artigos de pesquisa em sistema de informação. Revista Eletrônica de Administração, Porto Alegre, v. 2, n. 2, p. 1-34, nov. 1996. [ Links ]

IBGE Instituto Brasileiro de Geografia e Estatística. Instituto Brasileiro de Geografia e Estatística. Disponível em:<http://censo2010.ibge.gov.br/noticias-censo?view=noticia&id=1&idnoticia=2170&t=censo-2010-numero-catolicos-cai-aumenta-evangelicos-espiritas-sem-religiao>. Acesso em: 27 set. 2014.s/d [ Links ]

LUNA-REYES, Luis Felipe; GIL-GARCIA, J. Ramon; ROMERO, Georgina. Towards a multidimensional model for evaluating electronic government: proposing a more comprehensive and integrative perspective. Government Information Quarterly, v. 29, n. 3, p. 324-334, 2012. [ Links ]

NIELSEN, Jakob; LORANGER, Hoa. Usabilidade na Web: projetando websites com qualidade. Tradução de Edson Furmankiewicz e Carlos Schanfranki. 4. ed. Rio de janeiro: Elsevier, 2007. [ Links ]

PARK, Ronnie. Measuring factors that influence the success of e-government initiatives. Florida, US, 2007. Disponível em: <http://proquest.umi.com/pqdweb?did=1280156501&sid=1&Fmt=2&clientId=61611&RQT=309&VName=PQD>. Acesso em: 14 jul. 2011. [ Links ]

PINHO, José Antônio G. de. Investigando portais de governo eletrônico de estados no Brasil: muita tecnologia, pouca democracia. Rev. Adm. Pública, Rio de Janeiro, v. 42, n. 3, p. 471-493, maio/jun. 2008. [ Links ]

PRADO, Otávio. Governo eletrônico, reforma do Estado e transparência: o programa de governo eletrônico do Brasil. Tese (doutorado em administração pública e governo) - Escola de Administração de Empresas de São Paulo, Fundação Getulio Vargas, São Paulo, 2009. [ Links ]

SOBREIRA NETTO, Francisco. Modernização da administração pública brasileira com uso de tecnologia da informação: fatores críticos de sucesso. Franca: Ribeirão Gráfica e Editora, 2007. [ Links ]

TEIXEIRA, Juliana C.; NASCIMENTO, Marco César R.; CARRIERI, Alexandre de P. Triangulação entre métodos na administração: gerando conversações paradigmáticas ou meras validações "convergentes"? Rev. Adm. Pública, Rio de Janeiro, v. 46, n. 1, p. 191-220, jan./fev. 2012. [ Links ]

YIN, Robert K. Estudo de caso: planejamento e métodos. 2. ed. Porto Alegre: Bookman, 2001. [ Links ]

1Alexandre Rampelotto é auditor-fiscal da Receita Federal do Brasil (AFRFB). E-mail: rampelotto@yahoo.com.br.

2Mauri Leodri Löbler é professor associado do Curso de Administração da Universidade Federal de Santa Maria (UFSM). E-mail: mllobler@gmail.com.

3Monize Sâmara Visentini é professora adjunta do Curso de Administração da Universidade Federal da Fronteira Sul (UFFS), Campus Cerro Largo. E-mail: monize.visentini@uffs.edu.br.

Received: March 06, 2014; Accepted: January 27, 2015

Creative Commons License This is an open-access article distributed under the terms of the Creative Commons Attribution License