Utilização da Lei de Newcomb-Benford como Método Identificador de Desvios em Ambientes de Auditoria Contínua: Uma Proposta de Identificação de Desvios no Tempo^*

RESUMO

O presente trabalho utilizou a Lei de Newcomb-Benford (NB-Lei) para analisar 210.899 valores de notas de empenho emitidas por sessenta unidades gestoras pertencentes a dois estados do Nordeste brasileiro, no ano de 2010. A questão investigada neste artigo é a seguinte: Que proposta emerge da necessidade de identificação de desvios no tempo em relação à análise de conformidade da NB-Lei, no ambiente de auditoria contínua? O objetivo da pesquisa é analisar a conformidade da NB-Lei em um ambiente de auditoria contínua, como uma proposta de identificação de desvios no tempo. A análise realizada tem foco na distribuição do primeiro dígito significativo. Foi constatada, em razão da análise gráfica das frequências observadas e séries diárias das discrepâncias relativas, a formação de padrões típicos de possíveis fugas à Lei de Licitações (Lei Federal n. 8.666/93). A partir dos resultados obtidos, conclui-se que a realização de uma análise temporal de conformidade com a NB-Lei agrega maior precisão aos procedimentos de amostragem, em ambiente de auditoria contínua.

Palavras-chave
Lei de Newcomb-Benford; primeiro dígito; análise temporal; auditoria contínua; gasto público

ABSTRACT

This paper used the Newcomb-Benford Law (NB Law) to analyze 210,899 contracts issued by sixty management units in two states in the Brazilian Northeast in 2010. In this article we seek to address the following question: What proposal emerges from the need to identify financial deviations over time in terms of NB Law compliance in continuous auditing scenarios? To this end, the goal of the paper is to analyze this compliance with the aim of identifying deviations over time. The analysis focuses on first significant digit distribution. Graphical analysis of observed frequencies and time series of relative discrepancies reveals the formation of typical patterns of divergences from Public Tenders Law (Federal Law n. 8.666/93). From the results obtained, we conclude that time series analysis of NB Law compliance can improve the accuracy of sampling procedures in continuous auditing.

Keywords
Newcomb-Benford Law; first digit; time series analysis; continuous auditing; public spending

1 INTRODUÇÃO

A essência da Lei de Newcomb-Benford (NB-Lei) foi descoberta por Simon Newcomb em 1881, quando atentou para o fato de que os livros contendo tábuas de logaritmos, em diversas bibliotecas, apresentavam evidências de maior desgaste em suas primeiras páginas. Uma vez que as páginas iniciais destes livros continham os valores de logaritmos dos números que começavam com dígitos menores (dígitos 1, 2 e 3, por exemplo), Newcomb concluiu que as pessoas procuravam, muito mais, por valores de logaritmos que começavam com dígitos menores do que por aqueles que começavam com dígitos mais elevados (dígitos 7, 8 e 9, por exemplo). Newcomb (1881), em seu artigo intitulado Note on the Frequency of Use of the Different Digits in Natural Numbers, concluiu que “a lei da probabilidade da ocorrência de números é tal que todas as mantissas dos seus logaritmos são igualmente prováveis”. Ainda nessa linha de trabalho, Benford (1938) evidenciou as mesmas conclusões de Newcomb, apresentando mais de 20.000 resultados de ajustes com a Lei, em diversas bases de dados de diferentes ramos de pesquisa.

No contexto de estudos sobre desvios financeiros, o padrão da NB-Lei tem sido utilizado como procedimento de auditoria aplicado à análise de conformidade de um conjunto de dados financeiros, mediante detecção de desvios em relação ao padrão esperado de ocorrência, para os dígitos de uma posição analisada. Nesse sentido, destacam-se as pesquisas anteriormente realizadas por Carslaw (1988), Nigrini (1996), Nigrini e Mittermaier (1997), Watrin, Struffert e Ullmann (2008), entre outros.

Procedimentos de auditoria podem ser entendidos como técnicas aplicadas pelo auditor com o propósito de avaliar a legitimidade dos processos e normas de uma entidade do setor público ou privado. Segundo Mills (1994), a auditoria consiste na realização de uma avaliação, reconhecida oficialmente e sistematizada pelos interessados, com a finalidade de assegurar que o sistema, programa, produto, serviço e processo aplicáveis apresentem todas as características, critérios e parâmetros exigidos. Conforme Attie (1998, p.25), a auditoria pode ser vista como uma especialidade contábil voltada a testar a eficiência e a eficácia do controle patrimonial implantado, com o objetivo de expressar uma opinião sobre um determinado conjunto de informações declaradas para análise.

Os procedimentos de auditoria, em geral, são apoiados em diversos tópicos de inferência estatística, dentre os quais destacam-se as estimações pontual e intervalar para proporções e testes de hipóteses estatísticas. Entre os testes estatísticos mais utilizados na análise de conformidade de um conjunto de dados com a NB-Lei, encontram-se os testes Z (Z-teste) e o χ² (χ²-teste). Nesse sentido, alguns autores notificam que o Z-teste e o χ²-teste apresentam um problema em decorrência da utilização de amostras de tamanhos significantemente elevados, enunciado como problema de “excesso de poder” (Nigrini & Mittermaier, 1997; Nigrini, 2000; Krakar & Žgela, 2009). Essa sensibilidade dos testes a tamanhos amostrais elevados pode ser entendida quando pequenos desvios aos padrões da NB-Lei são sinalizados como estatisticamente significativos, mesmo quando são considerados irrelevantes no âmbito da análise de auditoria. Suh, Headrick e Minaburo (2011) utilizaram simulações de Monte Carlo e identificaram o problema em grandes amostras. Adicionalmente, estes autores propõem um procedimento de regressão baseado em inferências via Bootstrap, com a finalidade de identificação de padrões não usuais em dados financeiros, utilizando os dois primeiros dígitos significativos.

Este trabalho tem por objetivo analisar a conformidade da Lei de Newcomb-Benford em um ambiente de auditoria contínua, como uma proposta de identificação de desvios no tempo. Para tanto, foram realizadas análises sobre o padrão da NB-Lei na distribuição do primeiro dígito significativo em 210.899 valores de notas de empenho emitidas por 60 unidades gestoras pertencentes a dois estados do Nordeste brasileiro no ano de 2010. Em uma primeira análise foram elaborados nove gráficos com os resultados das frequências observadas e seu respectivo intervalo de confiança para a aplicação da estatística Z aos dígitos 1 a 9, evidenciando-se visualmente o efeito do tamanho da amostra na utilização do Z-teste. Na análise seguinte foi apresentada uma proposta de análise no tempo para o padrão de dígitos da NB-Lei, mediante a utilização de séries de discrepâncias relativas.

A questão que norteia este trabalho é a seguinte: Que proposta emerge da necessidade de identificação de desvios no tempo, em relação à análise de conformidade da Lei de Newcomb-Benford, no ambiente de auditoria contínua? Com esse intuito, propõe-se a utilização de uma medida de variação percentual relativa, a qual é denotada por discrepância relativa. Tal medida torna-se uma alternativa aos testes Z e qui-quadrado, os quais pressupõem independência, o que não se pode garantir em dados de séries temporais.

Justifica-se a presente pesquisa em decorrência dos seguintes fatos: (i) a importância de um monitoramento na ocorrência de desvios padrões à NB-Lei na determinação de indicativos de irregularidades; (ii) importância da implantação de controles concomitantes num ambiente de auditoria digital; (iii) subsidiar as equipes de auditoria na seleção dos dados que integrarão a sua amostra de análise, com a proposição de metodologias fundamentadas na NB- Lei.

Além desta introdução, este trabalho está organizado da seguinte forma: a seção 2 descreve o referencial teórico apresentando a auditoria contínua, em seguida a Lei de Newcomb-Benford, com a discussão de trabalhos relacionados ao tema da pesquisa e algumas técnicas de inferência estatística, muito utilizadas em análises de frequência de dígitos a partir da NB-Lei; a seção 3 discute a metodologia utilizada nesta pesquisa; em seguida, na seção 4, apresentam-se os resultados das análises empíricas realizadas e, por fim, a seção 5 contém as considerações finais do trabalho.

2 REFERENCIAL TEÓRICO

2.1 Auditoria Contínua

Existem várias definições para auditoria. Em um contexto mais amplo, ela pode ser entendida como uma avaliação oficialmente reconhecida e sistematizada pelos interessados, tendo por objetivo assegurar que o sistema, programa, serviço ou processo auditado possua todas as características, critérios e parâmetros exigidos (Costa, 2012).

Para Arens, Elder e Beasley (2004), a auditoria contínua (AC) funcionaria como um sistema de contabilidade computadorizado, no qual os auditores podem executar testes ao longo do ano, de forma a identificar transações significantes ou incomuns, bem como determinar se existe qualquer alteração realizada neste sistema informatizado de controle.

A auditoria contínua caracteriza-se por produzir resultados simultâneos, ou em pequenos períodos de tempo, após a ocorrência do evento relevante controlado, possibilitando ao auditor detectar a ocorrência de um evento que esteja fora das normas ou fora dos controles. Para tanto, o processo de auditoria contínua depende da existência de sistemas informatizados de controle e dados armazenados em formato eletrônico (Vasarhelyi & Halper, 1991).

A execução deste controle concomitante, a ser exercido em um processo de auditoria contínua, tem na tempestividade o seu melhor atributo quando comparado ao modelo de auditoria tradicional, a posteriori (Costa, Santos, & Travassos, 2012). Para Lima e Vieira (2002), o controle concomitante é realizado em paralelo com os eventos controlados, sendo por isso considerado o mais eficaz, dada a possibilidade de sustação dos efeitos do ato irregular porventura detectado. Murcia, Souza e Borba (2008) ressaltam, entretanto, que o custo de sua implantação só seria viável economicamente mediante a utilização de uma execução automatizada.

A implementação de rotinas de auditoria automatizadas tem se mostrado uma realidade, sobretudo na área de análise de risco em concessão de crédito administrado pelas empresas de cartões de crédito. Com esse propósito Costa et al. (2012) enfatizam a relevância da realização de testes automáticos para a verificação do cumprimento dos limites licitatórios ante o valor das despesas empenhadas, verificação da regularidade fiscal dos fornecedores de bens e serviços à administração e monitoramento de desvios no comportamento da despesa em relação ao seu valor projetado.

Este estudo busca contribuir para a literatura destacando a importância do uso dessas técnicas em auditorias no setor público por meio de uma aplicação na qual foram utilizados métodos contabilométricos voltados à análise da conformidade da NB-Lei em um ambiente de auditoria contínua, tendo como proposta adicional a identificação de desvios no tempo, fundamentada em metodologia interdisciplinar utilizada por Nigrini (1996), Carslaw (1988), Krakar e Žgela (2009) e Žgela (2011).

2.2 A Lei Newcomb-Benford

Estudos pioneiros sobre a NB-Lei foram desenvolvidos por Newcomb (1881) e Benford (1938), nos quais os autores evidenciaram que as probabilidades de ocorrência de números iniciados por dígitos menores são superiores às probabilidades de ocorrência de números iniciados por dígitos mais elevados. No contexto da Teoria das Probabilidades, autores como Hill (1995,1996), Pinkham (1961) e Raimi (1969) mostraram que a NB-Lei se aplica em dados de natureza numérica que apresentem invariância com respeito à escala e que advenham de uma natureza aleatória. Nesse sentido, dados de fluxos financeiros têm recebido bastante atenção na literatura como passíveis de aplicações utilizando a NB-Lei.

Um estudo inicial sobre a Lei de Newcomb-Benford em um contexto aplicado às ciências sociais foi realizado por Varian (1972). Nesse trabalho, o autor observa aspectos da lei em dados financeiros de planejamento público e conclui favoravelmente sobre a utilização da NB-Lei no auxílio à detecção de irregularidades financeiras.

O estudo realizado por Carslaw (1988) analisa demonstrações financeiras de 220 companhias da Nova Zelândia. O autor observou, na análise dos dígitos da segunda posição, que o dígito zero apresentava um excesso de ocorrências relativamente ao estabelecido pela NB-Lei, enquanto que o dígito 9 apresentava uma frequência inferior ao valor proposto na Lei. O autor justifica esse fato como uma tendência à ocorrência de arredondamentos para cima (por exemplo, utiliza-se 3 em vez de 2,9; utiliza-se 5 em vez de 4,9), a qual pode estar associada a possíveis estratégias de manejo numérico com a finalidade de se atingir metas financeiras, por exemplo. Estudo semelhante foi proposto por Thomas (1989), no qual o autor estuda padrões da NB-Lei em informações de lucro de empresas norte-americanas.

No estudo de Nigrini (1999), o autor evidencia o padrão da NB-Lei no crescimento exponencial de uma variável no tempo. Nesse sentido, o autor considera um fundo mútuo crescendo a uma taxa de 10% ao ano. Supondo os recursos do fundo em um patamar inicial de 100 milhões, o primeiro dígito significativo do valor total dos recursos é 1 e só irá se modificar quando o valor total dos recursos do fundo alcançar o montante de 200 milhões. Essa mudança na primeira posição significativa (de 1 para 2) só ocorrerá se houver um aumento de 100 milhões nos recursos do fundo. Dado que a taxa de crescimento é de 10% ao ano, são necessários 10 anos para que isso aconteça. Caso a mudança no primeiro dígito fosse de 5 para 6 (mudando os recursos de 500 milhões para 600 milhões), dada a mesma taxa de crescimento, esse tempo seria de apenas 2 anos. Para uma mudança de 900 milhões para 1 bilhão, à mesma taxa de crescimento, o tempo necessário seria de 1 ano e 1 mês. Esse comportamento é característico do padrão da NB-Lei.

Em estudo com dados dos contribuintes dos Estados Unidos, Nigrini (1996) evidenciou o padrão da NB-Lei em informações financeiras de declarações de imposto de renda. Outros autores, a exemplo de Huxley (1999), Ashcroft, Bae e Norvell (2002), Kumar e Bhattacharya (2002) e Posch (2004), também utilizaram em seus estudos o padrão da NB-Lei como ferramenta auxiliar em processos de auditoria.

A dedução das probabilidades de ocorrência dos dígitos 1 a 9 como primeiros dígitos significativos foi inicialmente obtida por Benford (1938), sendo amplamente utilizada e aperfeiçoada por Hill (1995). A probabilidade P(d) de o dígito d ocorrer como primeiro dígito significativo é obtida pela equação

Utilizando-se a equação (1), as probabilidades de ocorrências para o primeiro dígito são mostradas na Tabela 1. As probabilidades listadas na Tabela 1 são obtidas pela equação p_ei, i = 1, …, 9 da NB-Lei, considerando os dígitos de 1 a 9 na primeira posição significativa. Como se pode observar, as probabilidades associadas aos dígitos 1 a 5 são superiores às dos dígitos 6 a 9, fato que contraria o senso comum de que as ocorrências dos dígitos estejam associadas a eventos equiprováveis. A NB-Lei fortalece que esse comportamento, de fato, não prevaleça.

Tabela 1
Probabilidade de Ocorrência do Primeiro Dígito Significativo

I	Pei
1	0,301030
2	0,176091
3	0,124939
4	0,096910
5	0,079181
6	0,066947
7	0,057992
8	0,051153
9	0,045757

• Fonte: Elaborado pelos autores.

Em uma aplicação para o Brasil, Santos, Ribeiro, Lagioia, Alves e Araújo (2009) avaliaram a utilização da NB-Lei no âmbito da auditoria tributária do Imposto sobre Serviços de Qualquer Natureza (ISS). Para tanto, os autores analisaram um histórico de notas fiscais emitidas por uma empresa de publicidade no período de 2002 a 2005. Os resultados obtidos evidenciaram a existência de possíveis desvios em respeito à emissão e escrituração das notas fiscais da relativa empresa, fatos que foram confirmados pelos resultados da fiscalização.

Algumas pesquisas aplicam a NB-Lei em valores de notas de empenho resultantes da despesa pública estadual, o que foi confirmado no estudo de Santos, Diniz e Corrar (2005). Os autores aplicaram um modelo contabilométrico de auditoria digital utilizando a NB-lei juntamente com o Z-teste e o teste χ² em uma amostra formada por aproximadamente 104 mil empenhos, sendo constatada a utilidade da análise na determinação do comportamento padrão das despesas praticadas pelos gestores públicos. Os resultados obtidos evidenciaram indícios de superfaturamento e de fracionamentos nas despesas com o objetivo de burlar o limite estabelecido pela Lei Federal n. 8.666 (Lei de Licitações, 1993) para as aquisições no setor público.

Outro trabalho que apresenta a aplicação da NB-Lei em notas de empenho foi realizado por Ribeiro, Montenegro, Santos e Galvão (2005), que reproduziram o modelo contabilométrico criado por Nigrini (2000), também utilizado por Santos, Diniz e Ribeiro (2003) no contexto da auditoria contábil para a análise das notas de empenho de 20 municípios do estado da Paraíba.

No ano de 2010, Diniz, Corrar e Slomski investigaram se elementos não aleatórios do comportamento humano poderiam ser determinantes na modificação dos valores de despesas em prestação de contas municipais. Os autores optaram por selecionar 225.421 notas de empenho de 40 municípios investigados de acordo com o volume de recursos geridos, sendo estratificada a amostra em grandes e pequenos municípios (Diniz et al., 2010).

Outra pesquisa que aplica o padrão da NB-Lei em notas de empenho foi realizada por Costa (2012), que desenvolveu e aplicou um modelo contabilométrico de detecção de desvios financeiros fundamentado na NB-Lei para a análise de 335.830 notas de empenho emitidas no exercício financeiro de 2010 por 60 Unidades Gestoras (UGs) de três estados brasileiros. A partir desse estudo, o autor apresentou uma proposta da NB-Lei aos Tribunais de Contas. Ainda em 2012, Costa et al. analisaram a conformidade nos gastos públicos dos entes federativos e aplicaram a NB-Lei em 134.281 notas de empenho emitidas por 20 UGs de dois estados brasileiros para o primeiro e segundo dígitos (Costa, Santos & Travassos, 2012).

Costa, Silva, Travassos e Santos (2013) analisaram a conformidade da NB-Lei no ambiente de auditoria contínua, em 210.899 valores de notas de empenho, emitidas por 60 Unidades Gestoras (UG) pertencentes a dois estados do Nordeste brasileiro, durante o ano de 2010. Costa, Travassos, Soeiro e Santos (2013) utilizaram a contabilometria na detecção de ocorrência de desvios significativos na distribuição do primeiro dígito dos gastos públicos estaduais em relação à distribuição-padrão definida na NB-Lei, em 109.888 notas de empenho emitidas por 20 UG de dois estados do Nordeste, sendo dez UG de cada estado.

2.3 Inferência Estatística em Análises de Frequências de Dígitos

Alguns testes estatísticos foram utilizados em estudos com ênfase em análises de detecção de desvios financeiros, como os de Carslaw (1988) e Nigrini (1996), entre outros. Dentre os testes utilizados, destacam-se os testes Z (Z-teste) e o χ ² (χ ²-teste).

No contexto da NB-Lei, o Z-teste pode ser utilizado na realização de inferências sobre as frequências dos dígitos 0 a 9, quando individualmente observadas para os primeiros dígitos significativos em um conjunto de informações numéricas. A correspondente estatística de teste é dada por

em que PE_i = p_ei xn, PO_i = p_oi xn, n, sendo n o tamanho da amostra, p_ei as probabilidades esperadas e p_oi as frequências observadas. Dessa forma, ao nível de significância de α = 0,05, rejeita-se H _{0 A} (hipótese nula em teste) quando Z < - Z_crítico ou se Z > Z_crítico. Para o nível de significância de α = 0,05, será rejeitada a hipótese de inexistência de desvios significativos (H _{0 A} ) quando Z < -1,96 ou Z > 1,96.

Utilizando a estatística Z dada na equação (2), podem ser obtidas margens de tolerância [ Ic_poi ] para as frequências observadas (p_oi, i = 1, 2, …, 9), em consonância com a NB-Lei, conforme expressão a seguir:

Com a utilização do χ²-teste, o interesse de análise reside em investigar se as frequências dos digítos em uma determinada posição (por exemplo, as frequências dos dígitos 1 a 9 na primeira posição significativa) seguem os padrões estabelecidos pela NB-Lei. Para a realização do χ²-teste, utiliza-se a seguinte estatística de teste:

em que PO_i = p_oi xn e PE_i = p_ei xn são as frequências absolutas observadas e esperadas para o dígito i = 1, …, 9 na primeira posição significativa, e n representa o tamanho da amostra. Dessa forma, ao nível de significância de α = 0,05, rejeita-se H _{0 B} (hipótese de ajuste global das frequências de acordo com a NB-Lei) quando a estatística χ² > 15,507.

Conforme observado por alguns autores, o Z-teste e o χ²-teste apresentam um problema em decorrência da utilização de amostras de tamanhos significantemente grandes, implicando em testes com taxas de erro muito baixas e, assim, com poderes bastante elevados (Nigrini & Mittermaier, 1997; Krakar & Žgela, 2009; Suh et al., 2011). Esse fato é conhecido na literatura por “excesso de poder”. Segundo Nigrini e Mittermaier (1997), o Z-teste rejeita a hipótese nula em amostras de tamanho superior a 100.000 elementos, mesmo quando as diferenças entre as frequências observadas e as probabilidades de NB-Lei forem consideradas como imateriais do ponto de vista da auditoria. De acordo com Krakar e Žgela (2009), o χ²-teste também apresenta esse mesmo problema em amostras superiores a 10.000 elementos.

Este trabalho propõe a utilização de uma medida de variação percentual relativa, que é definida como discrepância relativa, em uma análise temporal das frequências observadas para os dígitos 1 a 9 na primeira posição significativa. Tal medida foi também utilizada por Žgela (2011) em um estudo sobre variações percentuais ocorridas entre os anos de 2001 a 2011 no índice DAX do mercado de capitais alemão. No entanto, as análises foram feitas com informações acumuladas para todo o período (ao final de 2011). Utilizando as discrepâncias relativas, é possível construir séries temporais sem que haja o problema de "excesso de poder", conforme destacado em Nigrini e Mittermaier (1997), Nigrini (2000) e Krakar e Žgela (2009). Destaca-se uma vantagem do uso das séries de discrepâncias relativas comparativamente à proposta analisada em Suh et al., (2011): o estudo proposto por estes autores, embora siga uma estratégia de simulação robusta, é computacionalmente mais exaustivo, o que pode gerar dificuldades na sua implementação em grandes bases de dados. Entretanto, sugere-se a sua utilização em um estudo futuro, que possa fazer uma comparação entre as duas metodologias.

Neste trabalho, os estudos foram realizados em dados de valores de notas de empenho emitidas por 60 unidades gestoras, divididas entre dois estados do Nordeste brasileiro, no ano de 2010. Nesse sentido, a utilização dos testes Z e χ² pode levar a resultados pouco confiáveis, visto que esses testes presumem a utilização de amostras independentes. Além disso, a utilização desses testes em amostras de tamanhos bastante elevados tende a conduzir ao problema de “excesso de poder”. Esse fato pode ser observado quando se utiliza um nível de significância α fixo, e se aumenta indefinidamente o tamanho da amostra. Nesse caso, nota-se que os intervalos de confiança para as proporções observadas tendem a ter comprimento próximo de zero.

Outro aspecto importante e de ordem prática é o fato de que em duas amostras com diferenças de tamanhos elevadas (n ₁ >> n ₂), uma comparação entre os intervalos de confiança construídos com a utilização da estatística Z tenderia a ser pouco informativa, visto que nesse caso a chance relativa de se encontrar informações não conformes com a NB-Lei na amostra de tamanho n ₂ é superior à da amostra de tamanho n₁ .

3 PROCEDIMENTOS METODOLÓGICOS

A metodologia utilizada nesta pesquisa consistiu na realização de duas análises empíricas sobre as frequências relativas dos dígitos 1 a 9 observadas na primeira posição significativa em um conjunto de valores de notas de empenho emitidas por 60 UG pertencentes a dois estados do Nordeste brasileiro (estados E1 e E2). Nas análises são consideradas 30 UG por estado, sendo a base de dados referente ao ano de 2010. Em um primeiro estudo, para cada estado, as informações das proporções observadas foram agrupadas por dígito em cada UG pertencente aos estados E1 e E2. As informações foram totalizadas para o final do ano de 2010, ou seja, os quantitativos em notas de empenho emitidas ao longo de todo o ano de 2010 foram acumulados para cada unidade gestora em cada um dos estados E1 e E2. Nesse momento, o intuito é evidenciar como o padrão da NB-Lei é mais observado nas UG que emitiram as maiores quantidades de notas de empenho em 2010. Em um segundo momento foram avaliadas as séries diárias de discrepâncias relativas das frequências observadas às respectivas probabilidades esperadas pela NB-Lei. As séries foram construídas com os dados agrupados por estado e analisados por dígito significativo.

No enfoque desse estudo, discrepâncias relativas são definidas como os quocientes das diferenças entre as frequências de dígitos observadas (calculadas dos dados) e as respectivas probabilidades esperadas pela NB-Lei [ (p_oi - p_ei ), i = 1, ..., 9 ], pelas respectivas probabilidades esperadas (Cribari & Silva, 2011). Por exemplo, considerando o dígito 1 na primeira posição significativa, a expressão da discrepância relativa à probabilidade esperada pela NB-Lei (dada por p_e1 ≈ 0.301), no período t, é calculada utilizando a seguinte expressão:

em que p _o1 (t) denota a frequência relativa do dígito 1 na primeira posição significativa no t-ésimo período de tempo. No que tange aos resultados das análises, estes sugerem que a utilização de informações temporais sobre as frequências dos dígitos observadas permite a identificação de períodos de formação dos maiores desvios, além de possibilitar um estudo mais detalhado sobre unidades gestoras que apresentem padrões de desvio específicos, agregando informação ao procedimento de amostragem em ambientes de auditoria contínua.

4 ANÁLISE DOS RESULTADOS

Para a primeira análise, foram calculadas as frequências relativas de cada dígito (1 a 9) organizando-se os valores dos empenhos emitidos no ano de 2010 por unidade gestora (UG 1 a 30 em cada estado) e por estado (estados E1 e E2). O objetivo desse estudo reside em avaliar, de forma geral, o comportamento das frequências dos dígitos 1 a 9 na primeira posição significativa à medida que o número de empenhos emitidos aumenta.

Partindo-se da veracidade da hipótese de que a NB-Lei é uma lei matemática que governa a distribuição natural dos dígitos que compõem os números, a ocorrência de desvios de conformidade na distribuição dos dígitos, em relação às frequências previstas na Lei em destaque, evidenciaria a interferência do ser humano (Diniz et al., 2010). Dessa forma, os desvios sinalizados resultantes das análises seriam indicativos da interferência humana no comportamento natural dos números, sendo esta interferência, por sua vez, um possível indicativo da ocorrência de erros ou fraudes.

No contexto desta análise, com enfoque na determinação dos desvios de conformidade observados para cada dígito, enfatiza-se que as discrepâncias relativas positivas sinalizarão o conjunto de informações de maior relevância para um processo de amostragem de auditoria que visa ao levantamento dos valores de empenhos não conformes com a NB-Lei (Costa et al., 2012).

Como justificativa para esse fato, suponha que a um conjunto de valores de empenhos conformes com a NB-Lei sejam acrescentados x valores de empenhos iniciados com cada um dos dígitos 1 a 8, totalizando 8x acréscimos (x em cada dígito). Nesse caso, em uma análise feita apenas para o dígito 9, não seria possível localizar os empenhos acrescentados, enquanto que em uma análise para os dígitos 1 a 8 isso seria possível. Muito embora as quantidades acrescidas aos dígitos sejam as mesmas (x para cada dígito), as chances de encontrar um elemento não conforme inserido serão maiores em uma amostra formada pelos elementos iniciados pelo dígito 8. Isto ocorre porque a proporção de empenhos alterados no grupo de valores iniciados pelo dígito 8 teria um valor superior às respectivas proporções referentes aos demais dígitos (Costa, 2012).

As Figuras 1 a 6 contêm os gráficos das frequências relativas observadas (frequências para a primeira posição significativa no eixo y) contra o número de empenhos emitidos por cada UG no ano de 2010 (eixo x). Os números de empenhos registrados no eixo horizontal (eixo x) foram obtidos diretamente das bases históricas de cada UG no correspondente ano de análise. As figuras 1 a 3 referem-se ao estado E1 e as figuras 4 a 6 referem-se ao estado E2. Em cada gráfico, também são mostradas as margens de confiança para cada frequência observada (limites de tolerância para concordância à NB-Lei). Os intervalos de confiança foram construídos conforme descrito na expressão (3) da seção 2.3, sendo α = 0.05 (isto é, o grau de cobertura considerado é de 95%). Como se pode observar, em todas as figuras, à medida que o número de empenhos (n) aumenta, existe uma tendência à conformidade com a NB-Lei. Este fato foi mais destacado nas UG 1 e 2 do estado E1, respectivamente com 27.691 e 11.809 empenhos cada, e para as UG 3 e 12 do estado E2, com 21.796 e 11.006 empenhos.

Em linhas gerais, em ambos os estados nota-se maior dispersão das frequências observadas em torno das frequências esperadas (estabelecidas pela NB-Lei) quando o número de empenhos é inferior a 5.000. Ainda no contexto dessa análise, um fato a ser observado é que gráficos tais como os das Figuras 1 a 6 permitem a realização de uma análise geral e comparativa sobre todos os dígitos, sinalizando as UG que apresentam os maiores desvios à NB-Lei por meio de frequências observadas, muito distantes das bandas de confiança estabelecidas.

Entretanto, assim estruturada, esta análise não permite avaliar o período ao longo do ano de 2010. Adicionalmente, dado um número de empenhos significativamente elevado, sendo α fixado, os intervalos de confiança para as proporções observadas tendem a ter comprimentos próximos de zero. Isto se deve ao fato de que, a um nível nominal fixo (valor de α fixado), o poder do Z-teste tende a um valor próximo de 1 à medida que o tamanho da amostra aumenta indefinidamente. Esses intervalos de confiança evidenciariam o efeito do “excesso de poder” citado por Nigrini e Mittermaier (1997) e Krakar e Žgela (2009).

Figura 1
Gráficos das frequências observadas para o estado E1 no final do ano de 2010 dos dígitos 1, 2 e 3

Figura 2
Gráficos das frequências observadas para o estado E1 no final do ano de 2010 dos dígitos 4, 5 e 6

Figura 3
Gráficos das frequências observadas para o estado E1 no final do ano de 2010 dos dígitos 7, 8 e 9

Figura 4
Gráficos das frequências observadas para o estado E2 no final do ano de 2010 dos dígitos 1, 2 e 3

Figura 5
Gráficos das frequências observadas para o estado E2 no final do ano de 2010 dos dígitos 4, 5 e 6

Figura 6
Gráficos das frequências observadas para o estado E2 no final do ano de 2010 dos dígitos 7, 8 e 9

Na análise seguinte, propõe-se a utilização de séries diárias das discrepâncias relativas, conforme definidas na expressão (5) da seção 3. Esta análise tem a finalidade de observar os comportamentos dos desvios às probabilidades da NB-Lei ao longo do ano de 2010, e não apenas ao final desse período. Conforme discutido nas seções 2.3 e 3, o uso das discrepâncias relativas permite a realização de análises no tempo, o que não seria adequado com a utilização de valores da estatística Z, uma vez que o Z-teste presume a utilização de amostras independentes. Além disso, há uma perda em aspectos comparativos em análises de amostras com diferenças de tamanho elevadas.

As Figuras 7 a 9 contêm os gráficos das séries diárias de discrepâncias relativas para os dígitos de 1 a 9 no período de 17/01/2010 a 31/12/2010, considerando o total de valores de empenhos emitidos pelas unidades gestoras pertencentes ao estado E2. Vale observar que em todas as análises, a escolha da data de início das séries atendeu a uma quantidade mínima de n = 100 empenhos. O padrão de desvios observado na Figura 7, com excessos de ocorrência no dígito 7 e faltas nos dígitos 6, 8 e 9, já foi identificado por Costa et al. (2012), Costa (2012) e Costa, Travassos et al. (2013) em análise realizada no comportamento da despesa pública, sendo interpretado pelos autores como uma provável influência do limite de dispensa do processo licitatório (previsto na Lei Federal n. 8.666/93) no comportamento do gasto público.

Os desvios sugerem, dado que o limite de dispensa para compras e serviços que não sejam de engenharia é de até R$ 8.000,00, a ocorrência de um possível deslocamento dos valores iniciados pelos dígitos 6, 8 e 9 para o dígito ‘7’, em valores inferiores ao limite legal estabelecido, evitando-se desta forma a necessidade de realização de processos licitatórios.

Figura 7
Gráficos diários das séries de discrepâncias relativas para o estado E2 no período de 17/01/2010 a 31/12/2010 dos dígitos 1, 2 e 3

Figura 8
Gráficos diários das séries de discrepâncias relativas para o estado E2 no período de 17/01/2010 a 31/12/2010 dos dígitos 4, 5 e 6

Figura 9
Gráficos diários das séries de discrepâncias relativas para o estado E2 no período de 17/01/2010 a 31/12/2010 dos dígitos 7, 8 e 9

Observando as Figuras 10 a 12, referentes ao estado E1 no período de 13/01/2010 a 31/12/2010, nota-se, mais uma vez, que o padrão de desvios observados para os dígitos 6, 7, 8 e 9 também ratifica uma possível influência do limite licitatório sobre a realização das despesas do estado E1, visto que foram observados desvios por falta nos dígitos 6 e 9, acompanhados de desvio por excesso no dígito 7. O dígito 8, embora tenha apresentado desvio por excesso a partir do dia 27/01/2010, demonstrou evidências da influência do limite licitatório, visto que 1.279 empenhos, dentre 5.878 empenhos iniciados pelo dígito 8, possuíam valor igual ao limite licitatório de até R$ 8.000,00, ou seja, 21,76% do total.

Figura 10
Gráficos diários das séries de discrepâncias relativas para o estado E1 no período de 13/01/2010 a 31/12/2010 dos dígitos 1, 2 e 3

Figura 11
Gráficos diários das séries de discrepâncias relativas para o estado E1 no período de 13/01/2010 a 31/12/2010 dos dígitos 4, 5 e 6

Figura 12
Gráficos diários das séries de discrepâncias relativas para o estado E1 no período de 13/01/2010 a 31/12/2010 dos dígitos 7, 8 e 9

A Figura 13 apresenta o gráfico da série das discrepâncias relativas observadas para o dígito 8, retirando-se da amostra os 1.279 empenhos com valores iguais ao limite de licitação (R$ 8.000,00), dentro do mesmo período considerado nas figuras 7 a 9. Conforme se pode observar, em contraste com o gráfico do dígito 8 na Figura 12, há uma mudança no comportamento da série (antes tipicamente crescente e, depois, tipicamente decrescente). Dessa forma, conclui-se que os excessos no dígito 8 foram provocados principalmente pela grande quantidade de empenhos emitidos com valor igual a esse limite (R$ 8.000,00), ao longo de todo o ano de 2010.

Figura 13
Gráficos das discrepâncias relativas observadas para o dígito 8 na primeira posição significativa, sendo consideradas todas as UG do estado E1 no período de 13/01/2010 a 31/12/2010.

Com um enfoque particular, foram identificadas na segunda análise duas unidades gestoras do estado E2 (UG 8 e 15), as quais apresentaram variações positivas no decorrer do exercício analisado e que foram compensadas em sua maior parte até o final do ano de 2010. A Figura 14 apresenta o gráfico da série de discrepâncias relativas observadas para o dígito 2 na primeira posição significativa dos valores das notas de empenho declaradas pela UG 15 do estado E2 no ano de 2010.

Observando a Figura 14, nota-se um comportamento crescente para a discrepância relativa do início de janeiro até o final do mês de junho de 2010, chegando em 25/07/2010 ao seu desvio positivo máximo de 87%. Apesar da ocorrência deste expressivo desvio no primeiro semestre, vê-se que no semestre seguinte houve um comportamento inverso, com uma redução gradual dos desvios até atingir o patamar de 23,5% ao final do exercício. No caso da UG 15, a frequência observada para o dígito 2 foi 0,217 para o ano de 2010, valor fora do intervalo de confiança com grau de cobertura 95% (Ic = [0.161, 0.190 ]). Dessa forma, o Z-teste bicaudal rejeita a hipótese nula de que a frequência observada para o dígito 2 seja igual à probabilidade estabelecida pela NB-Lei-(≈ 0,176) ao nível de significância α = 0,05.

Figura 14
Gráficos das discrepâncias relativas observadas para o dígito 2 na primeira posição significativa, sendo considerada a UG 15 do estado E2 no período de 13/01/2010 a 31/12/2010.

A Figura 15 mostra o gráfico das discrepâncias relativas correspondente ao dígito 7, considerando as informações financeiras da UG 8 do estado E2. Como se pode observar, no período entre o final de maio e início de junho os valores das discrepâncias relativas apresentaram um rápido e significativo aumento, atingindo o seu ponto máximo em 16/06/2010, com um desvio positivo de 68,63%. A partir desse ponto, viu-se uma redução dos desvios até o encerramento do exercício de 2010, com uma discrepância relativa de 7,41%. Diferentemente da UG 15, no caso da UG 8 a frequência observada para o dígito 7 ao final do ano de 2010 foi de 0,062, valor dentro do intervalo de confiança com grau de cobertura 95% (Ic = [0.049,0.066]).

Figura 15
Gráficos das discrepâncias relativas observadas para o dígito 7 na primeira posição significativa sendo considerada a UG 8 do estado E2 no período de 13/01/2010 a 31/12/2010.

Os dois exemplos anteriores evidenciam que a realização de uma análise temporal, tal qual proposta na presente pesquisa, tanto possibilita a identificação de picos de desvios ocorridos no período analisado, como permite determinar com maior precisão os elementos de interesse à formação da amostra a ser auditada. Por outro lado, partindo-se dos valores das discrepâncias relativas positivas, é possível estimar a probabilidade de detecção dos elementos em excesso. Tomando-se, por exemplo, o cálculo do desvio observado para o dígito 7 no período de tempo t partindo-se da expressão /, a quantidade / representa a chance relativa de se encontrar empenhos que ocasionaram desvios por excesso no conjunto de valores dos empenhos iniciados pelo dígito 7. No caso da UG 8 da análise anterior, conforme pode ser visto na Figura 15, no início de junho a discrepância relativa atingiu o valor de 0,68, o que significa que a chance relativa de se encontrar valores de notas de empenho em excesso, relativamente à NB-Lei, no conjunto de valores de notas de empenho iniciados pelo dígito 7 é de cerca de 40,47%.

Pelos resultados acima, vê-se que a utilização das discrepâncias relativas, ao contrário dos testes Z e χ², que se tornam mais rigorosos quando a quantidade de elementos analisados aumenta, o que prejudica as análises de conformidade à NB-Lei, reflete a proporção de desvios observados, independentemente do tamanho da amostra.

5 CONSIDERAÇÕES FINAIS

Este trabalho analisou a conformidade da NB-Lei como uma proposta de identificação de desvios no tempo, em um ambiente de auditoria contínua, definida em 210.899 valores de notas de empenho, emitidas por 60 UG de dois estados do Nordeste brasileiro, no ano de 2010. Essas notas foram analisadas na distribuição do primeiro dígito significativo, ao final e no decorrer daquele ano.

A partir do monitoramento num ambiente digital, verificou-se, em razão da análise gráfica das frequências observadas e séries diárias das discrepâncias relativas (vide Figuras 1 a 12), a formação de padrões típicos de possíveis irregularidades ou fugas à Lei de Licitações (Lei Federal n. 8.666/93). Esta lei conferiu poderes coercitivos aos órgãos de controle externo em relação a irregularidades investigadas no processamento das despesas públicas. As Figuras 1 a 12 mostram possíveis características do fracionamento do gasto público em valores inferiores ou iguais ao limite da dispensa, prática utilizada para burlar a realização dos processos licitatórios, bem como direcionar o gasto público ao fornecedor favorito, conforme discutido nas pesquisas de Costa et al. (2012) e Costa (2012).

Viu-se, ainda, na utilização das discrepâncias relativas no tempo, a identificação da UG 8 do estado E2, que apresentou ocorrência de desvios significativos no decorrer do período (Dr = 68,63%), em contraste com o desvio observado ao final do período (de apenas 7,41%), ocasionando, inclusive, a não rejeição da hipótese nula (H_0A) para o dígito 7 analisado. Igualmente, foi evidenciado neste trabalho que análises de conformidade com a NB-Lei, realizadas mediante utilização das discrepâncias relativas, permitem ainda identificar o risco de se encontrar elementos com excesso de ocorrência para os dígitos analisados, independentemente do tamanho da amostra, diferentemente do observado com os testes Z e χ², que se tornam mais rigorosos quando a quantidade de elementos analisados aumenta. Dessa forma, constatou-se a relevância da implantação de controles concomitantes num ambiente de auditoria digital, bem como a presteza e maior eficácia, visto que é exercido durante ou pouco tempo após a ocorrência. Essa proximidade de sua atuação temporal lhe confere não só maior chance de sucesso, como a possibilidade de sustação dos efeitos de um ato irregular porventura detectado (Costa et al., 2012; Costa, 2012).

Mostrou-se, na seção 4, que o ambiente de auditoria contínua fundamentada com a proposição da metodologia referente à NB-Lei contribui para subsidiar a formação de trilhas nas equipes de auditoria, em virtude da maior eficácia exercida durante ou pouco tempo após a ocorrência dos eventos que se propõe fiscalizar, ou seja, se expandem as limitações de tempo e o volume no processamento das informações. Assim, com o convencimento do analista, na seleção dos dados que integrarão sua amostra de análise, sugere ao auditor pontos relevantes a serem observados nos desvios dos padrões da despesa pública, contribuindo diretamente para o planejamento de suas auditorias.

Fica evidenciado que este trabalho, em razão dos resultados observados na realização de uma análise temporal de conformidade com a NB-Lei, tanto possibilita a identificação de picos de desvios ocorridos no período analisado, como permite determinar, com maior precisão, elementos de interesse na formação de amostragens aplicadas à luz desta abordagem, em ambiente de auditoria contínua.

REFERENCES

• Arens, A. A.; Elder, R. J., & Beasley, M. S. (2004). Auditing and Assurance Services (10th ed.). Upper Saddle River: Prentice Hall.
• Ashcroft, P., Bae, B., & Norvell, J. (2002). Application of digital analysis in the audit. Today's CPA, (5), 31-35. Retrieved from http://www.csub.edu/~bbae/publication/digital%20analysis%20in%20audit.todays%20cp a%202002.pdf
  » http://www.csub.edu/~bbae/publication/digital%20analysis%20in%20audit.todays%20cp a%202002.pdf
• Attie, W. (1998). Auditoria, conceitos e aplicações (3a ed.). São Paulo: Atlas.
• Benford, F. (1938). The law of anomalous numbers. Proceedings of the American Philosophical Society, 78(4), 551-572.
• Carslaw, C. A. P. N. (1988, April). Anomolies in income numbers: evidence of goal oriented behavior. The Accounting Review, 2(63), 321-327.
• Costa, J. I. F. (2012). Desenvolvimento de metodologias contabilométricas aplicadas à auditoria contábil digital: uma proposta de análise da lei de Newcomb-Benford para os Tribunais de Contas Master’s Degree, Universidade Federal de Pernambuco, Recife, PE, Brasil.
• Costa, J. I. F., Santos, J., & Travassos., S. K. M (2012). Análise de conformidade nos gastos públicos dos entes federativos: estudo de caso de uma aplicação da Lei de Newcomb-Benford para o primeiro e segundo dígito em dois estados brasileiros. Revista Contabilidade &. Finanças, 23(60), 187-198.
• Costa, J. I. F., Silva, W. B., Travassos, S. K. M., & Santos, J. (2013) Análise de Conformidade da Lei de Newcomb-Benford no Ambiente de Auditoria Contínua: Uma Proposta de Identificação de Desvios no Tempo. In Anais do 37º Encontro Nacional da Associação Nacional de Pós-Graduação e Pesquisa em Administração, Rio de Janeiro, RJ, Brasil.
• Costa, J. I. F., Travassos, S. K. M., Soeiro, T. M., & Santos, J. S. (2013). Statistical analysis in detection of deviation occurrence in the distribution of first significant digit of state public spending in relation to the standard distribution defined in Newcomb-Benford's law. In 10ª Conferência Internacional sobre Sistemas de Informação e Gestão de Tecnologia, São Paulo, SP, Brasil.
• Cribari-Neto, F., & Silva, W. B. (2011). A new heteroskedasticity-consistent covariance matrix estimator for the linear regression model. AStA Advances in Statistical Analysis, 95(2), 129-146.
• Diniz, J. A., Corrar, L. J., & Slomski, V. (2010). Análise digital: uma abordagem cognitiva na detecção de não conformidade em prestações de contas municipais. Anais do 10º Congresso USP de Controladoria e Contabilidade, São Paulo, SP, Brasil.
• Hill, T. P. (1995). Base-invariance implies Benford’s law. Proceedings of the American Mathematical Society, 123(3), 887-895.
• Hill, T. P. (1996). A Statistical derivation of the significant-digital law. Statistical Science, 10(4), 354-363.
• Huxley, S. J. (1999). Why Benford's law works and how to do digit analysis on spreadsheets. Proceedings of the Annual International Conference of the Decision Sciences Institute, Athens, Greece.
• Krakar, Z., & Žgela, M. (2009). Application of Benford's law in payment systems auditing. Journal of Information and Organizational Sciences, 33(1), 39-51.
• Kumar, K., & Bhattacharya, S. (2002). Benford’s law and its application in financial fraud detection. The Advances in Financial Planning and Forecasting, 11, 57-70.
• Lei n. 8.666, de 21 de junho de 1993 (1993). Regulamenta o art. 37, inciso XXI, da Constituição Federal, institui normas para licitações e contratos da administração pública, e dá outras providências. Brasília. Retrieved from http://www.planalto.gov.br/ccivil_03/Leis/L8666cons.htm
  » http://www.planalto.gov.br/ccivil_03/Leis/L8666cons.htm
• Lima, A. L. P., & Vieira, S. S. C. (2002). Auditoria e controle, Caderno 1, n. 1.
• Mills, A. C. (1994). A auditoria da qualidade: uma ferramenta para avaliação constante e sistemática da manutenção da qualidade (5a ed.). São Paulo: Makron Books.
• Murcia, F. D., Souza, F. C., & Borba, J. A. (2008). Continuous audit: a literature review. Revista Organizações em Contexto (online), 4(7), 1-17.
• Newcomb, S. (1881). Note on the frequency of use of the different digits in natural numbers. American Journal of Mathematics, 4(1), 39-40.
• Nigrini, M. J. (1996). A taxpayer compliance application of Benford’s law. The American Taxation Association 1, 72-91.
• Nigrini, M. J. (1999). I´ve got your number. Journal of Accountancy, 187(5), 79-83.
• Nigrini, M. J. (2000). Digital Analysis Using Benford’s Law: Tests& Statistics for Auditors Vancouver: Global Audit Publications.
• Nigrini, M. J., & Mittermaier, L. J. (1997). The use of Benford’s Law as an aid in analytical procedures. Auditing, 16(2), 52-68.
• Pinkham, R. S. (1961). On the distribution of first significant digits. Annals of Mathematical Statistics, 32(4), 1223-1230.
• Posch, P. N. (2004). Ziffernanalyse in der Fälschungsaufspürung. Benford’s Gesetz und Steuererklärungen in Theorie und Praxis. Unpublished manuscript Retrieved from http://www.posch.net/paper/posch_faelschungenbenford.pdf
  » http://www.posch.net/paper/posch_faelschungenbenford.pdf
• Raimi, R. (1969). The peculiar distribution of first significant digits. Scientific American, 221(6), 109-120.
• Ribeiro, J. C., Montenegro, G. B., Santos, J., & Galvão, K. S. (2005). Aplicação da Lei de Newcomb-Benford na Auditoria. Caso notas de empenho dos Municípios do Estado da Paraíba. In Anais do 5º Congresso USP de Controladoria e Contabilidade, São Paulo, SP, Brasil.
• Santos, J., Diniz, J. A., & Ribeiro, . F., Filho (2003). A Lei de Newcomb-Benford: uma aplicação para determinar o DNA-equivalente das despesas no setor público. In Anais do 3º Congresso USP de Controladoria e Contabilidade, São Paulo, SP, Brasil.
• Santos, J., Diniz, J. A., & Corrar, L. J. (2005). O foco é a Teoria Amostral nos campos da auditoria contábil tradicional e da auditoria digital: testando a Lei de Newcomb- Benford para o primeiro dígito nas contas públicas. Brazilian Business Review, 2(1), 71-89.
• Santos, J., Ribeiro Filho, J. F.; Lagioia, U., Alves Filho, B. F. A., & Araújo, I. J. C. (2009). Aplicações da lei de Newcomb-Benford na auditoria tributária do Imposto sobre Serviços de Qualquer Natureza (ISS). Revista Contabilidade & Finanças, 20(49), 79-94.
• Suh, I. S., Headrick, T. C, & Minaburo, S. (2011). An Effective and Efficient Analytic Technique: A Bootstrap Regression Procedure and Benford's Law. Journal of Forensic & Investigative Accounting, 3(3), 25-45.
• Thomas, J. K. (1989). Unusual patterns in reported earnings. The Accounting Review 64(4), 773-787.
• Varian, H. R. (1972). Benford's Law. The American Statistician, 26(3), 65-66.
• Vasarhelyi, M. A., & Halper, F.B. (1991). The continuous audit of online systems. Auditing : A Journal of Practice and Theory, 10(1), 110-125.
• Watrin, C., Struffert, R., & Ullmann, R. (2008). Benford’s Law: an instrument for selecting tax audit targets? Review of Managerial Science, 2(3), 219-237.
• Žgela, M. (2011). Application of Benford’s law in analysis of DAX percentage changes. Cybernetics and Information Technologies, 11(4), 2011.

• *Artigo apresentado no XXXVII Encontro da ANPAD, Rio de Janeiro, RJ, 2013.

Datas de Publicação

• Publicação nesta coleção
  Abr 2017

Histórico

• Recebido
  21 Out 2015
• Aceito
  08 Nov 2015