Escolha de um programa de controle da qualidade da água para consumo humano: aplicação do Método AHP

Selection of water quality control program for human consumption: application of the AHP Method

GESTÃO E CONTROLE AMBIENTAL

Escolha de um programa de controle da qualidade da água para consumo humano: aplicação do Método AHP

Selection of water quality control program for human consumption: application of the AHP Method

Lucijane Monteiro de Abreu^I; Sérgio Ronaldo Granemann^II; Ivan Gartner^III; Ricardo Silveira Bernardes^IV

^IProfª Drª Engenharia Sanitária e Ambiental. Universidade Católica de Brasília. SGAN Quadra 916, Módulo B, Av. W5 Norte, CEP 70790 - 160, Brasília, DF. Fone/Fax: (0xx61) 340 5550. [e-mail]

^IIProf. Dr. Ciências Econômicas. Universidade Católica de Brasília. [e-mail]

^IIIProf. Dr. Engenharia de Produção. Universidade Católica de Brasília. Q.S. 07, Lote 01, EPCT, Águas Claras, CEP 72030 - 170, Taguatinga, DF. Fone: (0xx61) 356 9185, Fax: (0xx61) 356 3010. [e-mail]

^IVProf. Dr. Engenharia Sanitária e Ambiental. Universidade de Brasília. SQS 302, Bloco H, Apto. 501, Asa Sul, CEP 70910 - 900, Brasília, DF. Fone/Fax: (0xx61) 349 7378. [e-mail]

RESUMO

Este trabalho relata uma aplicação de métodos multicritérios no apoio à tomada de decisão para a escolha de um programa de controle da qualidade da água potável para consumo humano no Brasil. Dentre esses métodos, foi escolhido o AHP (Analytic Hierarchy Process) em função de permitir a agregação de informações quantitativas e qualitativas. A possibilidade de tratamento das variáveis qualitativas mostra um avanço nos métodos de análise de decisão, visto que elas introduzem a subjetividade à decisão, por exprimir as preferências e valores dos tomadores de decisão.

Palavras-chave: monitoramento, análise multicritério, qualidade de água

ABSTRACT

The present work aims to discuss the use of a multicriteria method in a decision support for choosing a water quality control program for human consumption in Brazil. Among multicriteria methods the AHP (Analitic Hierarchy Process) was chosen because this method permits qualitative and quantitative information aggregation. Possibility of qualitative variables treatment shows an evolution in decision analysis systems as it introduces subjectivity in the decision making and express value and preferences of decision makers.

Key words: monitoring, multicriteria method, water quality

INTRODUÇÃO

Saber controlar a qualidade das águas destinadas ao consumo humano é, hoje, o alvo das preocupações das autoridades sanitárias em todo o mundo, e também dos responsáveis pela sua administração. Após o esforço no nível de produção, é necessário assegurar-se a qualidade da água e, para tal, padrões ambientais devem ser impostos e sua fixação constitui um elemento de política de prevenção que visa diminuir os riscos sanitários ligados à água.

Para se desenvolver uma ação preventiva no que se refere às doenças de veiculação hídrica, existem padrões ambientais que permitem intervir em diferentes pontos do ciclo da água. Para as águas de abastecimento, a maioria desses padrões (proteção de recursos hídricos, normas de qualidade das águas e acompanhamento desta qualidade, implantação de perímetros de proteção, aprovação de processos e produtos de tratamento de água) já figura nos textos publicados, tanto em nível nacional quanto em nível internacional. Esses padrões, materializados pelas normas de qualidade definidas através de critérios de potabilidade cientificamente estabelecidos, alcançaram regulamentação internacional fixada no âmbito da CEE e da OMS, a fim de se obter uma homogeneidade em termos de saúde.

A norma tem papel muito importante, que convém precisar. Ela é estabelecida com o objetivo de prevenção (Tricard, 1994) e comporta um coeficiente de segurança de tal forma que, durante certo tempo, seu valor possa ser ultrapassado sem riscos para a saúde; entretanto, visando a uma qualidade melhor da água, padrões mais rigorosos vêm sendo observados ao longo do tempo (Fiessinger, 1984; Heller et al., 1996; Ministère de la Santé, 1994).

Para atender a esses novos padrões de qualidade, as autoridades sanitárias precisam investir seriamente em programas de vigilância sanitária e monitoramento intensivo da qualidade da água (Costa e Silva et al., 1991; Tricard et al., 1994); para tal, os responsáveis pelos serviços de vigilância sanitária devem: 1) contar com sistemas de tratamento eficientes; 2) possuir uma equipe de profissionais e laboratórios altamente qualificados e 3) dispor de um número suficiente de viaturas para atender às campanhas de inspeção.

No Brasil, desde janeiro de 1992, data em que entrou em vigor a Portaria nº 36/GM, que dispõe sobre os padrões de qualidade da água para consumo humano, as autoridades sanitárias vêm-se esforçando para atendê-la, apesar das dificuldades. Os principais problemas encontrados são: 1) a grande dimensão territorial; 2) a precariedade da rede viária; 3) a carência de laboratórios necessários ao monitoramento da qualidade da água; 4) a má qualidade da água dos mananciais; 5) os problemas técnicos e operacionais dos sistemas; as redes de distribuição antigas e 6) a carência de recursos humanos capacitados e treinados.

Na realidade, apesar de sua potencial importância e da portaria acima citada, no Brasil alguns desses padrões ambientais não têm sido utilizados com freqüência em programas de vigilância da qualidade das águas destinadas ao consumo humano, razão por que urge desenvolver-se estudos e aplicações que contribuam para conscientizar os diversos autores da necessidade de se solucionar esses problemas.

O presente artigo tem este fim, uma vez que visa efetuar uma aplicação do método AHP¹ para auxiliar o processo decisório de implantação de um programa de vigilância sanitária da água potável.

Desta forma, será apresentada, inicialmente, uma síntese teórica do método AHP; em seguida, o trabalho ressalta o desafio, que representa a implantação de um programa de controle da qualidade da água para consumo humano, examinando as missões pretendidas, os meios disponíveis e as prioridades. Numa etapa posterior é estruturado o problema e realizada a aplicação do método AHP para a escolha de um programa de controle.

MATERIAL E MÉTODOS

O Método AHP - Analytic Hierarchy Process

O método AHP foi desenvolvido por Saaty (1991) em meados da década de 70. A sigla AHP incorpora suas características, as quais são especialmente direcionadas à superação das limitações cognitivas dos tomadores de decisão.

O método é caracterizado por sua simplicidade e robustez, permitindo que sua aplicação se estenda a várias áreas, entre as quais: Planejamento Estratégico (Emshoff & Saaty, 1982), Marketing (Armacost & Hosseini, 1994) e Avaliação do Nível de Consenso do Grupo (Bryson, 1996), Escolha de financiamento no transporte aéreo (Granemann & Gartner, 1998), Programas de qualidade e produtividade (Figueiredo & Gartner, 1999) e Análise de projetos (Gartner et al., 1998).

Caracterizada por ser um instrumento de apoio, a aplicação do AHP em problemas de decisão é feita em duas fases: na de construção da hierarquia e na de avaliação (Vargas, 1990) em que a primeira fase envolve a estruturação do problema em níveis e o AHP permite, aos decisores, a modelagem de problemas complexos em uma estrutura hierárquica (Figura 1) que mostra as relações entre as metas, os critérios que exprimem os objetivos e sub-objetivos, e as alternativas que envolvem a decisão. A estrutura hierárquica forma uma árvore invertida, cuja estrutura vai descendo da meta da decisão para os critérios, subcritérios e alternativas, em sucessivos níveis (Saaty, 1990).

Após a hierarquização do problema inicia-se a fase de avaliação com a comparação paritária, isto é, par a par, entre os critérios, e também entre os subcritérios, se houver² . Por meio desta comparação serão determinadas as importâncias relativas de cada critério, também conhecidas como pesos. Os critérios são comparados segundo a escala de julgamentos, descrita na Tabela 1.

Os resultados das comparações são apresentados na seguinte forma matricial:

devendo atender às seguintes condições:

a) a_ij = a;

b) a_ji = 1/a;

c) a_ii = 1.

em que:

a - comparação paritária entre os critérios

a - valor de intensidade de importância.

A resolução da matriz A resulta no auto-vetor de prioridades, o qual expressa as importâncias relativas de cada critério, ou pesos. A forma mais recomendada de cálculo (Saaty, 1991) consiste em se elevar a matriz a potências arbitrariamente altas, dividindo-se a soma de cada linha pela soma dos elementos da matriz, ou seja, normalizando-se os resultados; isto resulta no auto-vetor de prioridades para ordenação e esta operação deve ser repetida até que a diferença entre o resultado normalizado da última operação seja bem próximo do resultado da operação precedente (ex.: diferenças pequenas após a terceira casa decimal).

De posse das importâncias relativas dos critérios é testada a integridade dos julgamentos, calculada por um índice de inconsistência.

Caso o índice de inconsistência seja maior que 0,10 (Saaty, 1991) o decisor ou grupo de decisores é encorajado a rever seus julgamentos, buscando torná-los consistentes; esta consistência é atingida com um índice menor ou igual a 0,10.

Tais procedimentos resultaram na ordenação e mensuração da importância relativa dos critérios e, caso eles exijam a existência de subcritérios para sua descrição, todo o processo de avaliação descrito repetir-se-á também nesse nível hierárquico.

A fase de avaliação do problema prossegue com a comparação paritária das alternativas em cada um dos critérios, para a determinação do nível de preferência das alternativas; para isto, procede-se da mesma forma como foi descrito para a obtenção da importância relativa dos critérios. Com as importâncias relativas dos critérios e os níveis de preferência das alternativas parte-se, então, para a valoração global de cada uma das alternativas, segundo o método da soma ponderada, assim calculado:

(2)

com = 1 e 0 < p_j < 1 (j = 1, ..., n), onde:

V(a) - valor global da alternativa analisada

p_j - importância relativa do critério j

v_j - nível de preferência da alternativa analisada no critério j

Construção de um programa de ação para controle da qualidade da água potável para consumo humano

Um programa de ação necessita da definição das missões, dos meios disponíveis e das prioridades; assim, na elaboração do programa recomenda-se o estudo do melhor equilíbrio entre as diferentes missões e os meios disponíveis, determinando ou se levando em conta as prioridades.

As missões: um programa de vigilância em saúde tem por missão fazer respeitar as exigências de qualidade e as regras preventivas; para isto, ele deve implantar instrumentos regulamentares de controle eficaz e aplicáveis e estabelecer um programa de ação.

O serviço encarregado da vigilância em saúde deve elaborar e implantar dispositivos próprios, de modo a assegurar a proteção da saúde pública (Ministère de la Santé Publique et de l'Assurance Maladie, 1995) compreendendo:

- elaboração de relatórios públicos periódicos que descrevam o estado atual da situação e as reações, face aos casos de não respeito às normas

- contribuição com a identificação dos problemas

- sugestão de estratégias de prevenção e de soluções possíveis.

Os meios disponíveis: os meios disponíveis comportam:

- os meios referentes ao pessoal: o quadro de pessoal permanente - titulares ou contratados, técnico e administrativo. Necessita ser igualmente computado o pessoal dos organismos aos quais os trabalhos são terceirizados como, por exemplo: laboratórios credenciados, sociedades ou grupos de pesquisadores para os estudos, outros serviços do Estado;

- os meios financeiros: recursos disponíveis.

As prioridades: a definição das prioridades baseia-se:

- na identificação dos problemas de saúde existentes nos setores geográficos considerados, expressos em termos de mortalidade, de morbidade ou em termos de freqüência de não respeito às regras, permitindo concluir-se que a qualidade do meio em causa apresenta alto índice de insegurança em relação aos problemas de saúde;

- na identificação das zonas sensíveis do território, do ponto de vista sanitário/ambiental, que mereçam atenção reforçada;

- nas decisões locais de ações prioritárias definidas pelos governos estadual e municipais para os serviços.

A estruturação do problema de escolha de um programa de controle da qualidade da água potável no Brasil

O processo de decisão para se escolher um programa de controle da qualidade da água destinada ao consumo humano no Brasil envolve três possíveis alternativas distintas: o Controle pelo Ministério da Saúde, adoção de um programa em que o controle seja realizado, em parte, pelo Ministério e, em parte, pela Companhia de Água e Saneamento e, por último, a adoção de um programa de controle, realizado pelas Companhias de água e saneamento.

O controle sanitário da qualidade da água destinada ao consumo humano pode ser assegurado através de controle direto ou indireto, pelo Estado (Monteiro de Abreu, 1996). O controle direto corresponde à adoção da alternativa de controle pelo Ministério da Saúde; na prática, esse tipo de controle é efetuado pelo Estado ou por um organismo competente, sobre sua dependência. As amostras de água coletadas para a realização do programa de análise são realizadas por agentes do Ministério da Saúde e as análises são realizadas em laboratórios credenciados por este órgão. A freqüência e os parâmetros a analisar são definidos, em geral, por decreto ministerial.

O controle indireto corresponde à adoção da alternativa de controle pelas companhias operadoras de serviços água e saneamento. Neste caso, as autoridades delegam a execução dos serviços de controle da qualidade da água aos operadores; entretanto, uma fiscalização pelo Ministério da Saúde ou organismo representante do Estado é permanentemente realizada. Esta forma de controle é, em geral, eficaz, quando os operadores possuem laboratórios de excelência na sua estrutura.

A terceira alternativa de controle corresponde a uma situação intermediária entre o controle direto e o indireto, ou seja, parte das análises é realizada pelo Ministério da Saúde ou órgão competente e parte pelas Companhias operadoras dos serviços. Nesta alternativa, o Estado exerce função fiscalizadora sobre o controle de qualidade efetuado pelas Companhias.

De acordo com Monteiro de Abreu (1996) a escolha entre essas três modalidades de controle da qualidade da água destinada ao consumo humano no Brasil é um processo complexo, pois envolve múltiplos critérios, como: 1) Custo Global da Operação de Controle; 2) Recursos Disponíveis; 3) Repercussões Políticas; 4) Confiabilidade do Controle; 5) Risco Sanitário.

A seguir, são descritas as principais características de cada um dos critérios, para melhor compreensão do problema:

1) Custo Global da Operação: O custo global da operação de controle da qualidade da água é formado, basicamente, por três itens: custo dos estudos, custo de investimento e custo de funcionamento. O custo dos estudos engloba todas as despesas com levantamento de informações, com pesquisas epidemiológicas, com um diagnóstico da situação e com a inovação tecnológica; o custo de investimento corresponde às despesas ligadas à implantação da infra-estrutura necessária ao programa de controle sanitário como, por exemplo, laboratórios de análise, equipamento de controle, despesas com capacitação de pessoal etc; por fim, a rubrica custo de funcionamento diz respeito a todos os custos ligados à manutenção do programa de controle sanitário, envolvendo itens como as despesas com a análise, despesas com deslocamento do pessoal que realiza as inspeções e levantamentos, despesas com manutenção e controle técnico do equipamento de análise e sistemas de informação.

2) Recursos Disponíveis: trata-se de um critério relacionado à avaliação das dificuldades existentes para a implantação do programa. Engloba o levantamento do número de laboratórios credenciados e aptos a proceder à análise nas diversas unidades de distribuição de água ou nos organismos do Estado, do número de agentes qualificados para realizar as inspeções, e do número de veículos equipados para assegurar as inspeções.

3) Repercussões Políticas: engloba a receptividade do projeto pelos eleitos, a receptividade do projeto pelos outros atores envolvidos (usuários, Estado, prestadores de serviço, professores e pesquisadores, profissionais da mídia, corpo médico, associações representantes de outras classes) e os ganhos políticos proporcionados aos eleitos.

4) Confiabilidade do Controle: este é um critério que diz respeito à confiabilidade das tarefas, levantamentos e análises realizados no controle da qualidade da água. Envolve a análise do número e porcentagem das unidades de distribuição controladas por ano, o número e porcentagem de unidades de distribuição totalmente cobertas, parcialmente cobertas e controladas em colaboração com o operador dos serviços de água, além da existência de programas para análise da evolução da qualidade da água.

5) Risco Sanitário: engloba o levantamento dos seguintes indicadores - número de acidentes tendo conduzido à morte ou ao aparecimento de doenças ou epidemias de origem hídrica, número de estudos epidemiológicos realizados nas zonas sensíveis etc.

O número de critérios que envolvem o problema atende ao limite cognitivo proposto por Keeney & Raiffa (1976) de 7 ± 2; assim, parte-se para a construção da estrutura hierárquica do problema, a qual é exposta na Figura 2. A aplicação do AHP neste estudo é suportada pelo software Expert Choice (1995).

RESULTADOS E DISCUSSÃO

Fase de avaliação do problema

A fase de avaliação do problema está assim dividida: 1) na determinação da importância relativa dos critérios; 2) na determinação do nível de preferência das alternativas; 3) na valoração global das alternativas (Granemann & Gartner, 1998).

Para avaliação dos resultados encontrados com o método proposto (aplicação do AHP com especialista da área), foi realizada uma primeira estimativa dos valores da importância correspondente aos critérios escolhidos e, desta primeira proposta, resultaram os passos apresentados a seguir:

1) Determinação da importância relativa dos critérios: os procedimentos de comparação paritária entre os critérios resultaram na matriz exposta na Tabela 2. No topo da Figura 2 pode-se visualizar como é feito o questionamento que permite a comparação entre os critérios com base na escala de julgamento de importância exposta na Tabela 1.

A resolução da matriz de comparações paritárias entre os critérios gerou os índices de importância relativa mostrados na Figura 3, enquanto o índice de inconsistência calculado apontou para um nível de 0,08, tolerado pelo AHP (Saaty, 1991).

Assim, verifica-se que, de acordo com os julgamentos realizados, os critérios para escolha do programa de controle da qualidade da água potável no Brasil apresentam a seguinte ordem de importância: 1) Custo Global da Operação, 49,8%; 2) Recursos Disponíveis, 28,8%; 3) Confiabilidade do Controle, 12,6%; 4) Risco Sanitário, 5,6%; 5) Repercussões Políticas, 3,1%.

2) Determinação do nível de preferência das alternativas: nesta fase, é feita a comparação paritária entre as alternativas de controle passíveis de serem implementadas para controlar a qualidade da água potável, que são: Controle pelo Ministério da Saúde, Controle Misto e Controle pela Companhia de Água. As comparações das alternativas são feitas para cada um dos critérios, resultando em cinco matrizes, conforme mostra a Tabela 3. Nota-se que as matrizes expostas na Tabela 3 trazem as mesmas características das utilizadas na determinação dos índices de importância relativa dos critérios, porém com as seguintes alterações: i) no lugar da meta fica evidenciado o critério analisado; ii) onde figuravam os critérios agora figuram as alternativas.

Uma vez que todos os cálculos foram efetuados e os índices de inconsistência ficaram dentro dos parâmetros sugeridos pelo modelo, obtiveram-se os níveis de preferência das alternativas em cada um dos critérios do problema. Esses níveis de preferência podem ser visualizados na Tabela 4.

3) Valoração global das alternativas: a valoração global de cada alternativa é feita pela soma ponderada dos índices de importância relativa dos critérios e dos níveis de preferência das alternativas em cada um dos critérios, conforme a Eq. 1.

Os resultados finais (Figura 4) mostram que o Controle pela Companhia de Água (0,616) representa a melhor alternativa de controle da qualidade da água para consumo humano, enquanto o Controle Misto (0,297) é a segunda melhor alternativa e o Controle pelo Ministério (0,087) ocupa a última colocação.

CONCLUSÕES

Este estudo mostrou que, em problemas complexos, como o de programa de controle da qualidade da água potável para consumo humano, é pertinente a utilização de instrumentos de apoio à tomada de decisão. Dos resultados encontrados, pode-se concluir que esse tipo de abordagem garante diferenciação sensível entre as alternativas consideradas e que:

1. O método AHP mostrou sua capacidade em lidar com problemas que envolvam variáveis tanto quantitativas como qualitativas. A forma de agregação dessas variáveis exige que o tomador de decisão participe ativamente no processo de estruturação e avaliação do problema, o que contribui para tornar os resultados propostos pelo modelo mais exeqüíveis.

2. Vale ressaltar que, paralelamente à valoração global, é possível a análise dos critérios individualmente; isto pode ser visualizado na Tabela 4, tomado como exemplo o critério "Risco Sanitário". Embora a valoração global tenha mostrado que o controle pela Companhia seja o mais interessante, é possível se perceber que, no tocante ao "risco Sanitário", o controle misto tem sua vantagem, o que permite a discussão dos pesos em processo de retroalimentação.

3. A partir da proposta inicial, fica patente a importância de se ampliar o elenco de especialistas para a validação do método no caso específico de controle da qualidade da água para consumo humano.

LITERATURA CITADA

Recebido em 23/08/1999, Protocolo 096/99

• ARMACOST, R., HOSSEINI, J. Identification of determinant attributes using the analytic hierarchy process. Journal of the Academy of Marketing Science, Coral Gables, Flórida., v.22, p.383-393, 1994.
• BRYSON, N. Group decision-making and the analytic hierarchy process: Exploring the consensus-relevant information content. Computer Operations Research, Pergamon, Oxford, v.23, n.1, p.27-35, 1996.
• COSTA E SILVA, R.J.; IBRAIM HALLACK, P.L. O produto água. Revista DAE - Sabesp, São Paulo, v.51, n.162, 1991.
• EMSHOFF, J.R.; SAATY, T.L. Applications of the analytic hierarchy process to long range planning processes. European Journal of Operational Research, Amsterdam, v.10, p.131-143, 1982.
• EXPERT CHOICE. Decision support software. Pittsburgh: Expert Choice Inc., 1995.
• FIESSINGER, F. Discurso de abertura da conferência da IWSA sobre aspectos qualitativos do abastecimento de água. Bio - Revista Brasileira de Saneamento e Meio Ambiente, Ano VI, n.2, 1984.
• FIGUEIREDO, A.; GARTNER, I.R. Planejamento de ações de gestão pela qualidade e produtividade em transporte urbano, in Transporte em Transformação II. São Paulo, Makron, 1999.
• GARTNER, I.R.; CASAROTTO FILHO, N.; KOPITTKE, B.H. Um sistema multicriterial de apoio à análise de projetos em bancos de desenvolvimento. Revista Produto & Produção, CEREPBR, Porto Alegre, v.2, n.3, p.75-86, 1998.
• GRANEMANN, S.R.; GARTNER, I.R. Seleção de financiamento para aquisição de aeronaves: Uma aplicação do método de análise hierárquica (AHP). Revista Transportes, Rio de Janeiro, v.6, p.18-40, 1998.
• HELLER, L.; HADDAD FILHO, E.; FORMAGGIA, M.E.D.; BLUM, C.J.; OMORI, J.M.; MANCUSO, S C. New WHO recommendations for water standards. Impact on water treatment practices. National Report Brazil - Water Supply, v.14, n.3/4, p.43-45, 1996.
• KEENEY, R.L., RAIFFA, H. Decisions with multiple objectives: Preferences and value tradeoffs. New York: John Wiley & Sons Ltd., 1976.
• MINISTÈRE DE LA SANTÉ PUBLIQUE ET DE L'ASSURANCE MALADIE. Missions des DRASS et DDASS en Santé-Environnement. Cadre National de Référence. Circulaire DG/VS/Nº 87 du 20 octobre 1995, Paris, France.
• MONTEIRO DE ABREU, L. Le Processus de décision dans le domaine des eaux d'alimentation. Rapport de Recherche, France, p.50 août 1996.
• SAATY, T.L. How to make a decision: The analytic hierarchy process. European Journal of Operational Research, Amsterdam, v.48, p.9-26, 1990.
• SAATY, T.L. Método de análise hierárquica. São Paulo: Makron Books, 1991, 367p.
• TRICARD, D. Vers une gestion de la qualité. Quelques réflexions. Direction Générale de la Santé, Paris, p.7, 1994.
• VARGAS, L.G. An overview of the analytic hierarchy process and its applications. European Journal of Operational Research, Amsterdam, v.48, p.2-8 , 1990.

1

Adota-se a tradução como Processo de Análise Hierárquica, que significa: Processo: um processo é uma série de ações, mudanças ou funções que trazem um fim ou resultado. O AHP é um processo que auxilia os decisores a encontrar a melhor resposta para suas questões, levando-os à reflexão profunda sobre a estruturação do problema, num processo constante de aquisição de conhecimento; De Análise: o AHP utiliza uma forma de análise de expressões que significa a separação de quaisquer entidades abstratas ou materiais em seus elementos componentes. Em seu processo de análise, o AHP auxilia na mensuração e sintetização dos múltiplos fatores envolvidos em decisões complexas; Hierárquico: o problema de decisão é dividido em níveis hierárquicos, os quais representam a situação de decisão nos seguintes níveis: objetivos, critérios e subcritérios, e alternativas

2

A fase de avaliação, compreendendo as comparações paritárias entre critérios e subcritérios, baseou-se no trabalho de Granemann & Gartner (1998)

Datas de Publicação

• Publicação nesta coleção
  18 Fev 2011
• Data do Fascículo
  2000

Histórico

• Recebido
  23 Ago 1999