Desenho esquemático para programas de qualidade em laboratórios de análises

Boxplot for quality programs in analysis laboratories

DESENHO ESQUEMÁTICO PARA PROGRAMAS DE QUALIDADE EM LABORATÓRIOS DE ANÁLISES¹

E.B. GONÇALVES², I.M. CASTRO²

RESUMO

O momento atual sugere programas de qualidade para laboratórios. Assim formas de controle e identificação de variações e valores "aberrantes" se mostram cada vez mais necessárias. Este trabalho demonstra o emprego de estatística exploratória através desenhos esquemáticos ("boxplots"), bastante simples, com intuito de identificar comportamento "aberrante" em análises de proteínas e cinzas, em duplicatas para 30 de farinhas de trigo integral diferentes, podendo ser generalizado para triplicatas ou qualquer outro número de replicações. Os métodos empregados para proteínas e cinzas foram, respectivamente, Kjeldahl (semi-micro) e incineração. Foram obtidos limite inferior de 12,89% e superior de 15,08% para proteínas no conjunto dos 60 resultados, bem como limite inferior de 1,35% e limite superior de 1,99% para cinzas. Não houve valores "aberrantes" nos resultados para proteínas ou cinzas. No entanto, para as diferenças em valor absoluto entre duplicatas de cada farinha foram obtidos limite inferior de 0,010% e superior de 0,295% para proteínas, enquanto limite inferior de 0,01% e limite superior de 0,19% para cinzas. Foram "aberrantes" 2 (duas) diferenças para proteínas, correspondentes às farinhas 2 e 8, com valores 0,40 e 0,31%, enquanto que 3 (três) diferenças para cinzas nas farinhas 9, 15 e 16, com valores 0,21, 0,26 e 0,39%. Estas farinhas, cujas diferenças se mostraram "aberrantes", deverão ser novamente analisadas e nenhum valor, "aberrante" ou não, deve ser imediatamente descartado

Palavras-chave : valores aberrantes; desenho esquemático; qualidade em laboratórios de análise; reprodutibilidade; comunicação visual de dados

SUMMARY

BOXPLOT FOR QUALITY PROGRAMS IN ANALYSIS LABORATORIES. Nowadays quality programs have been receiving great attention, so methods and techniques for control and identify variations and outliers are being needed more and more. This paper shows the use of boxplots, very simple, to identify outliers in measures of protein and ash on doubles of 30 wheat flours. The same approach in this article may be used in any other material, analysis and number of repetitions. Were employed Kjeldahl (half micro) for protein and incineration for ashes. The results of protein (60 observations) showed lower and upper limits 12.89 and 15.08%, and the limits for ashes were 1.35 and 1.99%. There were no outliers for protein and ashes. Nevertheless, refering to the absolute value of the differences between the doubles in the 30 flours, the lower limit for protein was 0.010 and the upper was 0.295%, while those limits for ashes were 0.01 and 0.19%. Two outliers in the differences for protein were identified, corresponding to flours 2 and 8 with values 0.40 and 0.31, while three outliers in the differences for ashes were identified, wich corresponded to flours 9, 15 and 16, with values 0.21, 0.26 and 0.39%. Those flours whose differences were found being outliers must be analysed again and no value, outlier or not, must be dismissed.

Key words : outliers; boxplot; quality for analysis laboratories; reproducibility; communication of data image

1 - INTRODUÇÃO

Preocupação com "reprodutibilidade" e "repeatability" tem sido constante na literatura, em todo o controle de qualidade, e nas mais diversas áreas do conhecimento e prática profissional. Os valores "aberrantes" obtidos na prática têm sido outra preocupação.

Reprodutibilidade exprime a qualidade de reprodutível ou reproduzível, que se pode reproduzir. Como exemplos, conforme FERREIRA (13), são mencionadas as frases : o pintor reproduziu o quadro original; e o gênero humano reproduziu-se na terra.

Repetitório envolve repetição, como em nítida tendência repetitória, incapacidade absoluta de originalidade ou repetível, que pode ser repetido. Substantivo correspondente, que exprimiria qualidade de repetitório ou repetível e que, talvez, pudesse ser dito "repetibilidade" ou "repetitibilidade", não consta desse dicionário.

Precisão é, ASTM (1), o grau de concordância em medidas repetidas da mesma propriedade. Índices de precisão são obtidos através de funções do desvio padrão ou coeficientes de variação, assumidos nessa obra como medidas do grau de "repeatability" e reprodutibilidade. Por outro lado, ASTM (2) relata que reprodutibilidade e "repeatability" têm obtido significados conflitantes. Na realidade, no espaço de tempo entre a publicação de ASTM (1) e ASTM (2) surgiram tantas discussões que ASTM (2) terminou por admitir conflitos nas definições em ASTM (1) e na sua interpretação conceitual pela comunidade científica.

Tornando a apresentação mais abrangente e trazendo informações complementares ao leitor, definições sumamente importantes para o controle de qualidade e para as mais diversas áreas da engenharia, física etc. estão conflitando também entre si e com suas raízes, a matemática, a metodologia de pesquisa e a semântica. "Repeatability" vem se chocando com algumas definições estatísticas básicas. Precisão tem sido comumente confundida com acurácia. Se o leitor se dispuser a pesquisar conceitos desde os de "repeatability", reprodutibilidade, consistência, precisão, confiabilidade, exatidão e outros, em diversas áreas, encontrará um emaranhado, uma ausência de coerência tão grande que, se necessitar de definições propriamente embasadas, certamente retornará à metodologia de pesquisa e dois de seus fortes componentes: filosofia da ciência e estatística.

Assim, torna-se necessário apresentar a ótica estatística.

Do ponto de vista probabilístico, reprodutibilidade e "repeatability", como são pouco apropriadamente chamados fora do âmbito da estatística, têm causado diversos transtornos. Ambos, na realidade, referem-se meramente a variação.

Variabilidade é noção difundida, exprimindo medida de dispersão ou espalhamento em torno da média, com propriedades bem definidas.

Seu conceito, segundo WEGMAN (25), parece ser mal articulado. Discussões vagas comunicam essa noção -especialmente fora da estatística, onde tem suas bases -como se fosse essencialmente definida em termos de "non repeatability". É claro, no entanto, que esta não é definição satisfatória de variabilidade.

Não parece possível, fornecer uma definição precisa de variabilidade. Na maioria dos casos, o conhecimento fenomenológico não é suficientemente preciso para fornecer estimativas exatas de resultados observacionais. Mesmo quando se toma o máximo cuidado para manter todas as condições sob controle, os resultados podem variar de uma observação para outra, de forma irregular.

Conforme DE FINETTI apud WEGMAN (25) variabilidade é simplesmente não conhecido (para você), mas bem determinado, inequivocamente individualizado. Assim uma situação experimental pode ser determinística, mas a variabilidade se manifesta na falta de habilidade da ciência para conhecê-la, direta e detalhadamente. É possível que determinismo e variabilidade sejam as características de uma mesma seqüência. Os conceitos de determinismo e variabilidade não são necessariamente opostos.

É necessário se acostumar a que a conceituação de variabilidade se mostre, para alguns, pouco precisa. Poderia o leitor encontrar uma definição precisa para a vida animal ou vegetal? Consequentemente, não se pode esperar definições simples para conceitos referentes à fenomenologia natural.

Portanto, há que assimilar esses conceitos estatísticos, cuja base não é outra senão a variação. Há também que reconhecer que variabilidade é um misto de desconhecimento, impossibilidade de se obter medidas muito precisas, impotência de se realizar o controle total sobre os fenômenos estudados etc..

Incontáveis são as áreas e vertentes que se referem à variação. Toda a estatística se vincula à variação. Por exemplo, como casos particulares, o método de Taguchi, hoje bastante conhecido em processos industriais, se pauta na redução de variação para a manutenção de certo grau de qualidade desejado. A operação evolucionária (EVOP), pouco conhecida, foi concebida para reduzir a variação em processos industriais.

É preciso compreender variabilidade para compreender valores aberrantes. Estes valores, que são objetivo deste trabalho, se relacionam à variação e têm conceito mais avançado.

Segundo DRAPPER & SMITH (10) um valor "aberrante" ("outlier") é uma peculiaridade que indica um valor amostral, que não é típico quando comparado com os demais resultados obtidos. Este tipo de valor incidiria além das faixas de 3 a 4 (três a quatro) desvios padrão em torno da média. Embora estes autores empreguem estas faixas de modo particularizado para resíduos de ajustes de regressão, tais faixas são comumente empregadas para distribuições de variáveis quantitativas genéricas.

A rejeição automática de um valor "aberrante" não é procedimento recomendável. Na verdade, um valor desse tipo pode ser vital. Há, até mesmo, relatos de casos como de um provador discordante de uma equipe sensorial inteira que, ao ser comparado com medidas reológicas, demonstrou ser o único correto na equipe, BANFIELD & HARRIES (4).

Seria ótimo se fosse possível, HOAGLIN; MOSTELLER & TUKEY (17), identificar claramente valores "aberrantes" correspondentes a comportamento diferente quando comparados à distribuição dos dados. Discussões na literatura estatística não têm trazido distinções claras entre valores "aberrantes" e os demais. Muitos dos valores classificados como "aberrantes", quando realizadas amostragens intensivas, não se comportaram como se realmente assim o fossem.

Segundo esses autores, valores "suficientemente distantes" dos quartis das distribuições seriam valores "aberrantes" potenciais. Valores "aberrantes" potenciais seriam aqueles separados por 1,5 d_j (distância interquartílica) dos quartis (estatísticas básicas) inferior e superior da distribuição, que são, então, representados em desenho esquemático.

TUKEY (22) classifica dados localizados até 1,5 da distância interquartílica a partir dos quartis inferior e superior como internos ("inner fences"), valores com até duas vezes esta distância a partir dessas mencionadas origens seriam pontos soltos ("outer fences"), valores com distâncias maiores seriam muito deslocados ou externos ("far out").

Na verdade, essas duas obras acima mencionadas são marcos no desenvolvimento da estatística, notadamente da análise exploratória de dados. A pesquisa e busca de métodos computacionais, desde essas publicações, vem se tornando mais e mais sofisticada no que se refere a algoritmos rápidos para confecção de gráficos para análise de dados, conforme CLEVELAND et al. (8), e em paradigmas para sua construção.

Novos métodos para identificação de valores "aberrantes" vêm sendo publicados, como BACON-SHONE & FUNG (3), novas adaptações dos conhecidos gráficos de controle de qualidade, novas manifestações de desenhos esquemáticos, como BENJAMINI (7), seu impacto visual, como TUKEY (23), e a explosão em gráficos na literatura, especialmente de controle de qualidade, têm sido notórios.

Na área de alimentos e correlatas, pesquisadores vêm estudando dados "aberrantes" de diversas maneiras.

ELDER & MONTGOMERY (11), BELJAARS & HORWITZ (5) e outros vêm empregando método AOAC, conforme descrito em BELJAARS & HORWITZ (5). Este tem sido o método mais comum.

GLASER (16) localiza valores "aberrantes" em modelagem estatística. WYSOCK et al. (26) e FEINBERG & DUCANZE (12) adotam intervalos de confiança, chamando "aberrantes" valores exteriores a este intervalo. Alguns pesquisadores, como FLORENCE & HARRIS (14) e STREULI (21) recorrem a métodos menos usuais em alimentos e mais comuns em estudos interlaboratoriais, como teste de Cochran e Dixon e testes de homogeneidade, respectivamente, enquanto DERDE & MASSART (9) empregam os populares gráficos de controle estatístico de qualidade.

De modo geral, não foi observado o emprego de desenho esquemático ("boxplot", sem tradução, pertinente à análise exploratória de dados acima mencionada) como ferramenta para detecção de valores "aberrantes", principalmente no que se refere a controle laboratorial de rotina. Este tipo de desenho se apresenta como um retângulo cujas bordas são definidas pelos quartis inferior e superior, apresentando demarcações após os extremos deste retângulo que representam regiões de baixa probabilidade de ocorrência.

Assim, este trabalho teve por objetivo a apresentação e exemplificação do emprego de desenhos esquemáticos ("boxplots", às vezes chamados diagramas de caixa), de construção simples, facilmente encontráveis em programas estatísticos e cuja visualização é rápida e ilustrativa, como método de detecção de valores "aberrantes" em rotinas de programas de qualidade para laboratórios de análises, podendo abranger qualquer determinação química, microbiológica, ou outra de teor quantitativo.

2 - MATERIAL E MÉTODOS

2.1 - Material e métodos para análises

Os materiais foram constituídos de 30 (trinta) farinhas de trigo integral que foram analisadas obtendo-se 2 porções amostrais de cada farinha a serem analisadas. Foram realizadas determinações de proteínas (Kjeldahl, semi-micro) e cinzas, conforme as Normas Analíticas do Instituto "Adolfo Lutz" (19).

2.2 - Construção do desenhos esquemáticos ("boxplots"), obtenção e visualização de valores "aberrantes"

O programa estatístico empregado foi o Statgraphics, versão 7.1, procedendo-se conforme MANUGISTICS (20).

2.2.1 - Bases do desenho

Repetição, replicação e duplicata

O sentido de repetição usado se refere a "tornar a fazer", FERREIRA (13), ou seja, tornar a fazer e fazer tudo de novo, desde a tomada da porção amostral até o fim da análise laboratorial.

Replicar é contestar, refutar, redarguir.

No campo da pesquisa experimental, para que se possa contestar (ou não), refutar um resultado observado, há que se repetir a observação. Ou seja, repetir é replicar. Há casos em que as repetições são rigorosamente planejadas, como nos blocos incompletos balanceados.

Ainda, o sentido de duplicar é o de "fazer em duplicado", fazer duas vezes. No campo da experimentação, não fazer tudo novamente não seria repetir nem duplicar nem replicar. O conceito de duplicar envolve claramente o de repetição acima exposto.

Construção do desenho

A construção de desenhos esquemáticos se baseia em cinco pontos que podem ser compreendidos como: demarcador inferior; quartil inferior; mediana; quartil superior; e demarcador superior. Valores "aberrantes" seriam aqueles que ocorrem nas regiões inferior ao demarcador inferior ou superior ao demarcador superior.

As definições conceituais dos três principais valores provém da estatística básica e são bastante conhecidas. O valor que limitaria o primeiro quartil, ou quartil inferior (Q₁), seria aquele valor abaixo do qual, após ordenação, seriam encontrados 25% dos resultados. A mediana seria o valor que partiria a distribuição dos resultados em duas partes iguais (de 50%). O quartil superior seria limitado pelo valor acima do qual outros 25% dos resultados seriam localizados. Assim, o trabalho se resumiria a mera ordenação e contagem.

No entanto, diferenças nas definições matemáticas e formas de computar esses três valores têm sido encontradas na literatura, FRIGGE; HOAGLIN & IGLEWICZ (15), e nos programas. Assim, podem ser encontradas ligeiras variações em desenhos esquemáticos provenientes de programas diferentes, ou de versões mais atualizadas e/ou mais precisas.

Os demarcadores inferior e superior são obtidos através de Q₁ - 1,5 d_j e Q₃ + 1,5 dj_, respectivamente, onde d_j = Q₃ - Q₁. Valores inferiores ao primeiro e superiores ao segundo demarcador seriam "aberrantes".

2.2.2 -Organização de bancos de dados para identificação de valores "aberrantes"

Valores "aberrantes" normalmente constam dos desenhos esquemáticos, porém sem que seja exibida sua origem. Assim, se for pretendida sua imediata identificação, por exemplo saber de que farinha determinado valor "aberrante" provém no desenho, é necessário incluir uma variável no banco de dados que possa, após (ou durante) a obtenção do desenho esquemático, identificar a farinha a que se refere. Ou seja, além dos resultados a serem estudados é necessária a inclusão de uma variável a mais, de caráter identificador. Neste caso, o identificador foi o número da farinha.

2.3 - Valores "aberrantes" investigados

Foram investigados valores "aberrantes" entre farinhas diferentes, considerando-se todas as 60 observações, para teor de cinzas e proteínas. Considerando-se cada porção amostral de farinhas, foram estudados também valores "aberrantes" nas duplicatas, através de diferenças em valor absoluto nas duplicatas, por exemplo para% de proteínas, Difprot_i= |Prot1_i - Prot2_i |, onde Prot1_i e Prot2_i são resultados de% de proteínas na primeira e segunda repetições da i-ésima farinha.

3 - RESULTADOS E DISCUSSÃO

Estatísticas básicas, incluindo-se as de interesse deste trabalho, podem ser encontradas na Tabela 1.

3.1 - Valores "aberrantes" entre farinhas

Os limites inferior e superior (demarcadores) obtidos para proteínas foram 12,89 e 15,08%, enquanto que 1,35 e 1,99% para cinzas. Conforme resultados representados nas Figuras 1 e 2 a seguir, não foram encontrados valores "aberrantes" nas farinhas para% de cinzas ou de proteínas.

3.2 - Valores "aberrantes" nas duplicatas

Os limites inferior e superior (demarcadores) para valores absolutos de diferenças entre repetições de proteínas da mesma farinha foram 0,010 e 0,295%. Deste modo, houve 2 diferenças "aberrantes" para proteínas, correspondentes aos valores 0,40 e 0,31%, para as farinhas 2 e 8, Figura 3. Estas farinhas forneceram valores 13,67 e 14,07% para a farinha 2 e 13,46 e 13,15% para a farinha 8. Ambas as farinhas devem ser novamente analisadas no laboratório. Nenhum resultado deverá ser descartado.

No que se refere às cinzas, 3 farinhas diferentes demonstraram valores absolutos de diferenças "aberrantes", que foram 9, 5 e 16, conforme a Figura 4, com valores 0,21, 0,26 e 0,39%. Os valores que originaram tais diferenças foram 1,75 e 1,96% para a farinha 9, 1,68 e 1,94% para a farinha 15, e 1,59 e 1,98% para a farinha 16. Naturalmente, deve-se novamente observar que estes resultados não deverão ser descartados e estas farinhas deverão, pelo menos mais uma vez, ser analisadas no laboratório.

3.3 - Comentários

Deve-se acrescentar que em ambos os casos, 3.1 e 3.2, no decorrer da rotina laboratorial, com anexação de novos dados, os demarcadores tenderão à estabilização em certa região, e devem ser acompanhados. Ainda, funções de d_j poderão ser usadas como medidas de variação em controle de qualidade laboratorial.

No decorrer deste trabalho foi notado que os demarcadores obtidos no programa Statgraphics nem sempre coincidiram com os calculados.

Quando os demarcadores não ocorrem no intervalo coberto pelos resultados, ou seja, são inferiores ou superiores aos resultados, é possível inferir que sua probabilidade esteja tendendo a zero, portanto, não haveria sentido em adotar um demarcador provavelmente impossível. Admite-se que, por este motivo, foram adotados como demarcadores pelo programa, o mínimo e o máximo obtidos nas farinhas.

Deste modo, embora o Statgraphics seja apontado como fornecedor de excelentes desenhos esquemáticos, o leitor, ao empregar este tipo de desenho, deve se precaver ao utilizar versões diferentes ou outros programas variados no seu cotidiano, pois questões de precisão nos cálculos estatísticos e diferenças de definição podem gerar resultados ligeiramente diversos. Também deve ser mantida constante a precisão nas investigações, evitando trocas do programa a ser utilizado sem o devido controle.

No que se refere a considerações quanto ao emprego do desenho esquemático, avaliar os resultados de todas as farinhas em um único desenho esquemático, como em 3.1, poderia revelar farinhas com teor de proteínas (ou cinzas) diferenciado das demais, o que poderia denotar comportamento diferenciado realístico, como grande teor de proteínas em determinada variedade, ou erro, ou variação possível.

Por outro lado, investigar as diferenças em duplicatas pode revelar erros ou até grandes variações realísticas. Somente repetições dos casos estudados poderão trazer uma indicação do valor do parâmetro da variável de interesse na farinha, como% de proteínas.

Há excessos de variação possíveis, que segundo alguns autores acreditam, com o tempo e novas repetições poderiam ou não ser confirmadas, realizando-se então o descarte. Porém, não há técnica que, com certeza, indique que valores "aberrantes" sejam irrealistas e devam ser descartados. Tais valores, atualmente, enquanto admitidos como realmente aberrantes, são tratados com métodos específicos. No entanto, enquanto verificações profundas não puderem ser realizadas para verificar se qualificá-los como aberrantes seria realístico, este trabalho julgou mais apropriado usar a expressão "aberrante", até mesmo para que seja mantido o alerta sobre a dúvida da real natureza do resultado. Ou seja, são obtidos, a princípio, valores aberrantes hipotéticos, ou melhor, pretensos valores aberrantes que não são aberrações comprovadas.

Deve-se observar que o método adotado neste trabalho tem como pressuposição embutida a igualdade de variâncias entre farinhas, hipótese comumente encontrada em normas internacionais de estudos inter e intralaboratoriais. Caso esta hipótese não seja verdadeira, haverá repetições de valores detectados como "aberrantes" nas farinhas de variâncias desiguais, o que deverá ser notado no monitoramento contínuo dos resultados.

4 - CONCLUSÕES

Desenhos esquemáticos se mostraram simples e extremamente úteis para identificação de valores "aberrantes" em rotinas laboratoriais, especialmente em programas de qualidade para laboratórios de análises.

Foram obtidos em farinhas de trigo integral limite inferior para proteínas de 12,89% e superior de 15,08% no conjunto dos 60 resultados, bem como limite inferior para cinzas de 1,35% e superior de 1,99%. Deste modo, não houve valores "aberrantes" nos resultados para proteínas ou cinzas.

No entanto, para as diferenças em valor absoluto entre duplicatas de cada farinha foram obtidos como demarcadores para proteínas limite inferior de 0,010% e superior de 0,295%, enquanto que para cinzas o limite inferior foi de 0,01% e o superior 0,19%. Assim, foram "aberrantes" 2 (duas) diferenças para proteínas, correspondentes às farinhas 2 e 8, com valores 0,40 e 0,31%, enquanto que 3 (três) diferenças para cinzas nas farinhas9, 15 e 16, com valores 0,21, 0,26 e 0,39%.

Essas farinhas cujas diferenças se mostraram "aberrantes" (aberrantes hipotéticos) deverão ser novamente analisadas e nenhum valor, "aberrante" ou não, deve ser descartado até que se possa concluir que tais valores foram realmente aberrações, referentes a erros, variações nos equipamentos etc.

5 - REFERÊNCIAS BIBLIOGRÁFICAS

AGRADECIMENTO

A Rogério Germani pela parcela de dados para utilização neste trabalho como exemplo.

² Empresa Brasileira de Pesquisa Agropecuária - EMBRAPA. Centro Nacional de Pesquisa de Tecnologia Agroindustrial de Alimentos. Av. Américas, 20501. 22030-470. Rio de Janeiro RJ. Fone: [phone] Fax : [phone]. E-mail : [e-mail]

• (1) ASTM. Standard practice for determining the precision of ASTM methods for analysis and testing of industrial chemicals E 180-85. Ann. Book ASTM Stand. Philadelphia, v. 15, n. 5, p. 234-253, 1985.
• (2) ASTM. Standard terminology for statistically related terms D 4392-87. Ann. Book ASTM Stand. Philadelphia, v. 7, n. 1, 1987.
• (3) BACON-SHONE & FUNG, W.K. A new graphical method for detecting single and multiple outliers in univariate and multivariate data. Appl. Statist. London, v. 36, n. 2, p. 153-162, 1987.
• (4) BANFIELD, C.F. & HARRIES, J.M. A technique for comparing judges performance in sensory tests. J. Food Tech., v.10, n.1, p. 1-10, 1975.
• (5) BELJAARS, P.R. & HORWITZ, W. Comparison of the Volhard and potentiometric methods for the determination of chloride in meat products : collaborative study. J. Assoc. Anal. Chem. Arlington, v. 68, n. 3, p. 480-484, 1985.
• (6) BELJAARS, P.R., VAN DIJK, R. & VAN DER HORST, G.M.J. Determination of nitrate in vegetables by continuous flow, interlaboratory study. AOAC Intern. Arlington, v. 77, n. 6, p. 1522-1529, 1994.
• (7) BENJAMINI, Y. Opening the box of a boxplot. Am. Statist. Alexandria, v. 42, n. 4, p. 257-262, 1988.
• (8) CLEVELAND, W.S. et al Statistical graphics, special applications section. J.A.S.A. Alexandria, v. 82, n. 398, p.419-423, 1987.
• (9) DERDE, M.P. & MASSART, D.L. VNEQ : a disjoint modelling technique for pattern recognition based on normal distribution. Anal. Chim. Acta. Amsterdan, v. 184, n. 1, 33-51, 1986.
• (10) DRAPPER, N.R. & SMITH, H. Applied regression analysis. N. York, Wiley, 1981. 709 p.
• (11) ELDER, M.T. & MONTGOMERY, R.S. Glucoamylase activity in industrial enzime preparetions using colorimetric enzimatic method: collaborative study. J. AOAC. Intern. Arlington, v. 78, n. 2, p. 398-401, 1995.
• (12) FEINBERG, M. & DUCANZE, C. Presentation of analytical results: a statistical and computer-based approach. Analysis, Oxford, v. 12, n. 1, p. 26-31, 1984.
• (13) FERREIRA, A.B.H. Novo dicionário Aurélio da língua portuguesa. R. Janeiro, Nova Fronteira, 1975. 1499 p.
• (14) FLORENCE, E. & HARRIS, W. M. Determination of nitrogen in cheese using cupper sulphate as a Kjeldahl catalyst: results of an interlaboratory study. Analyst, Cambridge, v. 112, n. 3, p.317-320, 1987.
• (15) FRIGGE, M.; HOAGLIN, D.C. & IGLEWICZ, B. Some implementations of the boxplot. Am. Statist. Alexandria, v. 43, n. 1, p. 50-54, 1989.
• (16) GLASER, H. Steht die amtlich butterpruefung auf einem soliden fundament? Dtsch. Milchwirtsch. Ildesheim, v. 45, n. 22, p. 1076-1078, 1994.
• (17) HOAGLIN, D.C.; MOSTELLER, F. & TUKEY, J.W. Understanding robust and exploratory analysis. N. York, Wiley, 1983. 447 p.
• (18) HOWARD, G.A. Planung, durchfuehrung und auswertung von ringanalysen. Mitt. Versuchss. Gaerungsgewerbe Wien. Burton-upon-Trent, v. 27, n. 12, p. 204-211, 1973.
• (19) INSTITUTO "ADOLFO LUTZ". Normas analíticas do Instituto "Adolfo Lutz". S. Paulo, Inst. "Adolfo Lutz", 1985. 533 p.
• (20) MANUGISTICS. Statgraphics reference manual. Cambridge, Manugistics, 1993. p. b.11-b.14.
• (21) STREULI, H. Warnung vor dem ausreissev test nach Nalimov. Mitt. Geb. Lebensmittelunters. Hyg. Bremen, v. 71, n. 1, p. 69-72, 1980.
• (22) TUKEY, J.W. Exploratory data analysis. Reading, Addison-Wesley, 1977. 687 p.
• (23) TUKEY, J.W. Data-based graphics: visual display in the decades to come. Statist. Sci. Hayward, v. 5, n. 3, p. 327-339, 1990.
• (24) VELLEMAN, P.F. & HOAGLIN, D.C. Applications, basics and computing of E.D.A. Boston, Duxbury. 1981. 354 p.
• (25) WEGMAN, E.J. On randomness, determinism and computability. J. Statist. Plan. Inf. Amsterdam, v. 20, n. 3, p. 279-294, 1988.
• (26) WYSOCK, B.M. et al Statistical procedures for corrosion studies. J. Am. Water Works Assoc. Cincinnati, v. 87, n. 7, p. 99-112, 1995.

1

Recebido para publicação em 28/05/96. Aceito para publicação em 25/02/98.

Datas de Publicação

• Publicação nesta coleção
  28 Set 2001
• Data do Fascículo
  Abr 1998

Histórico

• Aceito
  25 Fev 1998
• Recebido
  28 Maio 1996