Conseqüências da análise incorreta de experimentos blocados

The consequences of incorrect analysis of blocked experiments

optimization; split-plot design; factorial design

DIVULGAÇÃO

Conseqüências da análise incorreta de experimentos blocados

The consequences of incorrect analysis of blocked experiments

João Alexandre Bortoloti; Roy Edward Bruns^*

Departamento de Físico-Química, Instituto de Química, Universidade Estadual de Campinas, CP 6154, 13084-971 Campinas – SP, Brasil

ABSTRACT

Errors are always present in experimental measurements so, it is important to identify them and understand how they affect the results of experiments. Statistics suggest that the execution of experiments should follow random order, but unfortunately the complete randomization of experiments is not always viable for practical reasons. One possible simplification is blocked experiments within which the levels of certain factors are maintained fixed while the levels of others are randomized. However this has a cost. Although the experimental part is simplified, the statistical analysis becomes more complex.

Keywords: optimization; split-plot design; factorial design.

INTRODUÇÃO

Em muitos trabalhos que envolvem a realização de experimentos, é comum os químicos se depararem com a questão: como avaliar se os resultados obtidos são confiáveis? Com certeza o simples surgimento desta dúvida já é um bom sinal e indica que o experimentalista se preocupa com a qualidade de seu trabalho. Sabe-se que qualquer medida realizada é sempre afetada por erros. Erros muito pequenos não trarão grandes implicações. Contudo, se forem significativos, poderão prejudicar seriamente os resultados levando a falsas conclusões. Portanto, conhecer a natureza dos erros e preparar planejamentos que possam minimizá-los é uma estratégia que deve estar presente no dia-a-dia de todo pesquisador.

Existem dois tipos de erros, o erro sistemático e o erro aleatório. O primeiro, tem como característica afetar os resultados dos experimentos sempre na mesma direção, seja para mais ou para menos. Um exemplo simples deste tipo de situação é o caso de uma balança descalibrada que pode indicar sempre massas maiores que as reais. Mas vale notar que os erros sistemáticos podem ser identificados e, portanto, evitados. Por outro lado, há um outro tipo de erro que afeta as medidas sem nenhuma tendência clara. As medidas podem oscilar, ora para mais, ora para menos. Este tipo de erro é chamado de erro aleatório e, infelizmente, sempre estará presente em maior ou menor grau.

Ao fazer um estudo é sempre interessante realizar replicatas, pois isto permite que o erro presente nas medidas seja investigado. Além disso, com a realização de várias replicatas aumentam as chances de se aproximar mais do valor exato. Isto é evidenciado por um importante princípio da estatística: o teorema do limite central, que comprova que o erro no valor médio é menor que o erro de uma observação individual¹. Todavia, para garantir a confiabilidade da análise estatística as replicatas devem ser autênticas, ou seja, a ordem em que serão realizados os experimentos e as replicatas deve ser sorteada aleatoriamente. Não é correto simplesmente realizar duas medidas do mesmo experimento de forma seqüencial, pois um erro que afetar a primeira medida certamente irá, de forma sistemática, afetar a seguinte^2,3. Todas as condições para executar o experimento devem ser refeitas, para garantir a autenticidade da replicata e a qualidade da análise estatística^1-4. Contudo, muitas vezes as características do procedimento experimental dificultam muito a execução de replicatas autênticas^5,6. Não são raros os casos em que o ajuste das condições experimentais é extremamente trabalhoso ou lento, como, por ex., nas situações em que é necessário aguardar por equilíbrios térmicos ou efeito de memória em análise química. Portanto, parece haver um dilema, realizar medidas com duplicatas autênticas e arcar com o custo do trabalho envolvido, mas garantir a qualidade das medidas, ou evitar um grande esforço no laboratório, mas correr o risco de ter todo seu trabalho prejudicado. É neste contexto que surge uma interessante possibilidade, a blocagem dos experimentos^5,7.

BLOCAGEM DE EXPERIMENTOS

Uma possibilidade de blocagem dos experimentos é a manutenção de uma ou mais condições experimentais fixas, enquanto outras são modificadas aleatoriamente. Não é incomum que o químico algumas vezes faça a blocagem de forma até "inconsciente", contudo, blocar os experimentos tem um custo. A análise estatística envolvida é diferente daquela que trata dados provenientes de experimentos com replicatas autênticas, tornando-se mais complexa^5,8,9. Assim, usar a análise estatística convencional em situações de blocagem poderá levar a resultados incorretos.

Uma forma de blocar os experimentos é através de um método conhecido como "split-plot" que é empregado em diferentes situações. Um caso típico para aplicação do método "split-plot" é a otimização conjunta que envolve variáveis de processo, como por ex., temperatura, e variáveis de mistura. Uma possibilidade seria escolher um valor para a temperatura e mantê-la fixa, depois diferentes composições de misturas seriam sorteadas aleatoriamente e preparadas. E, assim, na temperatura ajustada, alguma propriedade da mistura seria medida; em seguida, outra composição de mistura deveria ser sorteada e preparada e, ainda na mesma temperatura, medida a propriedade de interesse. Note que neste caso os experimentos são executados sempre em uma mesma temperatura, portanto, esta variável foi blocada, já as diferentes composições de mistura foram aleatoriamente sorteadas. A variável blocada no método "split-plot" é chamada de "main-plot", e em determinada condição do "main-plot" (bloco), neste caso certa temperatura, são sorteados os níveis das outras variáveis, constituindo o chamado "sub-plot", neste caso, as diferentes composições de mistura.

O fato dos experimentos não serem completamente aleatórios, mas haver a blocagem de uma variável e dentro de um bloco aleatoriamente serem sorteados os níveis das outras variáveis, levará a duas fontes de erro diferentes, uma para o "main-plot" e outra para o "sub-plot". Isto implica em uma análise estatística mais complexa, específica para o método "split-plot". Assim, claramente há vantagem no procedimento experimental mas, em contrapartida, a análise dos resultados será mais complexa⁵.

GRÁFICOS DE PROBABILIDADE ACUMULADA

Em virtude do erro experimental, ocorre uma dispersão natural nas medidas. Ao se modelar um sistema, provavelmente, alguns parâmetros do modelo estarão descrevendo somente as variações ocasionadas por este erro. Mas, obviamente, estes parâmetros não estão descrevendo efeitos significativos das variáveis de interesse e, portanto, devem ser descartados. Sabe-se que estatisticamente os parâmetros que descrevem erros aleatórios são exemplos de hipótese nula, uma vez que o valor verdadeiro de cada um deles seria zero. Portanto, estes parâmetros, se colocados em um gráfico em papel de probabilidade normal, devem seguir uma reta centrada em zero. Os efeitos significativos não se incluem na reta, pois não fazem parte da mesma distribuição¹. A Figura 1 é um exemplo de gráfico de probabilidade acumulada, onde os parâmetros significativos são representados pelos círculos preenchidos e os não significativos por círculos vazios.

Para se utilizar o gráfico de probabilidade acumulada deve-se tomar alguns cuidados. Primeiro, tentar plotar simplesmente os valores dos parâmetros no gráfico trará provavelmente resultados incorretos, pois muitos parâmetros que apresentam valores altos podem também possuir grandes erros associados, assim, sua significância talvez seja nula. Segundo, diferentes fontes de erro são agregadas ao cálculo dos erros dos parâmetros. Desta forma, a dimensão do erro pode variar muito entre os diferentes tipos de parâmetros (como os do "sub-plot" e "main-plot"). Devido às diferentes ordens de grandeza dos parâmetros, estes devem ser normalizados para serem comparados. Isto é feito dividindo-se os valores dos parâmetros pelos valores dos erros. Com isso, obtém-se a razão que indica o quanto um parâmetro supera seu erro⁹.

Exemplo de um procedimento "split-plot"

Um interessante trabalho foi publicado por Kowalski¹⁰, que utilizou o método "split-plot" em um planejamento fatorial 2⁴ para compreender como quatro variáveis afetam a resistência de um plástico. As variáveis estudadas foram temperatura (T), porcentagem de aditivo (a), velocidade de agitação (v) e tempo de processamento (t). Para facilitar o procedimento experimental, a temperatura foi escolhida como "main-plot" e as outras três variáveis formaram o "sub-plot". A temperatura foi fixada em dois níveis e aleatoriamente sorteou-se os níveis do "sub-plot". A Figura 2 mostra a estratégia adotada. A Tabela 1 indica os resultados obtidos com os experimentos em duplicata.

O procedimento adotado exige que a análise de variância seja específica, ou seja, a análise "split-plot". Uma análise convencional, considerando experimentos executados de forma completamente aleatória, pode levar a conclusões erradas sobre os efeitos significativos nesta otimização. Para ilustrar estas situações, as duas análises de variância foram realizadas.

Inicialmente é necessário ajustar um modelo e, neste caso, o escolhido foi o bilinear,

para o qual a representa a média global e T, a, v, t efeitos dos fatores identificados por seus símbolos apropriados. A primeira análise trata os dados como provenientes de experimentos completamente aleatórios e, portanto, com uma única fonte de erro. A Tabela 2 traz os coeficientes, o erro padrão e, em negrito, os parâmetros considerados significativos pelo teste t; as equações empregadas para estes cálculos estão indicadas na referência 1 e são apresentadas no ^{Apêndice A}. Temperatura, tempo e interação temperatura-velocidade e temperatura-tempo são significativos a 95% de confiança, e com 90% inclui-se as variáveis aditivo, velocidade e interação velocidade-tempo. Com os coeficientes dos parâmetros foi construído um gráfico de probabilidade acumulada mostrado na Figura 3. Os parâmetros significativos a 95% estão preenchidos em preto, os preenchidos em cinza são significativos a 90% de confiança.

Pela Figura 3 e Tabela 2 nota-se que a variável temperatura apresenta um efeito pronunciado, destacando-se entre os termos significativos.

Todavia, não se deve esquecer que os experimentos não foram realizados de forma completamente aleatória, mas com um procedimento "split-plot". Portanto, não há apenas uma fonte de erro afetando os resultados. Na verdade, duas fontes de erro estão presentes: o erro "main-plot" e o erro "sub-plot". Assim, a variável temperatura, que constitui o "main-plot", é afetada por uma fonte de erro diferente daquela que afeta as variáveis do "sub-plot". Então, considerando-se o tratamento adequado para o planejamento foi refeita a análise estatística.

Inicialmente foi calculada a ANOVA para os resultados dos experimentos, apresentada na Tabela 3. As equações empregadas são apresentadas no ^{Apêndice B}.

A ANOVA da Tabela 3 permite separar as fontes de erro do "main-plot", "sub-plot" e a soma quadrática devida às replicatas. Kowalski¹⁰ sugere que a soma quadrática devida à replicata e ao erro "main-plot" podem ser somadas. Desta forma, o valor da média quadrática referente ao erro "main-plot" seria de 56,20 com 2 graus de liberdade. Pode-se, então, fazer um teste F entre o efeito do "main-plot" e o erro presente em suas medidas pela razão 85,48/56,20 = 1,52, que não é significativo, comparado ao valor de F_{1; 2; 95%} = 18,51 ou F_{1; 2; 90%} = 8,53. O que nos permite concluir que o efeito "main-plot" não é significativo. Por outro lado, autores como Cornell⁵ adicionam ao erro "sub-plot" as possíveis faltas de ajuste do modelo escolhido como adequado obtendo mais graus de liberdade para tratar o erro, além de adicionar ao erro "sub-plot" o erro proveniente da interação "main-sub-plot" com o mesmo objetivo. Para exemplificar a maneira como as somas quadráticas são tratadas, um modelo com 31 termos foi gerado, o que esgota toda a falta de ajuste e toda variância é explicada pelos parâmetros ajustados. A Tabela 4 traz os 31 parâmetros do modelo e a soma quadrática explicada por cada um na regressão. O valor da soma quadrática devido à replicata (r) é de 84,83 e a interação da replicata com o "main-plot", erro "main-plot" (rT), é de 27,56, plenamente concordantes com ao valores da Tabela 3. O valor do efeito "main-plot" (T) é igual a 85,48 e o efeito do "sub-plot" pode ser obtido pela somatória das somas quadráticas dos termos a, v, av, t, at, vt e avt, com 7 graus de liberdade e equivalendo a 244,64. Para determinar o erro "sub-plot", basta somar os termos de interação entre (a,v,t) e replicata (r), ra + rv + rav + rt + rat + rvt + ravt = 117,30; já o erro da interação "main-sub-plot" pode ser determinado pelas interações de r e t com a, v e t, cuja soma vale 57,51. Os valores do erro "sub-plot" e "main-sub-plot" são somados no método "split-plot", o que equivale a 174,81 com 14 graus de liberdade.

Para comparar a ANOVA "split-plot" com a que considera todos os experimentos completamente aleatórios ajustou-se o mesmo modelo da Equação (1), que leva em conta apenas interações binárias entre os efeitos. Assim, os termos de interação superior não participam do modelo, sendo equivalentes à falta de ajuste e, portanto, adicionados ao erro "sub-plot": erro "sub-plot" + soma quadrática de termos não ajustados = 174,81 + 11,06 = 185,87, contendo 19 graus de liberdade. A média quadrática do erro será, portanto, igual a 9,78. Com as somas quadráticas dos efeitos pode-se realizar um teste F para determinar os parâmetros significativos a 95%, F_{1, 19, 95%} = 4,38, e 90%, F_{1, 19, 90%} = 2,99. A Tabela 5 indica as razões entre as médias quadráticas obtidas por regressão dos parâmetros e a média quadrática do erro. Comparando os valores da Tabela 2 e Tabela 5 percebem-se algumas alterações. Primeiro, a temperatura que inicialmente era um fator muito significativo, na segunda análise não o é. Segundo, o aditivo que foi considerado significativo na primeira análise com apenas 90% de confiança passou a ser significativo com 95%. Terceiro, a interação velocidade-tempo teve um efeito significativo apenas com 90% de confiança na análise considerando os experimentos completamente aleatórios, mas na análise "split-plot" o efeito desta interação é significativo já em 95% de confiança. A Figura 4 mostra o gráfico de probabilidade acumulada para as razões dos coeficientes/erro padrão para o modelo da Equação 1 pelo método "split-plot". Os valores dos coeficientes e seus erros são indicados na Tabela 6, as equações para obtenção dos valores presentes nesta tabela estão presentes na referência 5 e foram incluídas no ^{Apêndice C}.

Comparando a Figura 3 com a Figura 4 nota-se claramente que a variável temperatura, na análise "split-plot", após ser corrigida por seu erro, deixa de ser significativa como antes, uma vez que na análise correta o verdadeiro valor de seu erro é muito maior que na análise convencional.

CONCLUSÕES

Realizar os experimentos em ordem aleatória é de extrema importância para que a análise estatística convencional seja válida; todavia, muitas vezes limitações de ordem experimental inviabilizam a realização de replicatas autênticas. Desta forma, uma alternativa é realizar os experimentos com métodos alternativos, como o "split-plot", que facilitam o trabalho no laboratório, mas exigem uma análise estatística mais complexa. É importante salientar que ao planejar um conjunto de experimentos o químico também deverá se preocupar em como tratar seus resultados, pois realizar uma análise incorreta implicará, muitas vezes, na determinação de erros não verdadeiros e pode levar a conclusões injustificadas, prejudicando todo o trabalho.

AGRADECIMENTOS

À Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP) pela bolsa de estudo concedida a J. A. Bortoloti (Processo 00/14261-0) e pelos recursos fornecidos para a atividade de pesquisa (Processo 01/14371-3).

Recebido em 26/9/05; aceito em 16/5/06; publicado na web em 24/10/06

Tabela 2

O vetor b que contem os parâmetros do modelo obtido por regressão e dado por

onde X e a matriz planejamento e y o vetor resposta. Os erros dos parâmetros sao obtidos extraindo-se a raiz quadrada dos elementos da diagonal principal da matriz obtida pela expressão

em que s² e a variância do erro aleatório.

Tabela 3

As somas quadráticas (SQ) sao obtidas pelas equações

onde: i = 1, 2, 3,.., r (replicatas); j =1, 2, 3,.., p (condições de processo); k = 1, 2, 3,..., m (misturas); ... = média global das respostas; _ij. = média da i-ésima replicata de todas as composições em uma jésima condição de processo; _i.. = média da i-ésima replicata de todas as composições em todas as condições de processo; _.j. = média de todas as composições e replicatas na j-ésima condição de processo; _.jk = média das replicatas na j-ésima condição de processo e k-ésima composição de mistura; _.j. = média de todas as composições e replicatas na j-ésima condição de processo; _..k = média de todos os tratamentos e replicatas na k-ésima composição de mistura; n = numero total de respostas.

Tabela 6

O vetor b contendo os coeficientes dos parâmetros do modelo ajustado e obtido por

onde V e dada por

sendo que J e uma matriz com blocos diagonalizados com valores unitários para todos os elementos das diagonais dos blocos e valores nulos para os elementos restantes. I são matrizes identidades e n, r, m e p são os numeros de experimentos, replicatas, misturas e condições de processo, respectivamente. Os termos s²_R, s²_RZ e s²_e são estimativas das variâncias dos erros das replicatas, do "main-plot" e "sub-plot", respectivamente, sendo calculados à partir dos resultados da ANOVA para planejamentos contendo replicatas.

A matriz de covariância de b para determinação dos erros associados aos parâmetros do modelo, para casos com mais de uma fonte de erro, e dada por

• 1. Barros Neto, B.; Scarminio, I. S.; Bruns, R. E.; Como fazer experimentos: pesquisa e desenvolvimento na ciência e na indústria, Ed. da Unicamp: Campinas, 2001.
• ² Box, G. E. P.; Hunter W.G.; Hunter, J. S.; Statistics for experimenters. An introduction to design, data analysis and model building, Wiley: New York, 1978.
• 3. Anderson, R. L.; Bancroft, T. A.; Statistical Theory in Research, McGraw-Hill: New York, 1952.
• 4. Wooding, W. M.; J. Qual. Tech 1973, 5, 16.
• 5. Cornell, J. A.; J. Qual. Tech 1988, 20, 2.
• ⁶ Cornell, J. A.; J. Am. Stat. Assoc 1971, 66, 42.
• 7. Hicks, C. R.; Fundamental Concepts in the Design of Experiments, 2^nd ed., Holt, Rinehart and Winston: New York, 1973.
• 8. Bortoloti, J. A.; Andrade, J. C.; Bruns, R. E.; J. Braz. Chem. Soc. 2004, 15, 241.
• 9. Bortoloti, J. A.; Bruns, R. E.; Andrade, J. C.; Vieira, R. K.; Chem. Intel. Lab. System 2004, 70, 113.
• 10. Kowalski, S. M.; Potcner, K. J.; Qual. Progress 2003, 36, 60.

APÊNDICE A  - Equações empregadas para a obtenção dos valores presentes na

APÊNDICE B  - Equações empregadas para a obtenção dos valores presentes na

APÊNDICE C  - Equações empregadas para a obtenção dos valores presentes na

Datas de Publicação

• Publicação nesta coleção
  13 Mar 2007
• Data do Fascículo
  Abr 2007

Histórico

• Aceito
  16 Maio 2006
• Recebido
  26 Set 2006