CARTA AO EDITOR E RESPOSTA
Estudos de validação: qual análise utilizar?
Prezado Editor Chefe da RBME,
O artigo intitulado: Validação da equação de Brzycki para a estimativa de 1-RM no exercício supino em banco inclinado (vol. 13, nº 1 - Jan/Fev, 2007) apresenta resultados importantes quanto às diferenças entre estimativas de valores médios e associação linear entre os valores produzidos pela equação de Brzycki e pelo teste padrão para determinação da carga de uma repetição máxima (1-RM). Nesse estudo, utilizaram-se na análise estatística o teste t de Student pareado, o coeficiente de correlação de Pearson, o erro padrão de estimativa (EPE), erro total (ET) e erro constante (EC). Entre os resultados , não foram encontradas diferenças significativas entre os valores médios do teste de 1-RM e os valores médios preditos a partir desta equação, uma correlação de 0,99 (p < 0,05), EPE de 2,42kg (≈ 3,4%), ET de 1,55kg (≈ 2,2%) e EC de 0,22kg (≈ 0,3%).
A validade de um instrumento, de forma geral, refere-se à capacidade deste em medir realmente aquilo que se deseja mensurar sem a presença de viés. O viés representa o erro sistemático que ocorre no desenho ou mesmo durante o estudo, podendo comprometer as conclusões deste. Diferentemente do erro sistemático, o erro aleatório representa a diferença entre a estimativa obtida na amostra e o parâmetro real na população de referência (SZKLO e NIETO, 2006). Fica claro, então, que toda análise envolvida em estudos com essa característica deve direcionar suas conclusões a fim de avaliar o impacto desses erros nas estimativas.
A fim de contribuir com o debate sobre a utilização de técnicas empregadas para análise de validação de testes, a presente resenha tem por objetivo apontar importantes limitações na estratégia de medida de validade de critério utilizada no estudo, além de sugerir a utilização de outra ferramenta de análise.
Inicialmente, o teste t é uma análise estatística cujo objetivo é testar a hipótese de diferença entre duas médias (i.e., 1-RM vs predição) sob a hipótese nula de que elas são iguais, a partir da probabilidade do erro tipo 1. Em estudos de validação, esse teste pode ser uma ferramenta de determinação de erros sistemáticos importantes (ATKINSON e NEVILL, 1998), porém o artigo não discute essa característica.
Além disto, Bland e Altman (1995) afirmam que a detecção de diferenças significativas através do teste t está constantemente associada à variação aleatória entre os testes, já que não são raras as situações nas quais essa análise não é capaz de detectar diferenças significativas em dois conjuntos de dados com médias similares, porém com elevada variação aleatória intrassujeitos.
A comparação de médias pode ser utilizada como análise inicial, contudo, essa estratégia não permite a realização de qualquer inferência sobre a concordância dos valores individuais (limitação também encontrada no cálculo do EC, que representa a diferença entre a média do teste de 1-RM e a média da predição).
A correlação de Pearson foi utilizada para avaliar o grau de associação entre as medidas. Essa técnica expressa um índice de associação linear entre duas variáveis contínuas e vem sendo apresentada como uma usual medida de validade (vide a discussão do artigo). Entretanto, essa estatística não é capaz de determinar diferenças sistemáticas, além de ser consideravelmente sensível à amplitude e aos valores extremos da variável em análise (BATES et al., 1996). Assim sendo, em um grupo com características variadas (i.e., grande variabilidade intersujeitos), a correlação de Pearson poderia causar uma superestimativa na associação e possíveis conclusões errôneas quanto à validade do instrumento (ATKINSON e NEVILL, 1998).
Com base nos dados deste estudo, pode-se observar para a equação de Brzycki, um valor médio de 70,6kg, um desvio padrão de 18,9kg e um coeficiente de variação de aproximadamente 26,8%, variação esta considerada elevada e em grande medida um importante determinante para a alta correlação encontrada.
O erro padrão da estimativa (EPE) foi outra medida calculada para avaliar a utilização da equação de Brzycki; entretanto, considerando-se as diversas formas para o seu cálculo e mesmo que não apresentada no método do artigo, conclui-se que essa medida se baseou no valor de correlação previamente apresentada:
Onde S é o desvio padrão e ρ é a correlação de Pearson obtida.
Por conseguinte, tal variável pode estar viesada, uma vez que o valor da correlação de Pearson pode estar superestimado, o que minimizaria o erro associado à predição de 1-RM pela equação.
O método proposto por Bland & Altman (1983) reconhece essas limitações. A a partir da utilização de limites de concordância, desenvolveram uma estratégia para comparar o quanto um método difere de outro e se a diferença entre as medidas está relacionada com a magnitude da mesma (heterocedasticidade dos dados). Além disso, outra vantagem importante apresentada pelos autores é a possibilidade de analisar a diferença entre os métodos em cada um dos sujeitos que compõem a amostra.
Essa abordagem baseia-se na construção de um gráfico de dispersão cujas médias e diferenças entre os métodos encontram-se no eixo das abscissas e das ordenadas, respectivamente. Adicionalmente, utilizam-se eixos como limites ao eixo da abscissa, que determinam a diferença média entre os métodos (i.e., erro sistemático) e o desvio padrão das diferenças (i.e., erro aleatório ao redor dessa média). Essa técnica tem se mostrado altamente informativa e requer pouca sofisticação nas rotinas computacionais.
Em síntese, ao invés de utilizar diversas análises, cada uma com importantes limitações, sugere-se a utilização do gráfico de Bland & Altman como estratégia de análise em estudos de validação que avaliam variáveis contínuas.
Autores
Leonardo Gonçalves Ribeiro
Mestre em Ciência da Motricidade Humana (UCB/RJ)
Pro Health & Performance
Letícia de Oliveira Cardoso
Mestre em Saúde Coletiva pelo Instituto de Medicina Social da UERJ,
Doutoranda em Saúde Pública na Escola Nacional de Saúde Pública/Fiocruz,
Departamento de Epidemiologia e Métodos Quantitativos em Saúde/ENSP/Fiocruz
Resposta
Fomos convidados para nos pronunciar com relação a uma carta submetida ao Editor Chefe da RBME pelos pesquisadores Leonardo Gonçalves Ribeiro e Letícia de Oliveira Cardoso, intitulada "Estudos de Validação: Qual análise utilizar?", onde o nosso artigo publicado nessa revista (Validação da equação de Brzycki para a estimativa de 1-RM no exercício supino em banco horizontal, v.13, n.1, p.47-50, 2007) foi utilizado como referência.
Os elementos apresentados pelos dois pesquisadores chamam a atenção para a limitação no tratamento das informações apresentadas no artigo em questão, apontando a necessidade da inclusão de critérios de análise adicionais (especificamente, a plotagem de Bland-Altman para análise de concordância) em estudos de validação, como aquele utilizado como exemplo.
Concordamos com a crítica apresentada ao longo da carta de que a apresentação de tais informações poderia fortalecer ou enfraquecer a análise dos dados apresentados em nos-so trabalho e, desse modo, nos propusemos a refinar a análise apresentada, incluindo não somente as informações produzidas pela plotagem de Bland-Altman, mas também outros critérios de performance que, mais recentemente, vêm sendo sugeridos na literatura para estudos de validação, com ênfase na análise de concordância, tais como: avaliação do slope e do intercepto gerados pela análise de correlação de Pearson frente à reta de identidade e uma análise de tendência com base nos dados da plotagem de Bland-Altman.
Em nosso estudo, os resultados a partir da análise de regressão entre o teste de 1-RM no supino em banco horizontal e a estimativa determinada pela equação de Brzycki indicaram que o valor do slope e do intercepto não diferiram da linha de identidade (slope = 1 e intercepto = 0; P > 0,05), o que fortalece os valores da correlação por nós relatados (r = 0,99; P < 0,05). Essas informações suplantam em parte as limitações da utilização da análise de correlação, de forma isolada, para testar a validade de um determinado método frente a um método adotado como referência, visto que a força da correlação não indica concordância entre dois métodos.
Com relação à plotagem de Bland-Altman, nossos dados indicaram que a estimativa dos valores de 1-RM pela equação de Brzycki apresentaram um baixo viés (bias = -0,3) com limites de concordância bastante aceitáveis (4,9 a -5,5kg) indicando que os resultados poderiam estar subestimados em no máximo 6,9% ou superestimados em no máximo 7,8% em 96% da amostra investigada (n = 48).
Ao analisarmos a existência de uma possível tendência associada aos maiores ou menores níveis de força dos sujeitos que compuseram a amostra, os resultados indicaram um r = -0,18 (P = 0,22), refutando a hipótese de que a grande variabilidade intersujeitos poderia estar comprometendo os achados, com base nas informações originais apresentadas no manuscrito.
Portanto, agradecemos a oportunidade que nos fora oferecida pela RBME para reforçarmos ainda mais os achados apresentados pelo nosso estudo de que a equação de Brzycki parece, realmente, ser uma alternativa bastante atraente para a estimativa dos valores de 1-RM no exercício supino em banco horizontal, a partir da execução de testes submáximos de 7 a 10-RM, em homens adultos sedentários ou moderadamente ativos.
Prof. Dr. Edilson Serpeloni Cyrino
Departamento de Educação Física (DEF)
Centro de Educação Física e Esporte (CEFE)
Universidade Estadual de Londrina (UEL) Paraná - Brasil
Tel./Fax: (43) 3371 4772.
E-mail: emcyrino@uel.br
- Szklo M, Nieto FJ. Epidemiology Beyond the Basics. Jones and Bartlett Publishers. 2nd ed., 2006.
- Bland JM, Altman DG. Comparing two methods of clinical measurement: a personal history. Int J Epidemiol. 1995;24 Suppl 1:S7-14.
- Bates BT, Zhang S, Dufek JS, Chen FC. The effects of sample size and variability on the correlation coefficient. Med Sci Sports Exerc. 1996 Mar;28(3):386-91.
- Atkinson G, Nevill AM. Statistical methods for assessing measurement error (reliability) in variables relevant to sports medicine. Sports Med. 1998 Oct;26(4):217-38. Review.
- Bland JM, Altman DG. Measurement in Medicine: the Analysis of Method Comparison Studies. The Statistician. 1983, 32:307-17.
Datas de Publicação
-
Publicação nesta coleção
22 Set 2009 -
Data do Fascículo
Ago 2009
