Acessibilidade / Reportar erro

Uso da estatística na Educação Física: análise das publicações nacionais entre os anos de 2009 e 2011

Use of statistics in Physical Education: analysis of national publications between 2009 and 2011

Resumos

O objetivo do presente estudo foi verificar o padrão de uso da estatística em artigos científicos publicados em periódicos nacionais da área da Educação Física. Para tal, foram analisados todos os artigos publicados no triênio 2009-2011 de periódicos da área de Educação Física com estratificação B2 ou superior no QUALIS CAPES (Área 21) vigente. No levantamento bibliográfico foram encontrados 872 artigos nas cinco revistas pesquisadas, que foram classificados em sem estatística, estatística descritiva e estatística analítica. Para as análises, utilizou-se a estatística descritiva e o intervalo de confiança de 95% para comparar a diferença entre as proporções e, quando necessário, o teste qui-quadrado e regressão logística. Observou-se uma menor proporção de trabalhos com análise descritiva (7,1%; IC95% = 5,4%-8,8%) quando comparados com os artigos sem estatística (46,3%; IC95% = 42,9%-49,6%) e com estatística analítica (46,6%; IC95% = 43,2%-49,9%). O padrão de uso de procedimentos estatísticos variou entre as cinco revistas científicas e entre as áreas de concentração (Saúde, Esporte, Lazer, Educação e Outras). A proporção dos artigos que não atenderam aos pressupostos básicos para a utilização de testes paramétricos foi de 43,3%. Essa proporção não apresentou diferença significativa ao longo dos três anos analisados, região de afiliação dos primeiros e últimos autores ou em relação à titulação dos primeiros e últimos autores. O presente estudo aponta um cenário preocupante no que tange à utilização da estatística na área de Educação Física, pois, além do alto índice de trabalhos que não seguem os pressupostos básicos para utilização da estatística, essa situação parece ser comum independente da titulação dos autores, região de afiliação ou revista de publicação.

Estatística; Educação física; Artigos científicos; Brasil.


The purpose of the present study was to verify the pattern of use of statistics in scientific articles published in national journals of the Physical Education area. Thus, all articles published in the 2009-2011triennium of the Physical Education journals stratified at B2 or higher in the current QUALIS CAPES (Field 21) were analyzed. The bibliographic search found 872 articles in the five journals selected, which were classified into no statistics, descriptive statistics and analytical statistics. For the analysis, descriptive statistics was performed and the 95% confidence interval to compare the difference between the proportions and, when necessary, the chi-square test and Logistic Regression. There was a lower proportion of articles with descriptive analysis (7.1%, 95%CI=5.4%-8.8%) compared with those with no statistics (46.3%, 95%CI=42.9%-49.6%) and analytical statistics (46.6%, 95%CI=43.2%-49.9%). The pattern of use of statistical procedures ranged among the five scientific journals and across fields of concentration (Health, Sport, Leisure, Education and Others). The proportion of articles which did not meet the basic assumptions for the use of parametric test was 43.3%. This proportion was not significantly different over the three years analyzed, first and last authors' region of affiliation of or for the first and last authors' degree. The present study points out a worrying scenario regarding the use of statistics in the area of Physical Education, because besides the high amount of work which do not follow the basic assumptions for statistical use , this situation seems to be common regardless of authors' degree, region of affiliation or journal of publication.

Statistics; Physical Education; Scientific article; Brazil.


Introdução

Com o passar dos anos, a grande área da Ciência da Saúde aumentou consideravelmente a quantidade de artigos científicos publicados em periódicos específicos. Tal aumento pode ser decorrente do crescimento do número de doutores, programas de pós-graduação, recursos financeiros e bolsas de agências de fomento destinadas a formação de alunos de mestrado/doutorado, e/ou por uma maior exigência de publicações pelas instituições de ensino superior(1)Kokubun E. Pós-graduação em educação física no Brasil: indicadores objetivos dos desafios e das perspectivas. Rev Bras Ciênc Esporte. 2003;24:9-26..

Ainda segundo Kokubun(1)Kokubun E. Pós-graduação em educação física no Brasil: indicadores objetivos dos desafios e das perspectivas. Rev Bras Ciênc Esporte. 2003;24:9-26., as pesquisas na área de Educação Física também vêm aumentando, porém, a proporção de artigos publicados em periódicos com índice de impacto internacional caiu de 0,5% de toda a produção nacional em 1996 para alarmantes 0,04% em 2000. Tais dados apontam que esse aumento na quantidade das publicações em Educação Física no Brasil se deve, principalmente, a um aumento das publicações de menor impacto, indicando que o crescimento não foi acompanhado por uma manutenção geral da qualidade das publicações, quando avaliada por tais termos. Segundo Albuquerque(2)Albuquerque UP. A qualidade das publicações científicas: considerações de um editor de área ao final do mandato. Acta Bot Bras. 2009; 23:292-6., a deficiência na qualidade dos artigos científicos usualmente está relacionada com a ausência de hipóteses e/ou objetivos claros de investigação, métodos ausentes ou apresentados de maneira vaga, uso inadequado da literatura científica e, por fim, o uso vago ou incorreto da estatística.

A estatística pode ser definida como um conjunto de métodos e técnicas de processamento, organização, análise e interpretação de dados para explicar fenômenos ou fazer inferências(3)Ignácio SA. Importância da estatística para o processo de conhecimento e tomada de decisão: Curitiba: IPARDES; 2010. (Nota técnica IPARDES, 6). Disponível em: http://www.ipardes.gov.br/biblioteca/docs/NT_06_importancia_estatistica_tomada_decisao.pdf
http://www.ipardes.gov.br/biblioteca/doc...
. A estatística é uma ferramenta fundamental para elaboração de um estudo de qualidade com resultados fidedignos, pois uma coleta de dados realizada de forma minuciosa, seguida de uma análise estatística que não preenche os pressupostos básicos (podendo ser citados: normalidade, homogeneidade das variâncias ou esfericidade), provavelmente levará os pesquisadores e, consequentemente, o leitor a interpretações equivocadas dos resultados( 4Orso IRB, et al. Critical analysis of the use of statistical tests in Brazilian publications related to digestive tract surgery. Rev Assoc Med Bras. 2011; 7:35-41. , 5Fild A. Descobrindo a estatística usando o SPSS. 2a ed. São Paulo: Artmed; 2009. , 6Coutinho ESF, Cunha GM. Conceitos básicos de epidemiologia e estatística para a leitura de ensaios clínicos controlados. Rev Bras Psiquiatr. 2005;27:146-51. , 7Hoekstra R, Kiers HAL, Johnson A. Are assumptions of well-nown statistical techniques checked, and why (not)? Front Psychol. 2012;3:137. , 8Boneau CA. The effects of violations of assumptions underlying the t test. Psychol Bulletin. 1960;57:49-64. ).

Existem evidências clássicas de que alguns testes estatísticos são menos sensíveis a violações nos pressupostos de normalidade e homogeneidade das variâncias (aqueles baseados na distribuição t e F)(9)Nimon KF. Statistical assumptions of substantive analyses across the general linear model: a mini-review. Front Psychol. 2012;28:322. e, por isso, há a indicação de sua utilização mesmo com a violação de tais pressupostos (pois possuem maior robustez do que instrumentos de origem não paramétrica). Por outro lado, esta mesma indicação só é correta quando os pressupostos de normalidade/homogeneidade não são severamente violados( 7Hoekstra R, Kiers HAL, Johnson A. Are assumptions of well-nown statistical techniques checked, and why (not)? Front Psychol. 2012;3:137. , 8Boneau CA. The effects of violations of assumptions underlying the t test. Psychol Bulletin. 1960;57:49-64. , 9Nimon KF. Statistical assumptions of substantive analyses across the general linear model: a mini-review. Front Psychol. 2012;28:322. ). A leitura do que é "severamente violado" ou não depende do conhecimento do pesquisador sobre o assunto. Entretanto, estudo recente demonstrou que mesmo entre um grupo considerado altamente qualificado (doutorandos diretamente envolvidos no desenvolvimento de projetos de pesquisa) existe grande falta de conhecimento sobre o assunto(8)Boneau CA. The effects of violations of assumptions underlying the t test. Psychol Bulletin. 1960;57:49-64..

Reflexo disso pode ser observado no fato de que mesmo entre artigos publicados em periódicos internacionais de alto impacto, existe significativa ocorrência de erro durante a aplicação de procedimentos estatísticos( 8Boneau CA. The effects of violations of assumptions underlying the t test. Psychol Bulletin. 1960;57:49-64. , 1010 Nieuwenhuis S, Forstmann BU, Wagenmakers E. Erroneous analyses of interactions in neuroscience: a problem of significance. Nat Neurosci. 2011;14:1105-7. ). Estudos demonstram que a checagem de pressupostos para utilização de testes estatísticos é reportada em apenas 8-25% dos estudos( 8Boneau CA. The effects of violations of assumptions underlying the t test. Psychol Bulletin. 1960;57:49-64. , 1111 Keselman HJ, Huberty CJ, Lix LM. Statistical practices of educational researchers: an analysis of their Anova, Manova, and Ancova analyses. Rev Educ Res. 1998;68:350-86. - 1212 Osborne JW. Sweating the small stuff in educational psychology: how effect size and power reporting failed to change from 1969 to 1999, and what that means for the future of changing practices. Educ Psychol. 2008;28:151-60. ). Além disso, tal fato não ocorre devido ao conhecimento da robustez dos testes utilizados, e sim por desconhecimento dos pressupostos e de como verifica-los(8)Boneau CA. The effects of violations of assumptions underlying the t test. Psychol Bulletin. 1960;57:49-64.. Tal panorama parece indicar que tanto os pesquisadores quanto os revisores das revistas científicas possuem dúvidas referentes ao procedimento correto a ser adotado de acordo com os tipos de dados em questão( 1010 Nieuwenhuis S, Forstmann BU, Wagenmakers E. Erroneous analyses of interactions in neuroscience: a problem of significance. Nat Neurosci. 2011;14:1105-7. , 1313 Welch GE, Gabbe SG. Statistics usage in the American Journal of Obstetrics and Gynecology: has anything changed? Am J Obstet Gynecol. 2002;186:584-6. ). Diante da importância do uso adequado da estatística em trabalhos científicos, o objetivo do presente estudo foi verificar o percentual de artigos científicos publicados em periódicos nacionais da área da Educação Física que utilizam estatística, bem como quais são os principais testes utilizados e se respeitam os pressupostos básicos para utilização dos mesmos.

Método

Levantamento bibliográfico

Para o levantamento bibliográfico do presente estudo, analisamos todos os artigos publicados no triênio 2009-2011 nos seguintes periódicos nacionais: Motriz, Movimento, Revista Brasileira de Educação Física e Esporte, Revista Brasileira de Cineantropometria e Desempenho Humano e Revista Brasileira de Ciências do Esporte. Esses periódicos foram selecionados por publicarem artigos da área de Educação Física e apresentarem alta estratificação (B2 ou superior) no QUALIS CAPES (Área 21) vigente. Consideramos para as análises apenas artigos originais e artigos de revisão, excluindo outros tipos de artigos (editoriais, cartas ao editor, notas técnicas, comunicações, etc.).

Em relação às análises estatísticas utilizadas pelos estudos, padronizamos o procedimento de divisão de acordo com o proposto por Orso et al.(4)Orso IRB, et al. Critical analysis of the use of statistical tests in Brazilian publications related to digestive tract surgery. Rev Assoc Med Bras. 2011; 7:35-41.: a) Sem estatística - estudos que não utilizaram nenhum tipo de análise de dados; b) Estatística descritiva - estudos que utilizaram apenas estatística descritiva adotando procedimentos como gráficos descritivos, descrição tabular e medidas de tendência central e dispersão; c) Estatística analítica - estudos inferenciais com relação de existência, ordem ou dependência baseados em teorias probabilísticas.

Uma vez classificados na categoria "Estatística analítica", analisamos se os estudos relataram a verificação do pressuposto básico para a utilização de testes paramétricos, a normalidade dos dados. Especificamente, nos casos em que os testes utilizados foram ANOVA, ANCOVA, MANOVA E MANCOVA, analisamos a presença, no corpo do texto, dos pressupostos de homogeneidade. Para ANOVA para medidas repetidas o pressuposto avaliado foi o teste de esfericidade. Ainda, quando classificados na categoria "Estatística analítica", verificamos o percentual de estudos com dados categóricos, numéricos ou ambos.

Todos os artigos analisados foram classificados por área de concentração, sendo elas: esporte, saúde, educação e lazer. Quando o artigo analisado não se encaixava em nenhuma dessas categorias (análises biográficas, históricas, etc), o termo "outros" foi designado aos mesmos. Além disso, quando presente no artigo, analisamos também tanto a titulação acadêmica quanto o estado de afiliação da instituição do primeiro e último autor de cada artigo. Estes foram, posteriormente, dicotomizados em "doutor" (englobando titulações de doutor ou superior) ou "demais titulações" (para todas as titulações inferiores a doutor), e em três regiões (sul; sudeste; centro-oeste, norte e nordeste). Finalmente, verificamos também a ocorrência dos testes estatísticos utilizados, englobando testes paramétricos, não-paramétricos e testes de normalidade, homogeneidade e esfericidade.

Análise estatística

Os resultados foram inicialmente analisados por meio de estatística descritiva, apresentados em números absolutos (n) e porcentagem (%). Para comparar a diferença entre as proporções utilizamos o intervalo de confiança para proporções de 95% e, quando necessário, o teste qui-quadrado foi realizado. Para verificar a associação entre apresentar os pressupostos básicos para utilização de estatísticas paramétricas (desfecho) e a titulação e região de afiliação dos primeiro e último autor (variáveis independentes) foi utilizada a análise de regressão logística binária. Todas as análises estatísticas foram realizadas no programa estatístico Statistical Package for the Social Sciences (SPSS) versão 17.0.

Resultados

No levantamento bibliográfico foram incluídos 747 trabalhos originais e 125 artigos de revisão. A distribuição dos 872 artigos de acordo com os cinco periódicos ao longo dos anos de 2009, 2010 e 2011 são apresentados na TABELA 1.

TABELA 1
Número de artigos que compuseram a amostra, estratificado por ano e periódico.

Observou-se uma menor proporção de trabalhos com análise descritiva (7,1% [IC95% = 5,4%-8,8%]) quando comparados com os artigos sem estatística (46,3% [IC95% = 42,9%-49,6%]) e com estatística analítica (46,6% [IC95% = 43,2%-49,9%]). Vale destacar que, o fato de 14,33% dos artigos incluídos na amostra serem de revisão pode ter inflacionado o percentual categorizado em "Sem estatística", uma vez que os artigos de revisão, em geral, não apresentam análise estatística, exceto nos casos de metanálise. A FIGURA 1 apresenta a distribuição de artigos científicos com diferentes métodos estatísticos, estratificado por revistas. Observa-se que as cinco revistas analisadas apresentam diferentes perfis quanto ao uso da estatística, sendo que para a revista Movimento, 10,86% dos artigos possuem estatística e, para a Revista Brasileira de Cineantropometria e Desempenho Humano, 95,63% dos artigos possuem algum tipo de estatística.

FIGURA 1
Proporção de estudos com análise estatística analítica, descritiva e sem estatística estratificada por revista.

Quando analisado o uso de procedimentos estatísticos dentro das áreas de concentrações, observa-se características distintas entre as áreas de Esporte e Saúde comparado com Educação e Lazer (FIGURA 2). Para as duas primeiras, observa-se uma alta proporção de trabalhos com estatística analítica (59,9% e 80,7%, respectivamente) e para as duas últimas uma alta proporção de trabalhos sem estatística (80,1% e 89,5%, respectivamente).

FIGURA 2
Proporção de estudos com análise estatística analítica, descritiva e sem estatística estratificada área de concentração.

Dentre os 397 dos artigos com estatística analítica, 17,1% (n = 68) exibiam apenas dados categóricos, 66,0% (n = 262) apenas numéricos e 16,9% (n = 67) apresentavam dados de natureza numérica e categórica. A TABELA 2 apresenta a frequência dos testes estatísticos encontrados nos 397 artigos que apresentaram análise estatística analítica. Nota-se que os testes estatísticos mais utilizados foram ANOVA Independente, Qui-Quadrado e Teste-t Independente.

TABELA 2
Frequência dos testes estatísticos encontrados nos 397 artigos com análise estatística analítica nas cinco revistas entre os anos de 2009 e 2011.

Dos 397 artigos com análise estatística analítica, uma proporção de 43,3% (IC95% = 40,8% - 45,8%) apresentaram os pressupostos básicos para utilização de estatísticas paramétricas. Essa proporção não apresentou diferença estatística significativa ao longo dos três anos analisados (2009: 38,2%; 2010: 46,8%; 2011: 44,4% [X2 = 1,95, p = 0,38]). Nota-se também que, independente da titulação e da região de afiliação dos primeiros e últimos autores, não houve diferença significativa na Razão de Odds para o desfecho de apresentar os pressupostos básicos para utilização de estatísticas paramétricas (TABELA 3).

TABELA 3
Regressão logística tendo como desfecho apresentação dos pressupostos básicos para utilização de estatísticas paramétricas e como variável independente a titulação e região de filiação do primeiro e último autor.

A FIGURA 3 apresenta a proporção de artigos que apresentaram e não apresentaram a realização dos testes de análise dos pressupostos básicos para utilização de estatísticas paramétricas estratificados pelas cinco revistas científicas analisadas. Nota-se que a proporção de trabalhos que utilizaram estatística analítica e não apresentaram os pressupostos foi de 56,7%, variando de 38,3% a 50,0% entre os cinco periódicos avaliados. Apenas a Revista Brasileira de Cineantropometria e Desempenho Humano e a Revista Brasileira de Educação Física e Esporte apresentaram maior proporção de artigos que atenderam os pressupostos básicos para utilização de estatísticas paramétricas quando comparado aos que não atenderam (FIGURA 3).

FIGURA 3
Proporção de artigos que atenderam e não atenderam os pressupostos básicos para utilização de estatísticas paramétricas estratificados pelas 5 revistas científicas analisadas. As barras indicam as proporções e as linhas de erros indicam os intervalos de confiança de 95% da proporção.

A TABELA 4 apresenta os testes de normalidade, homogeneidade e esfericidade utilizados para verificar os pressupostos básicos para utilização de análises estatísticas paramétricas.

TABELA 4
Frequência dos testes de verificação dos pressupostos para utilização da estatística paramétrica (normalidade, homogeneidade e esfericidade) encontrados nos 397 artigos com análise estatística analítica nas cinco revistas entre os anos de 2009 e 2011.

Discussão

A correta aplicação do método estatístico em publicações científicas tem sido alvo de estudos( 4Orso IRB, et al. Critical analysis of the use of statistical tests in Brazilian publications related to digestive tract surgery. Rev Assoc Med Bras. 2011; 7:35-41. , 7Hoekstra R, Kiers HAL, Johnson A. Are assumptions of well-nown statistical techniques checked, and why (not)? Front Psychol. 2012;3:137. , 8Boneau CA. The effects of violations of assumptions underlying the t test. Psychol Bulletin. 1960;57:49-64. , 9Nimon KF. Statistical assumptions of substantive analyses across the general linear model: a mini-review. Front Psychol. 2012;28:322. , 1010 Nieuwenhuis S, Forstmann BU, Wagenmakers E. Erroneous analyses of interactions in neuroscience: a problem of significance. Nat Neurosci. 2011;14:1105-7. , 1414 An Tl, Cuoghi AO. A utilização da estatística na ortodontia. R Dental Press Ortodon Ortop Facial. 2004;9:97-108. ), devido a sua importância na posterior interpretação dos resultados e formulação de conclusões. A área de Educação Física, por sua vez, que atua em diversas linhas de pesquisa (saúde, lazer, educação e esporte, dentre outras), também utiliza o tratamento estatístico analítico para inferir sobre seus parâmetros. Com o aumento da produção científica em atividade física no Brasil, é de suma importância verificar de que forma as análises dos dados estão sendo utilizadas por estes profissionais(15)15 Hallal PC, Dumith SC, Bastos JP, Reichert FF, Siqueira FU, Azevedo MR. Evolução da pesquisa epidemiológica em atividade física no Brasil: revisão sistemática. Rev Saúde Pública. 2007;41:453-60..

No presente estudo foi observado que uma grande parcela dos artigos não realizou nenhum tipo de análise estatística (46,3%). Uma possível justificativa para esta grande ausência de análises estatísticas pode ser decorrente do fato de que algumas sub-áreas da Educação Física não se utilizam de números e comparações estatísticas como ferramentas, o que é o caso das ciências humanas e sociais. As subáreas de educação e lazer apresentaram baixas proporções de trabalhos com estatística (19,9% e 10,5%, respectivamente). Especificamente no lazer, a produção de conhecimentos envolve, em sua maioria, discussões temáticas, reflexões e revisões bibliográficas, que não são mensuráveis em números ou categorias e, por sua vez, não utilizam tratamento estatístico. Esse fato se deve pelas dificuldades de abordagem sobre o tema(16)16 Marcellino NC. Lazer e educação. 4a ed. Campinas: Papirus; 1998.. Enquanto isso, a subárea de educação envolve, por natureza, predomínio de análises qualitativas. Por outro lado, embora sejam características das subáreas, não se pode deixar de salientar que a aplicação prática dos conhecimentos produzidos pelas mesmas pode ficar prejudicada, uma vez que não há evidência estatística que sustente os mesmos( 1717 van Belle G, Fisher LH, Heagerty PJ, et al. Biostatistics: a methodology for the health sciences. 2nd ed. Hoboken: John Wiley; 2004. - 1818 Vieira S. Estatística básica. São Paulo: Cengage Learning; 2012. ).

A fim de se fazer uma análise mais minuciosa, o presente trabalho buscou comparar as proporções de estudos com método estatístico analítico, descritivo e sem estatística, estratificados por revista. Sendo assim, observou-se que a Revista Motriz, a Revista Brasileira de Educação Física e Esporte e a Revista Brasileira de Cineantropometria e Desempenho Humano são os periódicos que mais apresentam estudos com estatística analítica (47,4%, 54,4% e 94,0%, respectivamente), em contrapartida, a Revista Brasileira de Ciências do Esporte e a Movimento apresentaram maior número de artigos científicos sem análise estatística (69,2% e 89,1%, respectivamente). Possivelmente essas variações em proporções (estatística analítica/sem análise estatística) se devem, também, aos diferentes escopos de cada periódico da área da Educação Física, sendo algumas voltadas mais para a área da saúde, esporte e outras para a área de humanas (educação e lazer).

Em suma, das diversas áreas que a Educação Física, a área da educação e do lazer, apresentam reduzidos estudos com análise estatística, indo contra os estudos voltados à área de saúde e esporte, principalmente. Isto pode ser devido ao fato de que estudos da área médica ou esportes tratam rotineiramente de dados brutos e comparam efeitos de drogas, alimentos, protocolos de treinamentos, efeitos de exercícios físicos sobre doenças e, assim, o uso de algum pacote estatístico faz-se necessário(19)19 Massad M, Menezes RX, Silveira OBS, Ortega NR. Métodos quantitativos em medicina. São Paulo: Manole; 2004..

A fim de tratar de forma adequada os dados analisados, pressupostos de caráter básicos para a análise dos dados são exigidos. A análise básica constitui em primeiramente verificar o número de grupos estudados, os momentos em que eles estão sendo analisados, o modo como a distribuição dos dados se encontra e a partir disso tomar certas decisões de qual caminho seguir(20)20 Vieira S. Introdução à bioestatística. 4a ed. Rio de Janeiro: Campus; 2008..

Pode-se observar que a proporção dos artigos da área da Educação Física que utilizaram estatística analítica e apresentaram a realização de instrumentos para testar os pressupostos, foi de apenas 56,7%. Um exemplo prático de tal discrepância se remete ao fato de que a análise de variância foi o método estatístico mais empregado nos artigos levantados (n = 106) e o seu pressuposto básico(21)21 Vieira S. Análise de variância: Anova. São Paulo: Atlas; 2006. figurou apenas como o quarto mais utilizado (n = 15). Essa baixa proporção indica uma situação preocupante, visto que sua não utilização, quando não baseada em conhecimentos estatísticos sólidos, pode comprometer os resultados do estudo, bem como a interpretação dos dados(4)Orso IRB, et al. Critical analysis of the use of statistical tests in Brazilian publications related to digestive tract surgery. Rev Assoc Med Bras. 2011; 7:35-41.. Literatura consistente identifica que, quando a violação de pressupostos de determinados testes não são severas, pouco comprometimento estatístico existe e que a utilização de testes não paramétricos, por terem menos poder, pode apresentar uma real limitação( 7Hoekstra R, Kiers HAL, Johnson A. Are assumptions of well-nown statistical techniques checked, and why (not)? Front Psychol. 2012;3:137. , 8Boneau CA. The effects of violations of assumptions underlying the t test. Psychol Bulletin. 1960;57:49-64. , 9Nimon KF. Statistical assumptions of substantive analyses across the general linear model: a mini-review. Front Psychol. 2012;28:322. ). Em contrapartida, este tipo de decisão deve ser baseado em questões técnicas, o que exige do pesquisador um conhecimento que o sustente em seus passos, fato que não tem sido observado na literatura mais atual( 8Boneau CA. The effects of violations of assumptions underlying the t test. Psychol Bulletin. 1960;57:49-64. , 1010 Nieuwenhuis S, Forstmann BU, Wagenmakers E. Erroneous analyses of interactions in neuroscience: a problem of significance. Nat Neurosci. 2011;14:1105-7. ) e não parece ser a realidade da área de Educação Física.

Além disso, outras técnicas existem para evitar a utilização de testes não paramétricos, como a transformação dos dados (exemplo: transformação logarítmica e exponencial), a qual pode atenuar uma severa violação do pressuposto e viabilizar o uso de procedimentos estatísticos paramétricos(7)Hoekstra R, Kiers HAL, Johnson A. Are assumptions of well-nown statistical techniques checked, and why (not)? Front Psychol. 2012;3:137.. Porém, esta simples estratégia, embora muito útil, foi pouco explorada nos estudos analisados.

O presente estudo também apontou que, considerando as titulações dos autores (primeiro e último) e também a região de cada um deles, não houve diferença nas proporções de utilização de pressupostos. Isso mostra que este é um "problema" geral da área da Educação Física (seja na graduação, seja nos programas de pós-graduação), já que independe da região dos autores e de sua titulação. Sendo assim, faz-se necessário um maior conhecimento dos pesquisadores da área de Educação Física, tanto autores como revisores, para o uso da análise estatística analítica, bem como, para sua correta utilização.

Por fim, buscou-se comparar a proporção dos pressupostos utilizados, estratificados por revista. Os resultados apontam que apenas a Revista Brasileira de Cineantropometria e Desempenho Humano e a Revista Brasileira de Educação Física e Esporte apresentaram maior proporção de artigos que relataram testar os pressupostos, quando comparados aos que não relataram. Os demais periódicos mantiveram suas proporções semelhantes. Vale ressaltar que cada revista apresenta uma equipe de revisores, os quais podem ser mais rigorosos em relação ao tratamento estatístico dos artigos submetidos, o que pode explicar tais resultados. Apesar disso, foi observado uma alta prevalência de trabalhos que não respeitaram os pressupostos básicos em todas as revistas analisadas, variando de 38,3% a 50,0%. Esse fato pode indicar um despreparo e/ou descaso para o cumprimento dos pressupostos tanto por parte dos autores quanto dos revisores.

Limitações do estudo

Alguns aspectos metodológicos do presente estudo devem ser levados em consideração para a interpretação dos resultados. Os autores assumiram que, a partir do momento em que a análise estatística não estava descrita no decorrer do artigo, ou não foi mencionado a realização dos testes de normalidade, homogeneidade e esfericidade, os mesmos foram considerados como "ausentes". Porém, especula-se que em alguns estudos, o teste estatístico e/ou os testes de normalidade, homogeneidade e esfericidade foram realizados, porém não foram descritos. Outra limitação do estudo diz respeito ao fato de que testes de origem não paramétrica seriam uma das soluções viáveis a violação dos pressupostos, porém, mesmos estes possuem seus pressupostos (por exemplo, igualdade das variâncias no teste de Kruskal-Wallis)(7)Hoekstra R, Kiers HAL, Johnson A. Are assumptions of well-nown statistical techniques checked, and why (not)? Front Psychol. 2012;3:137., os quais não foram checados neste estudo e, assim, assume-se tal limitação. Outro ponto a ser considerado foi que, como em algumas áreas existe um espaço de inter-relação, alguns trabalhos podem ter sido definidos em uma área similar, como por exemplo trabalhos voltados ao aprendizado da capoeira: este estudo compõe tanto a área de lazer bem como a área pedagógica.

O presente estudo aponta um cenário preocupante no que tange à utilização da estatística na área de Educação Física, pois além do alto índice de trabalhos que não relataram a verificação dos pressupostos básicos para utilização da estatística, essa situação parece ser comum independente da titulação dos autores, região de filiação ou revista de publicação.

Espera-se que estas considerações ajudem na discussão sobre a relevância no uso correto da estatística em pesquisas da área da Educação Física, contribuindo para que a publicação na área cresça não só em termos quantitativos, mas também em termos qualitativos.

  • 1
    Kokubun E. Pós-graduação em educação física no Brasil: indicadores objetivos dos desafios e das perspectivas. Rev Bras Ciênc Esporte. 2003;24:9-26.
  • 2
    Albuquerque UP. A qualidade das publicações científicas: considerações de um editor de área ao final do mandato. Acta Bot Bras. 2009; 23:292-6.
  • 3
    Ignácio SA. Importância da estatística para o processo de conhecimento e tomada de decisão: Curitiba: IPARDES; 2010. (Nota técnica IPARDES, 6). Disponível em: http://www.ipardes.gov.br/biblioteca/docs/NT_06_importancia_estatistica_tomada_decisao.pdf
    » http://www.ipardes.gov.br/biblioteca/docs/NT_06_importancia_estatistica_tomada_decisao.pdf
  • 4
    Orso IRB, et al. Critical analysis of the use of statistical tests in Brazilian publications related to digestive tract surgery. Rev Assoc Med Bras. 2011; 7:35-41.
  • 5
    Fild A. Descobrindo a estatística usando o SPSS. 2a ed. São Paulo: Artmed; 2009.
  • 6
    Coutinho ESF, Cunha GM. Conceitos básicos de epidemiologia e estatística para a leitura de ensaios clínicos controlados. Rev Bras Psiquiatr. 2005;27:146-51.
  • 7
    Hoekstra R, Kiers HAL, Johnson A. Are assumptions of well-nown statistical techniques checked, and why (not)? Front Psychol. 2012;3:137.
  • 8
    Boneau CA. The effects of violations of assumptions underlying the t test. Psychol Bulletin. 1960;57:49-64.
  • 9
    Nimon KF. Statistical assumptions of substantive analyses across the general linear model: a mini-review. Front Psychol. 2012;28:322.
  • 10
    Nieuwenhuis S, Forstmann BU, Wagenmakers E. Erroneous analyses of interactions in neuroscience: a problem of significance. Nat Neurosci. 2011;14:1105-7.
  • 11
    Keselman HJ, Huberty CJ, Lix LM. Statistical practices of educational researchers: an analysis of their Anova, Manova, and Ancova analyses. Rev Educ Res. 1998;68:350-86.
  • 12
    Osborne JW. Sweating the small stuff in educational psychology: how effect size and power reporting failed to change from 1969 to 1999, and what that means for the future of changing practices. Educ Psychol. 2008;28:151-60.
  • 13
    Welch GE, Gabbe SG. Statistics usage in the American Journal of Obstetrics and Gynecology: has anything changed? Am J Obstet Gynecol. 2002;186:584-6.
  • 14
    An Tl, Cuoghi AO. A utilização da estatística na ortodontia. R Dental Press Ortodon Ortop Facial. 2004;9:97-108.
  • 15
    Hallal PC, Dumith SC, Bastos JP, Reichert FF, Siqueira FU, Azevedo MR. Evolução da pesquisa epidemiológica em atividade física no Brasil: revisão sistemática. Rev Saúde Pública. 2007;41:453-60.
  • 16
    Marcellino NC. Lazer e educação. 4a ed. Campinas: Papirus; 1998.
  • 17
    van Belle G, Fisher LH, Heagerty PJ, et al. Biostatistics: a methodology for the health sciences. 2nd ed. Hoboken: John Wiley; 2004.
  • 18
    Vieira S. Estatística básica. São Paulo: Cengage Learning; 2012.
  • 19
    Massad M, Menezes RX, Silveira OBS, Ortega NR. Métodos quantitativos em medicina. São Paulo: Manole; 2004.
  • 20
    Vieira S. Introdução à bioestatística. 4a ed. Rio de Janeiro: Campus; 2008.
  • 21
    Vieira S. Análise de variância: Anova. São Paulo: Atlas; 2006.

Datas de Publicação

  • Publicação nesta coleção
    Jan-Mar 2015

Histórico

  • Recebido
    10 Dez 2013
  • Revisado
    09 Jul 2014
  • Aceito
    25 Out 2014
Escola de Educação Física e Esporte da Universidade de São Paulo Av. Prof. Mello Moraes, 65, 05508-030 São Paulo SP/Brasil, Tel./Fax: (55 11) 3091 3147 - São Paulo - SP - Brazil
E-mail: reveefe@usp.br