Acessibilidade / Reportar erro

EFEITO DO TREINAMENTO NA CAPACIDADE DE SPRINTS REPETIDOS EM ATLETAS DE BASQUETE: ESTATÍSTICA INDIVIDUAL OU DA EQUIPE?

EFFECT OF TRAINING ON THE REPEATED SPRINTS ABILITY IN BASKETBALL ATHLETES: INDIVIDUAL OR TEAM STATISTICS?

RESUMO

O objetivo do presente estudo foi investigar o efeito crônico do treinamento de força e técnico-tático na capacidade de sprints repetidos (CSR) em atletas de basquete e posteriormente, comparar as estatísticas individuais com as da equipe. A amostra investigada foi constituída de 8 atletas de basquete adultas de nível estadual (21,5 ± 2,0 anos; 170 ± 4,2 cm; 68,0 ± 8,3 kg). O estudo foi conduzido no início e final de uma pré-temporada de 4 semanas (28 sessões de treinamento). Foi avaliada a CSR pelo RAST teste calculando-se o melhor tempo de sprint (CSRmelhor) e tempo médio dos sprints (CSRmédia). Não foram encontradas diferenças entre pré e pós treinamento na CSRmelhor (p = 0.146; d = -0.78, 90% CI [0.90]) e CSRmédia (p = 0.220; d = -0.58, 90% CI [0.81]). 2 atletas apresentaram piora em CSRmelhor, 2 melhoria moderada, 1 grande e 3 sujeitos muito grande. Na CSRmédia 2 apresentaram piora, 1 melhoria moderada, 4 melhoria grande e 1 melhoria muito grande. Conclui-se que a média da equipe feminina de basquete analisada não apresentou melhoria significativa na CSR, porém, quando as atletas foram analisadas individualmente, 75% das mesmas foram responsivas a intervenção proposta.

Palavras-chave:
Educação física e treinamento; Capacidade de sprints repetidos; Basquete

ABSTRACT

The aim of the present study was verify the chronic training effect on the repeated sprints ability (RSA) in basketball athlete and later, compare the individual’s statistics with those of the team. The sample investigated was constituted of 8 state-level adult basketball athletes (21,5 ± 2,0 years; 1,70 ± 0,42 m; 68,0 ± 8,3 kg). The research was conducted in begin and end of 4 weeks of preseason (28 training sessions). Was assessed RSA by RAST test calculation best performance of sprint (RSAbest) and the mean performance of the sprints (RSAmean). No difference were found between before and after training in RSAbest (p= 0.146; d= -0.78, 90% CI [0.90]) and RSAmean (p= 0.220; d= -0.58, 90%IC [0.81]). 2 athletes showed to got worse in RSAbest, 2 moderate improvement, 1 large and 3 subjects very large improvement. On the RSAmean 2 showed to got worse, 1 moderate improvement, 4 large improvement and 1 very large improvement. It is concluded that average female basketball team analyzed no significant showed to improvement in RSA, however, when the athletes were analyzed individually, 75% them were responsive to the proposed intervention.

Keywords:
Physical education and training; Repeated sprint ability; Basketball

Introdução

A análise estatística é provavelmente um dos aspectos mais importantes da ciência do esporte quando se trata de usar dados para tomada de decisões11. Buchheit M. The Numbers Will Love You Back in Return - I Promise. Int J Sport Physiol Perform 2016;11(4):551-554. Doi:10.1123/IJSPP.2016-0214.
https://doi.org/10.1123/IJSPP.2016-0214...
),(22. Borresen J, Lambert MI. The quantification of training load, the training response and the effect on performance. Sports Med 2009;39(9):779-795. Doi:10.2165/11317780-000000000-00000.
https://doi.org/10.2165/11317780-0000000...
. Infelizmente, o conhecimento estatístico da maioria dos profissionais na prática é muitas vezes insuficiente para maximizar o uso de seus dados e, por sua vez, impactar significativamente nos programas de treinamento11. Buchheit M. The Numbers Will Love You Back in Return - I Promise. Int J Sport Physiol Perform 2016;11(4):551-554. Doi:10.1123/IJSPP.2016-0214.
https://doi.org/10.1123/IJSPP.2016-0214...
. Um importante fator limitante no estabelecimento de uma relação quantificável entre treinamento e adaptações é que a variabilidade na forma como as atletas reagem ao treinamento não está sendo considerada22. Borresen J, Lambert MI. The quantification of training load, the training response and the effect on performance. Sports Med 2009;39(9):779-795. Doi:10.2165/11317780-000000000-00000.
https://doi.org/10.2165/11317780-0000000...
. Neste caso, a questão das respostas individuais aos tratamentos é, portanto, uma das mais importantes situações em pesquisas experimentais11. Buchheit M. The Numbers Will Love You Back in Return - I Promise. Int J Sport Physiol Perform 2016;11(4):551-554. Doi:10.1123/IJSPP.2016-0214.
https://doi.org/10.1123/IJSPP.2016-0214...
),(22. Borresen J, Lambert MI. The quantification of training load, the training response and the effect on performance. Sports Med 2009;39(9):779-795. Doi:10.2165/11317780-000000000-00000.
https://doi.org/10.2165/11317780-0000000...
),(33. Hopkins WG. Individual responses made easy. J Appl Physiol 2015;118(12):1444-1446. doi:10.1152/japplphysiol.00098.2015.
https://doi.org/10.1152/japplphysiol.000...
. Entretanto, Hopkins33. Hopkins WG. Individual responses made easy. J Appl Physiol 2015;118(12):1444-1446. doi:10.1152/japplphysiol.00098.2015.
https://doi.org/10.1152/japplphysiol.000...
entende que poucos pesquisadores reconhecem o problema em seus estudos publicados e as tentativas de quantificar as respostas individuais são raras e geralmente deficientes. É necessário reconhecer que as contribuições documentadas ao nível de um grupo podem não se aplicar completamente a cada membro de uma equipe, mesmo quando todos os sujeitos do grupo de treinamento estão expostos à tratamentos/intervenções equalizadas11. Buchheit M. The Numbers Will Love You Back in Return - I Promise. Int J Sport Physiol Perform 2016;11(4):551-554. Doi:10.1123/IJSPP.2016-0214.
https://doi.org/10.1123/IJSPP.2016-0214...
.

Mann, Lamberts e Lambert44. Mann TN, Lamberts RP, Lambert MI. High responders and low responders: factors associated with individual variation in response to standardized training. Sports Med 2014;44(8):1113-1124. Doi:10.1007/s40279-014-0197-3.
https://doi.org/10.1007/s40279-014-0197-...
destacam que a resposta a uma intervenção de exercício é muitas vezes descrita em termos gerais, com o pressuposto de que a média do grupo representa uma resposta típica para a maioria dos atletas. Entretanto, na realidade é mais comum que os atletas demonstrem uma ampla gama de respostas a uma intervenção e não a uma resposta similar33. Hopkins WG. Individual responses made easy. J Appl Physiol 2015;118(12):1444-1446. doi:10.1152/japplphysiol.00098.2015.
https://doi.org/10.1152/japplphysiol.000...
. Já há evidências substanciais sustentando a teoria dos sujeitos responsivos vs não responsivos44. Mann TN, Lamberts RP, Lambert MI. High responders and low responders: factors associated with individual variation in response to standardized training. Sports Med 2014;44(8):1113-1124. Doi:10.1007/s40279-014-0197-3.
https://doi.org/10.1007/s40279-014-0197-...
para cargas de treinamento similares dependendo de múltiplos fatores subjacentes como o genótipo, hereditariedade, fenótipo anterior ao treinamento (linha de base - baseline), variação da homeostase/alostase induzida pelo estresse de cada sessão de treinamento, estado de recuperação e "prontidão para treinar/ competir"44. Mann TN, Lamberts RP, Lambert MI. High responders and low responders: factors associated with individual variation in response to standardized training. Sports Med 2014;44(8):1113-1124. Doi:10.1007/s40279-014-0197-3.
https://doi.org/10.1007/s40279-014-0197-...
. Esta temática abre discussão interessante sobre interesses/expectativas das comissões técnicas e cientistas do esporte quanto a utilização de dados estatísticos informativos do treinamento11. Buchheit M. The Numbers Will Love You Back in Return - I Promise. Int J Sport Physiol Perform 2016;11(4):551-554. Doi:10.1123/IJSPP.2016-0214.
https://doi.org/10.1123/IJSPP.2016-0214...
. Por exemplo, Buchheit55. Buchheit M. Want to see my report, coach? Aspertar Sport Med J 2017;6(Fevereiro):36-43. destaca que na prática, treinadores de esportes coletivos estão interessados na melhoria do desempenho geral da equipe, porém, buscam também potencializar adaptações individuais dos atletas, sobretudo aqueles que não apresentam respostas positivas ao treinamento.

É justamente neste ponto que surgem limitações para aplicação prática de estatísticas convencionais baseadas na média amostral de grupos (ex., valor de p estatisticamente significativo ou não significativo por meio de testes de hipótese nula). A literatura já discute que esta abordagem origina frequentemente interpretações equivocadas de dados em pesquisas no esporte66. Hopkins WG, Marshall SW, Batterham AM, Hanin J. Progressive statistics for studies in sports medicine and exercise science. Med Sci Sports Exerc 2009;41(1):3-13. Doi:10.1249/MSS.0b013e31818cb278.
https://doi.org/10.1249/MSS.0b013e31818c...
),(77. Hopkins WG, Batterham AM. Error Rates, Decisive Outcomes and Publication Bias with Several Inferential Methods. Sports Med 2016;46(10):1563-1573. Doi:10.1007/s40279-016-0517-x.
https://doi.org/10.1007/s40279-016-0517-...
),(88. Weissgerber TL, Milic NM, Winhan SJ, Garovic VD. Beyond bar and line graphs: time for a new data presentation paradigm. PLoS Biology 2015; 13(4):e1002128. Doi: 10.1371/journal.pbio.1002128
https://doi.org/10.1371/journal.pbio.100...
. Para Buchheit11. Buchheit M. The Numbers Will Love You Back in Return - I Promise. Int J Sport Physiol Perform 2016;11(4):551-554. Doi:10.1123/IJSPP.2016-0214.
https://doi.org/10.1123/IJSPP.2016-0214...
as estatísticas convencionais permitem a análise de respostas baseadas na população, porém, são impraticáveis para monitorar as mudanças de desempenho em indivíduos. Uma alternativa para este contexto seria avaliar as mudanças individuais através do escore de diferença padrão e as inferências baseadas em magnitude do efeito (MBI) com a diferença mínima detectável (do termo inglês smallest worthwhile change [SWC])66. Hopkins WG, Marshall SW, Batterham AM, Hanin J. Progressive statistics for studies in sports medicine and exercise science. Med Sci Sports Exerc 2009;41(1):3-13. Doi:10.1249/MSS.0b013e31818cb278.
https://doi.org/10.1249/MSS.0b013e31818c...
. Os efeitos / mudanças de efeito como múltiplos do SWC são relevantes para as modificações em todas as variáveis e podem facilitar a análise individual dos dados11. Buchheit M. The Numbers Will Love You Back in Return - I Promise. Int J Sport Physiol Perform 2016;11(4):551-554. Doi:10.1123/IJSPP.2016-0214.
https://doi.org/10.1123/IJSPP.2016-0214...
. Isto é importante por pelo menos duas razões: nos manuscritos, as mudanças em todas as variáveis podem ser facilmente agregadas em uma única figura com uma única área trivial sombreada e para treinadores e atletas, a mensagem não pode ser mais simples do que "o efeito é x vezes maior que o que geralmente interessa a vocês"55. Buchheit M. Want to see my report, coach? Aspertar Sport Med J 2017;6(Fevereiro):36-43..

Neste caso, embora as porcentagens sejam comumente usadas para relatar mudanças/diferenças tanto na pesquisa como na prática esportiva, não há limiares claros para interpretar suas magnitudes e muitas vezes relacionam a comparação de variáveis que apresentam diferente unidades de medida (ex., em relação ao desempenho de atletas, enquanto aumento de 3% na velocidade pode ser considerada substancial, a mesma melhoria percentual no consumo máximo de oxigênio pode ser relativamente insignificante)66. Hopkins WG, Marshall SW, Batterham AM, Hanin J. Progressive statistics for studies in sports medicine and exercise science. Med Sci Sports Exerc 2009;41(1):3-13. Doi:10.1249/MSS.0b013e31818cb278.
https://doi.org/10.1249/MSS.0b013e31818c...
. Especificando a escolha de uma variável importante para discutir desempenho em esportes coletivos (capacidade de sprints repetidos - CSR)99. Girard O, Mendez-Villanueva A, Bishop D. Repeated-sprint ability - part 1: factors contributing to fatigue. Sport Med 2011;41(8):673-694. Doi:10.2165/11590550-000000000-00000.
https://doi.org/10.2165/11590550-0000000...
),(1010. Buchheit M. Repeated-sprint performance in team sport players: associations with measures of aerobic fitness, metabolic control and locomotor function. Int J Sports Med 2012;33(3):230-239. Doi:10.1055/s-0031-1291364.
https://doi.org/10.1055/s-0031-1291364...
),(1111. Spencer M, Bishop D, Dawson B, Goodman C. Physiological and metabolic responses of repeated-sprint activities: specific to field-based team sports. Sports Med 2005;35(12):1025-1044. Doi:10.2165/00007256-200535120-00003.
https://doi.org/10.2165/00007256-2005351...
),(1212. Bishop D, Girard O, Mendez-Villanueva A. Repeated-sprint ability part II: Recommendations for training. Sport Med 2011;41(9):741-756. Doi:10.2165/11590560-000000000-00000.
https://doi.org/10.2165/11590560-0000000...
),(1313. Lininger M, Riemann BL. Statistical Primer for Athletic Trainers: Using Confidence Intervals and Effect Sizes to Evaluate Clinical Meaningfulness. J Athl Train 2016; 12(51):1045-1048. Doi:10.4085/1062-6050-51.12.14.
https://doi.org/10.4085/1062-6050-51.12....
),(1414. Zagatto AM, Beck WR, Gobatto CA. Validity of the running anaerobic sprint test for assessing anaerobic power and predicting short-distance performances. J Strength Cond Res 2009;23(6):1820-1827. Doi:10.1519/JSC.0b013e3181b3df32.
https://doi.org/10.1519/JSC.0b013e3181b3...
o objetivo deste estudo foi investigar o efeito do treinamento de uma pré temporada na CSR em atletas de basquete feminino comparando as respostas individuais com as da equipe/grupo. A hipótese neste caso é que não exista relação direta das respostas individuais das atletas com o comportamento médio demonstrado pela equipe na CSR. Em adição, o objetivo secundário do estudo foi comparar os resultados de estatísticas convencionais baseadas na média amostral do grupo com as mudanças de efeito como múltiplos do SWC, proposta embasada por Hopkins1515. Glaister M, Howatson G, Lockey RA, Abraham CS, Goodwin JE, McInnes G. Familiarization and reliability of multiple sprint running performance indices. J Strength Cond Res 2007;21(3):857-859. Doi:10.1519/R-20336.1.
https://doi.org/10.1519/R-20336.1...
e Buchheit55. Buchheit M. Want to see my report, coach? Aspertar Sport Med J 2017;6(Fevereiro):36-43.. Neste ponto hipotetizamos que o teste com valor de p poderá ser influenciado pelo tamanho amostral ou sujeitos que apresentem comportamentos distintos (outlier) da média do grupo.

Métodos

Desenho Experimental

Foi utilizado um desenho de estudo longitudinal observacional com atletas de basquete de nível estadual do sexo feminino. As voluntárias foram selecionadas de uma equipe da categoria adulta que disputava o campeonato estadual da categoria. O estudo foi conduzido durante 4 semanas de treinamento com avaliações no início e final desta pré-temporada da equipe. Cada participante visitou o laboratório em 2 dias (1 sessão de familiarização 1 sessão de teste com teste CSR) separados por um período de 24 horas. Na sessão preliminar foi realizada a explicação e recomendações do protocolo experimental e os sujeitos realizaram medidas de antropometria e composição corporal. As voluntárias já possuíam familiarização com o teste de CSR já que realizaram por pelo menos 3 momentos distintos (<6 meses) antes do início do presente estudo. A sessão de teste consistia na avaliação da CSR pelo running anaerobic sprint test (RAST). As voluntárias realizaram 28 sessões de treinamento. Os testes foram realizados pré e pós a intervenção proposta com intervalo de 72 horas para a primeira ou última sessão de treinamento. Importante ressaltar, que todas as avaliações (pré e pós) e procedimentos foram realizados pelos mesmos pesquisadores envolvidos no presente estudo.

Amostra

O estudo foi iniciado com 11 voluntárias, porém, 3 atletas não realizaram 95% das sessões do período estudado, sendo excluídas da análise. Assim, participaram do estudo oito atletas de basquete (21,5 ± 2,0 anos; 170 ± 4,2 cm; 68,0 ± 8,3 kg). Todas possuíam mais de cinco anos de experiência em treinamento na modalidade e participavam do campeonato estadual da categoria adulta na 1ª divisão do estado de São Paulo. Os critérios de inclusão na amostra foram estar na equipe há no mínimo seis meses com frequência de quatro sessões semanais de treinamento e ausência de lesões osteomioarticulares por pelo menos 3 meses, além de não fazerem utilização de recursos ergogênicos durante o experimento. Todas as voluntárias foram informadas sobre todos os procedimentos do presente estudo e assinaram termo de consentimento livre e esclarecido. Este estudo foi aprovado pelo Comitê de Ética em Pesquisa da Universidade (protocolo n° 639.111).

Teste de capacidade de sprints repetidos (CSR)

O teste de CSR RAST foi realizado na quadra no local onde as atletas estavam habituadas a realizarem seus treinamentos. O RAST consistiu em 6 sprints de 35 metros com 10 segundos de recuperação passiva1616. Foster C, Rodriguez-Marroyo JA, de Koning JJ. Monitoring Training Loads: The Past, the Present, and the Future. Int J Sports Physiol Perform 2017;10(1):1-24. Doi:10.1123/ijspp.2016-0388.
https://doi.org/10.1123/ijspp.2016-0388...
. As voluntárias foram instruídas a executar todos os sprints na máxima velocidade possível e foi evitada, devido a padronização do protocolo, estratégias de estimulação durante o teste. Um sistema eletrônico de fotocélula foi usado para registrar o tempo dos sprints (Speed Test 6.0 CEFISE®, Nova Odessa, SP, Brasil). O melhor tempo de sprint (CSRmelhor) e o tempo médio dos sprints (CSRmédia) foram analisados. Glaister et al.1515. Glaister M, Howatson G, Lockey RA, Abraham CS, Goodwin JE, McInnes G. Familiarization and reliability of multiple sprint running performance indices. J Strength Cond Res 2007;21(3):857-859. Doi:10.1519/R-20336.1.
https://doi.org/10.1519/R-20336.1...
mostraram que a variável CSRmelhor apresenta coeficientes de correlação intra-classe (CCI) = 0,79-0,91 e CSRmédia CCI = 0,88-0,94 sugerindo boa reprodutibilidade destas variáveis de CSR para esportes coletivos.

Distribuição das sessões de treinamento

Os sujeitos participaram de 3 sessões de treinamento de força por semana no período vespertino (terças, quintas e sextas) e 4 sessões semanais de treinamentos técnicos e táticos (segunda a quinta) com toda a equipe (período matutino) durante 4 semanas consecutivas na pré-temporada para o campeonato paulista de basquete na categoria adulto. As 12 sessões de treinamento de força foram divididas em 4 sessões de resistência de força (RF), 4 de força máxima (FM) e 4 de potência (PO). Na tabela 1 pode ser visualizada a distribuição das sessões de treinamento durante o período de 4 semanas analisado.

Tabela 1
Distribuição das sessões de treinamento das jogadoras de basquete durante o período de 4 semanas analisado

O treinamento de RF consistiu em 3 séries de 15 repetições máximas (RM) com intervalos de 60 segundos entre séries e 2 minutos entre exercícios (mesa extensora, mesa flexora, adução de quadril, abdução de quadril, agachamento livre, panturrilha sentada, remada fechada, pulley anterior aberto, supino reto na máquina, desenvolvimento, rosca na máquina, extensão de cotovelo e abdominal). O treinamento de FM foi realizado com 3 séries de 4RM com 4 minutos de intervalo entre séries e exercícios (supino reto, pulley anterior fechado, agachamento livre e leg press 45º). O treinamento de PO consistiu em 5 séries de 6 repetições com 2 a 5 minutos de pausa. A intensidade foi 50% de uma ação voluntária máxima nos exercícios pulley anterior fechado, supino reto e agachamento livre. Também foram realizados 5 séries de 6 saltos múltiplos sobre obstáculos de 40 a 60 cm mais 6 lançamentos de medicine ball de 2kg (lançamento de peito) com pausas de 2 a 5 minutos. Nos exercícios de potência os sujeitos foram orientados a realizarem em ambas as fases (concêntrica e excêntrica) na maior velocidade possível. No treino de força máxima e resistência de força a velocidade de execução foi controlada nas duas fases (cadência de 2 segundos na excêntrica e 2 na concêntrica).

As 16 sessões de treinamento técnicos e táticos consistiram em jogos reduzidos na quadra (situações de 2x2, 2x3 e 3x3 - 2 sessões), repetições de gestos técnicos específicos ao basquete de forma analítica e em situações de jogo (variações de passe, drible, finta, arremesso, bloqueio, corta-luz, interceptação), além de simulações coletivas de táticas ofensivas e defensivas da equipe bem como jogos condicionados 5x5 na quadra inteira. Todas as sessões de treinamento técnicos e táticos começaram com exercícios de aquecimento padronizados por aproximadamente 10 minutos (exercícios de corrida contínua [5 a 6 minutos] e alongamentos dinâmicos e estáticos [4 a 5 minutos]). O volume dos treinamentos técnicos e táticos foi de 90 a 120 minutos.

Análise estatística

A normalidade e homogeneidade das variâncias foram verificados pelo teste Shapiro-Wilk e Levene, respectivamente. Transformou-se os dados em logaritmo natural (ln) para aumentar a aproximação com a distribuição Gaussiana. Posteriormente, assumida a normalidade dos dados, utilizou-se estatística descritiva por meio da média e desvio padrão (DP), além do intervalo de confiança (IC) a 90%. Para a comparação entre as médias pré e pós treinamento das variáveis CSRmelhor, CSRmédia empregou-se teste t pareado para grupos dependentes. O nível de significância adotado foi p≤0.05. Além disto, o significado prático (clínico) foi avaliado pelo cálculo do tamanho do efeito de Cohen (d). Os valores de d <0,2, 0,2-0,6, 0,6-1,2, 1,2-2,0, 2,0-4,0 e >4,0 foram considerados triviais, pequenos, moderados, grandes, muito grandes e quase perfeito, respectivamente6. O SWC foi baseado no menor efeito de diferença entre variáveis do d de Cohen (0.2 × desvio padrão entre sujeitos do momento pré). De acordo com Buchheit11. Buchheit M. The Numbers Will Love You Back in Return - I Promise. Int J Sport Physiol Perform 2016;11(4):551-554. Doi:10.1123/IJSPP.2016-0214.
https://doi.org/10.1123/IJSPP.2016-0214...
os limiares para alterações padronizadas do valor de d (<0,2, 0,2, 0,6, 1,2, 2 e 4) significam que qualquer mudança de <1x, 1x, 3x, 6x, 10x e 20x do SWC pode ser considerado trivial, pequeno, moderado, grande e muito grande. Este princípio foi utilizado para calcular a comparação individual entre os sujeitos do momento pré e pós-treinamento. Neste caso, para a análise individual as voluntárias que apresentaram efeito “positivo” maior que o trivial/pequeno (d > 0,6 ou SWC > 3) nas variáveis da CSR foram consideradas “responsivas” a intervenção de treinamento proposta. As análises foram realizadas no software SPSS versão 20.0 (Somers, NY, USA) e em planilha específica modificada do Microsoft Excel66. Hopkins WG, Marshall SW, Batterham AM, Hanin J. Progressive statistics for studies in sports medicine and exercise science. Med Sci Sports Exerc 2009;41(1):3-13. Doi:10.1249/MSS.0b013e31818cb278.
https://doi.org/10.1249/MSS.0b013e31818c...
) (sportsci.org/2007/wghinf.htm). Os gráficos da análise individual foram formatados no software GraphPad Prism versão 6.0 (La Jolla, CA, USA) seguindo os pressupostos para dados contínuos88. Weissgerber TL, Milic NM, Winhan SJ, Garovic VD. Beyond bar and line graphs: time for a new data presentation paradigm. PLoS Biology 2015; 13(4):e1002128. Doi: 10.1371/journal.pbio.1002128
https://doi.org/10.1371/journal.pbio.100...
. Foi priorizado a apresentação individual dos valores dos sujeitos e utilização de mediana com desvio interquartílico (diferença entre o 3º e 1º quartil) para medida de centralidade e dispersão, respectivamente88. Weissgerber TL, Milic NM, Winhan SJ, Garovic VD. Beyond bar and line graphs: time for a new data presentation paradigm. PLoS Biology 2015; 13(4):e1002128. Doi: 10.1371/journal.pbio.1002128
https://doi.org/10.1371/journal.pbio.100...
.

Resultados

Considerando a estatística convencional com valor de p para a média amostral não foram encontradas diferenças entre pré e pós treinamento para CSRmelhor (p = 0,146; d = -0,78, IC90% = -1,70 a 0,12) e CSRmédia (p = 0,220; d = -0,58, IC90% = -1,40 a 0,23).

Tabela 1
Resultados da capacidade de sprints repetidos pré e pós 4 semanas de treinamento nas atletas de basquete analisadas

Quando os valores absolutos individuais foram analisados (figura 1), pode-se perceber que os sujeitos 7 e 8 para CSRmelhor e CSRmédia apresentaram aumento do tempo no momento pós treinamento, comportamento distinto dos demais membros da equipe (1 a 6). Interessantemente, ambos os sujeitos 7 e 8 eram as atletas que apresentavam melhor desempenho absoluto em ambas as variáveis no momento pré treinamento.

Figura 1
Gráfico Scatterplot com o comportamento dos valores absolutos individuais dos sujeitos nas variáveis CSRmelhor e CSRmédia nos momentos pré e pós treinamento. * Sujeitos que não apresentaram efeito positivo para as variáveis CSRmelhor e CSRmédia. 1-8 = número dos sujeitos

Na análise individual dos sujeitos para os momentos pré e pós treinamento verificou-se que 2 atletas apresentaram piora em CSRmelhor, 2 melhoria moderada, 1 grande e 3 sujeitos muito grande (Figura 2). Para CSRmédia 2 apresentaram piora, 1 melhoria moderada, 4 melhoria grande e 1 melhoria muito grande. Assim, 75% da amostra foi responsiva (n=6, SWC >3) e 25% não responsiva ao treinamento proposto (n=2, SWC<1).

Figura 2
Gráfico Scatterplot com os valores individuais dos sujeitos na CSRmelhor e CSRmédia entre os momentos pré e pós treinamento Nota: A linha contínua preta em negrito representa a mediana da comparação pré vs pós com o desvio interquartílico das variáveis. As alterações individuais dos sujeitos entre momentos foram apresentadas como múltiplo do SWC. Os limites de mudanças 1×, 3×, 6×, e 10× SWC foram considerados pequeno, moderado, grande e muito grande (ver métodos). Efeito maior que 3xSWC o sujeito foi considerado responsivo. A área cinza representa a zona trivial. 1-8 = número dos sujeitos

Para efeito de discussão, também foi proposta a retirada do sujeito 7 (outlier; efeito negativo muito grande) na análise da estatística convencional baseada na média amostral de grupos (valor de p; teste de hipótese nula). Neste caso, os resultados encontrados foram diferentes, já que o grupo de atletas melhorou para as 2 variáveis analisadas: CSRmelhor (pré = 3,51 ± 0,11; pós = 3,37 ± 0,07; p = 0,011; d = -1,24) e CSRmédia (pré = 3,66 ± 0,11; pós = 3,54 ± 0,07; p = 0,004; d = -1,07).

Discussão

O principal achado do presente estudo sugere que a média da equipe analisada durante 4 semanas da pré-temporada não apresentou melhoria significativa na CSRmelhor (p=0,146) e CSRmédia (p=0,220). Porém, quando as 8 atletas foram analisadas de maneira individualizada, 6 (75%) apresentaram melhoria na CSRmelhor e CSRmédia. Além disto, o tamanho do efeito entre as atletas responsivas e não responsivas ao treinamento foram diferentes (moderado, grande e muito grande), denotando a variabilidade de respostas crônicas promovidas pela mesma carga de treinamento no período analisado (Figura 2). Interessantemente, as atletas não responsivas eram as que apresentavam valores absolutos com maior desempenho para CSR no momento pré treinamento (Figura 1). Em adição, quando retirou-se a atleta outlier (7) da análise do grupo com estatística convencional (valor de p) os resultados foram modificados para melhoria do desempenho da equipe nas variáveis analisadas (p = 0,011 e p=0,004 para CSRmelhor e CSRmédia, respectivamente).

É comum que os indivíduos demonstrem diferentes magnitudes de respostas adaptativas frente a uma mesma intervenção de treinamento22. Borresen J, Lambert MI. The quantification of training load, the training response and the effect on performance. Sports Med 2009;39(9):779-795. Doi:10.2165/11317780-000000000-00000.
https://doi.org/10.2165/11317780-0000000...
. Uma mesma carga de treinamento pode promover diferentes ajustes fisiológicos mesmo em indivíduos com condicionamentos físicos semelhantes44. Mann TN, Lamberts RP, Lambert MI. High responders and low responders: factors associated with individual variation in response to standardized training. Sports Med 2014;44(8):1113-1124. Doi:10.1007/s40279-014-0197-3.
https://doi.org/10.1007/s40279-014-0197-...
. Isto ocorre pelas distintas respostas psicobiológicas vivenciadas pelos atletas frente a uma mesma carga de treinamento1616. Foster C, Rodriguez-Marroyo JA, de Koning JJ. Monitoring Training Loads: The Past, the Present, and the Future. Int J Sports Physiol Perform 2017;10(1):1-24. Doi:10.1123/ijspp.2016-0388.
https://doi.org/10.1123/ijspp.2016-0388...
),(1717. Smirmaul BPC, Dantas JL, Nakamura FY, Pereira G. The psychobiological model : a new explanation to intensity regulation and ( in ) tolerance in endurance exercise. Rev Bras Educ Fís Esporte 2013;27(2):333-340. Doi: 10.1590/S1807-55092013005000008
https://doi.org/10.1590/S1807-5509201300...
. De acordo com Mann et al.44. Mann TN, Lamberts RP, Lambert MI. High responders and low responders: factors associated with individual variation in response to standardized training. Sports Med 2014;44(8):1113-1124. Doi:10.1007/s40279-014-0197-3.
https://doi.org/10.1007/s40279-014-0197-...
esse fenômeno é descrito como indivíduos responsivos ou não responsivos a uma mesma intervenção padronizada e pode fornecer informações úteis sobre os mecanismos adaptativos da prescrição dos métodos de treinamento. Por exemplo, Ahtiainen et al.1818. Ahtiainen JP, Walker S, Peltonen H, Holviala J, Sillanpää E, Karavirta L, et al. Heterogeneity in resistance training- induced muscle strength and mass responses in men and women of different ages. Age 2016;38(10):1-13. Doi:10.1007/s11357-015-9870-1.
https://doi.org/10.1007/s11357-015-9870-...
demonstraram em 287 sujeitos não treinados que a resposta adaptativa ao treinamento de força durante 20-24 semanas varia entre diminuição de -11% a aumento de 30% para área de secção transversa do músculo e -8 a 60% na força muscular. No caso do presente estudo, tratando de maneira individualizada, 25% das atletas não foram responsivas a intervenção de treinamento proposta.

Mesmo com 28 sessões de treinamento em 4 semanas as atletas 7 e 8 não apresentaram melhoria na CSRmédia e CSRmelhor, o que certamente implicou nos valores encontrados para a média da equipe. Neste caso, utilizando estatística convencional com teste de hipótese (valor de p) o efeito do grupo de 8 atletas para as variáveis CSRmédia e CSRmelhor não foi significativo (p=0,220 e p=0,146, respectivamente), permitindo inferir que o treinamento proposto neste estudo não promoveu efeito positivo para as variáveis estudadas. Esta conclusão parece equivocada quando analisada as respostas individuais das 8 atletas, sendo que 75% da amostra apresentou resposta positiva ao treinamento. Neste caso, abre-se a possibilidade de discussão do tratamento estatístico e desfecho individual comparado a média do grupo frente a intervenções de treinamento. Isto é amplamente discutido em pontos de vista e revisões recentes11. Buchheit M. The Numbers Will Love You Back in Return - I Promise. Int J Sport Physiol Perform 2016;11(4):551-554. Doi:10.1123/IJSPP.2016-0214.
https://doi.org/10.1123/IJSPP.2016-0214...
),(22. Borresen J, Lambert MI. The quantification of training load, the training response and the effect on performance. Sports Med 2009;39(9):779-795. Doi:10.2165/11317780-000000000-00000.
https://doi.org/10.2165/11317780-0000000...
),(33. Hopkins WG. Individual responses made easy. J Appl Physiol 2015;118(12):1444-1446. doi:10.1152/japplphysiol.00098.2015.
https://doi.org/10.1152/japplphysiol.000...
),(66. Hopkins WG, Marshall SW, Batterham AM, Hanin J. Progressive statistics for studies in sports medicine and exercise science. Med Sci Sports Exerc 2009;41(1):3-13. Doi:10.1249/MSS.0b013e31818cb278.
https://doi.org/10.1249/MSS.0b013e31818c...
),(88. Weissgerber TL, Milic NM, Winhan SJ, Garovic VD. Beyond bar and line graphs: time for a new data presentation paradigm. PLoS Biology 2015; 13(4):e1002128. Doi: 10.1371/journal.pbio.1002128
https://doi.org/10.1371/journal.pbio.100...
),(1919. Marcelino R, Pasquarelli BN, Sampaio J. Inferência Baseada em Magnitudes na investigação em Ciências do Esporte: a necessidade de romper com os testes de hipótese nula e os valores de p. Rev Bras Educ Fís Esporte 2018; in press.. Por exemplo, Marcelino, Pasquarelli e Sampaio1919. Marcelino R, Pasquarelli BN, Sampaio J. Inferência Baseada em Magnitudes na investigação em Ciências do Esporte: a necessidade de romper com os testes de hipótese nula e os valores de p. Rev Bras Educ Fís Esporte 2018; in press.) desencorajam o uso dos testes de significância baseados apenas no conceito de hipótese nula, propondo a utilização de métodos de inferências baseados em magnitudes por possibilitarem interpretações dos efeitos práticos/clínicos dos resultados obtidos, além da análise individual dos dados. O principal argumento é que os valores de significância de p (ex., presente estudo teste t - pré e pós intervenção) são dependentes do tamanho da amostra (quanto maior o n, menor o p), independentemente do tamanho do efeito88. Weissgerber TL, Milic NM, Winhan SJ, Garovic VD. Beyond bar and line graphs: time for a new data presentation paradigm. PLoS Biology 2015; 13(4):e1002128. Doi: 10.1371/journal.pbio.1002128
https://doi.org/10.1371/journal.pbio.100...
. A amostra do presente estudo é relativamente pequena (n=8, perda amostral de 3 atletas de 11 selecionadas) devido a validade ecológica da pesquisa e a quantidade de atletas presentes numa equipe de basquete feminina durante a temporada competitiva. Este cenário é muito comum em pesquisas longitudinais com esportes coletivos, sobretudo no basquete2020. Schelling X, Torres-Ronda L. Conditioning for Basketball. Strength Cond J 2013;35(6):89-94. Doi:10.1519/SSC.0000000000000018.
https://doi.org/10.1519/SSC.000000000000...
.

Por outro lado, a atleta 7 outlier (valor atípico) influenciou os valores de p encontrados neste estudo para CSRmédia e CSRmelhor, o que também poderia levar a uma falsa ideia, em caso de análise apenas do grupo, de que a intervenção proposta nas 4 semanas neste estudo não promoveu melhoria para estas variáveis (aumento do erro tipo 1 em teste de hipótese)1313. Lininger M, Riemann BL. Statistical Primer for Athletic Trainers: Using Confidence Intervals and Effect Sizes to Evaluate Clinical Meaningfulness. J Athl Train 2016; 12(51):1045-1048. Doi:10.4085/1062-6050-51.12.14.
https://doi.org/10.4085/1062-6050-51.12....
. A retirada desta atleta 7 da amostra induziu uma mudança nos resultados da média do grupo88. Weissgerber TL, Milic NM, Winhan SJ, Garovic VD. Beyond bar and line graphs: time for a new data presentation paradigm. PLoS Biology 2015; 13(4):e1002128. Doi: 10.1371/journal.pbio.1002128
https://doi.org/10.1371/journal.pbio.100...
. Adicionalmente, com um tamanho de amostra suficientemente grande, mesmo o tamanho de efeito (d) trivial (d <0,2 ou SWC < 1) ou pequeno (d= 0,2 a 0,6 ou SWC = 1 a 3) podem parecer significativos (p <0,05)77. Hopkins WG, Batterham AM. Error Rates, Decisive Outcomes and Publication Bias with Several Inferential Methods. Sports Med 2016;46(10):1563-1573. Doi:10.1007/s40279-016-0517-x.
https://doi.org/10.1007/s40279-016-0517-...
. Buchheit1212. Bishop D, Girard O, Mendez-Villanueva A. Repeated-sprint ability part II: Recommendations for training. Sport Med 2011;41(9):741-756. Doi:10.2165/11590560-000000000-00000.
https://doi.org/10.2165/11590560-0000000...
destaca que na prática os treinadores estão interessados primeiro em saber quais atletas melhoraram o desempenho pela intervenção proposta (ou seja, quanto, a magnitude do efeito real do grupo ou individual) e a probabilidade de que essa magnitude seja de importância prática ou clínica (ou seja, a probabilidade do efeito ser maior que o SWC, ex. > trivial). Este é um dos pontos relevantes do presente estudo com atletas de basquete, já que os resultados das figuras 1 e 2 demonstram este comportamento, ou seja, quantas vezes a atleta melhorou seu desempenho na variável analisada.

A análise individual por meio de gráficos scatterplots também permitiu identificar que os sujeitos não responsivos (7 e 8) apresentavam valores absolutos com maior desempenho para CSR no momento pré treinamento (Figura 1). Na análise da média amostral isto não é possível (tabela 1). Neste caso, a partir deste entendimento individual dos dados aumenta-se a possibilidade de inferir sobre o conteúdo de treinamento durante as 4 semanas e relação com menor efeito para as atletas de melhor nível na CSR. Atletas com menor reserva de adaptação estão menos suscetíveis as alterações de desempenho, situação já previamente descrita na literatura para CSR99. Girard O, Mendez-Villanueva A, Bishop D. Repeated-sprint ability - part 1: factors contributing to fatigue. Sport Med 2011;41(8):673-694. Doi:10.2165/11590550-000000000-00000.
https://doi.org/10.2165/11590550-0000000...
),(1010. Buchheit M. Repeated-sprint performance in team sport players: associations with measures of aerobic fitness, metabolic control and locomotor function. Int J Sports Med 2012;33(3):230-239. Doi:10.1055/s-0031-1291364.
https://doi.org/10.1055/s-0031-1291364...
. Assim, este tipo de abordagem individual de apresentação dos resultados tem sido destacada como uma necessidade para estudos com amostras pequenas de atletas11. Buchheit M. The Numbers Will Love You Back in Return - I Promise. Int J Sport Physiol Perform 2016;11(4):551-554. Doi:10.1123/IJSPP.2016-0214.
https://doi.org/10.1123/IJSPP.2016-0214...
. A utilização de gráficos em barras nesta situação pode ser problemática por três razões: i) muitas distribuições de dados diferentes podem levar à mesma barra; ii) não fornecem informações se as mudanças são consistentes em todos os sujeitos; iii) resumir os dados como média mais desvio padrão geralmente faz com que os leitores pensem erroneamente que os dados são normalmente distribuídos sem valores outliers88. Weissgerber TL, Milic NM, Winhan SJ, Garovic VD. Beyond bar and line graphs: time for a new data presentation paradigm. PLoS Biology 2015; 13(4):e1002128. Doi: 10.1371/journal.pbio.1002128
https://doi.org/10.1371/journal.pbio.100...
. Neste caso, a utilização de diagramas de dispersão univariados (scatterplots) possibilita que os treinadores e leitores da pesquisa examinem a distribuição de dados, permitindo detectar violações graves de quaisquer pressupostos estatísticos88. Weissgerber TL, Milic NM, Winhan SJ, Garovic VD. Beyond bar and line graphs: time for a new data presentation paradigm. PLoS Biology 2015; 13(4):e1002128. Doi: 10.1371/journal.pbio.1002128
https://doi.org/10.1371/journal.pbio.100...
.

Possíveis limitações podem ser destacadas no presente estudo. Existe a carência de pesquisas que tenham realizados uma análise semelhante, ou seja, confrontando dados do grupo versus individual. Neste caso, a discussão centrou-se sobretudo na abordagem estatística convencional e SWC. Também não foi possível estabelecer quais tipos de treinamento (técnico-tático ou físico) promoveram maior efeito para CSR, já que os tratamentos não foram separados e não foi descrito grupo controle. Porém, a intervenção de treinamento proposta ganha importância pela sua validade ecológica, já que representa 4 semanas de pré-temporada comumente utilizadas por equipes de basquete feminino. Neste contexto, em equipes adultas de esportes coletivos com estudos a longo prazo também tem sido questionado a necessidade de grupo controle para comparação de efeito de tratamento1111. Spencer M, Bishop D, Dawson B, Goodman C. Physiological and metabolic responses of repeated-sprint activities: specific to field-based team sports. Sports Med 2005;35(12):1025-1044. Doi:10.2165/00007256-200535120-00003.
https://doi.org/10.2165/00007256-2005351...
, já que em alguns casos, a amostra pode ser composta por medalhistas olímpicos ou campeões mundiais, sem contar que um grupo controle demandaria a não realização de sessões de treinamento por alguns atletas, e isso se torna impossível e prejudicial a uma equipe envolvida em competições estaduais e nacionais.

Conclusões

Os resultados do presente estudo sugerem que a média da equipe feminina de basquete analisada não apresentou melhoria significativa na capacidade de sprints repetidos durante a pré-temporada analisada, porém, quando as atletas foram analisadas de maneira individualizada, 75% das mesmas foram responsivas. Estes achados reforçam a ideia do princípio da individualidade biológica em tratamentos e desfechos em pesquisas experimentais em ciências do esporte, haja vista que as respostas da equipe não se aplicaram completamente a cada jogadora analisada, mesmo expostas a carga de treinamento semelhante durante as 4 semanas da pré-temporada. Também pode-se perceber que a presença de outliers em estudos longitudinais com amostra pequena pode induzir conclusões equivocadas. Neste caso, o modelo estatístico de abordagem individual pelo SWC parece ser mais adequado para o entendimento das complexas respostas psicobiológicas que as atletas vivenciam durante um período de treinamento. Além disto, a apresentação dos resultados deve facilitar a compreensão e promover um maior entendimento dos achados da pesquisa (ex., utilização de gráficos scatterplots), possibilitando examinar a distribuição de dados e detectar violações graves de quaisquer pressupostos estatísticos.

Agradecimentos:

A PROSUP/CAPES e PIBIC pelas bolsas concedidas

Referências

  • 1
    Buchheit M. The Numbers Will Love You Back in Return - I Promise. Int J Sport Physiol Perform 2016;11(4):551-554. Doi:10.1123/IJSPP.2016-0214.
    » https://doi.org/10.1123/IJSPP.2016-0214
  • 2
    Borresen J, Lambert MI. The quantification of training load, the training response and the effect on performance. Sports Med 2009;39(9):779-795. Doi:10.2165/11317780-000000000-00000.
    » https://doi.org/10.2165/11317780-000000000-00000
  • 3
    Hopkins WG. Individual responses made easy. J Appl Physiol 2015;118(12):1444-1446. doi:10.1152/japplphysiol.00098.2015.
    » https://doi.org/10.1152/japplphysiol.00098.2015
  • 4
    Mann TN, Lamberts RP, Lambert MI. High responders and low responders: factors associated with individual variation in response to standardized training. Sports Med 2014;44(8):1113-1124. Doi:10.1007/s40279-014-0197-3.
    » https://doi.org/10.1007/s40279-014-0197-3
  • 5
    Buchheit M. Want to see my report, coach? Aspertar Sport Med J 2017;6(Fevereiro):36-43.
  • 6
    Hopkins WG, Marshall SW, Batterham AM, Hanin J. Progressive statistics for studies in sports medicine and exercise science. Med Sci Sports Exerc 2009;41(1):3-13. Doi:10.1249/MSS.0b013e31818cb278.
    » https://doi.org/10.1249/MSS.0b013e31818cb278
  • 7
    Hopkins WG, Batterham AM. Error Rates, Decisive Outcomes and Publication Bias with Several Inferential Methods. Sports Med 2016;46(10):1563-1573. Doi:10.1007/s40279-016-0517-x.
    » https://doi.org/10.1007/s40279-016-0517-x
  • 8
    Weissgerber TL, Milic NM, Winhan SJ, Garovic VD. Beyond bar and line graphs: time for a new data presentation paradigm. PLoS Biology 2015; 13(4):e1002128. Doi: 10.1371/journal.pbio.1002128
    » https://doi.org/10.1371/journal.pbio.1002128
  • 9
    Girard O, Mendez-Villanueva A, Bishop D. Repeated-sprint ability - part 1: factors contributing to fatigue. Sport Med 2011;41(8):673-694. Doi:10.2165/11590550-000000000-00000.
    » https://doi.org/10.2165/11590550-000000000-00000
  • 10
    Buchheit M. Repeated-sprint performance in team sport players: associations with measures of aerobic fitness, metabolic control and locomotor function. Int J Sports Med 2012;33(3):230-239. Doi:10.1055/s-0031-1291364.
    » https://doi.org/10.1055/s-0031-1291364
  • 11
    Spencer M, Bishop D, Dawson B, Goodman C. Physiological and metabolic responses of repeated-sprint activities: specific to field-based team sports. Sports Med 2005;35(12):1025-1044. Doi:10.2165/00007256-200535120-00003.
    » https://doi.org/10.2165/00007256-200535120-00003
  • 12
    Bishop D, Girard O, Mendez-Villanueva A. Repeated-sprint ability part II: Recommendations for training. Sport Med 2011;41(9):741-756. Doi:10.2165/11590560-000000000-00000.
    » https://doi.org/10.2165/11590560-000000000-00000
  • 13
    Lininger M, Riemann BL. Statistical Primer for Athletic Trainers: Using Confidence Intervals and Effect Sizes to Evaluate Clinical Meaningfulness. J Athl Train 2016; 12(51):1045-1048. Doi:10.4085/1062-6050-51.12.14.
    » https://doi.org/10.4085/1062-6050-51.12.14
  • 14
    Zagatto AM, Beck WR, Gobatto CA. Validity of the running anaerobic sprint test for assessing anaerobic power and predicting short-distance performances. J Strength Cond Res 2009;23(6):1820-1827. Doi:10.1519/JSC.0b013e3181b3df32.
    » https://doi.org/10.1519/JSC.0b013e3181b3df32
  • 15
    Glaister M, Howatson G, Lockey RA, Abraham CS, Goodwin JE, McInnes G. Familiarization and reliability of multiple sprint running performance indices. J Strength Cond Res 2007;21(3):857-859. Doi:10.1519/R-20336.1.
    » https://doi.org/10.1519/R-20336.1
  • 16
    Foster C, Rodriguez-Marroyo JA, de Koning JJ. Monitoring Training Loads: The Past, the Present, and the Future. Int J Sports Physiol Perform 2017;10(1):1-24. Doi:10.1123/ijspp.2016-0388.
    » https://doi.org/10.1123/ijspp.2016-0388
  • 17
    Smirmaul BPC, Dantas JL, Nakamura FY, Pereira G. The psychobiological model : a new explanation to intensity regulation and ( in ) tolerance in endurance exercise. Rev Bras Educ Fís Esporte 2013;27(2):333-340. Doi: 10.1590/S1807-55092013005000008
    » https://doi.org/10.1590/S1807-55092013005000008
  • 18
    Ahtiainen JP, Walker S, Peltonen H, Holviala J, Sillanpää E, Karavirta L, et al. Heterogeneity in resistance training- induced muscle strength and mass responses in men and women of different ages. Age 2016;38(10):1-13. Doi:10.1007/s11357-015-9870-1.
    » https://doi.org/10.1007/s11357-015-9870-1
  • 19
    Marcelino R, Pasquarelli BN, Sampaio J. Inferência Baseada em Magnitudes na investigação em Ciências do Esporte: a necessidade de romper com os testes de hipótese nula e os valores de p. Rev Bras Educ Fís Esporte 2018; in press.
  • 20
    Schelling X, Torres-Ronda L. Conditioning for Basketball. Strength Cond J 2013;35(6):89-94. Doi:10.1519/SSC.0000000000000018.
    » https://doi.org/10.1519/SSC.0000000000000018

Datas de Publicação

  • Publicação nesta coleção
    01 Abr 2019
  • Data do Fascículo
    2018

Histórico

  • Recebido
    29 Jul 2017
  • Revisado
    12 Fev 2018
  • Aceito
    07 Abr 2018
Universidade Estadual de Maringá Avenida Colombo, 5790 - cep: 87020-900 - tel: 44 3011 4315 - Maringá - PR - Brazil
E-mail: revdef@uem.br