Acessibilidade / Reportar erro

Comparação e concordância de instrumentos de avaliação da amplitude de movimento da coluna cervical de homens universitários

Comparison of methods for assessing cervical range of motion in college men

Resumos

O objetivo deste estudo é comparar e analisar a concordância de três instrumentos de medidas (inclinômetro marca Lafayette, flexímetro marca Sanny e flexímetro marca Code) nos movimentos de flexão e extensão da coluna cervical. A amostra foi composta por 41 homens universitários (20,8 ± 2,2 anos, 1,78 ± 0,07 m, 57,1 ±11,3 kg). Para a análise dos dados, utilizaram-se ANOVA one-way, concordância de Bland e Atlman, análise de regressão múltipla, correlação de Spearman, adotando-se uma significância de 5%. Não houve diferenças significantes entre os valores de amplitude de movimento avaliados pelos diferentes instrumentos para a flexão (mediana=63 graus; P=0,95) e extensão da coluna cervical (mediana=73 graus; P=0,90). Para todos os instrumentos, foram observados valores de concordância, entre as análises, próximos de zero (-0,34< < 0,26). Conclui-se que os valores de amplitude de movimento não diferem entre os instrumentos, possibilitando a comparação de medidas realizadas por eles, especificamente para universitários do sexo masculino.

Amplitude de movimento articular; Curvaturas da coluna vertebral; Masculino


The purpose of the present study was to compare and analyze the concordance of three instruments (Inclinometer Lafayette, fleximeter Sanny, and fleximeter Code) in flexion and extension of cervical spine. The sample was composed by forty-one college men (20.8 ± 2.2 years, 1.78 ± 0.07 m, 57.1 ±11.3 kg). For statistical analyses ANOVA one-way, Bland and Atlman procedures, multiple regression analysis, and Spearman correlation coefficient were employed, with P< 0.05. According to the results, there were no significant differences among scores produced by the three instruments for flexion (median=63 degrees; P=0.95) and extension of cervical spine (median=73degrees; P=0.90), and concordance scores, between the analyzes, near zero (-0.34< < 0.26). The results of this study indicate that the fleximeter Code, fleximeter Sanny, and inclinometer Lafayette measurement values are consistent, which allows comparisons between themselves and using similar cutoffs, specifically for healthy male college students, in flexion and extension of cervical spine, specifically for college men.

Articular range of motion; Spinal curvatures; Male


ARTIGO ORIGINAL

doi: 10.4025/reveducfis.v24.4.17038

Comparação e concordância de instrumentos de avaliação da amplitude de movimento da coluna cervical de homens universitários

Comparison of methods for assessing cervical range of motion in college men

Abdallah Achour JuniorI; Matheus Amarante do NascimentoII; Renan FrancoIII; Vitor Panula da SilvaIII; Vitor Figueiredo MartinsIII; Débora Alves GuarigliaIV

IDoutor. Departamento de Esportes da Universidade Estadual de Londrina, Londrina - PR, Brasil

IIAluno de doutorado do Programa de Educação Física Associado UEM/UEL, Londrina - PR, Brasil

IIIGraduando do curso de Esportes da Universidade Estadual de Londrina, Londrina - PR, Brasil

IVMestre. Professora do curso de Educação Física da Faculdade Estácio de Sá, Ourinhos - SP, Brasil

Endereço para correspondência Endereço para correspondência: Abdallah Achour Junior Centro de Educação Física e Esporte, Universidade Estadual de Londrina Rod. Celso Garcia Cid, km 380 - Campus Universitário CEP 86051-990, Londrina, PR, Brasil Telefone: 43 3323 5682; Fax: 43 3371 4258 E-mail: achour@onda.com.br

RESUMO

O objetivo deste estudo é comparar e analisar a concordância de três instrumentos de medidas (inclinômetro marca Lafayette, flexímetro marca Sanny e flexímetro marca Code) nos movimentos de flexão e extensão da coluna cervical. A amostra foi composta por 41 homens universitários (20,8 ± 2,2 anos, 1,78 ± 0,07 m, 57,1 ±11,3 kg). Para a análise dos dados, utilizaram-se ANOVA one-way, concordância de Bland e Atlman, análise de regressão múltipla, correlação de Spearman, adotando-se uma significância de 5%. Não houve diferenças significantes entre os valores de amplitude de movimento avaliados pelos diferentes instrumentos para a flexão (mediana=63 graus; P=0,95) e extensão da coluna cervical (mediana=73 graus; P=0,90). Para todos os instrumentos, foram observados valores de concordância, entre as análises, próximos de zero (-0,34< < 0,26). Conclui-se que os valores de amplitude de movimento não diferem entre os instrumentos, possibilitando a comparação de medidas realizadas por eles, especificamente para universitários do sexo masculino.

Palavras-chave: Amplitude de movimento articular. Curvaturas da coluna vertebral. Masculino.

ABSTRACT

The purpose of the present study was to compare and analyze the concordance of three instruments (Inclinometer Lafayette, fleximeter Sanny, and fleximeter Code) in flexion and extension of cervical spine. The sample was composed by forty-one college men (20.8 ± 2.2 years, 1.78 ± 0.07 m, 57.1 ±11.3 kg). For statistical analyses ANOVA one-way, Bland and Atlman procedures, multiple regression analysis, and Spearman correlation coefficient were employed, with P< 0.05. According to the results, there were no significant differences among scores produced by the three instruments for flexion (median=63 degrees; P=0.95) and extension of cervical spine (median=73degrees; P=0.90), and concordance scores, between the analyzes, near zero (-0.34< < 0.26). The results of this study indicate that the fleximeter Code, fleximeter Sanny, and inclinometer Lafayette measurement values are consistent, which allows comparisons between themselves and using similar cutoffs, specifically for healthy male college students, in flexion and extension of cervical spine, specifically for college men.

Keywords: Articular range of motion. Spinal curvatures. Male.

INTRODUÇÃO

A insuficiência da amplitude de movimento da coluna cervical pode ser considerada um sintoma comum de pessoas com desordens nessa região, geralmente referida por dores (YOUDAS; CAREY; GARRETT, 1991; CÔTÉ et al., 2004), o que, por sua vez, tem apresentado considerável impacto na saúde e no bem-estar geral da população mundial (FEJER; KYVIK; HARTVISEN, 2006; DAFFNER et al., 2003). Sendo assim, a avaliação da amplitude de movimento da coluna cervical pode fornecer importantes informações a respeito do estado de saúde, do tratamento e das respostas provenientes de programas de exercícios físicos durante a reabilitação.

Nesse sentido, dentre os inúmeros equipamentos que permitem tais avaliações, podem ser destacados a radiografia e a ultrassonografia, os quais, apesar de serem considerados métodos padrão-ouro e apresentarem excelentes valores de precisão na medida (TOUSIGNANT et al., 2006; STRIMPAKOS et al., 2005), são onerosos e requerem softwares sofisticados, tornando-os inviáveis para a realização de medidas de amplitude de movimento em amostras populacionais. Esse fato os torna, em alguns casos, inacessíveis durante a prática profissional.

Dessa forma, no intuito de viabilizar esse tipo de medida, muitas pesquisas têm sido desenvolvidas na tentativa de validar instrumentos mais simples e, consequentemente, com menor custo, como, por exemplo, os flexímetros e inclinômetros, os quais são amplamente empregados em diversas populações e em distintas articulações (AUDETTE et al., 2010; FLORÊNCIO et al., 2010; CLEFFKEN et al., 2007).

Por outro lado, a busca por medidas de melhor qualidade e de baixo custo operacional acarreta a produção de inúmeras informações acerca dos diferentes instrumentos de medida disponíveis no mercado, tais como: goniômetros (NUSSBAUMER et al., 2010), flexímetros (FLORÊNCIO et al., 2010), inclinômetros (AUDETTE et al., 2010) e fotogrametria (SANTOS et al., 2011), dificultando a comparação entre seus resultados ou, ainda, a utilização de pontos de corte criados para algum desses instrumentos específicos. Vale ressaltar também que, até o presente momento, não há informação sobre o comportamento da amplitude de movimento da coluna cervical, quando avaliada por meio dos flexímetros da marca Sanny e Code, bem como do inclinômetro.

Portanto, o presente estudo tem como objetivo comparar e analisar a concordância de três instrumentos de avaliação da amplitude de movimento da coluna cervical em universitários do sexo masculino.

MÉTODOS

Amostra

Para a seleção da amostra, foi feita uma divulgação por meio de cartazes e comunicados nas salas de aula do Centro de Educação Física e Esporte da Universidade local. A partir daí, os sujeitos que entraram em contato com o laboratório foram inicialmente cadastrados, para posterior convocação para a realização das medidas. A amostra, por conveniência, foi composta por 41 voluntários do sexo masculino (20,8 ± 2,2 anos, 1,78 ± 0,07 m, 57,1 ±11,3 kg), todos acadêmicos do curso de Bacharel em Educação Física e Esporte da Universidade local. Como critérios de inclusão, os indivíduos não poderiam apresentar problemas articulares e/ou dores na coluna cervical.

Após receberem informações sobre a finalidade do estudo e os procedimentos aos quais seriam submetidos, todos os participantes assinaram um termo de consentimento livre e esclarecido. Este estudo foi aprovado pelo Comitê de Ética em Pesquisa da Universidade local, de acordo com as normas da Resolução 196/96 do Conselho Nacional de Saúde sobre pesquisa envolvendo seres humanos (processo 18334, resolução 274/2005).

Coleta de dados

Foram utilizados os seguintes instrumentos: flexímetro da marca Sanny, flexímetro da marca Code e o inclinômetro digital da marca Lafayette (modelo f00500, EUA).

Os sujeitos do estudo foram submetidos a uma visita ao laboratório, no período da manhã, para a avaliação dos movimentos de flexão e extensão da coluna cervical, realizada por um único avaliador, devidamente treinado com os três instrumentos.

A ordem de medida foi igual para todos os sujeitos, sendo executados, inicialmente, os movimentos com o inclinômetro Lafayette e, na sequência, com os flexímetros Code e Sanny. Os sujeitos realizaram duas vezes os movimentos, para cada um dos instrumentos de medida, sendo duas flexões, seguidas por duas extensões da coluna cervical de forma sucessiva (ASSINK et al., 2005; SOLINGER; CHEN; LANTZ, 2000), perfazendo seis medidas para cada movimento. Os registros de todos os movimentos foram feitos por uma terceira pessoa, sendo adotada a maior medida para determinação da amplitude de movimento da coluna cervical.

Além disso, a forma de execução de ambos os movimentos foi igual para todos os sujeitos e em todos os instrumentos. O avaliador posicionava cada sujeito sentado em uma cadeira com inclinação de 10 graus, com o tronco ereto, os olhos mantendo-se em um ponto fixo à frente, com os braços ao lado do corpo, sem apoio. Foi orientado para que não fosse realizada protrusão dos ombros durante a flexão e que se evitasse a extensão do tronco durante a extensão da coluna cervical.

Após colocar o instrumento e estabelecer o ponto zero, o avaliado simulava uma vez os movimentos, sendo, primeiramente, realizada a flexão da coluna cervical de forma lenta, até que o queixo encostasse no esterno ou percebesse uma rigidez na amplitude final do movimento, com retorno à posição anterior. Na sequência, executava-se a extensão da coluna cervical, sendo dada a seguinte instrução: olhar para o ponto fixo à sua frente, mover sua cabeça para trás lentamente, tão distante quanto puder ou até sentir uma rigidez ou desconforto na amplitude final do movimento. A partir do posicionamento de cada instrumento, executavam-se os movimentos para familiarizar os sujeitos aos mesmos e, posteriormente, dava-se início às medidas propriamente ditas.

O inclinômetro foi posicionado no plano sagital, na parte central da cabeça, estabilizado com os dedos e, então, ajustava-se o indicador em zero grau, com a posição neutra da cabeça, mantendo a posição do instrumento em todo o percurso do movimento. Na amplitude final do movimento, registrava-se a medida.

Os flexímetros foram posicionados na lateral da cabeça, no plano sagital, ajustando o indicador em zero grau para iniciar o movimento. Da mesma forma, na amplitude final do movimento, registrava-se a medida.

Análise Estatística

Inicialmente, o teste de Shapiro Wilk foi utilizado para a análise da distribuição dos dados e as variáveis foram expressas em valores de mediana, interquartis (1º e 3º) e intervalos de confiança de 95%.

A análise de variância unifatorial (ANOVA one-way) de Kruskal Wallis foi aplicada para verificar diferenças entre os valores obtidos pelos três instrumentos de medida.

Em seguida, utilizou-se o coeficiente de correlação de Spearman, para análise da associação entre as medidas dos instrumentos e, para verificar a concordância entre os métodos, a análise de Bland e Altman (1986), a qual faz a análise, em termos individuais, entre os escores produzidos pelos instrumentos.

Adicionalmente, foi empregada análise de regressão múltipla para fornecer o erro padrão de estimativa (EPE), que representa o erro esperado entre os métodos, medido pela quantidade de dispersão dos dados observados em torno da linha de regressão, além do coeficiente de determinação.

As análises foram conduzidas com o programa Statistical Package for the Social Sciences (SPSS), versão 17.0, adotando-se um nível de significância de P<0,05.

RESULTADOS

As Tabelas 1 e 3 apresentam os resultados referentes aos valores obtidos por cada um dos três instrumentos de medida da amplitude de movimento da flexão e extensão da coluna cervical e suas respectivas comparações.

Para o movimento de flexão (Tabela 1), não foram verificadas diferenças significativas dos valores obtidos entre os três instrumentos de medida (P = 0,95).

Em relação à concordância das medidas (Tabela 2), por meio da análise de Bland Altman, verificaram-se valores de próximos de zero (-0,34 a 0,26). Para a regressão, os coeficientes de determinação variaram entre 0,64 a 0,84, e as correlações foram todas acima de 0,81. Além disso, ambos os instrumentos, quando comparados entre si, produziram um EPE variando de 1,93 a 2,41 graus, o que representou um EPE, em termos percentuais, de 3% a 3,7%.

Em relação ao movimento de extensão (Tabela 3 ), não foram verificadas diferenças significativas dos valores obtidos entre os três instrumentos de medida (P = 0,90). Em relação aos valores de concordância (Tabela 4), mediante a análise de Bland Altman, verificaram-se também valores de próximos de zero (-0,14 a 0,24). Para a regressão, os coeficientes de determinação variaram entre 0,72 e 0,81, e as correlações foram todas acima de 0,85. Adicionalmente, os instrumentos, quando comparados entre si, produziram um EPE 1,79 a 2,21graus, o que representa um erro padrão de estimativa, em termos percentuais, variando de 2,5% a 3%.

DISCUSSÃO

De acordo com os resultados do presente estudo, observaram-se valores semelhantes entre as medidas dos três instrumentos (P>0,05), tanto nos movimentos de flexão quanto de extensão da coluna cervical. Além disso, em relação aos outros parâmetros estatísticos adotados (correlação, regressão múltipla e concordância proposta por Bland e Altman (1986)), todas as medidas, tanto de flexão quanto de extensão, foram consideradas aceitáveis (VINCENT, 2005).

O EPE apresentou pouca flutuação para flexão e extensão da coluna cervical e ocorreu independentemente da diferença de amplitude de movimento, permitindo expressar que uma maior amplitude de movimento não implica maiores erros de medida, haja vista que, apesar de a extensão da coluna cervical ter maior amplitude de movimento em relação à flexão, ela apresentou menor EPE para todos os instrumentos.

Vale ressaltar que os valores de EPE encontrados no presente estudo são semelhantes aos achados de Gelalis et al. (2009) e estão de acordo com as recomendações disponíveis na literatura (AMERICAN MEDICAL ASSOCIATION, 2000), a qual aponta uma variação de 10% ou 5 graus do movimento total da coluna cervical.

Em relação à correlação, todos os movimentos apresentaram valores considerados altos (VINCENT, 2005), sendo maior para o movimento de extensão da coluna cervical, o que corrobora os resultados do estudo de Tousignant et al. (2000).

No que diz respeito aos procedimentos de concordância, todos os valores de encontrados nos movimentos de flexão e extensão da coluna cervical foram próximos de zero e os intervalos de confiança apresentaram mínimas variações, o que permite inferir que os instrumentos apresentaram escores concordantes entre si.

Independentemente do instrumento adotado para a avaliação da amplitude de movimento da coluna cervical, alguns aspectos referentes aos procedimentos de coleta devem ser cautelosamente levados em consideração, uma vez que um grande fator de possíveis erros nesse tipo de coleta é a postura durante a realização da medida e a padronização do ponto neutro, o que têm desencadeado uma vasta discussão na literatura. A maior parte dos autores defende o ponto neutro como postura padrão, enquanto outros adotam a posição anatômica. No entanto, indicativos apresentam erros susceptíveis na posição neutra (SOLINGER; CHEN; LANTZ, 2000; CHRISTENSEN; NILSSON, 1999). Apesar dessa constante discussão, ainda não há um consenso sobre uma padronização mais adequada para tal medida (ORDWAY, 1999). Portanto, no presente estudo, optou-se pela medida tradicional, ou seja, a posição neutra.

Outro fator que merece atenção para tomada das medidas de flexão e extensão da coluna cervical consiste em evitar a movimentação dos ombros e da coluna torácica (PRUSHANSKY; DERYI; JABARREEN, 2010). Para tal, Tousignant et al. (2006) verificaram que o movimento do tronco pode afetar, em média, 1,1 graus durante o movimento de flexão e extensão da coluna cervical.

Nesse sentido, dentre os diferentes procedimentos para estabilizar a coluna torácica e o ombro, há algumas sugestões propostas na literatura, tais como: a estabilização da postura pelo apoio da mão no esterno e na coluna torácica (PEOLSSON et al., 2000), fixação do ombro com uma faixa (TOUSIGNANT et al., 2006), a utilização de duas faixas, sendo uma para fixar o tronco e outra para o ombro (AUDETTE et al., 2010), ou mesmo uma instrução verbal para a estabilização do ombro e tronco (COSTA, A.; COSTA, L., 2004; FLETCHER; BANDY, 2008).

Independentemente dos argumentos discutidos, há necessidade de se adotar um padrão para medida, assumindo os possíveis erros sistemáticos, o que não prejudicaria as comparações entre os instrumentos. No presente estudo, o avaliador foi devidamente treinado para assegurar que não houvesse movimento do ombro e houvesse posicionamento adequado da cabeça dos sujeitos durante as medidas. Além disso, optou-se por estabilizar o tronco, mantendo-o durante o percurso do movimento apoiado à cadeira.

Como limitação de validade externa do trabalho, pode-se considerar a falta da utilização de um instrumento padrão-ouro, bem como a realização da confiabilidade das medidas, que proporcionaria informações sobre a reprodutibilidade de cada um dos instrumentos utilizados. Além disso, esses resultados limitam-se a universitários saudáveis do sexo masculino.

Sugere-se, para futuros estudos, a utilização de diferentes metodologias para a avaliação da amplitude de movimento da coluna cervical nos diferentes instrumentos e em diferentes populações.

CONCLUSÃO

Os resultados deste estudo apontaram que o flexímetro marca Code, o flexímetro marca Sanny e o inclinômetro Lafayette possuem valores de medida concordantes, sem diferença entre si. Em termos práticos, portanto, a utilização de qualquer um dos instrumentos investigados, tanto para fins acadêmicos quanto clínicos, pode ser feita sem prejuízos na medida, especificamente para universitários saudáveis do sexo masculino, nos movimentos de flexão e extensão da coluna cervical.

Sugerem-se novos estudos com diferentes populações, articulações e movimentos, no intuito de viabilizar a aplicação dos inúmeros instrumentos para avaliação da amplitude de movimento articular.

Recebido em: 02/05/2012

Revisado em: 11/12/2012

Aceito em: 01/03/2013

  • AMERICAN MEDICAL ASSOCIATION. Guides to the Evaluation of Permanent Impairment 3rd ed. Chicago, 2000.
  • ASSINK, N. et al. Interobserver reliability of neck-mobility measurement by means of the flock-of-birds electromagnetic tracking system, Journal of Manipulative Physiological Therapeutics, Lombard, v. 28, p. 408-413, 2005.
  • AUDETTE, I. et al. Validity and between- day reliability of the cervical range of motion (CROM) device. Journal Orthopaedic Sports Physical Therapy, Alexandria, v. 40, no. 5, p. 318-323, 2010.
  • BLAND, J. M.; ALTMAN, D. G. Statistical methods for assessing agreement between two methods of clinical measurement. Lancet, Philadelphia, v. 1, p. 307-310, 1986 .
  • CHRISTENSEN, H. W.; NILSSON N. The ability to reproduce the neutral zero position of the head. Journal of Manipulative Physiological Therapeutics, Lombard, v. 2, p. 26-38, 1999.
  • CLEFFKEN, B. et al. Digital goniometric measurement of knee joint motion. Evaluation of usefulness for research settings and clinical practice. Knee, Maryland, v. 14, no. 5, p. 385-389, 2007.
  • COSTA, A. P. C; COSTA, L. O. P. Estudos comparativos das amplitudes de movimento da coluna cervical. Fisioterapia em Movimento, Curitiba, v. 17, n. 1, p. 25-30, 2004.
  • CÔTÉ, P. et al. The annual incidence and course of neck pain in the general population: a population-based cohort study. Pain, Maryland, v. 112, p. 267-273, 2004.
  • DAFFNER, S. D. et al. Impact of neck and arm pain on mean health status. Spine, Hagerstown, v. 28, p. 2030-2035, 2003.
  • FEJER, R.; KYVIK, K. O.; HARTVISEN, J. The prevalence of neck pain in the world population: a systematic critical review of the literature. European Spine Journal, New York, v. 15, no. 6, p. 834-848, 2006.
  • FLETCHER , J. P. ; BANDY, W. D. Intrarater reliability of CROM measurement of cervical spine active range of motion in persons with and without neck pain. Journal Orthopaedic Sports Physical Therapy, Alexandria, v. 38, no. 10, p. 640-645, 2008.
  • FLORÊNCIO, L. L. et al. Concordância e confiabilidade de dois métodos não-invasivos para a avaliação da amplitude de movimento cervical em adultos jovens. Revista Brasileira de Fisioterapia, São Carlos, v. 14, n. 2, p. 175-181, 2010.
  • GELALIS, I. D. et al. Three-dimensional analysis of cervical spine motion: reliability of a computer assisted magnetic tracking device compared to inclinometer. European Spine Journal, New York, v. 18, p. 276-281, 2009.
  • NUSSBAUMER, S. et al. Validity and test-retest reliability of manual goniometers for measuring passive hip range of motion in femoro acetabular impingement patients. BMC Musculoskeletal Disorders, London, v. 31, p. 1-11, 2010.
  • ORDWAY, N. R. et al. Cervical flexion, extension, protrusion, retraction: a radiographic segmental analysis. Spine, Hagerstown, v. 24, p. 240-247, 1999.
  • PEOLSSON, A, et al. Intra- and inter-tester reliability and range of motion of the neck. Physiotherapy, Québec, v. 7, p. 233-42, 2000.
  • PRUSHANSKY, T.; DERYI, O.; JABARREEN, B. Reproducibility and validity of digital inclinometry for measuring cervical range of motion in normal subjects. Physiotherapy Research International, New York, v. 15, p .42-48, 2010.
  • SANTOS, J. D. M. et al. Confiabilidade inter e intraexaminadores nas mensurações angulares por fotogrametria digital e goniometria. Fisioterapia e Movimento, Curitiba, v. 24, p. 389-400, 2011.
  • SOLINGER, A. B.; CHEN, J.; LANTZ, C. A. Standardized initial head position in cervical range of motion assessment: reliability and error analysis. Journal of Manipulative and Physiological Therapeutics, Lombard, v. 231, p. 20-26, 2000.
  • STRIMPAKOS, N. et al. Cervical spine ROM measurements: optimizing the testing protocol by using a 3D ultrasound-based motion analysis system. Journal Cephalalgia, Malden, v. 25, no. 12, p. 1133-1145, 2005.
  • TOUSIGNANT, M. et al. Criterion validity of the cervical range of motion (CROM) goniometer for cervical flexion and extension. Spine, Hagerstown, v. 25, no. 3, p. 324-30, 2000.
  • TOUSIGNANT, M. et al. Criterion validity study of the cervical range of motion (CROM) device for rotational range of motion on healthy adults. Journal Orthopaedic Sports Physical Therapy, Alexandria, v. 36, no. 4, p. 242-48, 2006.
  • VINCENT, W. J. Statistic in kinesiology 3rd ed. Champaign, Human Kinetics, 2005.
  • YOUDAS, J. W, CAREY, J. R, GARRETT, T. R. Reliability of measurements of cervical spine range of motion - comparison of three methods. Physical Therapy, Alexandria, v. 71, no. 2, p. 98-106, 1991.
  • Endereço para correspondência:
    Abdallah Achour Junior
    Centro de Educação Física e Esporte, Universidade Estadual de Londrina
    Rod. Celso Garcia Cid, km 380 - Campus Universitário
    CEP 86051-990, Londrina, PR, Brasil
    Telefone: 43 3323 5682; Fax: 43 3371 4258
    E-mail:
  • Datas de Publicação

    • Publicação nesta coleção
      03 Jun 2014
    • Data do Fascículo
      Dez 2013

    Histórico

    • Recebido
      02 Maio 2012
    • Aceito
      01 Mar 2013
    • Revisado
      11 Dez 2012
    Universidade Estadual de Maringá Avenida Colombo, 5790, 87020-900 Maringá - PR, Tel.: (55 44) 3011 4470 - Maringá - PR - Brazil
    E-mail: revdef@uem.br