Validade concorrente da versão Brasileira do SRS-22r com o Br-SF-36

Resumos

BACKGROUND: An important parameter in cross-cultural adaptations, and concurrent validity are the relationships between the performance of an instrument of interest and the performance of a similar instrument with known validity. OBJECTIVE: To determine the concurrent validity of the Brazilian version of the revised questionnaire of the Scoliosis Research Society (Br-SRS-22r) and the Brazilian version of the Short-Form-36 questionnaire (SF-36). METHODS: Fifty-four patients with idiopathic scoliosis were selected. The mean age was 19.9 yrs. (±7.7) and the mean Cobb angle of curvature was 31.6° (±20.5°), ranging from 10º to 92º. The results from each questionnaire were converted into scores and, in the statistical analyses, the relationships between the concurrent domains were analyzed using Spearman's correlation coefficient. RESULTS: The best correlations were found between the function and pain domains: function in the Br-SRS-22r and physical function in the Br-SF-36 (r=0.83); pain in the Br-SRS-22r and pain in the Br-SF-36 (r=0.86). However, the domains of self-image and satisfaction with treatment with the Br-SRS-22r showed moderate and poor correlations with their corresponding domains in the Br-SF-36. There were moderate correlations between the questionnaires, with the best correlations showing greater similarity in the evaluated parameters between the respective instruments. Unlike the function and pain domains, the mental health domains did not have a good correlations, possibly because of difficulties in interpreting of the questions in the Br-SF-36. For the self-image and satisfaction domains, the correlations were moderate and poor because these topics were not specifically covered by the SF-36. CONCLUSIONS: The Brazilian version of the SRS-22r demonstrated moderate concurrent validity results in relation to the Br-SF-36, and this version adapted for the Brazilian culture was deemed valid.

scoliosis; questionnaire; quality of life; validity

Validade concorrente da versão brasileira do SRS-22r com o Br-SF-36

Giselle C. L. Rosanova; Bruna S. Gabriel; Paula M. F. Camarini; Priscila E. S. Gianini; Daniel M. Coelho; Anamaria S. Oliveira

Departamento de Biomecânica, Medicina e Reabilitação do Aparelho Locomotor, Faculdade de Medicina de Ribeirão Preto, Universidade de São Paulo (FMRP/USP), Ribeirão Preto (SP), Brasil

^{Correspondência para}

RESUMO

CONTEXTUALIZAÇÃO: A validade concorrente, relevante na adaptação transcultural, refere-se à relação entre o desempenho do instrumento de interesse e o desempenho de instrumento semelhante com validade conhecida.

OBJETIVO: Realizar a validação concorrente da versão brasileira do questionário revisado da Scoliosis Research Society (Br-SRS-22r) com a versão brasileira do Short Form-36 (Br-SF-36).

MÉTODOS: Foram selecionados 54 pacientes com escoliose idiopática com média de 19,9 anos (±7,7) e curvaturas com média de 31,6° (±20,5° graus) Cobb, variando entre 10º e 92º. Os questionários tiveram seus resultados convertidos em escores, e a análise estatística correlacionou os domínios concorrentes utilizando o cálculo de coeficiente de Spearman.

RESULTADOS: Os domínios de melhor correlação foram função do Br-SRS-22r com função física do Br-SF-36 (r=0,83) e dor do Br-SRS-22r com dor do Br-SF-36 (r=0,86). Entretanto, os domínios autoimagem e satisfação com o tratamento do Br-SRS-22r apresentaram baixa correlação com seus domínios concorrentes do Br-SF-36.

DISCUSSÃO: Houve uma correlação satisfatória entre os questionários, sendo que as melhores correlações indicam maior semelhança nos parâmetros avaliados entre os respectivos instrumentos. As melhores correlações foram as dos domínios função e dor, não ocorrendo em saúde mental, possivelmente devido às dificuldades de interpretação de suas questões no Br-SF-36. Para os domínios autoimagem e satisfação com o tratamento do Br-SRS-22r, a correlação é pouco satisfatória por não serem especificamente abordados pelo SF-36.

CONCLUSÃO: A versão brasileira do SRS-22r apresentou resultados satisfatórios para a validação concorrente com o Br-SF-36, sendo considerada válida para a versão adaptada à cultura brasileira.

Palavras-chave: escoliose; questionário; qualidade de vida; validade.

Introdução

A escoliose é uma afecção da coluna vertebral definida como uma deformidade em curva no plano ântero-posterior, maior de 10º no ângulo de Cobb, associada à rotação vertebral¹. Dos indivíduos entre 10 e 16 anos, de 2 a 4% apresentam escoliose idiopática^1,2, sendo que a maioria afetada pertence ao sexo feminino^3,4. Além disso, a progressão da curva escoliótica apresenta-se maior em indivíduos do sexo feminino e que não atingiram a maturidade sexual e em curvas com ângulo maior que 30º ^1,4.

A escoliose e seu tratamento apresentam grande impacto na qualidade de vida dos pacientes, havendo diferenças culturais em sua percepção^5,7. Ela pode acarretar disfunções físicas e psicossociais^5,8 que, por sua vez, interferem na percepção de saúde e na satisfação com o tratamento do paciente⁹.

Os distúrbios psicológicos afetam a qualidade de vida do paciente⁵ e estão associados a fatores de risco como sexo, idade, tratamento e nível socioeconômico, sendo que o perfil mais afetado é representado pelo grupo feminino tratado com colete após os 16 anos¹⁰.

Estudos demonstram que as mulheres são as mais afetadas no aspecto de autoimagem, principalmente na adolescência^10-12, mesmo para a população saudável³. Por outro lado, indivíduos do sexo masculino com escoliose têm uma pior percepção de sua saúde¹⁰ e apresentam maior índice de insatisfação com tratamento^13,14.

Mais importante que os graus de curvatura, a satisfação com o tratamento relatada pelo paciente tem se mostrado mais eficaz para a avaliação da eficácia do método escolhido^9,8,15. Definir critérios que quantifiquem essa percepção subjetiva pode guiar as condutas dos profissionais de saúde, baseando-se no perfil do paciente, e auxiliar na indicação da abordagem a submetê-lo, visando a preservar a adesão ao tratamento e seu bem estar psicossocial^16-21. Observando-se a importância clínica da avaliação da condição pelo próprio paciente, têm-se desenvolvido instrumentos que quantifiquem essa percepção^15,22.

A adaptação de um questionário que avalie a qualidade de vida ao uso multinacional não só envolve uma tradução para outras línguas como também uma adaptação para cada cultura. A eficiência de questionários como este é determinada por seus índices psicométricos, ou seja, o resultado da aplicação de medidas ou parâmetros psicométricos que fundamentalmente se referem à fidedignidade e à validade do instrumento^18,23,24.

A medida de validade de um questionário consiste na capacidade de um instrumento de medir o que ele pretende. Durante o processo de validação transcultural de um questionário, é utilizada a validade concorrente, que consiste na comparação de domínios correspondentes entre um questionário já validado e aquele a ser validado¹⁸. Como o Short-Form-36 (SF-36) se trata de um questionário não-específico para uma determinada condição, ele tem sido o mais utilizado como parâmetro de comparação para a validação concorrente de vários outros questionários condição-específicos ou gerais^18,25.

Dentre os específicos para as condições da coluna, está o Revised Scoliosis Research Society-22 (SRS-22r), aplicado em pacientes com escoliose idiopática^26-28, cuja condição e tratamento têm grande impacto na qualidade de vida²⁹. O SRS-22r foi criado e revisado com o objetivo de avaliar esse impacto a partir do ponto de vista do próprio paciente²⁸. A versão revisada é formada por 22 questões distribuídas em cinco domínios: função/atividade (FA), dor (D), autoimagem/aparência (AA), saúde mental (SM) e satisfação com o tratamento (ST), cujos escores variam de 1 a 5, sendo 5 a melhor condição de saúde^18,25,28, e já foi submetido ao processo de validação tanto para a versão original¹⁸ como para as versões turca³⁰, espanhola²⁷, japonesa³¹ e chinesa²⁰.

O SF-36 é um questionário não-específico, utilizado em pacientes com condições como diabetes³², hipertensão arterial pulmonar³³, dor lombar³⁴, entre outras. Ele é composto por 36 questões, distribuídas em oito domínios: função física (FF), aspecto físico (AF), índice de dor (ID), percepções de saúde geral (PSG), vitalidade (V), função social (FS), aspecto emocional (AE) e índice de saúde mental (IM). Os escores são normalizados de 0 a 100, sendo 100 a melhor condição de saúde^18,25. No estudo de Asher et al.¹⁸ para validação concorrente do SRS-22, os autores concluíram que o SF-36 pode não ser capaz de capturar domínios que são mais específicos e relevantes para a percepção de qualidade de vida de pacientes com escoliose. Além disso, a versão completa do SF-36 é muito longa, possui perguntas complexas para serem interpretadas, não apresenta domínio correspondente à autoimagem e é relativamente mais complexa para se obter a pontuação total.

Visto que o SRS-22r é um questionário importante para a avaliação do impacto da qualidade de vida do portador de escoliose idiopática e tem sido utilizado na literatura científica de circulação internacional, o objetivo deste estudo foi realizar a validação concorrente da versão brasileira do questionário SRS-22r (Br-SRS-22r) com a versão brasileira do SF-36 (Br-SF-36)³⁵, a fim de proceder a mais uma etapa da validação da versão nacional adaptada à cultura brasileira.

Materiais e métodos

Foram selecionados 54 pacientes do setor de ortopedia do serviço público de saúde de nível terciário e serviço para pacientes conveniados de nível secundário, sendo 47 do sexo feminino e sete do sexo masculino, com média de idade de 19,9 (±7,7) anos³⁶ e diagnóstico médico de escoliose idiopática, apresentando curvaturas de valores médios de 31,6 (±20,5) graus Cobb, variando entre 10º e 92º ³⁷.

Diferentes níveis de comprometimento foram incluídos para compor uma amostra capaz de estabelecer a validade do questionário para pacientes tão distintos quanto os acompanhados apenas por tratamento conservador e os em período pós-cirúrgico tardio, havendo também voluntários com curvas ainda não estabilizadas. Indivíduos analfabetos, com doença neurológica ou que não apresentavam escoliose idiopática não foram incluídos na amostra.

Todos os voluntários e seus responsáveis foram esclarecidos a respeito do procedimento do estudo e assinaram um termo formal de consentimento livre e esclarecido para a participação no estudo. O termo foi elaborado segundo a resolução 196 de 10 de outubro de 1996 do Conselho Nacional da Saúde e aprovado pelo Comitê de Ética em Pesquisa Envolvendo Seres Humanos do HC-FMRP, processo HCRP n° 9853/2005.

Procedimentos

Os questionários Br-SRS-22r e Br-SF-36³⁵ foram apresentados e explicados aos pacientes, que foram instruídos a responder a eles sem auxílio dos acompanhantes e do pesquisador, de acordo com suas versões originais^18,28,35, pois ambos são autoadministráveis.

Após o preenchimento dos questionários, os voluntários foram questionados sobre prováveis dificuldades encontradas no autopreenchimento, sendo excluídos cinco voluntários do estudo (9,26%), cujas respostas foram influenciadas pelo acompanhante.

Análise dos dados e estatística

Os domínios de cada um dos questionários utilizados foram correlacionados e disponibilizados na Tabela 1. Cada questionário teve seus resultados convertidos em escores de acordo com o valor estabelecido para cada opção¹⁸. Para possibilitar esta comparação, os escores do Br-SRS-22r foram normalizados de acordo com a pontuação do Br-SF-36. O cálculo do Coeficiente de Correlação de Spearman foi aplicado para avaliar a validade concorrente dos domínios com nível de significância de 95%. A correlação foi considerada excelente para valores entre 1,00 e 0,75; boa para valores entre 0,50 e 0,75; moderada para valores entre 0,25 e 0,50 e baixa para valores entre 0,25 e 0³⁸.

Resultados

A validade concorrente foi determinada a partir do Coeficiente de Spearman por comparação dos domínios relevantes do Br-SRS-22r com a forma breve do Br-SF-36, como demonstrado na Tabela 2. Os domínios que apresentaram melhor correlação foram função do Br-SRS-22r com função física do Br-SF-36 (r=0,83) e dor do Br-SRS-22r com dor do Br-SF-36 (r=0,86). O domínio saúde mental do Br-SRS-22r apresentou moderada correlação quando comparado aos domínios vitalidade (r=0,57) e saúde mental (r=0,57) do Br-SF-36. Entretanto, os domínios autoimagem e satisfação com o tratamento do Br-SRS-22r apresentaram baixa correlação com seus domínios correspondentes do Br-SF-36.

Discussão

Os resultados encontrados neste estudo provaram a validade concorrente da versão brasileira do SRS-22r com o Br-SF-36. As melhores correlações indicam uma maior equivalência nos parâmetros avaliados entre os respectivos instrumentos, o que foi encontrado principalmente nos domínios função, variando de moderada a excelente, e dor, variando de boa a excelente. Resultado semelhante foi encontrado em outros estudos, como os de Asher et al.¹⁸, Cheung et al.²⁰, Alanay et al.³⁰ e Hashimoto et al.³¹. Entretanto, o domínio saúde mental apresentou os valores mais baixos de correlação com o domínio correspondente no Br-SF-36, função social. Isso pode ser devido ao fato de muitos pacientes terem encontrado dificuldades na interpretação das questões referentes a esse domínio no Br-SF-36 durante as coletas dos dados¹⁸.

A correlação entre o domínio autoimagem do Br-SRS-22r e os domínios correspondentes no Br-SF-36 foi pouco satisfatória: percepções de saúde geral; função social e função física, assim como foi para a versão original em inglês validada por Asher et al.¹⁸. Segundo os autores, essa menor correlação acontece porque o SF-36 não aborda esse quesito por não ser um questionário específico para condições que afetam a estética corporal, quesito relevante no impacto da qualidade de vida de portadores de escoliose.

O mesmo ocorreu para a relativa menor correlação encontrada no domínio satisfação com o tratamento, que não possui domínio concorrente no Br-SF-36, refletindo uma pobre correlação intrínseca entre os domínios^20,30.

Apesar de visar à abrangência de uma variedade populacional para a validação, alguns fatores, como idade e ângulo de Cobb, podem ter influenciado os resultados devido, respectivamente, à dificuldade de compreensão dos instrumentos³⁶ e ao grau de disfunção física e psicossocial acarretado pela escoliose⁸.

Na entrevista pós-preenchimento e na análise dos questionários, observou-se a presença de 11,11% de questionários do Br-SF-36 com dados incompletos, o que revelou dificuldades do preenchimento autoadministrado da ferramenta. Esse aspecto pode indicar uma importante vantagem do Br-SRS-22r sobre o Br-SF-36 com relação à compreensão do instrumento e obtenção dos dados de pacientes com escoliose idiopática, assim como relataram anteriormente Berven et al.³⁹.

As questões 5, 8 e 11 do Br-SRS-22r apresentaram dificuldades de interpretação por parte de 1,85% dos voluntários. No entanto, Ciconelli et al.³⁵ sugerem que tais dificuldades só sejam consideradas passíveis de justificar alteração ou reformulação das questões quando elas excedem perda ou resposta incompleta em 15% do número total de voluntários do estudo, podendo o referido resultado ter acontecido ao acaso nesta amostra.

Embora o questionário tenha sido concorrentemente validado para uma população urbana de serviço público e privado, os sujeitos são todos oriundos de apenas uma região do país e, considerando a diversidade cultural do Brasil, a aplicabilidade deste questionário em outras regiões é desconhecida e pode ser novamente testada, como já foi sugerido para outras versões do questionário, como a chinesa e a original em língua inglesa^18,20.

Conclusão

A versão brasileira do SRS-22r apresentou resultados satisfatórios para a validação concorrente com o Br-SF-36. Considerando a análise estatística que correlacionou os instrumentos e a importância da aplicação do Br-SRS-22r em voluntários com escoliose, a versão brasileira do SRS-22r pode ser considerada válida e adaptada para a cultura do Brasil, em especial da região sudeste.

Recebido: 08/11/2008

Revisado: 11/06/2009

Aceito: 06/08/2009

• 1. Reamy BV, Slakey JB. Adolescent idiopathic scoliosis: review and current concepts. Am Fam Physician. 2001;64(1):111-6.
• 2. Roach JW. Adolescent idiopathic scoliosis. Orthop Clin North Am. 1999;30(3):353-65.
• 3. Payne WK 3rd, Ogilvie JW, Resnick MD, Kane RL, Transfeldt EE, Blum RW. Does scoliosis have a psychological impact and does gender make a difference? Spine (Phila Pa 1976). 1997;22(12):1380-4.
• 4. Soucacos PN, Zacharis K, Soultanis K, Gelalis J, Xenakis T, Beris AE. Risk factors for idiopathic scoliosis: review of a 6-year prospective study. Orthopedics. 2000;23(8):833-8.
• 5. Freidel K, Petermann F, Reichel D, Steiner A, Warschburger P, Weiss HR. Quality of life in women with idiopathic scoliosis. Spine (Phila Pa 1976). 2002;27(4):E87-91.
• 6. Danielsson AJ. What impact does spinal deformity correction for adolescent idiopathic scoliosis make on quality of life? Spine (Phila Pa 1976). 2007;32(19 Suppl):S101-8.
• 7. Watanabe K, Lenke LG, Bridwell KH, Hasegawa K, Hirano T, Endo N, et al. Cross-cultural comparison of the scoliosis research society outcomes instrument between american and japanese idiopathic scoliosis patients: are there differences? Spine (Phila Pa 1976). 2007;32(24):2711-4.
• 8. Haefeli M, Elfering A, Kilian R, Min K, Boos N. Nonoperative treatment for adolescent idiopathic scoliosis: a 10- to 60-year follow-up with special reference to health-related quality of life. Spine (Phila Pa 1976). 2006;31(3):355-66.
• 9. Smith PL, Donaldson S, Hedden D, Alman B, Howard A, Stephens D, et al. Parents' and patients' perceptions of postoperative appearance in adolescent idiopathic scoliosis. Spine (Phila Pa 1976). 2006;31(20):2367-74.
• 10. Tones M, Moss N, Polly DW Jr. A review of quality of life and psychosocial issues in scoliosis. Spine (Phila Pa 1976). 2006;31(26):3027-38.
• 11. Kahanovitz N, Weiser S. The psychological impact of idiopathic scoliosis on the adolescent female. A preliminary multi-center study. Spine (Phila Pa 1976). 1989;14(5):483-5.
• 12. Ben-Tovim DI, Walker MK. Body image, disfigurement and disability. J Psychosom Res. 1995;39(3):283-91.
• 13. Bullmann V, Halm HF, Lerner T, Lepsien U, Hackenberg L, Liljenqvist U. Prospective evaluation of braces as treatment in idiopathic scoliosis. Z Orthop Ihre Grenzgeb. 2004;142(4):403-9.
• 14. Patil CG, Santarelli J, Lad SP, Ho C, Tian W, Boakye M. Inpatient complications, mortality, and discharge disposition after surgical correction of idiopathic scoliosis: a national perspective. Spine J. 2008;8(6):904-10.
• 15. Asher M, Lai SM, Burton D, Manna B. Spine deformity correlates better than trunk deformity with idiopathic scoliosis patients' quality of life questionnaire responses. Stud Health Technol Inform. 2002;91:462-4.
• 16. Haher TR, Gorup JM, Shin TM, Homel P, Merola AA, Grogan DP, et al. Results of the Scoliosis Research society instrument for evaluation of surgical outcome in adolescent idiopathic scoliosis. A multicenter study of 244 patients. Spine (Phila Pa 1976). 1999;24(14):1435-40.
• 17. Padua R, Padua S, Aulisa L, Ceccarelli E, Padua L, Romanini E, et al. Patient outcomes after harrington instrumentation for idiopathic scoliosis: a 15- to 28-year evaluation. Spine (Phila Pa 1976). 2001;26(11):1268-73.
• 18. Asher M, Min Lai S, Burton D, Manna B. The reliability and concurrent validity of the scoliosis research society-22 patient auestionnaire for idiopathic scoliosis. Spine (Phila Pa 1976). 2003;28(1):63-9.
• 19. Weigert KP, Nygaard LM, Christensen FB, Hansen ES, Bünger C. Outcome in adolescent idiopathic scoliosis after brace treatment and surgery assessed by means of the scoliosis research society instrument 24. Eur Spine J. 2006;15(7):1108-17.
• 20. Cheung KM, Senkoylu A, Alanay A, Genc Y, Lau S, Luk KD. Reliability and concurrent validity of the adapted chinese version of scoliosis research society-22 (SRS-22) questionnaire. Spine (Phila Pa 1976). 2007;32(10):1141-5.
• 21. Chan CY, Kwan MK, Saw LB, Deepak AS, Chong CS, Liew TM, et al. Post-operative health related quality of life assessment in scoliosis patients. Med J Malaysia. 2008;63(2):137-9.
• 22. Vasiliadis E, Grivas TB, Gkoltsiou K. Development and preliminary validation of brace questionnaire (BrQ): a new instrument for measuring quality of life of brace treated scoliotics. Scoliosis. 2006;1:7.
• 23. Picon P. Epidemiologia e psiquiatria. In: Cataldo Neto A, Gauer GJC, Furtado NR, editores. Psiquiatria para estudantes de medicina. Porto Alegre: EDIPUCRS; 2003. p.83-93.
• 24. Pasquali L. Teoria e métodos de medida em ciências do comportamento. Brasília: INEP; 1996.
• 25. Lai SM, Asher M, Burton D. Estimating SRS-22 quality of life measures with SF-36: aplication in idiopathic scoliosis. Spine (Phila Pa 1976). 2006;31(4):473-8.
• 26. Hanscom B, Lurie JD, Homa K, Weinstein JN. Computerized questionnaires and the quality of survey data. Spine (Phila Pa 1976). 2002;27(16):1797-801.
• 27. Climent JM, Bago J, Ey A, Perez-Grueso FJS, Izquierdo E. Validity of the spanish version of the scoliosis research society-22 (SRS-22) patient questionnaire. Spine (Phila Pa 1976). 2005;30(6):705-9.
• 28. Asher MA, Lai SM, Glattes RC, Burton DC, Alanay A, Bago J. Refinement of the SRS-22 health-related quality of life questionnaire function domain. Spine (Phila Pa 1976). 2006;31(5):593-7.
• 29. Climent JM, Sanchez J. Impact of the type of brace on quality of life of adolescents with spine deformities. Spine (Phila Pa 1976). 1999;24(18):1903-8.
• 30. Alanay A, Cil A, Berk H, Acaroglu E, Yazici M, Akali O, et al. Reliability and validity of adapted turkish version of scoliosis research society-22 (SRS-22) questionnaire. Spine (Phila Pa 1976). 2005;30(21):2464-8.
• 31. Hashimoto H, Sase T, Arai Y, Maruyama T, Isobe K, Shouno Y. Validation of a japanese version of the scoliosis research society-22 patient questionnaire among idiopathic scoliosis patients in Japan. Spine (Phila Pa 1976). 2007;32(4):E141-6.
• 32. Mena Martín FJ, Martín Escudero JC, Simal Blanco F, Bellido Casado J, Carretero Ares JL. Type 2 diabetes mellitus and health-related quality of life: results from the Hortega Study. An Med Interna. 2006;23(8):357-60.
• 33. Wong RC, Koh GM, Choong PH, Yip WL. Oral sildenafil therapy improves health-related quality of life and functional status in pulmonary arterial hypertension. Int J Cardiol. 2007;119(3):400-2.
• 34. Buchner M, Zahlten-Hinguranage A, Schiltenwolf M, Neubauer E. Therapy outcome after multidisciplinary treatment for chronic neck and chronic low back pain: a prospective clinical study in 365 patients. Scand J Rheumatol. 2006;35(5):363-7.
• 35. Ciconelli RM, Ferraz MB, Santos W, Meinão I, Quaresma MR. Tradução para a língua portuguesa e validação do questionário genérico de avaliação de qualidade de vida SF-36 (Brasil SF-36). Rev Bras Reumatol. 1999;39(3):143-50.
• 36. Beaton DE, Bombardier C, Guillemin F, Ferraz MB. Guidelines for the process of cross-cultural adaptation of self-report measures. Spine (Phila Pa 1976). 2000;25(24):3186-91.
• 37. Chromy CA, Carey MT, Balgaard KG, Iaizzo PA. The potential use of axial spinal unloading in the treatment of adolescent idiopathic scoliosis: a case series. Arch Phys Med Rehabil. 2006;87(11):1447-53.
• 38. Fleiss JL. The sesign and analysis of clinical experiments. New York: Wiley; 1986.
• 39. Berven S, Deviren V, Demir-Deviren S, Hu SS, Bradford DS. Studies in modified scoliosis research society outcomes instrument in adults: validation, reliability, and discriminatory capacity. Spine (Phila Pa 1976). 2003;28(18):2164-9.

Datas de Publicação

• Publicação nesta coleção
  14 Maio 2010
• Data do Fascículo
  Abr 2010

Histórico

• Recebido
  08 Nov 2008
• Aceito
  06 Ago 2009
• Revisado
  11 Jun 2009