Acessibilidade / Reportar erro

Tradução, adaptação cultural e validação de uma escala para aferir limitação da atividade de subir e descer escadas

Translation, cultural adaptation and validation of a scale measuring activity limitations in climbing stairs

Resumos

INTRODUÇÃO: Subir e descer escadas são tarefas importantes do cotidiano. A limitação dessa atividade é especialmente prevalente na população idosa, com implicações em sua independência funcional. O objetivo deste estudo foi realizar a tradução, adaptação cultural para a língua portuguesa e validação da escala Activity Limitations in Climbing Stairs, que afere se há limitação da atividade de subir e descer escadas. MÉTODOS: Tradução, tradução reversa e adaptação cultural. Instrumentos utilizados: teste de performance de membros inferiores de Guralnik; tempo de subida e descida de uma escada de sete degraus com corrimão, observando-se a utilização de corrimão e o uso de passos alternados durante a tarefa. Após 15 dias, a escala foi reaplicada na mesma população. Estatística descritiva e testes de correlação, sendo a diferença entre grupos α<0,05. RESULTADOS: Participaram do estudo 22 pacientes (72,2% mulheres), idade média de 76 anos. Na fase de adaptação cultural, uma questão foi revista. O escore da escala se correlacionou significativamente com o tempo de subir e descer a escada, e diferenciou o grupo que utilizava pés alternados e corrimão. O teste de Guralnik se correlacionou significativamente com o tempo de subir e descer a escada. A consistência interna foi de 0,8477. A escala se manteve estável após a segunda aplicação. CONCLUSÃO: Foram realizadas tradução e adaptação cultural da Escala Activity Limitations in Climbing Stairs. Sua validade foi estabelecida em um grupo de idosos, pela correlação significativa com o tempo cronometrado de subir e descer uma escada e com a forma de realizar a atividade; apresentando alta consistência interna e estabilidade.

Tradução; Idoso; Limitação da Mobilidade; Avaliação


INTRODUCTION: Stair climbing is an essential daily task. Climbing limitations are especially prevalent in elderly populations and affect functional independence. This paper aims to translate and make the cultural adaption to Brazilian Portuguese of the "Activity Limitations in Climbing Stairs" scale and its validation. METHODS: Translation, back-translation and cultural adaptation. Instruments: Guralnik short physical performance battery; timing to ascend and descend a seven-step staircase with handrail. Use of handrail and alternate steps were observed. The scale was reapplied to the same population, after 15 days. Descriptive statistics, with correlation and comparing group tests α<0.05. RESULTS: The study observed 22 patients (72.2% female); average age 76 years. Only one question was revised due to cultural adaptation. The scale score was significantly correlated to stair ascending and descending time and differentiated the group using alternate feet and handrail. The Guralnik test was significantly correlated with stair climbing. The internal consistency was 0.8477. The scale remained stable. CONCLUSION: The "Activity Limitations in Climbing Stairs" scale translation and cultural adaptation was completed. Its validity was established in a group of elderly subjects by the significant scale correlation to the actual task. High internal consistency and stability were determined.

Translation; Elderly; Mobility Limitation; Evaluation; Assessment


ARTIGOS ORIGINAIS ORIGINAL ARTICLES

Tradução, adaptação cultural e validação de uma escala para aferir limitação da atividade de subir e descer escadas

Translation, cultural adaptation and validation of a scale measuring activity limitations in climbing stairs

Paula Macedo Sant'Anna de MelloI; Anni Amorelli da SilvaI; Priscila Pereira GonçalvesI; Nathalia Lima Rosário dos SantosI; Mariana ToledanoI; Priscila Wane MendesI; Marcella Haddad de Carvalho MacielI; Ana Cristina FranzoiII

IProjeto de Iniciação Científica, Curso de Fisioterapia. Universidade Federal do Rio de Janeiro. Rio de Janeiro, RJ, Brasil

IIDepartamento de Clínica Médica, Faculdade de Medicina. Universidade Federal do Rio de Janeiro. Rio de Janeiro, RJ, Brasil

Correspondência Correspondência: Ana Cristina Franzoi E-mail: anacristinafranzoi@gmail.com

RESUMO

INTRODUÇÃO: Subir e descer escadas são tarefas importantes do cotidiano. A limitação dessa atividade é especialmente prevalente na população idosa, com implicações em sua independência funcional. O objetivo deste estudo foi realizar a tradução, adaptação cultural para a língua portuguesa e validação da escala Activity Limitations in Climbing Stairs, que afere se há limitação da atividade de subir e descer escadas.

MÉTODOS: Tradução, tradução reversa e adaptação cultural. Instrumentos utilizados: teste de performance de membros inferiores de Guralnik; tempo de subida e descida de uma escada de sete degraus com corrimão, observando-se a utilização de corrimão e o uso de passos alternados durante a tarefa. Após 15 dias, a escala foi reaplicada na mesma população. Estatística descritiva e testes de correlação, sendo a diferença entre grupos α<0,05.

RESULTADOS: Participaram do estudo 22 pacientes (72,2% mulheres), idade média de 76 anos. Na fase de adaptação cultural, uma questão foi revista. O escore da escala se correlacionou significativamente com o tempo de subir e descer a escada, e diferenciou o grupo que utilizava pés alternados e corrimão. O teste de Guralnik se correlacionou significativamente com o tempo de subir e descer a escada. A consistência interna foi de 0,8477. A escala se manteve estável após a segunda aplicação.

CONCLUSÃO: Foram realizadas tradução e adaptação cultural da Escala Activity Limitations in Climbing Stairs. Sua validade foi estabelecida em um grupo de idosos, pela correlação significativa com o tempo cronometrado de subir e descer uma escada e com a forma de realizar a atividade; apresentando alta consistência interna e estabilidade.

Palavras-chave: Tradução. Idoso. Limitação da Mobilidade. Avaliação.

ABSTRACT

INTRODUCTION: Stair climbing is an essential daily task. Climbing limitations are especially prevalent in elderly populations and affect functional independence. This paper aims to translate and make the cultural adaption to Brazilian Portuguese of the "Activity Limitations in Climbing Stairs" scale and its validation.

METHODS: Translation, back-translation and cultural adaptation. Instruments: Guralnik short physical performance battery; timing to ascend and descend a seven-step staircase with handrail. Use of handrail and alternate steps were observed. The scale was reapplied to the same population, after 15 days. Descriptive statistics, with correlation and comparing group tests α<0.05.

RESULTS: The study observed 22 patients (72.2% female); average age 76 years. Only one question was revised due to cultural adaptation. The scale score was significantly correlated to stair ascending and descending time and differentiated the group using alternate feet and handrail. The Guralnik test was significantly correlated with stair climbing. The internal consistency was 0.8477. The scale remained stable.

CONCLUSION: The "Activity Limitations in Climbing Stairs" scale translation and cultural adaptation was completed. Its validity was established in a group of elderly subjects by the significant scale correlation to the actual task. High internal consistency and stability were determined.

Key words: Translation. Elderly. Mobility Limitation. Evaluation. Assessment.

INTRODUÇÃO

Subir e descer escadas são tarefas importantes do dia a dia. O medo de queda está relacionado especificamente a essa atividade,1 havendo alta incidência de quedas durante sua realização, o que pode ser desafiador e potencialmente perigoso para os idosos.2 A limitação dessa atividade é especialmente prevalente na população idosa, sendo um indicador de incapacidade com implicações na independência funcional do indivíduo.3

A dificuldade para subir e descer escadas pode estar relacionada a vários fatores, como por exemplo, déficit visual, acometimento do sistema locomotor e neurológico, dispneia e angina. Fatores ambientais como degraus altos e baixa iluminação também podem interferir nessa tarefa.4

Escalas de avaliação funcional podem ser úteis para identificar e monitorar incapacidades, quantificando o nível de dependência e a necessidade de aparelhos de auxílio na execução de tarefas.5 Em função de os instrumentos existentes não fornecerem uma avaliação mais detalhada da limitação da atividade de subir e descer escadas, Roorda e colaboradores6 desenvolveram uma escala que afere essa ação.

O questionário Activity Limitations in Climbing Stairs é composto por 15 perguntas autorrespondidas. Os itens se referem à performance real do paciente na atividade de subir e descer escadas e não ao que ele presume ser capaz de fazer (por exemplo: "Eu subo escadas, mas levo mais tempo") com opções de respostas dicotômicas. O escore total é obtido somando-se as questões marcadas com sim (0 a 15).

Para confirmar a ordenação e hierarquia dos itens, a confiabilidade e robustez da escala, a mesma foi aplicada em 759 pacientes com diferentes desordens dos membros inferiores.6 Há também descrição do uso do questionário em pacientes com síndrome de dor regional complexa,7 diabéticos com úlceras de pé8 e em amputados,9 tendo sido demonstrada boa validade de construto e estabilidade.

A única versão publicada desse questionário é a versão original em língua inglesa. A tradução e adaptação de instrumentos de uma língua para outra requerem uma série de cuidados, que visam garantir a equivalência entre a versão original e a adaptada.10,11

O objetivo deste estudo foi realizar a tradução, adaptação cultural para a língua portuguesa e validação da escala Activity Limitations in Climbing Stairs,6 que afere se há limitação da atividade de subir e descer escadas em um grupo de idosos em atendimento ambulatorial em um hospital terciário.

METODOLOGIA

Na primeira etapa, o questionário foi traduzido do inglês para o português por dois tradutores. As duas traduções foram comparadas e adaptadas, dando origem à versão 1. Esta foi vertida para o idioma original (back-translation) e comparada à versão fonte, para avaliar possíveis erros no processo de tradução, chegando-se à versão 2.

As amostras de pacientes, utilizadas na fase de adaptação cultural (n=24) e validação (n=22), foram consecutivas e de conveniência, compostas de idosos que frequentavam o grupo ambulatorial de reabilitação geriátrica do Serviço de Medicina Física e Reabilitação (SMFR) do Hospital Universitário Clementino Fraga Filho (HUCFF) da Universidade Federal do Rio de Janeiro (UFRJ). O estudo foi realizado entre agosto e outubro de 2011.

Na etapa de adaptação cultural, a versão 2 foi aplicada a 24 pacientes, para identificar questões de difícil entendimento. As questões eram lidas para os pacientes que relatavam com suas próprias palavras o teor de cada pergunta. Caso houvesse dificuldade de compreensão de determinada questão por mais de três pacientes (mais que 15% da amostra), esta seria refeita. Uma nova versão do questionário, após a modificação das questões, foi apresentada aos pacientes, verificando-se novamente sua compreensão; chegou-se então à versão final.

Na fase de validação, a versão final do questionário foi aplicada a 22 pacientes, tendo também sido preenchido um protocolo que incluiu identificação (sexo e idade) e relato da ocorrência ou não de quedas no último ano, além dos testes de performance funcional descritos a seguir.

1) Teste de performance de membros inferiores de Guralnik 12

Composto por três componentes: equilíbrio, marcha e teste de sentar e levantar.

Equilíbrio: o paciente é colocado em três posições, com graus crescentes de dificuldade, para aferição do equilíbrio estático, sendo cronometrado o tempo de permanência nas seguintes posturas: posição ortostática com os pés unidos; pés semialinhados (pés unidos, com dedos de um pé paralelos ao calcanhar do outro pé); pés alinhados (dedos de um pé atrás do calcanhar do outro pé). Pontuação: zero ponto se o paciente não permanece por 10 segundos na primeira posição; um ponto se o paciente permanece por 10 segundos somente na primeira posição; dois pontos se o paciente permanece por 10 segundos na segunda posição; três pontos se o paciente permanece de três a nove segundos na terceira posição; quatro pontos se o paciente permanece 10 segundos na terceira posição.

Marcha: afere-se a velocidade da marcha utilizando um passo confortável num trajeto de 2,4 metros (oito pés). Pontuação: zero se não realiza; um se a velocidade for acima ou igual a 5,7 segundos; dois se a velocidade for entre 4,1 e 5,6 segundos; três se a velocidade for entre 3,2 e 4,0 segundos; e quatro se a velocidade for abaixo ou igual a 3,1 segundos.

Teste de sentar e levantar: o paciente é instruído a levantar cinco vezes de uma cadeira com os braços cruzados. Inicia-se o teste com o paciente na posição sentada. Cronometra-se a partir do início do primeiro movimento de levantar, interrompendo o cronômetro na quinta vez que o paciente fica de pé. O paciente deverá realizar a tarefa o mais rápido possível, podendo ser incentivado. Pontuação: zero se não realiza a tarefa; um se realiza a tarefa numa velocidade acima ou igual a 16,7 segundos; dois se realiza a tarefa numa velocidade entre 13,7 e 16,6 segundos; três se realiza a tarefa numa velocidade entre 11,2 e 13,6 segundos; quatro se realiza a tarefa numa velocidade menor ou igual a 11,1 segundos.

Somando-se os subitens do teste (equilíbrio, marcha, teste de sentar e levantar), o escore possível varia de 0 (pior) a 12 (melhor) pontos.

2) Tempo de subida e descida de uma escada de sete degraus com corrimão

Foram observados a utilização ou não do corrimão e o uso de passos alternados ou não durante a tarefa. Solicitava-se ao idoso realizar a tarefa da maneira usual. Paralelamente, foi realizado o mesmo teste (tempo de subida e descida da mesma escada) em um grupo de adultos. Este grupo controle foi uma amostra também consecutiva e de conveniência, composta de alunos e funcionários do serviço (n=20), sendo 70% do sexo feminino, com idade média de 35,5 anos. Após 15 dias, a escala foi reaplicada na mesma população.

Utilizou-se estatística descritiva, Mann Whitney U test para determinar diferença entre grupos, análise de consistência interna (Alfa de Cronbach) e teste-reteste (análise da reprodutibilidade) Quando a correlação envolvia uma variável não paramétrica, foi utilizado o coeficiente de correlação de Spearman; para os dados paramétricos (no caso da velocidade), o coeficiente utilizado foi o de Pearson. Todos os testes utilizaram um nível de significância de 5%.

O projeto foi aprovado pelo Comitê de Ética em Pesquisa do HUCFF, registrado sob o número 9802/02, e os pacientes assinaram um Termo de Consentimento Livre e Esclarecido ao iniciarem o estudo.

RESULTADOS

Na fase de tradução, as diferenças da versão do primeiro tradutor e da versão do segundo foram discutidas e consensuadas, gerando a versão que foi encaminhada para retrotradução. Esta indicou que havia correspondência dessa versão com a escala original, chegando-se à tradução final.

Na fase de adaptação cultural, durante a primeira rodada de entrevistas, houve somente uma alteração. Mais de 10% dos entrevistados consideraram a questão 15 de difícil entendimento, então esta foi revisada, com a substituição da palavra "lance" por "andares" (quadro 1). Todas as outras questões foram compreendidas por mais de 90% dos entrevistados.


Na segunda rodada de entrevistas, com a alteração da questão 15, houve compreensão de todas as perguntas por 100% da amostra. A escala traduzida encontra-se no anexo 1, com escores finais variando de 0 (melhor) a 15 (pior).

Dos 22 pacientes que responderam ao questionário e realizaram os testes de performance, 72,2% eram do sexo feminino, com idade média de 76,33 anos (dp:7,69; variando de 61 a 91 anos), sendo que 59,1% relataram queda no último ano. A maioria apresentava baixa escolaridade: 71,4% da amostra tinham ensino fundamental.

A mediana da escala foi seis, sendo que a pontuação na escala variou de 1 a 11. A frequência de respostas "sim", que demonstra dificuldade na atividade de subir e descer escadas, está descrita na tabela 1 (ordem decrescente).

Os resultados dos testes de performance estão descritos nas tabelas 2 e 3.

O tempo de subida e descida na escada no grupo controle (adultos) foi de 9,16 segundos (dp:1,25). Todos realizaram a tarefa com os pés alternados e 20% utilizaram o corrimão tanto na descida como na subida.

O escore total da escala no grupo de idosos se correlacionou significativamente com o tempo cronometrado de subir e descer a escada (p<0,01). Ao dividirmos os pacientes em grupos, levando em consideração a forma como eles subiam e desciam os degraus (com pés alternados ou utilizando corrimão), houve diferença significativa no escore final da escala. Esses resultados estão descritos na tabela 4.

A idade se correlacionou (negativamente) somente com a pontuação do componente "equilíbrio" do teste de Guralnik. Quanto mais velhos, pior a performance nas posturas estáticas.

O tempo de subida e descida da escada se correlacionou significativamente com a pontuação do Guralnik total (p<0,01), do seu componente de equilíbrio (p<0,05) e de sentar e levantar cinco vezes (p<0,01). Também houve correlação significativa com o tempo de sentar e levantar cinco vezes e tempo de marcha (p<0,01). A consistência interna medida pelo α de Cronbach foi de 0,8477. Não houve alterações das respostas na segunda aplicação da escala.

DISCUSSÃO

O objetivo deste estudo foi realizar a tradução, adaptação cultural para a língua portuguesa e validação da escala Activity Limitations in Climbing Stairs,6 que afere se há limitação da atividade de subir e descer escadas.

Apesar de o nível de escolaridade ser baixo, a escala traduzida foi de fácil compreensão, tendo sido necessário alterar somente uma questão (a 15) na fase de adaptação cultural, a única pergunta em que mais do que 10% da amostra mostrou dificuldade de compreensão.

O relato de queda no último ano foi alto, acima da prevalência de queda descrita para a população idosa (entre 30 e 40 %),13-15 o que pode ser justificado pelo fato de a amostra ser composta de pacientes frágeis em atendimento em um hospital terciário. Os idosos reconheceram dificuldades na atividade de subir e descer escadas, o que foi evidenciado pela alta proporção de respostas "sim" para as afirmações: "realizo a tarefa usando mais tempo para subir e descer" e "realizo a tarefa com dificuldade tanto para subir quanto para descer".

Apesar de um maior número de idosos ter relatado (ao responder à escala) maior dificuldade com a subida do que com a descida, o teste de performance contradiz tal afirmação. A maioria usou com maior frequência o corrimão durante a descida e também não utilizou pés alternados mais frequentemente durante a descida. Esse fato é justificado pela maior inclinação de tronco que ocorre durante a descida16 (quando comparada com a subida), o que indica maior desafio para a manutenção do equilíbrio durante a fase de descida da escada.

As correlações significativas encontradas entre o tempo de subir e descer a escada e o teste de Guralnik (escore total, componente equilíbrio, componente sentar e levantar cinco vezes, tempo de marcha e tempo de sentar e levantar cinco vezes) ressaltam a importância da força muscular de membros inferiores e do equilíbrio nesta atividade.17 O grupo estudado refere diminuição dessa atividade funcional: 59% relataram ter reduzido a frequência do uso de escadas; 40% evitam essa atividade; e 36% realizam a atividade, mas com menos degraus ou andares. Como atividades de subir e descer escadas são fundamentais para a independência na comunidade, o fato de evitá-las pode repercutir negativamente na funcionalidade do idoso, restringindo sua mobilidade e independência. Esse fato corrobora a importância do instrumento, que aborda diretamente essa atividade.

A escala se correlacionou com a atividade em si, já que houve correlação significativa com o tempo de subir e descer a escada e com o modo como o idoso pratica essa atividade (com os pés alternados ou juntos ou utilizando ou não o corrimão). O escore na escala pode nos dar então uma inferência da atividade em si, já que reflete o tempo da atividade real e a maneira de fazê-la.

A consistência interna da escala foi elevada, assim como sua estabilidade no tempo (análise de reprodutibilidade). Esses achados, associados à correlação significativa com a atividade real, demonstram a validade de sua aplicação em idosos. Sua utilização poderá ser útil para identificar idosos com restrição da atividade de subir e descer escadas.

Citamos como limitação desta pesquisa o fato de o grupo estudado ser de pacientes idosos em atendimento em um hospital terciário, o que pode trazer um viés de gravidade dessa amostra.

CONCLUSÃO

Identificar a dificuldade de realizar a tarefa de subir e descer escadas é fundamental para manter o idoso independente no quesito mobilidade. A versão traduzida e adaptada da Escala de Subir e Descer Escadas apresentou alta consistência interna e estabilidade no teste-reteste. O escore total da escala se correlacionou significativamente com o tempo cronometrado de subir e descer a escada, e com a forma de realizar a atividade (uso de pés alternados e corrimão), mostrando-se válida para aferir essa atividade em um grupo de idosos.

AGRADECIMENTO

Aos pacientes que participaram voluntariamente da pesquisa.

Recebido: 21/8/2012

Revisado: 23/5/2013

Aprovado: 17/6/2013

Anexo 1 - Clique para ampliar

Anexo 1 - Clique para ampliar Anexo 1 - Clique para ampliar

  • 1. Bialoszewski D, Slupik A, Lewczuk E, Gotlib J, Mosieolek A, Mierzwinska A. Incidence of falls and their effect on mobility of individuals over 65 years of age relative to their place of residence. Ortop Traumatol Rehabil 2008;10(5):441-8.
  • 2. Reeves ND, Spanjaard M, Mohagheghi AA, Baltzopoulos V, Maganaris CN. Influence of light handrail use on the biomechanics of stair negotiation in old age. Gait Posture 2008;28(2):327-36.
  • 3. Tiedemann AC, Sherrington C, Lord SR. Physical and psychological factors associated with stair negotiation performance in older people. J Gerontol A Biol Sci Med Sci 2007;62(11):1259-65.
  • 4. Startzell JK, Owens DA, Mulfinger LM, Cavanagh PR. Stair negotiation in older people: a review. J Am Geriatr Soc 2000;48(5):567-80.
  • 5. van Iersel MB, Olde Rikkert MG, Mulley GP. Is stair negotiation measured appropriately in functional assessment scales? Clin Rehabil 2003;17(3):325-33.
  • 6. Roorda LD, Roebroeck ME, van Tilburg T, Lankhorst GJ, Bouter LM; Measuring Mobility Study Group. Measuring activity limitations in climbing stairs: development of a hierarchical scale for patients with lower- extremity disorders living at home. Arch Phys Med Rehabil 2004;85(6):967-71.
  • 7. Perez RS, Roorda LD, Zuurmond WW, Bannink II, Vranken JH, de Lange JJ. Measuring perceived activity limitations in lower extremity Complex Regional Pain Syndrome type 1 (CRPS I): test-retest reliability of two questionnaires. Clin Rehabil 2002;16(4):454-60.
  • 8. Meijer JW, Trip J, Jaegers SM, Links TP, Smits AJ, Groothoff JW, et al. Quality of life in patients with diabetic foot ulcers. Disabil Rehabil 2001;23(8):336-40.
  • 9. de Laat FA, Rommers GM, Geertzen JH, Roorda LD. Construct validity and test-retest reliability of the climbing stairs questionnaire in lower-limb amputees. Arch Phys Med Rehabil 2010;91(9):1396-401.
  • 10. Carvalho HCW, Pinheiro AMV, Patrick CJ, Krueger RF, Markon KE. Tradução, adaptação cultural e análise de consistência interna do inventário de externalização. Aval Psicol 2007;6(2):217-27.
  • 11. Lage LV, Levy RA, Ciconelli RM. Instrumentos de avaliação em reumatologia: importância de sua tradução e validação para nosso idioma. Rev Bras Reumatol 2006;46(4):237.
  • 12. Guralnik JM, Simonsick EM, Ferrucci L, Glynn RJ, Berkman LF, Blazer DG, et al. A short physical performance battery assessing lower extremity function: association with self-reported disability and prediction of mortality and nursing home admission. J Gerontol 1994;49(2):M85-94.
  • 13. Siqueira FV, Facchini LA, Piccini RX, Tomasi E, Thumé E, Silveira DS, et al. Prevalência de quedas em idosos e fatores associados. Rev Saude Pública 2007;41(5):749-56.
  • 14. Owens PL, Russo CA, Spector W, Mutter R. Emergency Department Visits for injurious Falls among the Elderly, 2006. Healthcare Cost and Utilization Project (HCUP) Statistical Briefs. Rockville, MD: Agency for Health Care Policy and Research; 2009.
  • 15. Valim-Rogatto PC, Candolo C, Brêtas ACP. Nível de atividade física e sua relação com quedas acidentais e fatores psicossociais em idosos de Centro de Convivência. Rev Bras Geriatr Geront 2011;14(3):521-33.
  • 16. Lee HJ, Chou LS. Balance control during stair negotiation in older adults. J Biomech 2007;40(11):2530-6.
  • 17. Rivera JA, Fried LP, Weiss CO, Simonsick EM. at the tipping point: predicting severe mobility difficulty in vulnerable older women. J Am Geriatr Soc 2008;56(8):1417-23.

Anexo 1 - Clique para ampliar

  • Correspondência:

    Ana Cristina Franzoi
    E-mail:
  • Datas de Publicação

    • Publicação nesta coleção
      04 Nov 2013
    • Data do Fascículo
      Set 2013

    Histórico

    • Recebido
      21 Ago 2012
    • Aceito
      17 Jun 2013
    • Revisado
      23 Maio 2013
    Universidade do Estado do Rio Janeiro Rua São Francisco Xavier, 524 - Bloco F, 20559-900 Rio de Janeiro - RJ Brasil, Tel.: (55 21) 2334-0168 - Rio de Janeiro - RJ - Brazil
    E-mail: revistabgg@gmail.com