Acessibilidade / Reportar erro

Instrumentos De Medida Em Cardiologia Adaptados Para A Língua Portuguesa Do Brasil: Uma Revisão Sistemática

Resumos

Revisão sistemática com o objetivo de identificar e caracterizar instrumentos de medida desenvolvidos no contexto da cardiologia que foram adaptados para a língua portuguesa do Brasil. Buscas sistematizadas foram realizadas em seis bases de dados. Extraíram-se informações referentes ao processo de adaptação cultural e as propriedades de medida. Para avaliação da qualidade metodológica dos estudos, foram utilizados critérios com base em diretrizes internacionais para adaptação cultural de instrumentos. Dentre os 114 artigos levantados, 14 foram considerados elegíveis para a revisão. Desses, a maioria avaliava qualidade de vida (35,7%) e conhecimento/aprendizagem em saúde (28,6%). A maioria dos estudos contemplou todas as etapas do processo de adaptação recomendadas pela literatura. Com relação às propriedades de medida, a consistência interna, verificada por meio do alfa de Cronbach, foi a propriedade relatada na maioria dos estudos, bem como as validades de constructo e critério. Com este estudo, espera-se disponibilizar para a comunidade científica uma avaliação criteriosa dos questionários adaptados disponíveis no contexto da cardiologia.


Questionários; Tradução; Estudos de validação
; Cardiologia
; Revisão



This was a systematic review aimed at identifying and characterizing measuring instruments, developed in the context of cardiology, which were adapted into Portuguese language of Brazil. Systematic searches were performed in six databases. Information extracted included cultural adaptation process and measurement properties. To assess the methodological quality of studies, criteria based on international guidelines for cultural adaptation of instruments were used. Among the 114 articles found, 14 were eligible for review. Of these, most evaluated quality of life (35.7%) and health knowledge/learning (28.6%). Most studies followed all stages of the adaptation process recommended in the literature. With respect to measurement properties, internal consistency, verified by Cronbach’s alpha, was the property reported in the majority of the studies, as well as construct and criterion validity. This study is expected to provide to the scientific community a critical evaluation of adapted questionnaires available in the context of cardiology.


Questionnaires; Translating; Validation studies
; Cardiology; Review


Esta revisión sistemática tuvo como objetivo: identificar y caracterizar los instrumentos de medición desarrollados en el contexto de la cardiología que fueron adaptados a la lengua portuguesa de Brasil. Se llevaron a cabo búsquedas sistemáticas en seis bases de datos. Se extrajeron los datos sobre el proceso de adaptación cultural y las propiedades de medición. Para evaluar la calidad metodológica de los estudios, fueron utilizados criterios basados en las directrices internacionales para la adaptación cultural de instrumentos. Entre los 114 artículos encontrados, 14 fueron elegibles para su revisión. De los 14, la mayoría evaluaba la calidad de vida (35,7%) y los procesos de conocimiento / aprendizaje en salud (28,6%). La mayoría de los estudios incluyeron todas las etapas del proceso de adaptación recomendadas por la literatura. En relación a la medición de las propiedades, la consistencia interna, verificada por el alfa de Cronbach, fue la propiedad reportada en la mayoría de los estudios, así como la validez de constructo y la validez de criterio. Con este estudio, se espera brindar a la comunidad científica una cuidadosa evaluación de los cuestionarios adaptados disponibles en el contexto de la cardiología. 


Cuestionarios
; Traducción; Estudios de validación
; Cardiología; Revisión


Introdução

A literatura revela que as doenças cardiovasculares (DCV) representam a principal causa de morte e incapacidades no mundo( 11.World Health Organization (WHO). Global atlas on cardiovascular disease prevention and control. Geneva; 2011. - 22.Roger VL, Go AS, Lloyd-Jones DM, Benjamin EJ, Berry JD, Borden WB, et al. Executive summary: heart disease and stroke statistics-2012 update: a report from the American Heart Association. Circulation. 2012;125(1):188-97. ). No Brasil, as doenças do aparelho circulatório foram responsáveis por aproximadamente 31% dos óbitos ocorridos em 2009( 33.Brasil. Ministério da Saúde. DATASUS. Indicadores e dados básicos: Brasil 2010 [Internet]. Brasília; 2012 [citado 2013 abr. 10]. Disponível em: http://tabnet.datasus.gov.br/cgi/tabcgi.exe?idb2010/c08.def
http://tabnet.datasus.gov.br/cgi/tabcgi....
). 


Estima-se que mais de 80% das mortes por DCV estejam associados a fatores de risco já conhecidos e que podem ser prevenidos, como o tabagismo, o sedentarismo e a alimentação inadequada( 11.World Health Organization (WHO). Global atlas on cardiovascular disease prevention and control. Geneva; 2011. ). Entretanto, a prevenção e o tratamento dessas afecções muitas vezes envolvem um esquema complexo de modificação do estilo de vida e o uso de uma ampla gama de medicamentos, exigindo dos profissionais de saúde um grande investimento de tempo para promover a conscientização e a adesão dos pacientes às recomendações, bem como a adoção de comportamentos saudáveis.


No âmbito das DCV, o uso de instrumentos de medida é um recurso importante no desenvolvimento de pesquisas exploratórias, sejam elas diagnósticas ou experimentais, para a compreensão das necessidades dos indivíduos portadores dessas afecções e para o conhecimento dos fatores de saúde nos quais se deseja intervir, assim como desenhos experimentais que podem ser utilizados como end-points primários e secundários( 44.Gallani MCG, Cornélio ME, Agondi RF, Rodrigues RCM. Estrutura conceitual para pesquisa e prática clínica na mudança de comportamentos em saúde cardiovascular. Rev Latino Am Enferm. 2013;21(n.spec):207-15. ).


O uso de instrumentos de medida possibilita obter dados padronizados e comparar resultados entre populações de diferentes localidades do mundo( 55.Gjersing L, Caplehorn JRM, Clausen T. Cross-cultural adaptation of research instruments: language, setting, time and statistical considerations. BMC Med Res Methodol. 2010;10:13. ), além de ser uma forma econômica e eficaz de adquirir medidas de resultado confiáveis e válidas( 66.Guillemin F, Bombardier C, Beaton D. Cross cultural adaptation of health quality of life measures: literature review and proposed guidelines. J Clin Epidemiol. 1993;46(12):1417-32. ). Permite ainda transformar medidas subjetivas em dados objetivos que podem ser quantificados e analisados, além de verificar o impacto de intervenções de saúde, possibilitando comparações com menor gasto de tempo e recursos financeiros( 66.Guillemin F, Bombardier C, Beaton D. Cross cultural adaptation of health quality of life measures: literature review and proposed guidelines. J Clin Epidemiol. 1993;46(12):1417-32. ).


Nas pesquisas exploratórias, uma etapa fundamental é a decisão do pesquisador de utilizar um instrumento previamente desenvolvido ou construir um específico para a realização do seu estudo. Devido à complexidade do processo de criação de um novo instrumento e diante a existência de um já validado em outro idioma que avalie o mesmo fenômeno, recomenda-se que seja realizada sua adaptação para a cultura desejada( 66.Guillemin F, Bombardier C, Beaton D. Cross cultural adaptation of health quality of life measures: literature review and proposed guidelines. J Clin Epidemiol. 1993;46(12):1417-32. ). 


A adaptação cultural deve resultar em um instrumento confiável e válido, similar ao original, que pode ser usado como uma referência em pesquisas nas quais participam diversos países, tornando-se assim uma ferramenta de comparação de resultados obtidos em diferentes culturas( 55.Gjersing L, Caplehorn JRM, Clausen T. Cross-cultural adaptation of research instruments: language, setting, time and statistical considerations. BMC Med Res Methodol. 2010;10:13. ). Entretanto, a adaptação cultural de um instrumento para uso em um novo país, cultura e/ou linguagem exige uma metodologia a fim de alcançar a equivalência entre a fonte original e os idiomas de destino( 77.Beaton D, Bombardier C, Guillemin F, Ferraz MB. Recommendations for the Cross-Cultural Adaptation of the DASH & QuickDASH Outcome Measures. Toronto: Institute for Work & Health; 2007. ).


Este estudo visou identificar os diferentes questionários adaptados para a língua portuguesa do Brasil usados no contexto da cardiologia, caracterizar os domínios temáticos de cada um, avaliar o processo de adaptação cultural adotado e descrever as propriedades psicométricas verificadas nos estudos. Esta revisão pretende oferecer subsídios para pesquisadores e profissionais de saúde na identificação e escolha de instrumentos específicos para um determinado estudo no contexto da cardiologia.


Método

Trata-se de uma pesquisa bibliográfica que pode ser definida como revisão sistemática. A revisão sistemática é uma metodologia rigorosa proposta para identificar os estudos sobre um tema em questão, por meio da aplicação de métodos sistematizados de busca, e avaliar a qualidade, a validade e a aplicabilidade desses estudos no contexto em que as mudanças serão implementadas( 88.De-La-Torre-Ugarte-Guanilo MC, Takahashi RF, Bertolozzi MR. Systematic review: general notions. Rev Esc Enferm USP [Internet]. 2011 [cite 2013 Apr 10];45(5):1260-66. Available from: http://www.scielo.br/pdf/reeusp/v45n5/en_v45n5a33.pdf
http://www.scielo.br/pdf/reeusp/v45n5/en...
). Para atender aos objetivos deste estudo, realizou-se a revisão sistemática tendo como base o protocolo internacional denominado PRISMA( 99.Moher D, Liberati A, Tetzlaff J, Altman DG; PRISMA Group. Preferred reporting items for systematic reviews and meta-analyses: the PRISMA statement. J Clin Epidemiol. 2009;62(10):1006-12. ), contemplando os seguintes passos metodológicos: 1) estratégias de busca, 2) critérios de inclusão e exclusão, 3) extração dos dados e avaliação da qualidade metodológica dos estudos elegíveis.


Estratégias de busca

Realizou-se uma busca sistemática, sequencial, nas seguintes bases de dados: Thomson Reuters Web of Knowledge , SCOPUS, Cumulative Index to Nursing and Allied Health Literature (CINAHL), Literatura Latino-Americana e do Caribe em Ciências da Saúde (LILACS), Medline e Scientific Electronic Library Online (SciELO). Uma combinação de termos e/ou palavras-chave foi utilizada para assegurar a máxima captura de artigos: ( cultural OR valid OR trad OR psycomet OR adapt ) AND ( questionnaire OR instrument OR scale ) AND ( card OR coronar OR heart OR hypertensio n) AND ( portuguese OR Brazil ).


Após a busca nas bases, dois autores realizaram a leitura crítica dos títulos e a revisão dos resumos para identificar os artigos relevantes, de acordo com os critérios de inclusão estabelecidos. Os artigos foram classificados em incluídos , excluídos ou dúvida . Os trabalhos que geraram dúvidas foram avaliados por três pesquisadores (tendo dois deles participado da leitura primária) para definição por consenso sobre sua classificação final.


Critérios de inclusão e exclusão


Foram incluídos artigos de língua portuguesa e/ou inglesa publicados no período de 1990 a 2013, que descrevessem o processo de adaptação cultural para a língua portuguesa do Brasil, com os resumos e textos na íntegra disponíveis nas bases de dados selecionadas. Foram excluídos os que não seguiram o processo metodológico de adaptação cultural de instrumentos preconizado pelas diretrizes internacionais( 77.Beaton D, Bombardier C, Guillemin F, Ferraz MB. Recommendations for the Cross-Cultural Adaptation of the DASH & QuickDASH Outcome Measures. Toronto: Institute for Work & Health; 2007. )e os que não estavam inseridos no contexto de cardiologia.


Extração dos dados e avaliação da qualidade metodológica dos estudos elegíveis


Os dados foram obtidos por meio de um formulário padrão desenvolvido com a finalidade de garantir a extração homogênea das informações dos artigos. Inicialmente foram extraídos dados de caracterização dos instrumentos e, posteriormente, dados referentes aos processos de tradução e adaptação cultural com a finalidade de avaliar a qualidade de tais processos, além de dados referentes às propriedades psicométricas de cada estudo.


Para avaliação do processo de tradução e adaptação cultural, os estudos foram classificados de acordo com os critérios descritos nos Guidelines for the Process of Cross-Cultural Adaptation of Self-Report Measures ( 77.Beaton D, Bombardier C, Guillemin F, Ferraz MB. Recommendations for the Cross-Cultural Adaptation of the DASH & QuickDASH Outcome Measures. Toronto: Institute for Work & Health; 2007. ), que contemplam as seguintes etapas: tradução, síntese das traduções, retrotradução, revisão pelo comitê de especialistas e pré-teste. Para tanto, cada etapa foi classificada da seguinte forma: positiva (+), duvidosa (?), e negativa (-)( 1010.Costa LCM, Maher CG, McAuley JH, Costa LO. Systematic review of cross-cultural adaptations of McGill Pain Questionnaire reveals a paucity of clinimetric testing. J Clin Epidemiol. 2009;62(9):934-43. )( Quadro 1 ). A classificação duvidosa foi atribuída à etapa que foi realizada de forma questionável, ou seja, não foi realizada de acordo com as recomendações dos Guidelines ( 77.Beaton D, Bombardier C, Guillemin F, Ferraz MB. Recommendations for the Cross-Cultural Adaptation of the DASH & QuickDASH Outcome Measures. Toronto: Institute for Work & Health; 2007. ), como, por exemplo, na etapa de tradução, os tradutores não terem como língua nativa a de origem do instrumento.


Quadro 1

Diretrizes para procedimentos de adaptação cultural de questionários(77.Beaton D, Bombardier C, Guillemin F, Ferraz MB. Recommendations for the Cross-Cultural Adaptation of the DASH & QuickDASH Outcome Measures. Toronto: Institute for Work & Health; 2007., 1010.Costa LCM, Maher CG, McAuley JH, Costa LO. Systematic review of cross-cultural adaptations of McGill Pain Questionnaire reveals a paucity of clinimetric testing. J Clin Epidemiol. 2009;62(9):934-43.)


Com relação às propriedades psicométricas dos instrumentos, optou-se por fazer uma descrição dos testes realizados e resultados encontrados nos estudos, uma vez que não há ainda um consenso global sobre os critérios de avaliação das propriedades psicométricas de instrumentos desenvolvidos, adaptados e validados, apesar de existirem iniciativas com esse propósito, como o Consensus-based Standards for the selection of Health Measurements Instruments (COSMIN)( 1111.Mokkink LB, Terwee CB, Patrick DL, Alonso J, Stratford PW, Knol DL, et al. The COSMIN study reached international consensus on taxonomy, terminology, and definitions of measurement properties for health-related patient-reported outcomes. J Clin Epidemiol. 2010;63(7):737-45. ). 


A seguir são descritas as propriedades psicométricas relevantes para o processo de adaptação cultural relatadas nos estudos selecionados. Foram utilizadas as definições de cada propriedade de acordo com a literatura internacional( 1212.Terwee CB, Bot SDM, de Boer MR, van der Windt DAWM, Knol DL, Dekker J, et al. Quality criteria were proposed for measurement properties of health status questionnaires. J Clin Epidemiol. 2007;60(1):34-42. ):


Consistência interna:

medida de homogeneidade de uma (sub)escala de um questionário que indica o grau em que os itens de uma (sub)escala estão relacionados entre si, mensurando, dessa forma, o mesmo conceito (constructo), avaliado por meio do coeficiente de alfa de Cronbach; 


Estabilidade:

também chamada de reprodutibilidade, refere-se ao grau em que medidas repetidas em indivíduos estáveis fornecem respostas semelhantes (teste-reteste) e é avaliada por meio do Coeficiente de Correlação Intraclasse (ICC) ou por meio do coeficiente de Kappa (interobservadores); 


Validade de constructo:

examina a extensão em que cada pontuação de um questionário específico está relacionada com outras medidas similares, de forma que seja consistente com as hipóteses relacionadas aos conceitos que estão sendo medidos. Pode ser realizada por meio de análise fatorial exploratória ou confirmatória, testes de comparação entre grupos conhecidos ou testes de correlação com escores de questionários que avaliam constructos semelhantes ao do instrumento alvo; 


Validade de critério: refere-se à proporção em que a pontuação de um instrumento relaciona-se a um padrão-ouro, comumente avaliada por meio de testes de correlação entre os escores do instrumento e os valores obtidos com o padrão-ouro.


Resultados

A busca nas bases de dados permitiu identificar 114 artigos. Após a leitura dos títulos, resumos e considerando os critérios de inclusão e exclusão, foram incluídos na revisão sistemática 14 artigos sobre adaptação cultural para a língua portuguesa do Brasil de instrumentos desenvolvidos no contexto da cardiologia ( Figura 1 ). A exclusão dos estudos ocorreu pelos seguintes motivos: artigos repetidos nas bases de dados (n= 23), instrumentos não pertencentes ao contexto da cardiologia (n=15), artigos que não se relacionavam à adaptação de instrumentos (n=61) e um artigo sobre adaptação para língua portuguesa de Portugal.


Figura 1

Fluxo dos artigos encontrados e avaliados após aplicação dos critérios de inclusão e exclusão


Dos 14 instrumentos identificados, todos eram recentes quanto ao ano de publicação da adaptação (a partir do ano de 2006) e, em sua maioria, foram desenvolvidos originalmente nas décadas de 1990 e 2000. Oito deles tinham como país de origem os Estados Unidos da América. Com relação à finalidade, 5 (35,7%) avaliam qualidade de vida; 4 (28,6%) avaliam conhecimento/aprendizagem em saúde, 2 (14,3%) avaliam determinantes de comportamentos relacionados à saúde; 2 (14,3%), sintoma/capacidade funcional e 1 (7,1%) estima a frequência de realização de auto-cuidado ( Quadro 2 ). 


Quadro 2

Descrição dos questionários desenvolvidos no contexto da cardiologia e adaptados para a língua portuguesa do Brasil


A avaliação do processo de adaptação cultural dos instrumentos está descrita na Quadro 3 . Os resultados indicam que a maioria das adaptações foi realizada de acordo com os critérios estabelecidos, sendo classificadas como positivas em pelo menos três das cinco etapas recomendadas pela literatura( 77.Beaton D, Bombardier C, Guillemin F, Ferraz MB. Recommendations for the Cross-Cultural Adaptation of the DASH & QuickDASH Outcome Measures. Toronto: Institute for Work & Health; 2007. ). No entanto, na adaptação do instrumento DASS( 1313.Pelegrino FM, Dantas RA, Corbi IS, Carvalho ARS, Schmidt A, Pazin Filho A. Cross-cultural adaptation and psychometric properties of the Brazilian-Portuguese version of the Duke Anticoagulation Satisfaction Scale. J Clin Nurs. 2012;21(17-18):2509-17. ), a etapa de revisão pelo comitê de especialistas foi realizada antes da realização das retrotraduções.


Na adaptação do Instrumento de Avaliação da Qualidade de Vida para Hipertensos de Bulpitt e Fletcher( 2020.Gusmão JL, Pierin AMG. Bulpitt and Fletcher’s specific Questionnaire for Quality of Life assessment of hypertensive patients. Rev Esc Enferm USP [Internet]. 2009 [cited 2013 Apr 10];43(n.spe):1034-43. Available from: http://www.scielo.br/pdf/reeusp/v43nspe/en_a07v43ns.pdf
http://www.scielo.br/pdf/reeusp/v43nspe/...
), a etapa de tradução foi realizada por dois tradutores nativos do país de origem do instrumento, mas não havia informações sobre a síntese das traduções. No MINICHAL( 2323.Schulz RB, Rossignoli P, Correr CJ, Fernández-Llimós F, Toni PM. Validação do mini-questionário de qualidade de vida em hipertensão arterial (MINICHAL) para o português (Brasil). Arq Bras Cardiol.2008;90(2):139-44. ), a retrotradução foi realizada somente por um tradutor. Na adaptação do instrumento CRBS( 2626.Ghisi GLM, Santos RZ, Schveitzer V, Barros AL, Recchia TL, Oh P, et al. Desenvolvimento e validação da versão em português da Escala de Barreiras para Reabilitação Cardíaca. Arq Bras Cardiol. 2012;98(4):344-52. ), a retrotradução também foi realizada somente por um tradutor e não havia informações sobre o pré-teste. 


Com relação às propriedades psicométricas dos instrumentos adaptados, a Quadro 4 mostra que pelo menos uma propriedade foi testada em cada instrumento. A consistência interna, a estabilidade, a validade de constructo e validade de critério foram as propriedades avaliadas na maioria dos estudos. 


A consistência interna, analisada por meio do alfa de Cronbach, foi verificada em todos os instrumentos, exceto no VSAQ( 1414.Domingues GBL, Gallani MC, Gobatto CA, Miura CTP, Rodrigues RCM, Myers J. Adaptação cultural de instrumento para avaliação da capacidade física em cardiopatas. Rev Saúde Pública. 2011;45(2):276-85. ), MDI( 1515.Miura CTP, Gallani MCBJ, Domingues GBL, Rodrigues RCM, Stoller JK. Cultural Adaptation and Reliability Analysis of the Modified Dyspnea Index for the Brazilian Culture. Rev Latino Am Enferm. 2010;18(5):1020-30. )e Disease Knowledge and Self-Care Questionnaire for Heart Failure Patients ( 2121.Rabelo ER, Mantovani VM, Aliti GB, Domingues FB. Cross-cultural adaptation and validation of a Disease Knowledge and Self-Care Questionnaire for a Brazilian sample of heart failure patients. Rev Latino Am Enferm. 2011;19(2):277084. ), nos quais tal propriedade não era aplicável, e no Instrumento de Avaliação da Qualidade de Vida para Hipertensos de Bulpitt e Fletcher( 2020.Gusmão JL, Pierin AMG. Bulpitt and Fletcher’s specific Questionnaire for Quality of Life assessment of hypertensive patients. Rev Esc Enferm USP [Internet]. 2009 [cited 2013 Apr 10];43(n.spe):1034-43. Available from: http://www.scielo.br/pdf/reeusp/v43nspe/en_a07v43ns.pdf
http://www.scielo.br/pdf/reeusp/v43nspe/...
), no qual não havia informações. 


A estabilidade, também chamada de reprodutibilidade em alguns estudos, foi avaliada em cinco instrumentos por meio do índice de Kappa, com valores acima de 0,60( 1414.Domingues GBL, Gallani MC, Gobatto CA, Miura CTP, Rodrigues RCM, Myers J. Adaptação cultural de instrumento para avaliação da capacidade física em cardiopatas. Rev Saúde Pública. 2011;45(2):276-85. - 1515.Miura CTP, Gallani MCBJ, Domingues GBL, Rodrigues RCM, Stoller JK. Cultural Adaptation and Reliability Analysis of the Modified Dyspnea Index for the Brazilian Culture. Rev Latino Am Enferm. 2010;18(5):1020-30. , 1818.Klein C, Linch GFC, Souza EN, Mantovani VM, Goldmeier S, Rabelo ER. Adaptação transcultural e validação de um questionário de conhecimento sobre insuficiência cardíaca para enfermeiros. Rev Gaúcha Enferm. 2012;33(1):19-25. - 1919.d’Almeida KSM, Souza GC, Rabelo ER. Adaptação transcultural para o Brasil do Dietary Sodium Restriction Questionnaire (Questionário de Restrição de Sódio na Dieta) (DSRQ). Arq Bras Cardiol. 2012;98(1):70-5. , 2121.Rabelo ER, Mantovani VM, Aliti GB, Domingues FB. Cross-cultural adaptation and validation of a Disease Knowledge and Self-Care Questionnaire for a Brazilian sample of heart failure patients. Rev Latino Am Enferm. 2011;19(2):277084. ), e por meio do Coeficiente de Correlação Intraclasse (ICC) em três instrumentos, também com valores acima de 0,60( 1717.Feijó MK, Ávila CW, Souza EN, Jaarsma T, Rabelo ER. Cross-cultural adaptation and validation of the European Heart Failure Self-care Behavior Scale for Brazilian Portuguese. Rev Latino Am Enferm. 2012;20(5):988-96. , 2222.Carvalho VO, Guimarães GV, Carrara D, Bacal F, Bocchi EA. Validação da versão em português do Minnesota Living with Heart Failure Questionnaire. Arq Bras Cardiol.2009;93(1):39-44. , 2626.Ghisi GLM, Santos RZ, Schveitzer V, Barros AL, Recchia TL, Oh P, et al. Desenvolvimento e validação da versão em português da Escala de Barreiras para Reabilitação Cardíaca. Arq Bras Cardiol. 2012;98(4):344-52. ). Não houve relato de análise da estabilidade em três estudos( 1313.Pelegrino FM, Dantas RA, Corbi IS, Carvalho ARS, Schmidt A, Pazin Filho A. Cross-cultural adaptation and psychometric properties of the Brazilian-Portuguese version of the Duke Anticoagulation Satisfaction Scale. J Clin Nurs. 2012;21(17-18):2509-17. , 2020.Gusmão JL, Pierin AMG. Bulpitt and Fletcher’s specific Questionnaire for Quality of Life assessment of hypertensive patients. Rev Esc Enferm USP [Internet]. 2009 [cited 2013 Apr 10];43(n.spe):1034-43. Available from: http://www.scielo.br/pdf/reeusp/v43nspe/en_a07v43ns.pdf
http://www.scielo.br/pdf/reeusp/v43nspe/...
, 2323.Schulz RB, Rossignoli P, Correr CJ, Fernández-Llimós F, Toni PM. Validação do mini-questionário de qualidade de vida em hipertensão arterial (MINICHAL) para o português (Brasil). Arq Bras Cardiol.2008;90(2):139-44. ).


O procedimento de validação foi descrito somente em seis artigos( 1313.Pelegrino FM, Dantas RA, Corbi IS, Carvalho ARS, Schmidt A, Pazin Filho A. Cross-cultural adaptation and psychometric properties of the Brazilian-Portuguese version of the Duke Anticoagulation Satisfaction Scale. J Clin Nurs. 2012;21(17-18):2509-17. , 2020.Gusmão JL, Pierin AMG. Bulpitt and Fletcher’s specific Questionnaire for Quality of Life assessment of hypertensive patients. Rev Esc Enferm USP [Internet]. 2009 [cited 2013 Apr 10];43(n.spe):1034-43. Available from: http://www.scielo.br/pdf/reeusp/v43nspe/en_a07v43ns.pdf
http://www.scielo.br/pdf/reeusp/v43nspe/...
, 2323.Schulz RB, Rossignoli P, Correr CJ, Fernández-Llimós F, Toni PM. Validação do mini-questionário de qualidade de vida em hipertensão arterial (MINICHAL) para o português (Brasil). Arq Bras Cardiol.2008;90(2):139-44.

24.Ghisi GLM, Leite CM, Durieux A, Schenkel IC, Assumpção MS, Barros MM, et al. Validação para o português do Maugerl CaRdiac preventiOn-Questionnaire (MICRO-Q). Arq Bras Cardiol.2010;94(3):394-400.

25.Oliveira BG, Melendez JGV, Ciconelli RM, Rincón LG, Torres AAS, Sousa LAP, et al. Versão em português, adaptação transcultural e validação de questionário para avaliação da qualidade de vida para pacientes portadores de marcapasso: AQUAREL. Arq Bras Cardiol. 2006;87(2):75-83.
- 2626.Ghisi GLM, Santos RZ, Schveitzer V, Barros AL, Recchia TL, Oh P, et al. Desenvolvimento e validação da versão em português da Escala de Barreiras para Reabilitação Cardíaca. Arq Bras Cardiol. 2012;98(4):344-52. ). A validade de constructo foi avaliada nos instrumentos DASS( 1313.Pelegrino FM, Dantas RA, Corbi IS, Carvalho ARS, Schmidt A, Pazin Filho A. Cross-cultural adaptation and psychometric properties of the Brazilian-Portuguese version of the Duke Anticoagulation Satisfaction Scale. J Clin Nurs. 2012;21(17-18):2509-17. ), Instrumento de Avaliação da Qualidade de Vida para Hipertensos de Bulpitt e Fletcher( 2020.Gusmão JL, Pierin AMG. Bulpitt and Fletcher’s specific Questionnaire for Quality of Life assessment of hypertensive patients. Rev Esc Enferm USP [Internet]. 2009 [cited 2013 Apr 10];43(n.spe):1034-43. Available from: http://www.scielo.br/pdf/reeusp/v43nspe/en_a07v43ns.pdf
http://www.scielo.br/pdf/reeusp/v43nspe/...
), MINICHAL( 2323.Schulz RB, Rossignoli P, Correr CJ, Fernández-Llimós F, Toni PM. Validação do mini-questionário de qualidade de vida em hipertensão arterial (MINICHAL) para o português (Brasil). Arq Bras Cardiol.2008;90(2):139-44. ), MICRO-Q( 2424.Ghisi GLM, Leite CM, Durieux A, Schenkel IC, Assumpção MS, Barros MM, et al. Validação para o português do Maugerl CaRdiac preventiOn-Questionnaire (MICRO-Q). Arq Bras Cardiol.2010;94(3):394-400. ), AQUAREL( 2525.Oliveira BG, Melendez JGV, Ciconelli RM, Rincón LG, Torres AAS, Sousa LAP, et al. Versão em português, adaptação transcultural e validação de questionário para avaliação da qualidade de vida para pacientes portadores de marcapasso: AQUAREL. Arq Bras Cardiol. 2006;87(2):75-83. )e CRBS( 2626.Ghisi GLM, Santos RZ, Schveitzer V, Barros AL, Recchia TL, Oh P, et al. Desenvolvimento e validação da versão em português da Escala de Barreiras para Reabilitação Cardíaca. Arq Bras Cardiol. 2012;98(4):344-52. ), e a análise fatorial exploratória foi realizada em quatro destes( 1313.Pelegrino FM, Dantas RA, Corbi IS, Carvalho ARS, Schmidt A, Pazin Filho A. Cross-cultural adaptation and psychometric properties of the Brazilian-Portuguese version of the Duke Anticoagulation Satisfaction Scale. J Clin Nurs. 2012;21(17-18):2509-17. , 2323.Schulz RB, Rossignoli P, Correr CJ, Fernández-Llimós F, Toni PM. Validação do mini-questionário de qualidade de vida em hipertensão arterial (MINICHAL) para o português (Brasil). Arq Bras Cardiol.2008;90(2):139-44. - 2424.Ghisi GLM, Leite CM, Durieux A, Schenkel IC, Assumpção MS, Barros MM, et al. Validação para o português do Maugerl CaRdiac preventiOn-Questionnaire (MICRO-Q). Arq Bras Cardiol.2010;94(3):394-400. , 2626.Ghisi GLM, Santos RZ, Schveitzer V, Barros AL, Recchia TL, Oh P, et al. Desenvolvimento e validação da versão em português da Escala de Barreiras para Reabilitação Cardíaca. Arq Bras Cardiol. 2012;98(4):344-52. ). A validade de critério, seguindo a descrição e a denominação contida nos artigos selecionados, foi analisada em quatro instrumentos: Instrumento de Avaliação da Qualidade de Vida para Hipertensos de Bulpitt e Fletcher( 2020.Gusmão JL, Pierin AMG. Bulpitt and Fletcher’s specific Questionnaire for Quality of Life assessment of hypertensive patients. Rev Esc Enferm USP [Internet]. 2009 [cited 2013 Apr 10];43(n.spe):1034-43. Available from: http://www.scielo.br/pdf/reeusp/v43nspe/en_a07v43ns.pdf
http://www.scielo.br/pdf/reeusp/v43nspe/...
), MINICHAL( 2323.Schulz RB, Rossignoli P, Correr CJ, Fernández-Llimós F, Toni PM. Validação do mini-questionário de qualidade de vida em hipertensão arterial (MINICHAL) para o português (Brasil). Arq Bras Cardiol.2008;90(2):139-44. ), AQUAREL( 2525.Oliveira BG, Melendez JGV, Ciconelli RM, Rincón LG, Torres AAS, Sousa LAP, et al. Versão em português, adaptação transcultural e validação de questionário para avaliação da qualidade de vida para pacientes portadores de marcapasso: AQUAREL. Arq Bras Cardiol. 2006;87(2):75-83. )e CRBS( 2626.Ghisi GLM, Santos RZ, Schveitzer V, Barros AL, Recchia TL, Oh P, et al. Desenvolvimento e validação da versão em português da Escala de Barreiras para Reabilitação Cardíaca. Arq Bras Cardiol. 2012;98(4):344-52. ). 


Quadro 3

Análise das adaptações em língua portuguesa do Brasil de instrumentos de medida desenvolvidos no contexto da cardiologia


Quadro 4

Descrição das propriedades psicométricas das versões em língua portuguesa do Brasil de instrumentos desenvolvidos no contexto da cardiologia


Discussão

A presente revisão sistemática teve como objetivos identificar questionários desenvolvidos no contexto da cardiologia que foram adaptados para a língua portuguesa do Brasil e caracterizá-los quanto a finalidade, população-alvo e processo de adaptação cultural adotado, bem como descrever suas propriedades de medida.


No total, foram selecionados 14 artigos em que estava descrito o processo de adaptação de instrumentos desenvolvidos no âmbito da cardiologia. Desses, grande parte foi desenvolvida para avaliar a qualidade de vida na presença de condições adversas, como hipertensão, insuficiência cardíaca, uso de marca-passo e uso de anticoagulante oral. A maioria dos estudos contemplou todas as etapas do processo de adaptação recomendadas pela literatura. Os demais seguiram pelo menos três das cinco etapas recomendadas. Com relação às propriedades de medida, ou psicométricas, a consistência interna, verificada por meio do alfa de Cronbach, foi a propriedade relatada em todos, exceto em quatro artigos – em três deles não era aplicável e não foi relatada em um único estudo. A estabilidade não foi relatada em apenas três estudos. As validades de constructo e critério foram as verificadas e relatadas na maioria dos artigos.


O fato de grande parte dos instrumentos identificados nesta revisão referirem-se à avaliação da qualidade de vida nas diferentes patologias cardíacas não é surpreendente, uma vez que as doenças cardiovasculares são na sua maioria doenças crônicas que, além de apresentar elevada prevalência e incidência na população, têm importante impacto nos aspectos físico, psicológico e social do sujeito. 


Os dados referentes à avaliação do procedimento de adaptação dos instrumentos indicam que a maioria dos estudos utilizou uma base metodológica consistente, seguindo as etapas de tradução, síntese, retrotradução, revisão pelo comitê de especialistas e pré-teste. Os critérios empregados para a avaliação desse processo nesta revisão estão bem descritos em protocolos e manuais( 77.Beaton D, Bombardier C, Guillemin F, Ferraz MB. Recommendations for the Cross-Cultural Adaptation of the DASH & QuickDASH Outcome Measures. Toronto: Institute for Work & Health; 2007. )e têm sido utilizados na realização de revisões sistemáticas de instrumentos de medida em diferentes contextos, como na avaliação da dor( 1010.Costa LCM, Maher CG, McAuley JH, Costa LO. Systematic review of cross-cultural adaptations of McGill Pain Questionnaire reveals a paucity of clinimetric testing. J Clin Epidemiol. 2009;62(9):934-43. )e na disfunção de ombro( 2727.Puga VOO, Lopes AD, Costa LOP. Avaliação das adaptações transculturais e propriedades de medida de questionários relacionados às disfunções do ombro em língua portuguesa: uma revisão sistemática. Rev Bras Fisioter. 2012;16(2):85-93. ).


O uso de uma metodologia no processo de adaptação pode auxiliar a atingir as equivalências estrutural, linguística e cultural dos instrumentos relacionados à saúde. O desenvolvimento de versões equivalentes de um mesmo questionário diminui a probabilidade de criação de um grande número de novos instrumentos na literatura e facilita a troca de informações de estudos em diferentes países e culturas. 


No entanto, independentemente da metodologia escolhida para a adaptação cultural de um instrumento, os artigos que abordam essa temática devem fornecer informações mais detalhadas sobre o processo de adaptação adotado e as etapas realizadas; assim, os pesquisadores terão mais elementos para avaliar o processo, bem como as evidências de sua adequação à língua-alvo do instrumento adaptado( 66.Guillemin F, Bombardier C, Beaton D. Cross cultural adaptation of health quality of life measures: literature review and proposed guidelines. J Clin Epidemiol. 1993;46(12):1417-32. - 77.Beaton D, Bombardier C, Guillemin F, Ferraz MB. Recommendations for the Cross-Cultural Adaptation of the DASH & QuickDASH Outcome Measures. Toronto: Institute for Work & Health; 2007. ).


Com relação às propriedades de medida examinadas nos instrumentos, observa-se que estas variaram entre os estudos identificados nesta revisão. A consistência interna foi a propriedade de medida mais testada e a maioria dos estudos apresentou valores de alfa de Cronbach acima de 0,70, o que, de acordo com a literatura 1212.Terwee CB, Bot SDM, de Boer MR, van der Windt DAWM, Knol DL, Dekker J, et al. Quality criteria were proposed for measurement properties of health status questionnaires. J Clin Epidemiol. 2007;60(1):34-42. , revela boa consistência interna. 


A estabilidade foi avaliada em 11 estudos, sendo que cinco utilizaram o índice de Kappa, três o Coeficiente de Correlação Intraclasse e os outros três, os coeficientes de correlação de Pearson ou Spearman. Segundo recomendações internacionais para validação de instrumentos, a estabilidade, chamada por alguns pesquisadores de reprodutibilidade e, por outros, de concordância, pode ser avaliada ao longo do tempo (teste-reteste), por diferentes pessoas na mesma ocasião (inter-observadores) ou por uma mesma pessoa em diferentes ocasiões (intra-observador). 


O ICC é o teste estatístico indicado para análise da estabilidade quando o instrumento apresenta variáveis quantitativas 1212.Terwee CB, Bot SDM, de Boer MR, van der Windt DAWM, Knol DL, Dekker J, et al. Quality criteria were proposed for measurement properties of health status questionnaires. J Clin Epidemiol. 2007;60(1):34-42. . Esse coeficiente é adequado para mensurar a homogeneidade de duas ou mais medidas, é calculado por meio de uma razão de variâncias e é interpretado como a proporção da variabilidade total atribuída ao objeto medido 2828.Shrout PE, Fleiss JL. Intraclass correlations: uses in assessing rater reliability. Psychol Bull. 1979;86(2):420-8. . Para medidas ordinais, emprega-se o índice de concordância de Kappa, que é uma medida de concordância intra e inter-observador que mede o grau de concordância entre as respostas e varia geralmente de zero a um (embora os números negativos sejam possíveis). Valores próximos de um significam maior confiabilidade; valores próximos ou menores que zero sugerem que o acordo é atribuível ao acaso 2929.Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics. 1977;33(1):159-74. . 


As validades de constructo e de critério foram avaliadas na maioria dos estudos, embora de formas diversas e com emprego de diferentes testes estatísticos. Para a validade de constructo, a análise fatorial exploratória foi utilizada na maioria dos artigos que a examinaram. A análise fatorial é uma técnica estatística empregada para demonstrar se o padrão de respostas de um número de itens pode ser explicado ou não por um menor número de fatores subjacentes, ou seja, é indicada para avaliar a dimensionalidade do constructo do instrumento 3030.De Vet HC, Adèr HJ, Terwee CB, Pouwer F. Are factor analytical techniques used appropriately in the validation of health status questionnaires? A systematic review on the quality of factor analysis of the SF-36. Qual Life Res. 2005;14(5):1203-18. . A validade de constructo pode ser ainda realizada por meio da comparação de escores entre grupos conhecidos para diferenciar as variáveis relevantes(11). 


A validade de critério refere-se à extensão em que uma medida relaciona-se com um padrão-ouro, que geralmente é uma medida do constructo-alvo que é amplamente aceita na literatura como uma medida de critério(11). Nesta revisão, evidenciou-se que apenas na validação do instrumento AQUAREL(25) a validade de critério foi adequadamente realizada. No contexto de medidas de auto-relato do estado de saúde, como é o caso de avaliação da qualidade de vida, a validade de critério raramente é utilizada, uma vez que ainda não há uma medida padrão-ouro disponível 1111.Mokkink LB, Terwee CB, Patrick DL, Alonso J, Stratford PW, Knol DL, et al. The COSMIN study reached international consensus on taxonomy, terminology, and definitions of measurement properties for health-related patient-reported outcomes. J Clin Epidemiol. 2010;63(7):737-45. . 


Os dados desta revisão proporcionam uma visão geral da disponibilidade de instrumentos de medida desenvolvidos no contexto da cardiologia que foram adaptados para a língua portuguesa do Brasil, tornando possível escolher o melhor questionário para o estudo de uma determinada patologia cardíaca voltada para uma população específica.


Conclusão

A presente revisão sistemática sobre questionários desenvolvidos no contexto da cardiologia que foram adaptados para a língua portuguesa do Brasil evidenciou que, dentre os estudos identificados, a maioria avalia qualidade de vida e conhecimento/aprendizagem em saúde. A maioria atendeu parcial ou integralmente aos critérios internacionais do processo de adaptação cultural de instrumentos, tendo apresentado propriedades de medidas satisfatórias. 


Espera-se, com os resultados deste estudo, disponibilizar para a comunidade cientifica uma avaliação criteriosa dos questionários adaptados para língua portuguesa do Brasil para o estudo de fatores relacionados à cardiologia, a fim de auxiliar os pesquisadores e profissionais da saúde na seleção de instrumentos deste campo de investigação.


Agradecimentos

À Fundação de Amparo à Pesquisa do Estado de São Paulo – FAPESP, pelo apoio financeiro (processo número: 2012/15044-0).

References

  • 1
    World Health Organization (WHO). Global atlas on cardiovascular disease prevention and control. Geneva; 2011.
  • 2
    Roger VL, Go AS, Lloyd-Jones DM, Benjamin EJ, Berry JD, Borden WB, et al. Executive summary: heart disease and stroke statistics-2012 update: a report from the American Heart Association. Circulation. 2012;125(1):188-97.
  • 3
    Brasil. Ministério da Saúde. DATASUS. Indicadores e dados básicos: Brasil 2010 [Internet]. Brasília; 2012 [citado 2013 abr. 10]. Disponível em: http://tabnet.datasus.gov.br/cgi/tabcgi.exe?idb2010/c08.def
    » http://tabnet.datasus.gov.br/cgi/tabcgi.exe?idb2010/c08.def
  • 4
    Gallani MCG, Cornélio ME, Agondi RF, Rodrigues RCM. Estrutura conceitual para pesquisa e prática clínica na mudança de comportamentos em saúde cardiovascular. Rev Latino Am Enferm. 2013;21(n.spec):207-15.
  • 5
    Gjersing L, Caplehorn JRM, Clausen T. Cross-cultural adaptation of research instruments: language, setting, time and statistical considerations. BMC Med Res Methodol. 2010;10:13.
  • 6
    Guillemin F, Bombardier C, Beaton D. Cross cultural adaptation of health quality of life measures: literature review and proposed guidelines. J Clin Epidemiol. 1993;46(12):1417-32.
  • 7
    Beaton D, Bombardier C, Guillemin F, Ferraz MB. Recommendations for the Cross-Cultural Adaptation of the DASH & QuickDASH Outcome Measures. Toronto: Institute for Work & Health; 2007.
  • 8
    De-La-Torre-Ugarte-Guanilo MC, Takahashi RF, Bertolozzi MR. Systematic review: general notions. Rev Esc Enferm USP [Internet]. 2011 [cite 2013 Apr 10];45(5):1260-66. Available from: http://www.scielo.br/pdf/reeusp/v45n5/en_v45n5a33.pdf
    » http://www.scielo.br/pdf/reeusp/v45n5/en_v45n5a33.pdf
  • 9
    Moher D, Liberati A, Tetzlaff J, Altman DG; PRISMA Group. Preferred reporting items for systematic reviews and meta-analyses: the PRISMA statement. J Clin Epidemiol. 2009;62(10):1006-12.
  • 10
    Costa LCM, Maher CG, McAuley JH, Costa LO. Systematic review of cross-cultural adaptations of McGill Pain Questionnaire reveals a paucity of clinimetric testing. J Clin Epidemiol. 2009;62(9):934-43.
  • 11
    Mokkink LB, Terwee CB, Patrick DL, Alonso J, Stratford PW, Knol DL, et al. The COSMIN study reached international consensus on taxonomy, terminology, and definitions of measurement properties for health-related patient-reported outcomes. J Clin Epidemiol. 2010;63(7):737-45.
  • 12
    Terwee CB, Bot SDM, de Boer MR, van der Windt DAWM, Knol DL, Dekker J, et al. Quality criteria were proposed for measurement properties of health status questionnaires. J Clin Epidemiol. 2007;60(1):34-42.
  • 13
    Pelegrino FM, Dantas RA, Corbi IS, Carvalho ARS, Schmidt A, Pazin Filho A. Cross-cultural adaptation and psychometric properties of the Brazilian-Portuguese version of the Duke Anticoagulation Satisfaction Scale. J Clin Nurs. 2012;21(17-18):2509-17.
  • 14
    Domingues GBL, Gallani MC, Gobatto CA, Miura CTP, Rodrigues RCM, Myers J. Adaptação cultural de instrumento para avaliação da capacidade física em cardiopatas. Rev Saúde Pública. 2011;45(2):276-85.
  • 15
    Miura CTP, Gallani MCBJ, Domingues GBL, Rodrigues RCM, Stoller JK. Cultural Adaptation and Reliability Analysis of the Modified Dyspnea Index for the Brazilian Culture. Rev Latino Am Enferm. 2010;18(5):1020-30.
  • 16
    Galdeano LE, Rossi LA, Dantas RAS, Rodrigues MA, Furuya RK. Adaptação e validação do Cardiac Patients Learnings Needs Inventory para pacientes brasileiros. Acta Paul Enferm. 2012;25(1):116-21.
  • 17
    Feijó MK, Ávila CW, Souza EN, Jaarsma T, Rabelo ER. Cross-cultural adaptation and validation of the European Heart Failure Self-care Behavior Scale for Brazilian Portuguese. Rev Latino Am Enferm. 2012;20(5):988-96.
  • 18
    Klein C, Linch GFC, Souza EN, Mantovani VM, Goldmeier S, Rabelo ER. Adaptação transcultural e validação de um questionário de conhecimento sobre insuficiência cardíaca para enfermeiros. Rev Gaúcha Enferm. 2012;33(1):19-25.
  • 19
    d’Almeida KSM, Souza GC, Rabelo ER. Adaptação transcultural para o Brasil do Dietary Sodium Restriction Questionnaire (Questionário de Restrição de Sódio na Dieta) (DSRQ). Arq Bras Cardiol. 2012;98(1):70-5.
  • 20
    Gusmão JL, Pierin AMG. Bulpitt and Fletcher’s specific Questionnaire for Quality of Life assessment of hypertensive patients. Rev Esc Enferm USP [Internet]. 2009 [cited 2013 Apr 10];43(n.spe):1034-43. Available from: http://www.scielo.br/pdf/reeusp/v43nspe/en_a07v43ns.pdf
    » http://www.scielo.br/pdf/reeusp/v43nspe/en_a07v43ns.pdf
  • 21
    Rabelo ER, Mantovani VM, Aliti GB, Domingues FB. Cross-cultural adaptation and validation of a Disease Knowledge and Self-Care Questionnaire for a Brazilian sample of heart failure patients. Rev Latino Am Enferm. 2011;19(2):277084.
  • 22
    Carvalho VO, Guimarães GV, Carrara D, Bacal F, Bocchi EA. Validação da versão em português do Minnesota Living with Heart Failure Questionnaire. Arq Bras Cardiol.2009;93(1):39-44.
  • 23
    Schulz RB, Rossignoli P, Correr CJ, Fernández-Llimós F, Toni PM. Validação do mini-questionário de qualidade de vida em hipertensão arterial (MINICHAL) para o português (Brasil). Arq Bras Cardiol.2008;90(2):139-44.
  • 24
    Ghisi GLM, Leite CM, Durieux A, Schenkel IC, Assumpção MS, Barros MM, et al. Validação para o português do Maugerl CaRdiac preventiOn-Questionnaire (MICRO-Q). Arq Bras Cardiol.2010;94(3):394-400.
  • 25
    Oliveira BG, Melendez JGV, Ciconelli RM, Rincón LG, Torres AAS, Sousa LAP, et al. Versão em português, adaptação transcultural e validação de questionário para avaliação da qualidade de vida para pacientes portadores de marcapasso: AQUAREL. Arq Bras Cardiol. 2006;87(2):75-83.
  • 26
    Ghisi GLM, Santos RZ, Schveitzer V, Barros AL, Recchia TL, Oh P, et al. Desenvolvimento e validação da versão em português da Escala de Barreiras para Reabilitação Cardíaca. Arq Bras Cardiol. 2012;98(4):344-52.
  • 27
    Puga VOO, Lopes AD, Costa LOP. Avaliação das adaptações transculturais e propriedades de medida de questionários relacionados às disfunções do ombro em língua portuguesa: uma revisão sistemática. Rev Bras Fisioter. 2012;16(2):85-93.
  • 28
    Shrout PE, Fleiss JL. Intraclass correlations: uses in assessing rater reliability. Psychol Bull. 1979;86(2):420-8.
  • 29
    Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics. 1977;33(1):159-74.
  • 30
    De Vet HC, Adèr HJ, Terwee CB, Pouwer F. Are factor analytical techniques used appropriately in the validation of health status questionnaires? A systematic review on the quality of factor analysis of the SF-36. Qual Life Res. 2005;14(5):1203-18.

Datas de Publicação

  • Publicação nesta coleção
    Abr 2014

Histórico

  • Recebido
    09 Set 2013
  • Aceito
    22 Jan 2014
Universidade de São Paulo, Escola de Enfermagem Av. Dr. Enéas de Carvalho Aguiar, 419 , 05403-000 São Paulo - SP/ Brasil, Tel./Fax: (55 11) 3061-7553, - São Paulo - SP - Brazil
E-mail: reeusp@usp.br