Acessibilidade / Reportar erro

Etapas iniciais da adaptação transcultural do Intersectional Discrimination Index para o português do Brasil

RESUMO

Objetivo:

O presente estudo realizou a adaptação transcultural do Intersectional Discrimination Index (InDI) para o português do Brasil. Trata-se de um instrumento composto de 31 itens, que visa mensurar os impactos para a saúde de experiências interseccionais com discriminação antecipada (InDI-A), cotidiana (InDI-D) e maior (InDI-M).

Métodos:

Foram percorridas as seguintes etapas: (1) traduções independentes; (2) síntese das traduções; (3) avaliação por comitê de especialistas; (4) análise por membros da população-alvo; (5) tradução reversa; e (6) pré-teste. Calculou-se igualmente o coeficiente de validade de conteúdo (CVC) de cada um dos itens e de todo o instrumento. O CVC foi empregado por permitir identificar quais itens necessitavam de ajustes de acordo com os critérios de clareza de linguagem, relevância teórica e pertinência prática.

Resultados:

Dos 31 itens do instrumento, 24 foram considerados adequados e sete necessitaram de ajustes de linguagem. Os valores dos CVC foram satisfatórios para os critérios de clareza de linguagem (CVCt=0,86), pertinência prática (CVCt=0,87) e relevância teórica (CVCt=0,87), e o público-alvo considerou satisfatória a compreensão do instrumento (média=4,44; desvio padrão=1,36). O tempo médio de resposta foi de 15,5 minutos e não foram registradas dúvidas adicionais. A tradução reversa foi aprovada pelos autores originais do instrumento.

Conclusão:

As etapas iniciais do processo de adaptação transcultural mostraram que o InDI parece promissor para uso no Brasil. Estudos futuros ainda precisam examinar as propriedades psicométricas do instrumento para confirmar os resultados positivos do presente trabalho, bem como sua utilidade para a avaliação dos impactos para a saúde de experiências interseccionais com discriminação.

Palavras-chave:
Desigualdades em saúde; Discriminação social; Psicometria; Impactos na saúde

ABSTRACT

Objective:

To perform the cross-cultural adaptation of Intersectional Discrimination Index (InDI) into Brazilian Portuguese. InDI assesses the health impacts of intersectional experiences with anticipated (InDI-A), day-to-day (InDI-D), and major (InDI-M) discrimination.

Methods:

The following steps were taken: (1) independent translations; (2) synthesis of translations; (3) evaluation by an expert committee; (4) analysis by members of the target population; (5) back translation; and (6) pre-test. Based on the evaluation by the expert committee, the content validity coefficient (CVC) was calculated for each item and for the entire instrument. CVC helped identify which items needed adjustments according to the criteria of language clarity, theoretical relevance, and practical relevance.

Results:

Of the 31 items, 24 were considered adequate and seven required further language adjustments. CVC values were satisfactory for clarity (CVCt=0.86), practical relevance (CVCt=0.87), and theoretical pertinence (CVCt=0.87); a good level of understanding was reported by the target population (mean=4.44; standard deviation=1.36). The average response time was 15.5 minutes, and no additional difficulties in interpreting the items were reported. The back-translated InDI was approved by the original authors of the instrument.

Conclusion:

The initial stages of the cross-cultural adaptation process showed that the use of InDI looks promising in Brazil. Further studies still need to examine the psychometric properties of the instrument to confirm the positive results of our work, as well as its usefulness for assessing the health impacts of intersectional experiences with discrimination.

Keywords:
Health status disparities; Social discrimination; Psychometrics; Health impacts

INTRODUÇÃO

A pesquisa sobre os impactos da discriminação na saúde tem ganhado destaque desde os anos 198011 Krieger N. Measures of racism, sexism, heterosexism, and gender binarism for health equity research: from structural injustice to embodied harm-an ecosocial analysis. Annu Rev Public Health 2020; 41: 37-62. https://doi.org/10.1146/annurev-publhealth-040119-094017
https://doi.org/10.1146/annurev-publheal...
, especialmente por essa forma de opressão ser considerada um importante estressor social e apresentar consequências negativas para o bem-estar de indivíduos e grupos populacionais22 Krieger N, Smith K, Naishadham D, Hartman C, Barbeau EM. Experiences of discrimination: validity and reliability of a self-report measure for population health research on racism and health. Soc Sci Med 2005; 61(7): 1576-96. https://doi.org/10.1016/j.socscimed.2005.03.006
https://doi.org/10.1016/j.socscimed.2005...
. Um extenso corpo de literatura33 Pascoe EA, Richman LS. Perceived discrimination and health: a meta-analytic review. Psychol Bull 2009; 135(4): 531-54. https://doi.org/10.1037/a0016059
https://doi.org/10.1037/a0016059...
55 Bauer G, Scheim AI. Methods for analytic intercategorical intersectionality in quantitative research: discrimination as a mediator of health inequalities. Soc Sci Med 2019; 226: 236-45. https://doi.org/10.1016/j.socscimed.2018.12.015
https://doi.org/10.1016/j.socscimed.2018...
tem demonstrado que a discriminação percebida está associada a frequências aumentadas de acidente vascular cerebral, hipertensão arterial, ansiedade, depressão e uma série de outros desfechos negativos de saúde física e mental.

Estudos de revisão sistemática e metanálise66 Bastos JL, Celeste RK, Faerstein E, Barros AJD. Racial discrimination and health: a systematic review of scales with a focus on their psychometric properties. Soc Sci Med 2010; 70(7): 1091-9. https://doi.org/10.1016/j.socscimed.2009.12.020
https://doi.org/10.1016/j.socscimed.2009...
,77 Paradies Y, Ben J, Denson N, Elias A, Priest N, Pieterse A, et al. Racism as a determinant of health: a systematic review and meta-analysis. PLoS One 2015; 10(9): e0138511. https://doi.org/10.1371/journal.pone.0138511
https://doi.org/10.1371/journal.pone.013...
apontaram uma concentração de estudos e escalas de discriminação desenvolvidos nos Estados Unidos da América (EUA), tendo como principal foco as experiências com motivação étnica ou racial, bem como grupos de imigrantes asiáticos, mexicanos e latinos daquele país. Entre os instrumentos de maior popularidade, encontram-se a Escala de Discriminação Diária88 Williams DR, Yu Y, Jackson JS, Anderson NB. Racial differences in physical and mental health. Socio-economic status, stress and discrimination. J Health Psychol 1997; 2(3): 335-51. https://doi.org/10.1177/135910539700200305
https://doi.org/10.1177/1359105397002003...
, a Escala de Experiências Maiores com Discriminação88 Williams DR, Yu Y, Jackson JS, Anderson NB. Racial differences in physical and mental health. Socio-economic status, stress and discrimination. J Health Psychol 1997; 2(3): 335-51. https://doi.org/10.1177/135910539700200305
https://doi.org/10.1177/1359105397002003...
e a escala de Experiências de Discriminação22 Krieger N, Smith K, Naishadham D, Hartman C, Barbeau EM. Experiences of discrimination: validity and reliability of a self-report measure for population health research on racism and health. Soc Sci Med 2005; 61(7): 1576-96. https://doi.org/10.1016/j.socscimed.2005.03.006
https://doi.org/10.1016/j.socscimed.2005...
,99 Fattore GL, Teles CA, Santos DN, Santos LM, Reichenheim ME, Barreto ML. Validade de constructo da escala Experiences of Discrimination em uma população brasileira. Cad Saúde Pública 2016; 32(4): e00102415. https://doi.org/10.1590/0102-311X00102415
https://doi.org/10.1590/0102-311X0010241...
. Com o Inventário de Eventos Racistas1010 Landrine H, Klonoff EA. The schedule of racist events: a measure of racial discrimination and a study of its negative physical and mental health consequences. J Black Psychol 1996; 22(2): 144-68. https://doi.org/10.1177/00957984960222002
https://doi.org/10.1177/0095798496022200...
e a Escala de Discriminação Explícita1111 Bastos JL, Faerstein E, Celeste RK, Barros AJD. Explicit discrimination and health : development and psychometric properties of an assessment instrument. Rev Saúde Pública 2012; 46(2): 269-78. https://doi.org/10.1590/s0034-89102012000200009
https://doi.org/10.1590/s0034-8910201200...
,1212 Bastos JL, Reichenheim ME, Paradies YC. Scaling up research on discrimination and health: the abridged Explicit Discrimination Scale. J Health Psychol 2022; 27(9): 2041-55. https://doi.org/10.1177/13591053211018806
https://doi.org/10.1177/1359105321101880...
, a Escala de Discriminação Diária e a de Experiências de Discriminação estão entre as mais frequentemente empregadas nas pesquisas realizadas no Brasil1313 Mendes PM, Nobre AA, Griep RH, Juvanhol LL, Barreto SM, Fonseca MJM, Chor D. Association between race/color and incidence of hypertension in the ELSA-Brasil population: investigating the mediation of racial discrimination and socioeconomic position. Ethn Health 2022; 27(5): 1047-57. https://doi.org/10.1080/13557858.2020.1861586
https://doi.org/10.1080/13557858.2020.18...
1818 Celeste RK, Gonçalves LG, Faerstein E, Bastos JL. The role of potential mediators in racial inequalities in tooth loss: the Pró-Saúde study. Community Dent Oral Epidemiol 2013; 41(6): 509-16. https://doi.org/10.1111/cdoe.12051
https://doi.org/10.1111/cdoe.12051...
.

Em que pesem as contribuições e resultados produzidos com os instrumentos mencionados, a maior parte deles enfatizou a discriminação de natureza racial, tanto no âmbito nacional quanto no internacional. Recentemente, contudo, há crescente reconhecimento da necessidade de compreender os impactos para a saúde das experiências com discriminação interseccional66 Bastos JL, Celeste RK, Faerstein E, Barros AJD. Racial discrimination and health: a systematic review of scales with a focus on their psychometric properties. Soc Sci Med 2010; 70(7): 1091-9. https://doi.org/10.1016/j.socscimed.2009.12.020
https://doi.org/10.1016/j.socscimed.2009...
,1919 Bauer GR. Incorporating intersectionality theory into population health research methodology: challenges and the potential to advance health equity. Soc Sci Med 2014; 110: 10-7. https://doi.org/10.1016/j.socscimed.2014.03.022
https://doi.org/10.1016/j.socscimed.2014...
,2020 Lewis TT, Cogburn CD, Williams DR. Self-reported experiences of discrimination and health: scientific advances, ongoing controversies, and emerging issues. Annu Rev Clin Psychol 2015; 11: 407-40. https://doi.org/10.1146/annurev-clinpsy-032814-112728
https://doi.org/10.1146/annurev-clinpsy-...
. Com origem nas ciências jurídicas e sociais, a abordagem interseccional centraliza os sistemas de opressão e discriminação que promovem a exclusão e impedem o desenvolvimento saudável de indivíduos e grupos multiplamente marginalizados2121 Bowleg L, Bauer G. Invited reflection: quantifying intersectionality. Psychology of Women Quarterly 2016; 40(3): 337-41. https://doi.org/10.1177/0361684316654282
https://doi.org/10.1177/0361684316654282...
2424 McCall L. The complexity of intersectionality. Signs 2005; 30(3): 1771-800. https://doi.org/10.1086/426800
https://doi.org/10.1086/426800...
. O emprego de uma perspectiva interseccional no contexto da saúde é, portanto, capaz de aprofundar a compreensão sobre os processos sociais que causam iniquidades em saúde, auxiliando na testagem, no desenvolvimento de novas teorias e na implementação de políticas mais efetivas no combate às injustiças na área1919 Bauer GR. Incorporating intersectionality theory into population health research methodology: challenges and the potential to advance health equity. Soc Sci Med 2014; 110: 10-7. https://doi.org/10.1016/j.socscimed.2014.03.022
https://doi.org/10.1016/j.socscimed.2014...
. Esses estudos, além de investigarem marcadores de risco individuais, como gênero ou renda2525 Buffarini R, Abdalla S, Weber AM, Costa JC, Menezes AMB, Gonçalves H, et al. The intersectionality of gender and wealth in adolescent health and behavioral outcomes in Brazil: The 1993 Pelotas birth cohort. J Adolesc Health 2020; 66(1S):S51-7. https://doi.org/10.1016/j.jadohealth.2019.08.029
https://doi.org/10.1016/j.jadohealth.201...
, devem analisar como tais fatores se intercruzam de modos complexos para moldar a saúde em diferentes contextos55 Bauer G, Scheim AI. Methods for analytic intercategorical intersectionality in quantitative research: discrimination as a mediator of health inequalities. Soc Sci Med 2019; 226: 236-45. https://doi.org/10.1016/j.socscimed.2018.12.015
https://doi.org/10.1016/j.socscimed.2018...
,2626 Barnils NP, Eurenius E, Gustafsson PE. Self-rated health inequalities in the intersection of gender, social class and regional development in Spain: exploring contributions of material and psychosocial factors. Int J Equity Health 2020; 19(1): 85. https://doi.org/10.1186/s12939-020-01202-7
https://doi.org/10.1186/s12939-020-01202...
. Ao examinar a intersecção entre diferentes sistemas de opressão, é possível capturar melhor a complexidade dos processos sociais com reflexos para a saúde e suas iniquidades1919 Bauer GR. Incorporating intersectionality theory into population health research methodology: challenges and the potential to advance health equity. Soc Sci Med 2014; 110: 10-7. https://doi.org/10.1016/j.socscimed.2014.03.022
https://doi.org/10.1016/j.socscimed.2014...
.

Embora seja crescente o número de pesquisas que incluem a interseccionalidade em seus delineamentos, alguns desafios requerem atenção. Entre eles, encontram-se a imprecisão conceitual, a falta de instrumentos adequados para a mensuração da discriminação interseccional e os procedimentos envolvidos na análise de dados2727 Bauer GR, Churchill SM, Mahendran M, Walwyn C, Lizotte D, Villa-Rueda AA. Intersectionality in quantitative research: a systematic review of its emergence and applications of theory and methods. SSM Popul Health 2021; 14: 100798. https://doi.org/10.1016/j.ssmph.2021.100798
https://doi.org/10.1016/j.ssmph.2021.100...
. Pesquisas recentes55 Bauer G, Scheim AI. Methods for analytic intercategorical intersectionality in quantitative research: discrimination as a mediator of health inequalities. Soc Sci Med 2019; 226: 236-45. https://doi.org/10.1016/j.socscimed.2018.12.015
https://doi.org/10.1016/j.socscimed.2018...
,2828 Scheim AI, Bauer GR. The intersectional discrimination index: development and validation of measures of self-reported enacted and anticipated discrimination for intercategorical analysis. Soc Sci Med 2019; 226: 225-35. https://doi.org/10.1016/j.socscimed.2018.12.016
https://doi.org/10.1016/j.socscimed.2018...
,2929 Scheim AI, Bauer GR, Bastos JL, Poteat T. Advancing intersectional discrimination measures for health disparities research: protocol for a bilingual mixed methods measurement study. JMIR Res Protoc 2021; 10(8): e30987. https://doi.org/10.2196/30987
https://doi.org/10.2196/30987...
visaram enfrentar alguns dos desafios encontrados na adoção de uma perspectiva interseccional nos estudos de saúde. Scheim e Bauer2828 Scheim AI, Bauer GR. The intersectional discrimination index: development and validation of measures of self-reported enacted and anticipated discrimination for intercategorical analysis. Soc Sci Med 2019; 226: 225-35. https://doi.org/10.1016/j.socscimed.2018.12.016
https://doi.org/10.1016/j.socscimed.2018...
desenvolveram um instrumento capaz de aferir experiências interseccionais com discriminação cotidiana, maior e antecipada, encontrando boas evidências de validade e confiabilidade em amostras do Canadá e dos EUA.

Os procedimentos de desenvolvimento do InDI incluíram ampla revisão da literatura sobre os conceitos de estigma, discriminação, saúde e escalas para aferição de experiências com tratamento injusto. Esse processo embasou a confecção de mapas do construto para cada um dos tipos de discriminação avaliados (i.e., antecipada, cotidiana e maior). Um conjunto preliminar de itens foi, então, elaborado e subsequentemente examinado por um painel de peritos da Austrália e dos EUA, com vistas a adequar sua cobertura de conteúdo e refinar aspectos de pertinência em países de língua inglesa. Em seguida, os itens foram submetidos a um pré-teste com dez voluntários para avaliar a clareza de seu conteúdo e de suas instruções.

Ao contrário de outras escalas que costumam enfocar somente um tipo de discriminação (por exemplo, racismo ou homofobia), o Intersectional Discrimination Index (InDI) não exige que os participantes atribuam as experiências de discriminação a motivos particulares2828 Scheim AI, Bauer GR. The intersectional discrimination index: development and validation of measures of self-reported enacted and anticipated discrimination for intercategorical analysis. Soc Sci Med 2019; 226: 225-35. https://doi.org/10.1016/j.socscimed.2018.12.016
https://doi.org/10.1016/j.socscimed.2018...
. Com efeito, o instrumento pergunta aos respondentes se já passaram por alguma experiência de discriminação “por causa de quem você é”, o que inclui qualquer característica identitária considerada relevante para o caso em tela, além de seu intercruzamento com outras. O InDI leva em consideração que os diferentes tipos de discriminação, tais como a racial e a de gênero, não se manifestam de maneira independente nos variados domínios de vida, mas em intersecção com outros aspectos identitários. Além disso, diferentemente dos instrumentos atualmente disponíveis na literatura, o InDI busca avaliar três dimensões da discriminação: antecipada, cotidiana e maior, as quais são frequentemente ignoradas na literatura existente sobre o assunto. Em conjunto, essas características tornam o InDI um instrumento particularmente inovador na avaliação de experiências com discriminação interseccional no âmbito das relações interpessoais — seu objeto de interesse primordial. Assim, o presente estudo teve por objetivo iniciar a adaptação transcultural do InDI para o contexto brasileiro e examinar evidências iniciais de validade de conteúdo da versão preliminarmente traduzida.

MÉTODOS

Sobre o Intersectional Discrimination Index

O InDI é um instrumento de autorrelato, com 31 itens distribuídos em três escalas que buscam mensurar as discriminações antecipada (InDI-A), cotidiana (InDI-D) e maior (InDI-M). Para limitar a atenção ao tratamento discriminatório, o InDI questiona sobre experiências com tratamento discriminatório “por causa de quem você é”. A seguinte definição é fornecida no instrumento: “Essas perguntas são sobre experiências relacionadas a quem você é. Isso inclui como você se descreve e como os outros podem descrevê-lo. Por exemplo, sua cor de pele, ancestralidade, nacionalidade, religião, gênero, sexualidade, idade, peso, deficiência ou problema de saúde mental e renda”.

Em particular, o InDI-A é composto de nove itens e suas respostas são avaliadas em uma escala de concordância de 5 pontos, em que 0 corresponde a “discordo totalmente” e 4 a “concordo totalmente”. Essa subescala baseia-se em teorias de estresse social de minorias, as quais assumem que a repetida exposição à discriminação faz com que os indivíduos fiquem vigilantes e antecipem essas experiências2828 Scheim AI, Bauer GR. The intersectional discrimination index: development and validation of measures of self-reported enacted and anticipated discrimination for intercategorical analysis. Soc Sci Med 2019; 226: 225-35. https://doi.org/10.1016/j.socscimed.2018.12.016
https://doi.org/10.1016/j.socscimed.2018...
,3030 Meyer IH. Minority stress and mental health in gay men. J Health Soc Behav 1995; 36(1): 38-56. PMID: 7738327. O InDI-D, por sua vez, é composto de nove itens que são avaliados em uma escala de frequência de 4 pontos, variando de “nunca”, “sim, mas não no ano passado” e “sim, uma vez no ano passado” a “sim, muitas vezes no ano passado”. Os itens dessa subescala foram baseados em instrumentos que avaliam microagressões, capacitismo, gordofobia, racismo, LGBTfobia e discriminação interseccional, entre outros2828 Scheim AI, Bauer GR. The intersectional discrimination index: development and validation of measures of self-reported enacted and anticipated discrimination for intercategorical analysis. Soc Sci Med 2019; 226: 225-35. https://doi.org/10.1016/j.socscimed.2018.12.016
https://doi.org/10.1016/j.socscimed.2018...
. Por fim, o InDI-M é constituído por 13 itens, avaliados em uma escala de frequência que possui como opções de resposta “nunca”, “uma vez” e “mais de uma vez”. Por se referir especificamente a assédio repetido, o item 9 recebeu como opções de resposta “não”, “sim, em um lugar” e “sim, em mais de um lugar”. Nessa subescala, também é avaliado se as experiências com discriminação ocorreram nos últimos 12 meses. Os itens de discriminação maior referem-se a situações extremas, como negação de serviço, danos a propriedade e violência, os quais foram adaptados de outras escalas2828 Scheim AI, Bauer GR. The intersectional discrimination index: development and validation of measures of self-reported enacted and anticipated discrimination for intercategorical analysis. Soc Sci Med 2019; 226: 225-35. https://doi.org/10.1016/j.socscimed.2018.12.016
https://doi.org/10.1016/j.socscimed.2018...
,3131 Herek GM. Hate crimes and stigma-related experiences among sexual minority adults in the United States: prevalence estimates from a national probability sample. J Interpers Violence 2008; 24(1): 54-74. https://doi.org/10.1177/0886260508316477
https://doi.org/10.1177/0886260508316477...
.

Em conjunto, os itens do InDI foram desenvolvidos tendo-se como preocupação central sua capacidade de captar experiências com diferentes tipos de discriminação — não somente a racial — e suas intersecções. Assim, os proponentes do instrumento procuraram contemplar itens que não privilegiassem as experiências de algum segmento populacional específico, mas a de indivíduos e grupos atravessados por múltiplos eixos de marginalização e opressão. A esse esforço, foi acrescentada a possibilidade de o respondente atribuir suas experiências com discriminação a diversas razões por meio da pergunta: “Pensando em todas as vezes em que você foi tratado injustamente ou mal por causa de quem você é, com que frequência você acha que cada um dos itens a seguir foi um motivo pelo qual os outros o trataram dessa forma?” Na sequência, uma listagem com as atribuições mais comuns era apresentada (idade, tamanho corporal, identidade ou expressão de gênero, renda ou situação econômica, deficiência, religião, local de origem, raça e etnia), seguida de um campo aberto para o respondente indicar alguma razão não mencionada. Cada uma das atribuições é avaliada em “sempre”, “nunca” ou “não tenho certeza”.

O InDI apresentou bons indicadores preliminares de validade2828 Scheim AI, Bauer GR. The intersectional discrimination index: development and validation of measures of self-reported enacted and anticipated discrimination for intercategorical analysis. Soc Sci Med 2019; 226: 225-35. https://doi.org/10.1016/j.socscimed.2018.12.016
https://doi.org/10.1016/j.socscimed.2018...
. O coeficiente de correlação intraclasse (CCI) ajustado para confiabilidade teste-reteste do InDI-A foi de 0,72 (intervalo de confiança — IC95% 0,63–0,79), enquanto para o InDI-D e o InDI-M foi de 0,70 (IC95% 0,62–0,78) e 0,72 (0,63–0,79), respectivamente. Também houve bom ajuste do modelo unifatorial para o InDI-A, com todos os indicadores de ajuste global atendendo pontos de corte recomendados na literatura especializada e cargas fatoriais de moderadas a altas. Além disso, o alfa de Cronbach para o InDI-A foi de 0,93, e as correlações variaram de 0,69 a 0,81. Foram igualmente observadas evidências de validade de construto, com participantes multiplamente marginalizados apresentando frequências mais elevadas de todos os três tipos de discriminação.

Procedimentos de adaptação transcultural

As orientações sobre os procedimentos de adaptação transcultural (ATC) não são consensuais na literatura. Neste trabalho, foram consideradas as recomendações de Borsa et al.3232 Borsa JC, Damásio BF, Bandeira DR. Cross-cultural adaptation and validation of psychological instruments: some considerations. Paidéia (Ribeirão Preto) 2012; 22(53): 423-32. https://doi.org/10.1590/S0103-863X2012000300014
https://doi.org/10.1590/S0103-863X201200...
, que sugerem seis etapas a serem percorridas:

  1. Tradução do instrumento do idioma original para o de destino;

  2. Síntese da versão traduzida;

  3. Avaliação de síntese por juízes especialistas;

  4. Avaliação do instrumento por membros da população-alvo;

  5. Tradução reversa; e

  6. Pré-teste.

Após obter autorização dos proponentes da escala para realizar a ATC do InDI para o português do Brasil, foram produzidas duas traduções independentes. Ambos os tradutores eram psicólogos brasileiros com fluência em inglês e experiência prévia na adaptação de instrumentos. A síntese das traduções foi realizada pela primeira e última autoras, com o auxílio de consultores independentes, fluentes em inglês e português.

Com a síntese finalizada, buscou-se calcular o coeficiente de validade de conteúdo (CVC) do instrumento. Participaram dessa etapa três juízas independentes, que formaram o comitê de especialistas. As três possuem formação em psicologia, sendo uma mestra em psicologia social e duas doutoras em psicologia clínica. Todas as profissionais desenvolvem linhas de investigação sobre preconceito, discriminação e estresse de minorias. A síntese foi encaminhada por correio eletrônico às juízas. Os critérios utilizados para avaliar as questões foram clareza de linguagem, pertinência prática e relevância teórica, apresentados em uma escala do tipo Likert de 4 pontos. Para isso, foi solicitado que avaliassem a adequação de cada um dos itens aos critérios, podendo os itens variar entre totalmente inadequado (1) e totalmente adequado (4). Além disso, ao lado de cada questão, permitiu-se às avaliadoras acrescentar comentários e sugestões sobre os itens, a fim de contribuir para refiná-los.

Com base nas respostas das juízas, foi possível calcular o CVC do InDI conforme descrito por Cassepp-Borges et al3333 Cassepp-Borges V, Balbinotti MAA, Teodoro M., Pasquali L. Tradução e validação de conteúdo: uma proposta para a adaptação de instrumentos. In: Pasquali L, editor. Instrumentação psicológica: fundamentos e práticas. Porto Alegre: Artmed; 2010. p. 506-20.. O cálculo do CVC seguiu cinco etapas. A primeira, realizada com base nas notas das juízas (1 a 4), considerou a média das notas de cada item (Mx). Na segunda, calculou-se o CVC inicial para cada item (CVCi), dividindo-o pelo valor máximo que a questão poderia receber em termos de clareza de linguagem, pertinência prática ou relevância teórica. Na terceira, estimou-se o erro (Pei) para descontar possíveis vieses das avaliadoras, para cada questão. Neste caso, dividiu-se um (1) pelo número de juízes avaliadores, elevando-se pelo mesmo número de avaliadores. Com isso, o CVC final (quarta etapa) de cada item (CVCc) pôde ser calculado pela subtração do CVCi pelo Pei. A última etapa foi destinada ao cálculo do CVC global do instrumento (CVCt), levando-se em conta cada uma das características analisadas (i.e., clareza de linguagem, pertinência prática e relevância teórica). Nesta última etapa, foi necessário subtrair a média do CVCi (MCVCi) da média do Pei (MPei). Após a aplicação do cálculo, consideram-se aceitáveis as questões com CVCt entre 0,7 e 0,8.

Ajustes semânticos foram realizados com base nas sugestões das juízas, mesmo para os itens com CVC adequado, a fim de tornar o instrumento mais sensível à realidade brasileira. Em seguida, o InDI foi avaliado pelo público-alvo. O questionário foi enviado a 16 mulheres de diferentes níveis socioeconômicos e grupos raciais, etários, além de contar com participantes que fossem minorias sexuais. Essa diversidade objetivou garantir que houvesse percepções distintas sobre a descrição dos itens. As participantes avaliaram a compreensibilidade de cada um dos 31 itens em uma escala que variava de 0 (i.e., “não compreendeu”) a 5 (i.e., “compreendeu totalmente”). Também foi permitido que as respondentes registrassem possíveis dúvidas e sugestões de escrita dos itens com o objetivo de melhorar seu entendimento.

A tradução reversa para o inglês foi realizada por um quarto tradutor independente, fluente em português e com amplo domínio da língua inglesa. Essa tradução foi enviada aos autores originais, com o objetivo de assegurar a equivalência do conteúdo dos itens e do instrumento como um todo. Após a aprovação dos autores originais, foi examinada a equivalência operacional, referente ao formato de aplicação do instrumento em diferentes dispositivos (smartphones, tablets e desktops) e sistemas operacionais (Android e iOS). Esse processo fez-se necessário em razão da aplicação on-line da pesquisa, para garantir que a experiência de responder o instrumento fosse a mais simples possível, independentemente do dispositivo ou sistema operacional utilizado pelo respondente. Após o cadastro do questionário na plataforma Qualtrics, a pesquisa foi acessada em diferentes dispositivos e sistemas operacionais. Os pesquisadores responsáveis constataram a necessidade de realizar pequenos ajustes no formato de cadastro da pesquisa, pois algumas questões ficaram desconfiguradas quando acessadas via smartphone. Realizados os ajustes, o questionário foi considerado apto para ser aplicado no pré-teste.

Por fim, uma aplicação pré-teste foi conduzida com dez participantes que preenchiam os critérios de inclusão da amostra do estudo — identificar-se com o gênero feminino, ser brasileira, possuir entre 18 e 65 anos — a fim de verificar se o instrumento se mostrava claro para aplicação em futuros estudos de validação. O questionário foi direcionado a mulheres de diferentes orientações sexuais, cores/raças e idades para buscar maior diversidade de percepções sobre o instrumento.

RESULTADOS

Com base nas avaliações das juízas, os valores do CVC foram satisfatórios para a clareza de linguagem (CVCt=0,86), pertinência prática (CVCt=0,87) e relevância teórica (CVCt=0,87). Além disso, todos os itens apresentaram compreensão satisfatória com base na avaliação do público-alvo (média [M]=4,44; desvio padrão [DP]=1,36). Os itens com menor média de compreensibilidade foram o i5 (“É possível que me seja negada uma conta bancária, empréstimo ou financiamento por eu ser quem eu sou”) e o i6 (“Eu me preocupo em ser maltratada ou parada pela polícia ou por seguranças”), que apresentaram a mesma média e desvio padrão (M=4,19; DP=1,67), junto com o i26 (“Por ser quem você é, você já perdeu alguma relação próxima [por exemplo, com um membro da família, amizades, parceiro ou parceira]?) (M=4,19; DP=1,63). Os itens que apresentaram total compreensão por parte das participantes foram o i17 (“Perguntas inapropriadas, ofensivas ou excessivamente pessoais foram feitas”) e o i18 (“Foi tratada como se você fosse menos inteligente ou capaz do que os outros”) (M=5,00; DP=0,00). Mesmo apresentando bons resultados de validade de conteúdo e compreensibilidade, alguns ajustes foram realizados na redação dos itens conforme as sugestões das especialistas e do público-alvo para o InDI-A (Tabela 1), o InDI-D (Tabela 2) e o InDI-M (Tabela 3).

Tabela 1
Versões original e adaptada do Intersectional Discrimination Index sobre discriminação antecipada.
Tabela 2
Versões original e adaptada do Intersectional Discrimination Index sobre discriminação cotidiana.
Tabela 3
Versões original e adaptada do Intersectional Discrimination Index sobre discriminação maior.

O item 1 (InDI-A), por exemplo, que avalia o tratamento por parte de profissionais de saúde, teve acrescido o trecho “talvez possa me tratar mal”, uma vez que a tradução inicial continha somente a palavra “pode”, a qual transmitiria a ideia de autorização. Além dessa alteração, foi sugerido modificar o formato de escrita do item, colocando-se os exemplos de profissionais de saúde entre parênteses, com o objetivo de simplificar a descrição e o entendimento da pergunta. O item 11 (InDI-D), que busca avaliar como a pessoa já foi tratada por outras, originalmente utilizava a palavra unfriendly, que foi traduzida inicialmente com o termo “hostil”. Este foi substituído por “agressiva”, visando simplificar sua redação. O item 12 (InDI-D), por sua vez, teve a palavra “insulto” da tradução inicial substituída por “ofender”. O item 16 (InDI-D), particularmente, teve o trecho de “…não pertencem, não se encaixam” complementado por “… não pertencem ou não se encaixam em um grupo ou lugar”. Os itens 22 e 23 (InDI-M), que abordam diferentes tipos de tratamento injustificado, tiveram “indevidamente” substituído por “injustamente”. Por fim, foi ajustado o item 30 (InDI-M), que avalia se a pessoa já foi tocada de maneira indevida. Uma das especialistas questionou a necessidade de acrescentar que o toque foi “de maneira sexual”, tendo em vista que o respondente poderia ter dúvidas sobre a natureza da abordagem e, ainda assim, isso representar um ato abusivo. Dessa forma, o item apresentou a redação: “… já fizeram você se envolver em atividade sexual, ou foi tocado/a de uma maneira que você não queria?”. Realizados todos os ajustes conforme as sugestões das juízas e do público-alvo do estudo, a versão adaptada para português brasileiro foi disponibilizada na página do autor original do instrumento, com as versões em francês, espanhol e inglês: https://aydenscheim.com/research/indi/.

Para a etapa de pré-teste, as dez participantes identificaram-se como mulheres e com o gênero feminino, tinham idade média de 29,7 anos (DP=9,8) e renda familiar inferior a R$ 10.450,00 (dez salários-mínimos). Além disso, duas identificaram-se como pardas, duas como pretas e seis como brancas. Três participantes identificaram-se como bissexuais, uma como homossexual e seis como heterossexuais. Por meio de formulário on-line, foram coletados os dados sociodemográficos e as respostas à versão final do instrumento traduzido. Com o recurso do Qualtrics para controle do tempo de respostas de cada participante, pôde-se identificar que o tempo médio de resposta ao questionário foi de 15,5 minutos. As participantes não apresentaram nenhuma dúvida ou sugestão adicional quanto ao conteúdo do instrumento.

DISCUSSÃO

Tendo em vista os impactos da discriminação interseccional para a saúde física e mental, disponibilizar um instrumento capaz de abordá-la pode facilitar tanto a prática clínica quanto o desenvolvimento de pesquisas e políticas públicas que visem à promoção da equidade em saúde. Além disso, o InDI também pode ser aplicado à pesquisa em ciências sociais sobre discriminação interseccional, especificamente no monitoramento longitudinal de tendências de discriminação. Por se tratar de um instrumento curto e que mensura a discriminação em diferentes situações, o InDI tem sua aplicação e implementação facilitadas, tanto na clínica quanto em outros contextos de prestação de serviços públicos, por exemplo.

O presente artigo destaca a importância de um processo claro para a adaptação transcultural de instrumentos. Neste trabalho, seguiram-se os passos de tradução do instrumento, síntese da versão traduzida, avaliação por juízes especialistas, avaliação pelo público-alvo, tradução reversa e pré-teste3232 Borsa JC, Damásio BF, Bandeira DR. Cross-cultural adaptation and validation of psychological instruments: some considerations. Paidéia (Ribeirão Preto) 2012; 22(53): 423-32. https://doi.org/10.1590/S0103-863X2012000300014
https://doi.org/10.1590/S0103-863X201200...
. Além das avaliações de especialistas, que foram de suma importância, as sugestões do público-alvo enriqueceram em muito o processo e tornaram o instrumento mais sensível ao contexto brasileiro. Após seguir as orientações de Borsa et al.3232 Borsa JC, Damásio BF, Bandeira DR. Cross-cultural adaptation and validation of psychological instruments: some considerations. Paidéia (Ribeirão Preto) 2012; 22(53): 423-32. https://doi.org/10.1590/S0103-863X2012000300014
https://doi.org/10.1590/S0103-863X201200...
para adaptação transcultural, a presente investigação obteve como resultado um instrumento com bons índices de clareza de linguagem, relevância teórica, relevância prática e compreensibilidade, adaptado para o contexto brasileiro para uso em populações especificamente femininas.

O InDI consiste em uma escala inovadora por abranger maior diversidade de manifestações de discriminação e empregar a expressão “por ser quem você é”, em vez de se basear em atribuições específicas de discriminação. Dessa forma, a versão em português brasileiro do InDI poderá ser útil para futuros estudos que objetivem investigar as influências da discriminação em desfechos de saúde de diferentes grupos marginalizados no País. Espera-se que o InDI contribua para gerar evidências mais robustas sobre os padrões e as consequências da discriminação interseccional.

Neste estudo, restringimos a amostra especificamente a mulheres de diferentes raças e orientações sexuais, diversamente do estudo original, que se baseou em amostra mais abrangente2828 Scheim AI, Bauer GR. The intersectional discrimination index: development and validation of measures of self-reported enacted and anticipated discrimination for intercategorical analysis. Soc Sci Med 2019; 226: 225-35. https://doi.org/10.1016/j.socscimed.2018.12.016
https://doi.org/10.1016/j.socscimed.2018...
; tal restrição representa, portanto, uma importante limitação. Salienta-se, assim, que pesquisas futuras se fazem necessárias para avaliar se o instrumento se encontra adequado para outras populações marginalizadas. Outra limitação da pesquisa está relacionada à composição do comitê de especialistas, formado exclusivamente por psicólogas. Acredita-se que estudos futuros possam envolver equipes multidisciplinares para compreender a interseccionalidade em diferentes contextos sociais e não somente pelo viés da saúde mental.

Estudos psicométricos futuros que avaliem a confiabilidade e as validades interna e externa do instrumento deverão ser realizados, visando avançar com o processo de ATC da primeira versão brasileira do InDI3434 Reichenheim M, Bastos JL. What, what for and how? Developing measurement instruments in epidemiology. Rev Saúde Pública 2021; 55: 40. https://doi.org/10.11606/s1518-8787.2021055002813
https://doi.org/10.11606/s1518-8787.2021...
. Acredita-se que, após a avaliação de suas propriedades psicométricas, o instrumento possa vir a ser utilizado no desenvolvimento de intervenções e iniciativas de promoção de bem-estar de populações situadas na intersecção de múltiplos eixos marginalização e opressão.

APROVAÇÃO DO ESTUDO POR COMITÊ DE ÉTICA

Pontifícia Universidade Católica do Rio Grande do Sul, sob o parecer de número: 4.458.136.

  • FONTE DE FINANCIAMENTO: nenhuma.

AGRADECIMENTOS:

O segundo autor foi parcialmente financiado pelo Conselho Nacional de Pesquisa (CNPq; processo número 304503/2018-5).

REFERENCES

  • 1
    Krieger N. Measures of racism, sexism, heterosexism, and gender binarism for health equity research: from structural injustice to embodied harm-an ecosocial analysis. Annu Rev Public Health 2020; 41: 37-62. https://doi.org/10.1146/annurev-publhealth-040119-094017
    » https://doi.org/10.1146/annurev-publhealth-040119-094017
  • 2
    Krieger N, Smith K, Naishadham D, Hartman C, Barbeau EM. Experiences of discrimination: validity and reliability of a self-report measure for population health research on racism and health. Soc Sci Med 2005; 61(7): 1576-96. https://doi.org/10.1016/j.socscimed.2005.03.006
    » https://doi.org/10.1016/j.socscimed.2005.03.006
  • 3
    Pascoe EA, Richman LS. Perceived discrimination and health: a meta-analytic review. Psychol Bull 2009; 135(4): 531-54. https://doi.org/10.1037/a0016059
    » https://doi.org/10.1037/a0016059
  • 4
    Schmitt MT, Branscombe NR, Postmes T, Garcia A. The consequences of perceived discrimination for psychological well-being: A meta-analytic review. Psychol Bull 2014; 140(4): 921-48. https://doi.org/10.1037/a0035754
    » https://doi.org/10.1037/a0035754
  • 5
    Bauer G, Scheim AI. Methods for analytic intercategorical intersectionality in quantitative research: discrimination as a mediator of health inequalities. Soc Sci Med 2019; 226: 236-45. https://doi.org/10.1016/j.socscimed.2018.12.015
    » https://doi.org/10.1016/j.socscimed.2018.12.015
  • 6
    Bastos JL, Celeste RK, Faerstein E, Barros AJD. Racial discrimination and health: a systematic review of scales with a focus on their psychometric properties. Soc Sci Med 2010; 70(7): 1091-9. https://doi.org/10.1016/j.socscimed.2009.12.020
    » https://doi.org/10.1016/j.socscimed.2009.12.020
  • 7
    Paradies Y, Ben J, Denson N, Elias A, Priest N, Pieterse A, et al. Racism as a determinant of health: a systematic review and meta-analysis. PLoS One 2015; 10(9): e0138511. https://doi.org/10.1371/journal.pone.0138511
    » https://doi.org/10.1371/journal.pone.0138511
  • 8
    Williams DR, Yu Y, Jackson JS, Anderson NB. Racial differences in physical and mental health. Socio-economic status, stress and discrimination. J Health Psychol 1997; 2(3): 335-51. https://doi.org/10.1177/135910539700200305
    » https://doi.org/10.1177/135910539700200305
  • 9
    Fattore GL, Teles CA, Santos DN, Santos LM, Reichenheim ME, Barreto ML. Validade de constructo da escala Experiences of Discrimination em uma população brasileira. Cad Saúde Pública 2016; 32(4): e00102415. https://doi.org/10.1590/0102-311X00102415
    » https://doi.org/10.1590/0102-311X00102415
  • 10
    Landrine H, Klonoff EA. The schedule of racist events: a measure of racial discrimination and a study of its negative physical and mental health consequences. J Black Psychol 1996; 22(2): 144-68. https://doi.org/10.1177/00957984960222002
    » https://doi.org/10.1177/00957984960222002
  • 11
    Bastos JL, Faerstein E, Celeste RK, Barros AJD. Explicit discrimination and health : development and psychometric properties of an assessment instrument. Rev Saúde Pública 2012; 46(2): 269-78. https://doi.org/10.1590/s0034-89102012000200009
    » https://doi.org/10.1590/s0034-89102012000200009
  • 12
    Bastos JL, Reichenheim ME, Paradies YC. Scaling up research on discrimination and health: the abridged Explicit Discrimination Scale. J Health Psychol 2022; 27(9): 2041-55. https://doi.org/10.1177/13591053211018806
    » https://doi.org/10.1177/13591053211018806
  • 13
    Mendes PM, Nobre AA, Griep RH, Juvanhol LL, Barreto SM, Fonseca MJM, Chor D. Association between race/color and incidence of hypertension in the ELSA-Brasil population: investigating the mediation of racial discrimination and socioeconomic position. Ethn Health 2022; 27(5): 1047-57. https://doi.org/10.1080/13557858.2020.1861586
    » https://doi.org/10.1080/13557858.2020.1861586
  • 14
    Machado AV, Camelo LV, Chor D, Griep RH, Guimarães JMN, Giatti L, Barreto SM. Racial inequality, racial discrimination and obesity incidence in adults from the ELSA-Brasil cohort. J Epidemiol Community Health 2021; jech-2020-214740. https://doi.org/10.1136/jech-2020-214740
    » https://doi.org/10.1136/jech-2020-214740
  • 15
    Mendes PM, Nobre AA, Griep RH, Guimarães JMN, Juvanhol LL, Barreto SM, et al. Association between perceived racial discrimination and hypertension: findings from the ELSA-Brasil study. Cad Saude Publica 2018; 34(2): e00050317. https://doi.org/10.1590/0102-311X00050317
    » https://doi.org/10.1590/0102-311X00050317
  • 16
    Burgard S, Castiglione DP, Lin KY, Nobre AA, Aquino EML, Pereira AC, et al. Differential reporting of discriminatory experiences in Brazil and the United States. Cad Saude Publica 2017; 33(Suppl 1): e00110516. https://doi.org/10.1590/0102-311X00110516
    » https://doi.org/10.1590/0102-311X00110516
  • 17
    Faerstein E, Chor D, Werneck GL, Lopes CS, Kaplan G. Race and perceived racism, education, and hypertension among Brazilian civil servants: the Pró-Saúde Study. Rev Bras Epidemiol 2014; 17 Suppl 2: 81-7. https://doi.org/10.1590/1809-4503201400060007
    » https://doi.org/10.1590/1809-4503201400060007
  • 18
    Celeste RK, Gonçalves LG, Faerstein E, Bastos JL. The role of potential mediators in racial inequalities in tooth loss: the Pró-Saúde study. Community Dent Oral Epidemiol 2013; 41(6): 509-16. https://doi.org/10.1111/cdoe.12051
    » https://doi.org/10.1111/cdoe.12051
  • 19
    Bauer GR. Incorporating intersectionality theory into population health research methodology: challenges and the potential to advance health equity. Soc Sci Med 2014; 110: 10-7. https://doi.org/10.1016/j.socscimed.2014.03.022
    » https://doi.org/10.1016/j.socscimed.2014.03.022
  • 20
    Lewis TT, Cogburn CD, Williams DR. Self-reported experiences of discrimination and health: scientific advances, ongoing controversies, and emerging issues. Annu Rev Clin Psychol 2015; 11: 407-40. https://doi.org/10.1146/annurev-clinpsy-032814-112728
    » https://doi.org/10.1146/annurev-clinpsy-032814-112728
  • 21
    Bowleg L, Bauer G. Invited reflection: quantifying intersectionality. Psychology of Women Quarterly 2016; 40(3): 337-41. https://doi.org/10.1177/0361684316654282
    » https://doi.org/10.1177/0361684316654282
  • 22
    Crenshaw K. Demarginalizing the intersection of race and sex: a black feminist critique of antidiscrimination doctrine, feminist theory, and antiracist politics. University of Chicago Legal Forum 1989; 1(8): 57-80.
  • 23
    Bauer GR, Scheim AI. Advancing quantitative intersectionality research methods: intracategorical and intercategorical approaches to shared and differential constructs. Social Science and Medicine 2019; 226: 260-2. https://doi.org/10.1016/j.socscimed.2019.03.018
    » https://doi.org/10.1016/j.socscimed.2019.03.018
  • 24
    McCall L. The complexity of intersectionality. Signs 2005; 30(3): 1771-800. https://doi.org/10.1086/426800
    » https://doi.org/10.1086/426800
  • 25
    Buffarini R, Abdalla S, Weber AM, Costa JC, Menezes AMB, Gonçalves H, et al. The intersectionality of gender and wealth in adolescent health and behavioral outcomes in Brazil: The 1993 Pelotas birth cohort. J Adolesc Health 2020; 66(1S):S51-7. https://doi.org/10.1016/j.jadohealth.2019.08.029
    » https://doi.org/10.1016/j.jadohealth.2019.08.029
  • 26
    Barnils NP, Eurenius E, Gustafsson PE. Self-rated health inequalities in the intersection of gender, social class and regional development in Spain: exploring contributions of material and psychosocial factors. Int J Equity Health 2020; 19(1): 85. https://doi.org/10.1186/s12939-020-01202-7
    » https://doi.org/10.1186/s12939-020-01202-7
  • 27
    Bauer GR, Churchill SM, Mahendran M, Walwyn C, Lizotte D, Villa-Rueda AA. Intersectionality in quantitative research: a systematic review of its emergence and applications of theory and methods. SSM Popul Health 2021; 14: 100798. https://doi.org/10.1016/j.ssmph.2021.100798
    » https://doi.org/10.1016/j.ssmph.2021.100798
  • 28
    Scheim AI, Bauer GR. The intersectional discrimination index: development and validation of measures of self-reported enacted and anticipated discrimination for intercategorical analysis. Soc Sci Med 2019; 226: 225-35. https://doi.org/10.1016/j.socscimed.2018.12.016
    » https://doi.org/10.1016/j.socscimed.2018.12.016
  • 29
    Scheim AI, Bauer GR, Bastos JL, Poteat T. Advancing intersectional discrimination measures for health disparities research: protocol for a bilingual mixed methods measurement study. JMIR Res Protoc 2021; 10(8): e30987. https://doi.org/10.2196/30987
    » https://doi.org/10.2196/30987
  • 30
    Meyer IH. Minority stress and mental health in gay men. J Health Soc Behav 1995; 36(1): 38-56. PMID: 7738327
  • 31
    Herek GM. Hate crimes and stigma-related experiences among sexual minority adults in the United States: prevalence estimates from a national probability sample. J Interpers Violence 2008; 24(1): 54-74. https://doi.org/10.1177/0886260508316477
    » https://doi.org/10.1177/0886260508316477
  • 32
    Borsa JC, Damásio BF, Bandeira DR. Cross-cultural adaptation and validation of psychological instruments: some considerations. Paidéia (Ribeirão Preto) 2012; 22(53): 423-32. https://doi.org/10.1590/S0103-863X2012000300014
    » https://doi.org/10.1590/S0103-863X2012000300014
  • 33
    Cassepp-Borges V, Balbinotti MAA, Teodoro M., Pasquali L. Tradução e validação de conteúdo: uma proposta para a adaptação de instrumentos. In: Pasquali L, editor. Instrumentação psicológica: fundamentos e práticas. Porto Alegre: Artmed; 2010. p. 506-20.
  • 34
    Reichenheim M, Bastos JL. What, what for and how? Developing measurement instruments in epidemiology. Rev Saúde Pública 2021; 55: 40. https://doi.org/10.11606/s1518-8787.2021055002813
    » https://doi.org/10.11606/s1518-8787.2021055002813

Datas de Publicação

  • Publicação nesta coleção
    17 Out 2022
  • Data do Fascículo
    2022

Histórico

  • Recebido
    04 Mar 2022
  • Revisado
    09 Ago 2022
  • Aceito
    19 Ago 2022
Associação Brasileira de Saúde Coletiva Av. Dr. Arnaldo, 715 - 2º andar - sl. 3 - Cerqueira César, 01246-904 São Paulo SP Brasil , Tel./FAX: +55 11 3085-5411 - São Paulo - SP - Brazil
E-mail: revbrepi@usp.br