Construction and Validation of the Autism Spectrum Disorder Typical Behaviours Questionnaire

rbee Revista Brasileira de Educação Especial Rev. bras. educ. espec. 1413-6538 1980-5470 Associação Brasileira de Pesquisadores em Educação Especial - ABPEE ABSTRACT The identification of the behavioral profile in neurodevelopmental disorders should be supported by valid instruments that assist in the choice and monitoring of intervention and resource allocation. Due to the change in diagnostic criteria for Autism Spectrum Disorder (ASD), the need to develop a questionnaire that would allow for an inventory of the behaviors described arose. Therefore, this study aimed to develop and evaluate the psychometric properties of the ASD Typical Behaviours Questionnaire (ASD-TBQ). The content validity of the ASD-TBQ, analyzed by ten experts, was confirmed by the Content Validity Index (CVI), with scores superior to .95 and by agreement proportion, Cohen kappa (.82>k< 1). The ASD-TBQ was applied to 75 children with ASD (9.67±1.29). In the reliability analysis, the typical ASD behaviors and the two domains presented values that attest to the internal consistency (α>.88). For construct validity, Pearson’s correlation coefficients pointed to weak and strong correlations (.26>rho<.92), as expected. The structure of the questionnaire seems to point to a two-dimensional model with two dimensions corresponding to the domains previously established by the Diagnostic and Statistical Manual of Mental Disorders (DSM-5): Social Communication and Social Interaction, and Restricted and Repetitive Patterns of behaviors, interests and activities, explaining 69.5% of the total variance. The results seem to demonstrate that the ASD-TBQ may be an instrument to be taken into account in research and in the use of clinical practice, in order to understand the behavioral profile of children with ASD and plan the intervention that will enable a better adaptive behavior. 1 Introdução A Perturbação do Espetro do Autismo (PEA), ao longo dos anos, tem sofrido alterações em termos conceptuais e, consequentemente, nos seus critérios de diagnóstico. No seu conceito atual, a PEA é definida pela díade que incluiu défices persistentes na comunicação social e interação social e a existência de padrões restritos e repetitivos de comportamento, interesses e atividades (American Psychiatric Association [APA], 2013). A identificação dos respetivos indicadores deverá ser feita com base em instrumentos de recolha de informação válidos, dado o impacto na vida das pessoas ao nível das medidas e apoios a implementar, especialmente decorrente dos diagnósticos das perturbações de desenvolvimento apresentadas (Reis et al., 2013). Acresce ainda a necessidade de fundamentar a teoria e/ou consolidar as evidências na área, nas quais os indicadores selecionados se baseiam, ao mesmo tempo em que deve ser discriminativo ao nível dos estudos comparativos entre crianças com e sem PEA. Dessa forma, e de acordo com a International Test Commission – ITC (2017), existe um conjunto de procedimentos a adotar, destacando-se a pertinência crescente da análise da validade de conteúdo, não apenas baseada na revisão da literatura, mas envolvendo uma série de etapas e cálculos quantitativos e envolvendo um conjunto de peritos (Wassel, 2016). Tal como a autora afirma, o diagnóstico correto resultará em prestação de apoios mais adequada. Apesar dos avanços clínicos e metodológicos no âmbito internacional, em Portugal ainda persiste a tendência de utilização de traduções de instrumentos importados de outros países (Santos et al., 2014), pelo que se revela pertinente a análise das qualidades métricas de instrumentos utilizados para uma prática mais baseada na evidência (Wassel, 2016). Muitos dos instrumentos de diagnóstico utilizados na prática clínica e investigação, além de terem sido construídos com base nas terminologias anteriores, não se encontram adaptados e validados para a população portuguesa ou não contemplam todos os domínios e subdomínios da nova definição pelo Manual de Diagnóstico e Estatística das Perturbações Mentais (DSM-5). Na nova terminologia da PEA, os três domínios enumerados anteriormente pelo DSM-IV-TR (APA, 2002) incluíam a interação social, comunicação e comportamento, e foram a circunscritos a dois: défices persistentes na comunicação social e na interação social e padrões restritos e repetitivos (APA, 2013). Muitos dos instrumentos utilizados em contexto internacional baseiam os seus construtos nesses três domínios como é o caso de alguns instrumentos de diagnóstico como o Autism Diagnostic Interview-Revised – ADI-R (Lord et al., 1994) e da Childhood Autism Rating Scale – CARS (Schopler et al., 1988) bem como outras escalas, checklists e questionários que permitem inventariar os comportamentos mais comuns na PEA, nomeadamente a Checklist for Autism Spectrum Disorder – CASD (Mayes, 2014), o Autism Screening Questionnaire – ASQ (Berument et al., 1999) e o Autism Behavior Checklist – ABC (Krug et al., 1980). Alguns desses instrumentos já foram alvo de traduções e/ou estudos de validação para a língua portuguesa, nomeadamente o CARS (Oliveira, 2005) e o ABC, denominado por Inventário de Comportamentos Autísticos (Marteleto & Pedromônico, 2005). Nas investigações internacionais são ainda muito usados o Social Communication Questionnaire – SCQ (Rutter et al., 2003) e o Repetitive Behaviour Scale-Revised – RBS-R (Bodfish et al., 2000), que analisam os domínios referidos pelo DSM-5 (APA, 2013) de uma forma isolada. A maioria desses questionários recolhe informações dos pais ou dos cuidadores, exceto a CARS, que recolhe também informações dos clínicos e dos professores. Recentemente têm sido realizados estudos de validade de constructo por meio da análise fatorial da CARS (Schopler et al., 1988), de acordo com os critérios do DSM-5 (APA, 2013). Park e Kim (2016) aplicaram a escala a 125 crianças diagnosticadas com PEA (10.24 ± 3.34) e concluíram que o modelo de dois fatores, baseado nos critérios do DSM-5, foi o mais válido e confiável. A consistência inter-item do CARS foi de .926 e demonstraram confiabilidade adequada, apoiando, assim, a validade e a confiabilidade do modelo de dois fatores da CARS. Moulton et al. (2019), em um estudo de análise fatorial pela aplicação da CARS a 282 crianças diagnosticadas com PEA pelo DSM-IV-TR (APA, 2002), encontraram três fatores: Comunicação Social, Comportamentos Estereotipados e Sensibilidade Sensorial e Reatividade Emocional, considerando-os como reflexos dos dois domínios de sintomas do DSM-5, apoiando a relevância contínua do CARS na avaliação da PEA. Assim, face às alterações dos critérios de diagnóstico do DSM-5 (APA, 2013) e dada a escassez de instrumentos atuais para descrição dos comportamentos típicos da PEA, surgiu a necessidade de se criar um questionário que inventariasse a frequência desses comportamentos nas crianças diagnosticadas, anteriormente, com PEA, para um eficaz planeamento da intervenção. O objetivo deste estudo é analisar as propriedades psicométricas de um instrumento de caracterização do perfil comportamental elaborado para o efeito. 2 Método Nesta seção, abordam-se o perfil dos participantes da pesquisa, o instrumento para recolher os dados necessários para a caracterização dos perfis comportamentais das crianças com PEA e os procedimentos utilizados. 2.1 Participantes Para cada etapa da análise, recorreu-se a diferentes amostras. Assim, e no âmbito da validade do conteúdo, a amostra de peritos foi constituída por dez especialistas na área da PEA (um pediatra do neurodesenvolvimento, um terapeuta da fala, dois psicólogas e três técnicos superiores de Educação Especial e reabilitação e três técnicos superiores de reabilitação psicomotora). No estudo preliminar, a amostra envolveu cinco crianças e adolescentes entre os seis e os 16 anos de idade. No estudo da versão final, a amostra foi constituída por 75 crianças, entre os oito e os 12 anos (M= 9.65; SD =1.29), 65 rapazes e dez raparigas, com diagnóstico5 de PEA, tendo sido excluídos os casos com perturbação do desenvolvimento intelectual em comorbilidade. Destes, 59 (79%) não apresentam comorbilidades diagnósticas, nove (12%) apresentam comorbilidade com perturbação de hiperatividade e défice de atenção, quatro (5%) com perturbação da linguagem e três (4%) com outras perturbações. As crianças frequentam estabelecimentos de ensino regular, entre o 2º e 7º ano de escolaridade e se beneficiam de Educação Especial e/ou apoio terapêutico. 2.2 Instrumentos Para recolher os dados necessários para a caracterização dos perfis comportamentais das crianças com PEA, optou-se por criar um questionário que permitisse compreender a frequência dos comportamentos que constituem critério para a o diagnóstico de PEA, de acordo com os comportamentos inventariados nos critérios de diagnóstico do DSM 5 (APA, 2014). A validade de conteúdo é um dos primeiros passos a considerar ao longo desse processo (ITC, 2017). A construção de um questionário de medida exige que o investigador tenha não só uma definição clara dos seus objetivos do estudo, como o conhecimento do estado de investigação sobre o assunto considerado e a ideia clara da natureza dos dados a recolher (Fortin, 2009). Para a construção de um questionário deverão ser seguidas as seguintes etapas: estabelecimento da estrutura conceptual e definição dos objetivos do instrumento e da população envolvida, construção dos itens e das escalas de resposta, seleção e organização dos itens e estruturação do instrumento, procedimento de validade de conteúdo, o procedimento de pré-teste e a avaliação das propriedades psicométricas (Coluci et al., 2015). Dessa forma, a construção do questionário obedeceu aos passos anteriormente definidos. Em uma primeira fase, os objetivos da investigação foram identificados e com o intuito de estabelecer as questões que deveriam fazer parte do questionário. Na segunda etapa, após a pesquisa bibliográfica dos questionários existentes que correspondessem aos objetivos delineados, foram construídos os itens do questionário. Como não se encontrou nenhum questionário que respondesse na íntegra ao objeto de estudo e nem que estivesse validado para a população portuguesa, optou-se por elaborar o Questionário de Comportamentos Típicos na Perturbação do Espetro do Autismo (QCT-PEA). Para a formulação e a ordenação dos itens, foram tidos em consideração aspetos essenciais como o conteúdo, a aparência geral, o encadeamento das questões, o tamanho do questionário e o espaço reservado às respostas (Fortin, 2009). Para compreender os comportamentos típicos da PEA, determinou-se a organização do questionário de acordo com os domínios e subdomínios dos critérios de diagnóstico da PEA bem como os comportamentos descritos nas características da perturbação (APA, 2014). Por esse motivo, foi organizado nos dois domínios que caracterizam a PEA, a Comunicação Social e Interação Social (CSIS) e Padrões Restritos e Repetitivos de comportamentos, interesses ou atividades (PRRCIA), que correspondem respetivamente, ao critério de diagnóstico A e B definidos do DSM-5. Em cada domínio, os comportamentos foram organizados pelos subdomínios referidos no DSM 5 (APA, 2014). Na Comunicação Social e Interação Social (A), os comportamentos foram organizados em: reciprocidade social – emocional (A1); comportamentos comunicativos não-verbais usados na interação (A2) e desenvolver, manter e compreender relacionamentos (A3). Nos Padrões Restritos e Repetitivos de comportamentos, interesses ou atividades (B) nas quatro áreas referidas: movimentos motores, uso de objetos, fala estereotipados ou repetitivos (B1); insistência na monotonia, adesão inflexível a rotinas ou padrões ritualizados de comportamento (B2); interesses altamente restritos e fixos (B3) e hiper ou hiporreatividade a estímulos sensoriais ou interesse incomum por aspetos sensoriais dos comportamentos (B4). 2.3 Procedimentos Os procedimentos utilizados nesta pesquisa dizem respeito à construção e à validação do questionário e aos elementos voltados à administração e à recolha dos dados, os quais serão abordados na sequência. 2.3.1 Construção e Validação Do Questionário A tradução portuguesa do DSM-5 (APA, 2014) foi utilizada. Na análise preliminar dos itens, respeitaram-se os requisitos sugeridos por Fortin (2009) como o facto de serem compreensíveis, claros e concisos e que permitam respostas claras. No questionário inicial, foram discriminadas as características mais comuns da PEA, em 38 itens, com as opções de respostas em formato de escala de Likert (0 - Nunca, 1 - Raramente, 2 - Algumas vezes, 3 -Frequentemente, 4 - Muito frequentemente), avaliando a frequência do comportamento da criança pelos pais. Apesar de os pais e da escola desempenharem um papel importante no processo de recolha da informação sobre a criança, nesta fase do estudo e como na maioria dos questionários existentes nesse âmbito, os pais foram os principais respondentes no sentido de ajuizar sobre a frequência dos comportamentos no dia a dia. Para a análise da representatividade dos itens, foi elaborado um documento de contextualização do questionário e instruções, em que foram também recolhidas informações das crianças, que obedeceram a todos os princípios éticos da investigação. A primeira parte do questionário envolveu a recolha de informações de natureza biográfica (género, idade), académica (ano de escolaridade, medidas educativas) e clínica (diagnóstico e data de diagnóstico). A segunda parte diz respeito ao questionário em si, e a terceira, à possibilidade de registo de observações por parte do responsável pelo preenchimento. Em seguida, a versão do questionário foi submetida à apreciação de especialistas com vasta experiência no diagnóstico, avaliação e intervenção na PEA. No pedido de colaboração dos especialistas, foram abordados aspetos como a identificação do objetivo do estudo, as bases teóricas e conceptuais do instrumento, a descrição do instrumento e a necessidade da avaliação da representatividade, clareza e simplicidade dos itens (Alexandre & Coluci, 2011). Quanto à seleção do grupo de especialistas, a evidência científica recomenda um mínimo de cinco e um máximo de dez pessoas (Fortin, 2009), e, para a sua seleção, foram tidos em conta os seguintes critérios: experiência na área profissional de prestação de apoios a pessoas com PEA bem como na metodologia de investigação/validação de instrumentos. Assim, para o grupo de especialistas foram selecionados dez indivíduos com diferentes formações. A validade de conteúdo avalia o grau em que cada elemento de um instrumento de medida é relevante e representativo de um construto, sendo importante avaliar todos os aspetos que constituem o questionário, como as instruções, o formato da resposta e os itens individualmente (Haynes et al., 1995). Em uma fase inicial, os especialistas procederam a uma análise qualitativa do questionário em termos de conteúdo e formato. Em termos de conteúdo, foi avaliada a clareza e a compreensibilidade das questões bem como a sua pertinência. Uma primeira versão do questionário foi analisada pelos especialistas e a análise incidiu na linguagem utilizada e na análise do valor prático (validade clínica) dos itens, ao mesmo tempo em que foram solicitados comentários sobre os itens e o questionário em geral (Yaghmaie, 2003). Dessa análise, foi feita a sugestão de divisão de alguns itens em dois diferentes e acrescentar exemplos concretos de comportamentos para maior compreensão dos pais. Após essa primeira análise, procedeu-se a alterações na redação de alguns itens tendo em vista uma maior inteligibilidade, e foram acrescentados alguns exemplos de comportamentos contemplados no DSM-5 (APA, 2014) e outros referidos na escala de diagnóstico CARS (Schopler et al.,1988), traduzido por Hospital Pediátrico de Coimbra – Unidade de Desenvolvimento da Criança (Oliveira, 2005), para facilitar a compreensão dos pais. Depois da reestruturação do questionário, procedeu-se à análise da sua validade de conteúdo, pelos especialistas que respeitou todos os procedimentos recomendados pela ITC (2017). Cada especialista recebeu uma cópia do questionário e foi solicitado a classificar cada item pela sua relevância, clareza e simplicidade, usando uma escala de classificação do tipo Likert de quatro opções: 1 = muito irrelevante/não claro/não simples; 2 = pouco relevante/pouco claro/pouco simples; 3 = bastante relevante/bastante claro/bastante simples; 4 = muito relevante /muito claro/muito simples. Após a obtenção da versão final, por parte dos peritos, e antes da recolha de dados, foi realizado um estudo preliminar com cinco pais de crianças com PEA para avaliar a compreensão das questões. Essa aplicação foi realizada segundo o método da reflexão falada (Almeida & Freire, 2008) junto a cinco pais de crianças com PEA que não participaram do estudo. O objetivo foi avaliar a compreensão das instruções e do enquadramento do questionário, possíveis ambiguidades no conteúdo, estimar a dificuldade na compreensão de linguagem específica dos comportamentos típicos da PEA. Finalmente, depois dessa fase de pré-teste, o questionário, na sua versão final, foi aplicado a 75 crianças com PEA, após o estudo ser aprovado pela Comissão de Ética, em conformidade com as diretrizes nacionais e internacionais para a investigação científica que envolve seres humanos, incluindo a Declaração de Helsínquia sobre os Princípios Éticos para a Investigação Médica em Seres Humanos (World Medical Association, 2013) e a Convenção sobre os Direitos do Homem e a Biomedicina (Ministério Público de Portugal, 2001). Para avaliar a confiabilidade, recorreu-se ao estudo da consistência interna, por meio do Alpha Cronbach, aos coeficientes de correlação de Pearson e à análise fatorial exploratória no âmbito de um estudo piloto/preliminar da análise da validade de constructo do questionário (Coluci et al., 2015). 2.3.2 Procedimentos De Administração e Estatísticos O questionário foi preenchido pelos pais, com uma duração média de 20 minutos, sendo a administração realizada em articulação com os técnicos que acompanham as crianças em centros de desenvolvimento públicos e privados, em escolas ou no domicílio. Previamente à administração, foram realizadas reuniões presenciais ou telefónicas com os técnicos, para serem explicados todos os procedimentos para a recolha dos dados. Para o tratamento dos dados, foram utilizados o Microsoft Excel para calcular a proporção de concordância entre os especialistas (Polit & Beck, 2006) e os respetivos índices de validade de conteúdo (IVC): dos itens (IVC) acordo universal (IVC-AU) e média (IVC-M), incluindo o kappa de Cohen; e a versão 25 do Statistical Package for the Social Science (SPSS) para as análises restantes. Dessa forma, a análise foi iniciada com a validação do conteúdo, em uma dupla abordagem (Polit & Beck, 2006): descritiva, baseada na revisão da literatura; e empírica, com a quantificação das respostas dos dez peritos para o cálculo dos IVC. Posteriormente, foram agrupadas todas as respostas com cotação 1 e 2 (correspondente à menor irrelevância dos itens) e as 3 e 4 (relevantes). Os valores de corte utilizados para a aceitação (com ou sem reformulação) /rejeição dos itens com base no IVC foram: IVC superiores a .78, IVC-AU≥.80 e IVC-M≥.90. Em uma primeira fase, e tal como apresentado anteriormente, cada perito cotou os itens individualmente, quanto à sua relevância, simplicidade e clareza em quatro opções possíveis. Dadas as limitações do IVC na provisão de dados sobre o ajustamento do acordo pelo acaso (Polit & Beck, 2006), foi ainda calculado o kappa de Cohen, considerando-se que: um valor positivo de k implica acordo entre peritos, valores inferiores a .40 apontam para um acordo fraco, entre .41 e .60 um acordo moderado, um acordo substancial e considerável se entre .61 e .80, e excelente se superior a .81 (Alexandre & Coluci, 2011). A fiabilidade, mais concretamente a consistência interna, foi analisada pelo alpha de Cronbach, assumindo-se que valores inferiores a .70 são inadequados, entre .70 e .80 adequados, superiores a .80 excelentes (Noonan et al., 2009). As correlações entre os subdomínios, os domínios e o total foram também calculadas e a sua interpretação baseou-se nas seguintes orientações: fracas se inferiores a .40, moderadas entre .41 e .60, fortes entre .71 e .89 e muito fortes se superior a .90 (Pestana & Gageiro, 2005). Adicionalmente, no âmbito da análise da validade de constructo do questionário, foi efetuada a análise fatorial exploratória, utilizando o método de extração de componentes principais. A rotação varimax foi utilizada para simplificar a estrutura fatorial. O índice de Kaiser-Meyer-Olkin e o teste de esfericidade de Bartlett foram usados para avaliar a adequação de amostragem a uma análise fatorial satisfatória. Os critérios para extração incluíram valores próprios superiores a 1.0, um mínimo de 5% de variância explicada por cada componente, cargas dos componentes de .40 e acima, e uma diferença de, pelo menos, .10 de níveis de saturação dos fatores. 3 Resultados Na análise da validade de conteúdo, todos os itens foram considerados como relevantes ou muito relevantes para o constructo em análise, com os valores do IVC iguais a 1. Os valores menores (.90) decorreram da opinião de dois especialistas distintos: o Perito 1 considerou o item “discurso repetitivo (ex.: ecolalia, papaguear atrasado ou imediato de palavras; uso do ‘tu’ quando se refere a si próprio; uso estereotipado de palavras, frases ou padrões prosódicos)” (item 29) pouco relevante; e o Perito 6 considerou dois itens pouco relevantes: item 1 – Dificuldade em tomar iniciativa nas interações sociais com adultos e pessoas familiares (ex.: mostra-se distante e desinteressada pelos adultos); e item 3 – Resposta reduzida às interações sociais com os adultos (ex.: não responde à interação dos adultos e somente um esforço mais persistente consegue prender a sua atenção). A proporção de concordância entre os especialistas foi calculada para analisar o IVC do QCT-PEA, destacando-se o acordo substancial entre os peritos (Tabela 1), com todos os valores superiores a .95. Tabela 1 Proporção de concordância entre especialistas Relevância Clareza Simplicidade Especialista 1 .98 .95 .95 Especialista 2 1 1 1 Especialista 3 1 1 1 Especialista 4 1 1 1 Especialista 5 1 1 1 Especialista 6 .95 1 1 Especialista 7 1 1 1 Especialista 8 1 1 1 Especialista 9 1 1 1 Especialista 10 1 1 1 Nota. O cálculo foi realizado usando a percentagem de especialistas que atribuem classificação 3 ou 4 em todos os itens (Alexandre & Coluci, 2011). No entanto, esses IVC não são suficientes; assim, na Tabela 2, são apresentados os valores da escala IVC-AU e IVC-M, cujos valores parecem corroborar as análises anteriores. Finalmente, o kappa de Cohen, cujos valores variaram entre .82 e 1, mostra uma excelente concordância entre os peritos. Todos esses valores parecem confirmar a validade de conteúdo do questionário. Tabela 2 Escalas de validade de conteúdo Relevância Clareza Simplicidade IVC- concordância universal .99 1 1 IVC-média .99 .99 .99 Para avaliar a fiabilidade, foi calculada a consistência interna dos dois domínios e sete subdomínios do QCT-PEA (Tabela 3). Apesar do alpha de Cronbach ser sensível ao número da amostra, variando diretamente com o seu aumento (Souza et al., 2017), há de destacarem-se os valores robustos obtidos, exceção apenas aos itens Movimentos motores, uso de objetos, fala estereotipados ou repetitivos (α=.56) e Insistência na monotonia, adesão inflexível a rotinas ou padrões ritualizados de comportamento (α=.74), considerados, respetivamente, como inadequados ou adequados. Tabela 3 Consistência Interna Domínios e sub-domínios Nº de itens Alfa de Cronbach Comportamentos típicos PEA 40 .93 Comunicação Social e In-teração Social 26 .92 Reciprocidade social – emocion-al 9 .84 Comportamentos comunicativos não-verbais usados na interação 6 .88 Desenvolver, manter e compreender rela-cionamentos 11 .79 Padrões Restritos e Repetitivos de comportamentos, interesses ou atividades 14 .88 Movimentos motores, uso de objetos, fala estereotipados ou repetitivos 3 .56 Insistência na monotonia, adesão inflexível a rotinas ou padrões ritualizados de comportamento 3 .74 Interesses altamente restritos e fixos 3 .88 Hiper ou hiporreatividade a estímulos sensoriais ou interesse incomum por aspetos sensoriais dos comportamentos. 5 .81 A análise das correlações entre os domínios e subdomínios do QCT-PEA foi efetuada pelo Coeficiente de correlação de Pearson (Tabela 4). Podemos verificar a existência de uma correlação muito forte entre os domínios dos Padrões Restritos e Repetitivos e os Comportamentos Totais da PEA. As restantes correlações são de moderadas a fortes, verificando-se correlações fracas entre os subdomínios da Comunicação Social e Interação Social e os subdomínios dos Padrões Restritos e Repetitivos de comportamentos, interesses e atividades. Tabela 4 Coeficientes de Correlação CT-PEA CSIS A1 A2 A3 PRRCIA B1 B2 B3 B4 CT-PEA -- CSIS .82 -- A1 .76 .90 -- A2 .72 .83 .65 -- A3 .66 .88 .67 .57 -- PRRCIA .92 .54 .53 .47 .42 -- B1 .77 .53 .52 .52 .37 .76 -- B2 .76 .53 .48 .42 .48 .75 .44 -- B3 .74 .39 .38 .35 .28 .80 .49 .59 -- B4 .70 .35 .35 .28 .26 .86 .56 .46 .52 -- Nota. Todas as correlações são significativas para p<.01, exceto as em negrito que são significativas para p<.05. CT PEA – Comportamentos típicos da PEA, A) CSIS – Comunicação Social e Interação Social, A1 – Reciprocidade social – emocional, A2 – Comportamentos comunicativos não-verbais, A3 – Desenvolver, manter e compreender relacionamentos; B) PRRCIA – Padrões Restritos e Repetitivos de comportamentos, interesses ou atividades, B1 – Movimentos motores, uso de objetos, fala estereotipados ou repetitivos, B2 – Insistência na monotonia, adesão inflexível a rotinas ou padrões ritualizados de comportamento, B3 – Interesses altamente restritos e fixos, B4 – Hiper ou hiporreatividade a estímulos sensoriais. A validade de construto do QCT-PEA foi obtida por meio da análise fatorial exploratória, e os coeficientes encontrados demonstraram a pertinência de uma análise fatorial. A medida de Keiser foi de .83 e a prova de esfericidade de Bartlett foi de 215.6, ambos os valores para p<.0001. Relativamente à análise fatorial exploratória (Tabela 5), foram encontrados dois fatores que explicam 69.5% da variância total, com carga fatorial >.50. Tabela 5 Análise fatorial exploratória Subdomínios do QCT-PEA Subdomínios Fator A Fator B Reciprocidade social – emocional .85 Comportamentos comunicativos não-verbais usados na interação .83 Desenvolver, manter e compreender rela-cionamentos .81 Movimentos motores, uso de objetos, fala estereotipados ou repeti-tivos .84 Insistência na monotonia, adesão inflexível a rotinas ou padrões ritualizados de comportamento .82 Interesses altamente restritos e fixos .66 Hiper ou hiporreatividade a estímulos sensoriais ou interesse incomum por aspetos sensoriais dos comportamentos .65 4 Discussão O presente artigo, o primeiro desta natureza que se conhece no âmbito nacional e internacional no que toca aos países de Língua Portuguesa, tem como objetivo analisar as qualidades métricas preliminares de um questionário que pretende inventariar a frequência dos comportamentos mais comuns da PEA, de acordo com os critérios de diagnóstico do DSM-5 (APA, 2013), de forma a criar um instrumento válido de estudo dos perfis comportamentais das crianças com PEA e proporcionar a planificação de objetivos de intervenção mais adequados às suas características. O estudo pretende contribuir não só para o conhecimento científico e validação de um instrumento, mas validar as boas práticas na área por meio do inventário da frequência de comportamentos nas diferentes fases de intervenção e da monitorização das evoluções. A necessidade de adequar os questionários à nova classificação diagnóstica é uma das recomendações apontadas na área (Moulton et al., 2019; Park & Kim, 2016). Para esse efeito, e de acordo com as recomendações na literatura, para o desenvolvimento do questionário, cumpriram-se com as diversas etapas ao nível da validade de conteúdo e constructo, e da análise da fiabilidade, mais especificamente ao nível da consistência interna (Coluci et al., 2015). De acordo com Wassel (2016), esse tipo de estudo é necessário para identificar áreas fortes (e fracas) dos instrumentos para cada subgrupo populacional específico, com repercussões na prática que se pretendem seguras e com confiança baseada em evidências. A análise das qualidades métricas foi feita com recurso a metodologias qualitativas e quantitativas, fundamentadas na revisão intensiva da literatura na área e nos instrumentos existentes, na consultadoria de profissionais com vasta experiência na área da PEA, de forma a assegurar a validade de conteúdo das dimensões e dos itens do questionário, bem como em um pré-teste piloto com alguns pais para verificar a inteligibilidade dos itens e a relevância do conteúdo. A análise das qualidades métricas dos instrumentos deve ser o ponto de partida para a sua utilização que apenas deve decorrer com base em evidências que atestem a sua validade e a sua fiabilidade. A validade de conteúdo, como primeiro passo, foi realizada com base na concordância de dez especialistas, cujas respostas, quantitativas e qualitativas, permitiram estabelecer a versão final, revelando evidências empíricas sobre a correspondência dos itens e respetivos domínios e subdomínios. Após a análise da primeira versão do questionário, os 38 itens iniciais passaram a 40, uma vez que o item 1 – Dificuldade em tomar iniciativa nas interações sociais com adultos e pessoas familiares e crianças – foi dividido em dois, separando os adultos das crianças. O mesmo aconteceu no item 2 – Resposta reduzida às interações sociais com os adultos e com os pares –, uma vez que as crianças com PEA normalmente apresentam comportamentos diferentes com os adultos e com as crianças (APA, 2013) e os itens tornavam-se pouco discriminatórios. No domínio dos Padrões Restritos e Repetitivos de comportamentos, interesses ou atividades, foram acrescentados alguns exemplos (e.g.: no Discurso repetitivo, foram acrescentados ecolalia, papaguear atrasado ou imediato de palavras; uso do “tu” quando se refere a si próprio; uso estereotipado de palavras, frases ou padrões prosódicos; nas Estereotipias motoras simples, acrescentou-se bater com as mãos, agitar os dedos; na Adesão excessiva a rotinas, foram adicionados os exemplos pode zangar-se se é levado a um supermercado diferente ou se faz um percurso diferente para a escola; e no item Resistência à mudança, os exemplos: a angústia em relação a mudanças aparentemente pequenas, tal como empacotamento de uma comida, insistência na adesão a regras e rigidez de pensamento). Todos os itens apresentaram valores de IVC a apontar a adequação do conteúdo, com valores superiores aos recomendados como mínimos (IVC≥.78) na literatura, observando-se situação idêntica ao nível do acordo universal e médio do questionário (Polit & Beck, 2006), que fundamentou a decisão de manter todos os itens. A proporção de acordo entre especialistas também veio confirmar a relevância de todos os itens, corroborada pelos valores do kappa de Cohen e a validade de conteúdo do QCT- PEA foi então comprovada. Ao nível da análise da fiabilidade e com a maioria dos itens a apresentar valores que atestam a consistência interna da escala, há a destacar-se, contudo, alguns subdomínios cujos resultados foram examinados mais em pormenor. Assim, o subdomínio com o valor inferior reportou-se aos Movimentos motores, uso de objetos, fala estereotipados ou repetitivos, o que poderá dever-se ao facto desses comportamentos serem considerados mais comuns em crianças mais novas (Esbensen et al., 2009). Os outros dois subdomínios, cujos valores se situaram abaixo de .80, foram a Insistência na monotonia, adesão inflexível a rotinas ou padrões ritualizados de comportamento, e Desenvolver, manter e compreender relacionamentos que, no entanto, foram considerados adequados. Os valores mais baixos nesses dois subdomínios, eventualmente, podem basear-se na elevada frequência de comportamentos nesses subdomínios, o que vai ao encontro das características que são descritas nas crianças com PEA nessas idades (APA, 2013), quer pelas exigências sociais requeridas como pelo facto da inflexibilidade ser um dos sintomas centrais da PEA (Lecavalier et al., 2020). De qualquer das formas, há de considerar-se que o número de itens por domínio influencia o valor de alfa de Cronbach, podendo um pequeno número de itens por domínio, tal como acontece no subdomínio Movimentos motores, uso de objetos, fala estereotipados ou repetitivos, diminuir os seus valores, afetando a consistência interna (Souza et al., 2017). Nesse sentido, foi decidida a sua manutenção. Os comportamentos típicos totais bem como os dois domínios do questionário, Comunicação Social e Interação Social e Padrões Restritos e Repetitivos de comportamentos, interesses ou atividades, denotam uma boa a excelente consistência interna. No âmbito da validade de constructo, os coeficientes de correlação de Pearson apontaram para correlações fracas a fortes, tal como expectável, dado que o questionário inventaria comportamentos em dois domínios diferentes e com subdomínios cujos comportamentos não são relacionados. Assim, foram encontradas correlações moderadas a fortes entre subdomínios do mesmo domínio e fracas a moderadas entre os subdomínios de diferentes domínios. Ainda em uma análise fatorial exploratória piloto, a estrutura do questionário parece apontar para um modelo bi-dimensional com duas dimensões correspondentes aos domínios previamente estabelecidos: Comunicação Social e Interação Social e Padrões Restritos e Repetitivos de comportamentos, interesses ou atividades, apesar da necessidade de um aprofundamento para a confirmação do modelo concetual. Esse modelo bi-dimensional encontra-se em concordância com estudos relacionados à validação dos critérios do DSM-5 com outros questionários (Moulton et al., 2019; Park & Kim, 2016). Os resultados deste estudo parecem demonstrar que o QCT-PEA poderá ser um instrumento a ter em conta na investigação e na utilização prática clínica, de forma a compreender o perfil comportamental da criança com PEA e planear a intervenção de acordo com os seus comportamentos, possibilitando uma maior adaptação aos diferentes contextos em que estão inseridas. 5 Limitações Tal como qualquer outro estudo desta natureza, é possível apontar algumas limitações que deverão ser consideradas em próximas investigações. O não envolvimento de pessoas com PEA na comissão de peritos, apesar das recomendações de se deverem incluir a opinião da população-alvo, é algo que se pode destacar. A necessidade de estudos com uma amostra mais representativa e significativa é outra consideração que fica. Apesar disso, o facto de ser um instrumento novo tem a mais valia de permitir o registo dos comportamentos típicos na PEA, de acordo com a nova conceptualização do DSM-5. Considera-se importante a replicação desde estudo e a aplicação a um maior número de pessoas com PEA, com diferentes idades. 6 Conclusões O QCT-PEA apresenta indicadores adequados, confiáveis para inventariar a frequência de comportamentos típicos na PEA. A análise das qualidades métricas de qualquer instrumento é uma necessidade dado o impacto que as decisões (e.g.: diagnóstico ou tipo de intervenção a implementar) detém na vida de cada pessoa. Os valores encontrados baseiam-se em uma metodologia que vai para além da tradução e do acordo generalizado de especialistas e que acrescenta valor, dada a dupla abordagem (teórica e empírica, objetiva e subjetiva) e o rigor nos procedimentos, demonstrando, ainda, a importância do grupo de especialistas e da realização de um pré-teste para avaliar a relevância, clareza e simplicidade dos itens. O questionário parece fornecer informações úteis para a compreensão da frequência dos comportamentos das crianças com PEA, facilitar a identificação dos comportamentos comuns e mais desafiantes das crianças pelos pais e agentes educativos e, consequentemente, proporcionar o planeamento de uma intervenção mais adequada que responda às necessidades da criança, da família e da escola. Pretendemos, com o questionário, não só enriquecer a escassez de instrumentos validados em Portugal para a PEA de acordo com os critérios do DSM-5, mas também proporcionar um instrumento que possa inventariar a frequência de comportamentos da criança nos diferentes contextos em que está inserida (e.g.: casa, escola), de forma a ser utilizado por profissionais especializados no planeamento da intervenção, adequando as estratégias fornecidas às famílias e à escola em função dos comportamentos que a criança apresenta no momento em cada contexto. O questionário permitirá ainda monitorizar a evolução da criança em função da intervenção e analisar possíveis alterações comportamentais quando ocorrem mudanças na vida da criança (e.g.: mudança de escola, separação dos pais), de forma a uma maior adequação dos objetivos de intervenção nessas fases. 5 Realizado por profissionais competentes (pediatras experientes, pediatras do neurodesenvolvimento, pedopsiquiatras e equipas multidisciplinares com psicólogos, terapeuta da fala e técnicos superiores de educação especial e reabilitação psicomotora). REFERêNCIAS Alexandre, N. M. C., & Coluci, M. Z. O. (2011). Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas. Ciência e Saude Coletiva, 16(7), 3061-3068. https://doi.org/10.1590/S1413-81232011000800006 Alexandre N. M. C. Coluci M. Z. O. 2011 Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas Ciência e Saude Coletiva 16 7 3061 3068 https://doi.org/10.1590/S1413-81232011000800006 Almeida, L., & Freire, T. (2008). Metodologias da investigação em psicologia e educação. 5. ed. Psiquilíbrios. Almeida L. Freire T. 2008 Metodologias da investigação em psicologia e educação 5 Psiquilíbrios American Psychiatric Association. (2002). DSM-IV-TR. Manual de Diagnóstico e Estatístico de Perturbações Mentais (Texto Revisto, 4ª ed.). Climepsi Editores. American Psychiatric Association 2002 DSM-IV-TR. Manual de Diagnóstico e Estatístico de Perturbações Mentais (Texto Revisto, 4ª ed.) Climepsi Editores American Psychiatric Association. (2013). Diagnostic and statistical manual of mental disorders (5th ed.) APA. https://doi.org/10.1176/appi.books.9780890425596 American Psychiatric Association 2013 Diagnostic and statistical manual of mental disorders 5th APA https://doi.org/10.1176/appi.books.9780890425596 American Psychiatric Association. (2014). DSM-5: Manual de Diagnóstico e Estatística das Perturbações Mentais (5ª ed.). Climepsi Editores. American Psychiatric Association 2014 DSM-5: Manual de Diagnóstico e Estatística das Perturbações Mentais 5ª Climepsi Editores Berument, S. K., Rutter, M., & Lord, C. (1999)Autism screening questionnaire: Diagnostic validity. The British Journal of Psychiatry 175(5),444-451.https://doi.org/10.1192/bjp.175.5.444 Berument S. K. Rutter M. Lord C. 1999 Autism screening questionnaire: Diagnostic validity The British Journal of Psychiatry 175 5 444 451 https://doi.org/10.1192/bjp.175.5.444 Bodfish, J. W., Symons, F. J., Parker, D. E., & Lewis, M. H. (2000). Repetitive Behavior Scale–Revised. PsycTESTS®. https://doi.org/10.1037/t17338-000 Bodfish J. W. Symons F. J. Parker D. E. Lewis M. H. 2000 Repetitive Behavior Scale–Revised PsycTESTS® https://doi.org/10.1037/t17338-000 Coluci, M. Z. O., Alexandre, N. M. C., & Milani, D. (2015). Construção de instrumentos de medida na área da saúde. Ciencia e Saude Coletiva, 20(3), 925-936. https://doi.org/10.1590/1413-81232015203.04332013 Coluci M. Z. O. Alexandre N. M. C. Milani D. 2015 Construção de instrumentos de medida na área da saúde Ciencia e Saude Coletiva 20 3 925 936 https://doi.org/10.1590/1413-81232015203.04332013 Esbensen, A., Seltzer, J., Lam, M., & Bodfish, M. (2009). Age-related differences in restricted repetitive behaviors in Autism Spectrum Disorders. Journal of Autism and Developmental Disabilities, 39, 57-66. https://doi.org/10.1038/jid.2014.371 Esbensen A. Seltzer J. Lam M. Bodfish M. 2009 Age-related differences in restricted repetitive behaviors in Autism Spectrum Disorders Journal of Autism and Developmental Disabilities 39 57 66 https://doi.org/10.1038/jid.2014.371 Fortin, M. (2009). As Etapas do Processo de Investigação. O Processo de Investigação. Lusoditacta. Fortin M. 2009 As Etapas do Processo de Investigação. O Processo de Investigação Lusoditacta Haynes, S. N., Richard, D. C. S., & Kubany, E. S. (1995). Content validity in psychological assessment: a functional approach to concepts and methods. Psychological Assessment, 7(3), 238-247. https://doi.org/10.1037/1040-3590.7.3.238 Haynes S. N. Richard D. C. S. Kubany E. S. 1995 Content validity in psychological assessment: a functional approach to concepts and methods Psychological Assessment 7 3 238 247 https://doi.org/10.1037/1040-3590.7.3.238 International Test Commission. (2017). The ITC Guidelines for Translating and Adapting Tests (2nd edition). https://www.intestcom.org/files/guideline_test_adaptation_2ed.pdf International Test Commission 2017 The ITC Guidelines for Translating and Adapting Tests 2nd https://www.intestcom.org/files/guideline_test_adaptation_2ed.pdf Krug, D. A., Arick, J. R., & Almond, P. G. (1980). Behavior checklist for identifying severely handcapped individuals with high levels of autistic behavior. Journal of Child Psychology and Psychiatry, 21, 221-229. https://doi.org/10.1111/j.1469-7610.1980.tb01797.x Krug D. A. Arick J. R. Almond P. G. 1980 Behavior checklist for identifying severely handcapped individuals with high levels of autistic behavior Journal of Child Psychology and Psychiatry 21 221 229 https://doi.org/10.1111/j.1469-7610.1980.tb01797.x Lecavalier, L., Bodfish, J., Harrop, C., Whitten, A., Jones, D., Pritchett, J., Faldowski, R., & Boyd, B. (2020). Development of the Behavioral Inflexibility Scale for Children with Autism Spectrum Disorder and Other Developmental Disabilities. Autism Research, 1–11. https://doi.org/10.1002/aur.2257 Lecavalier L. Bodfish J. Harrop C. Whitten A. Jones D. Pritchett J. Faldowski R. Boyd B. 2020 Development of the Behavioral Inflexibility Scale for Children with Autism Spectrum Disorder and Other Developmental Disabilities Autism Research 1 11 https://doi.org/10.1002/aur.2257 Lord, C., Rutter, M., & Le Couteur, A. (1994). Autism Diagnostic Interview-Revised: A revised version of a diagnostic interview for caregivers of individuals with possible pervasive developmental disorders. Journal of Autism and Developmental Disorders, 24, 659–685. https://doi.org/10.1007/BF02172145 Lord C. Rutter M. Le Couteur A. 1994 Autism Diagnostic Interview-Revised: A revised version of a diagnostic interview for caregivers of individuals with possible pervasive developmental disorders Journal of Autism and Developmental Disorders 24 659 685 https://doi.org/10.1007/BF02172145 Marteleto, M., & Pedromônico, M. (2005). Validity of Autism Behavior Checklist (ABC): preliminary study.Brazilian Journal of Psychiatry,27(4), 295-301.https://dx.doi.org/10.1590/S1516-44462005000400008 Marteleto M. Pedromônico M. 2005 Validity of Autism Behavior Checklist (ABC): preliminary study Brazilian Journal of Psychiatry 27 4 295 301 https://dx.doi.org/10.1590/S1516-44462005000400008 Mayes, S. (2014). Diagnosing Autism with Checklist for Autism Spectrum Disorder (CASD). In V. Patel, V. Preedy, & C. Martin (Eds.), Comprehensive Guide to Autism. Springer. https://doi.org/10.1007/978-1-4614-4788-7_11 Mayes S. 2014 Diagnosing Autism with Checklist for Autism Spectrum Disorder (CASD). Patel V. Preedy V. Martin C. Comprehensive Guide to Autism Springer https://doi.org/10.1007/978-1-4614-4788-7_11 Ministério Público de Portugal. (2001). Convenção para a Protecção dos Direitos do Homem e da Dignidade doSer Humano Face às Aplicações da Biologia e da Medicina: Convenção sobre dos Direitos do Homem e a Biomedicina. https://gddc.ministeriopublico.pt/sites/default/files/documentos/instrumentos/convencao_protecao_dh_biomedicina.pdf Ministério Público de Portugal 2001 Convenção para a Protecção dos Direitos do Homem e da Dignidade doSer Humano Face às Aplicações da Biologia e da Medicina: Convenção sobre dos Direitos do Homem e a Biomedicina https://gddc.ministeriopublico.pt/sites/default/files/documentos/instrumentos/convencao_protecao_dh_biomedicina.pdf Moulton, E., Bradbury, K., Barton, M., & Fein, D. (2019). Factor analysis of the childhood autism rating scale in a sample of two year olds with an Autism Spectrum Disorder. Journal of Autism and Developmental Disorders, 49(7), 2733-2746. https://doi.org/10.1007/s10803-016-2936-9 Moulton E. Bradbury K. Barton M. Fein D. 2019 Factor analysis of the childhood autism rating scale in a sample of two year olds with an Autism Spectrum Disorder Journal of Autism and Developmental Disorders 49 7 2733 2746 https://doi.org/10.1007/s10803-016-2936-9 Noonan, V., Miller, W., & Noreau, L. (2009). A review of instruments assessing participation in persons with spinal cord injury. Spinal Cord, 47, 435-446. https://doi.org/10.1038/sc.2008.171 Noonan V. Miller W. Noreau L. 2009 A review of instruments assessing participation in persons with spinal cord injury Spinal Cord 47 435 446 https://doi.org/10.1038/sc.2008.171 Oliveira, G. (2005). Epidemiologia do autismo em Portugal: um estudo de prevalência da perturbação do espectro do autismo e de caracterização de uma amostra populacional de idade escolar (Tese de Doutoramento não publicada]. Faculdade de Medicina da Universidade de Coimbra, Coimbra, Portugal. Oliveira G. 2005 Epidemiologia do autismo em Portugal: um estudo de prevalência da perturbação do espectro do autismo e de caracterização de uma amostra populacional de idade escolar Tese de Doutoramento não publicada Faculdade de Medicina da Universidade de Coimbra Coimbra, Portugal Park, E. Y., & Kim, J. (2016). Factor structure of the Childhood Autism Rating Scale as per DSM-5. Pediatrics International, 58(2), 139-145. https://doi.org/10.1111/ped.12770 Park E. Y. Kim J. 2016 Factor structure of the Childhood Autism Rating Scale as per DSM-5 Pediatrics International 58 2 139 145 https://doi.org/10.1111/ped.12770 Pestana, M., & Gageiro, J. (2005). Análise de dados para ciências sociais: A complementaridade do SPSS. Edições Sílabo. Pestana M. Gageiro J. 2005 Análise de dados para ciências sociais: A complementaridade do SPSS Edições Sílabo Polit, D. F., & Beck, C. T. (2006). The content validity index: Are you sure you know what’s being reported? Critique and recommendations. Research in Nursing and Health, 29(5), 489-497. https://doi.org/10.1002/nur.20147 Polit D. F. Beck C. T. 2006 The content validity index: Are you sure you know what’s being reported? Critique and recommendations Research in Nursing and Health 29 5 489 497 https://doi.org/10.1002/nur.20147 Reis, H., Pereira, A. P., & Almeida, L. (2013). Construção e validação de um instrumento de avaliação do perfil desenvolvimental de crianças com perturbação do espectro do autismo, Revista Brasileira de Educação Especial, 19(2), 183-194. https://doi.org/10.1590/S1413-65382013000200004 Reis H. Pereira A. P. Almeida L. 2013 Construção e validação de um instrumento de avaliação do perfil desenvolvimental de crianças com perturbação do espectro do autismo Revista Brasileira de Educação Especial 19 2 183 194 https://doi.org/10.1590/S1413-65382013000200004 Rutter, M., Bailey, A., & Lord, C. (2003). The Social Communication Questionnaire: Manual. Western Psychological Services. Rutter M. Bailey A. Lord C. 2003 The Social Communication Questionnaire: Manual Western Psychological Services Santos, S., Morato, P., & Luckasson, R. (2014). Psychometric Properties of the Portuguese Version of the Adaptive Behavior Scale. Intellectual and Developmental Disabilities, 52(5), 379-387. https://doi.org/10.1352/1934-9556-52.5.379 Santos S. Morato P. Luckasson R. 2014 Psychometric Properties of the Portuguese Version of the Adaptive Behavior Scale Intellectual and Developmental Disabilities 52 5 379 387 https://doi.org/10.1352/1934-9556-52.5.379 Schopler, E., Reichler, R., & Renner, B. (1988). Childhood Autism Rating Scale (CARS). Western Psychological Services. Schopler E. Reichler R. Renner B. 1988 Childhood Autism Rating Scale (CARS) Western Psychological Services Souza, A. C., Alexandre, N. M. C., & Guirardello, E.. (2017). Propriedades psicométricas na avaliação de instrumentos: avaliação da confiabilidade e da validade. Epidemiologia e Servicos de Saude: Revista do Sistema Unico de Saude do Brasil, 26(3), 649-659 https://doi.org/10.5123/S1679-49742017000300022 Souza A. C. Alexandre N. M. C. Guirardello E.. 2017 Propriedades psicométricas na avaliação de instrumentos: avaliação da confiabilidade e da validade Epidemiologia e Servicos de Saude: Revista do Sistema Unico de Saude do Brasil 26 3 649 659 https://doi.org/10.5123/S1679-49742017000300022 Wassel, J. I. (2016).A review of Morais, Santos, and Lebre’s (2016) “Psychometric properties of the Portuguese version of the Éxamen Geronto-Psychomoteur” and the critique of the influence of scholar literature: A call for greater responsibility. Educational Gerontology, 42(7), 513-515.https://doi.org/doi:10.1080/03601277.2016.1165067 Wassel J. I. 2016 A review of Morais, Santos, and Lebre’s (2016) “Psychometric properties of the Portuguese version of the Éxamen Geronto-Psychomoteur” and the critique of the influence of scholar literature: A call for greater responsibility Educational Gerontology 42 7 513 515 https://doi.org/10.1080/03601277.2016.1165067 World Medical Association. (2008).Declaration of Helsinki: Ethical principles for medical research involving human subjects. 59th WMA General Assembly, Seoul. https://www.ufrgs.br/bioetica/helsin7.pdf World Medical Association 2008 Declaration of Helsinki: Ethical principles for medical research involving human subjects 59th WMA General Assembly, Seoul https://www.ufrgs.br/bioetica/helsin7.pdf Yaghmaie, F. (2003). Content validity and its estimation. Journal of Medical Education Spring, 3, 25-27. https://www.sid.ir/en/journal/ViewPaper.aspx?id=33688 Yaghmaie F. 2003 Content validity and its estimation Journal of Medical Education Spring 3 25 27 https://www.sid.ir/en/journal/ViewPaper.aspx?id=33688