CONSTRUÇÃO DA ESCALA BRASILEIRA DE DISTRESSE MORAL EM ENFERMEIROS - UM ESTUDO METODOLÓGICO

CONSTRUCCIÓN DE LA ESCALA BRASILEÑA DE DISTRÉS MORAL EN ENFERMEROS - UN ESTUDIO METODOLÓGICO

RESUMO

Objetivo:

desenvolver um instrumento denominado Escala Brasileira de Distresse Moral em Enfermeiros, para medição da intensidade e frequência do distresse moral.

Método:

pesquisa metodológica descrita em três etapas: 1) definição do marco teórico (background); 2) concepção do instrumento; e 3) composição do instrumento. A etapa 2 integrou a revisão da literatura e survey para identificar elementos/situações desencadeadoras de distresse moral. A amostra consistiu de 771 enfermeiros, dos 27 estados do Brasil, atuantes em diferentes serviços.

Resultados:

foram analisadas situações de distresse moral apreendidas pelo survey, em cinco rodadas envolvendo grupo de pesquisadores, produzindo uma matriz analítica com nove categorias e 72 subcategorias, que subsidiaram a formulação das questões iniciais, aprimoradas e cotejadas com os achados da literatura (validação de critério). Outras três rodadas foram realizadas para composição do instrumento, com 57 questões e dupla escala Likert, em sucessivas revisões do conteúdo, linguagem, formato e layout, incluindo a avaliação por experts/juízes e análise dos resultados do pré-teste (validação de face/conteúdo).

Conclusão:

explorar condições específicas do contexto brasileiro do trabalho de enfermeiros e a validação do instrumento produzido permitirá compreender o tema do sofrimento moral no cenário da enfermagem brasileira. Construir instrumentos próprios capazes de aferir expressões de distresse moral pode referendar problemas éticos já descritos com instrumentos adaptados.

DESCRITORES:
Pesquisa em enfermagem; Moral; Sofrimento; Escalas; Estudos de validação

RESUMEN

Objetivo:

desarrollar un instrumento denominado Escala Brasileña de Distrés Moral en Enfermeros, para medir la intensidad y frecuencia de la distracción moral.

Método:

investigación metodológica descrita en tres etapas: 1) definición del Marco teórico (background); 2) concepción del instrumento; y 3) composición del instrumento. La etapa 2 integró la revisión de la literatura y la encuesta para identificar elementos/situaciones desencadenantes de distracción moral. La muestra fue formada por 771 enfermeros, de los 27 estados de Brasil, actuantes en diferentes servicios.

Resultados:

se analizaron situaciones de distracción moral aprehendidas por la encuesta, en cinco rondas involucrando grupo de investigadores, produciendo una matriz analítica con nueve categorías y 72 subcategorías, que subsidiaron la formulación de las cuestiones iniciales, mejoradas y cotejadas con los hallazgos de la literatura (validación de la literatura) criterio). Otras tres rondas se realizaron para la composición del instrumento, con 57 preguntas y doble escala Likert, en sucesivas revisiones del contenido, lenguaje, formato y diseño, incluyendo la evaluación por expertos/jueces y análisis de los resultados del pre-test (validación de cara/contenido).

Conclusión:

explorar condiciones específicas del contexto brasileño del trabajo de enfermeros y la validación del instrumento producido permitirá comprender el tema del sufrimiento moral en el escenario de la enfermería brasileña. La construcción de instrumentos propios capaces de medir expresiones de distensión moral puede referir problemas éticos ya descritos con instrumentos adaptados.

DESCRIPTORES:
Investigación en enfermería; Moral; Sufrimiento; Escalas; Estudios de validación

ABSTRACT

Objective:

to develop an instrument called the Brazilian Scale of Moral Distress in Nurses, in order to measure the intensity and frequency of moral distress.

Method:

a methodological research described in three steps: 1) definition of the theoretical framework (Background); 2) Instrument design; and 3) instrument composition. Step 2 integrated the literature review and survey to identify elements / situations triggering moral distress. The sample consisted of 771 nurses, from the 27 states of Brazil, working in different services.

Results:

moral distress situations analyzed by the survey were analyzed in five rounds involving a group of researchers, producing an analytical matrix with nine categories and 72 subcategories, which subsidized the formulation of the initial questions, and improved and collated with the findings of the literature (validation of criterion). Three other rounds were performed for the composition of the instrument, with 57 questions and a double Likert scale, with successive revisions of the content, language, format and layout, including the evaluation by experts / judges and analysis of the results of the pre-test (face/content).

Conclusion:

explore specific conditions of the Brazilian context of nurses’ work and the validation of the instrument produced will allow the understanding of the theme of moral suffering in the Brazilian nursing scenario. Constructing instruments capable of measuring expressions of moral distress can validate ethical problems already described with adapted instruments.

DESCRIPTORS:
Nursing research; Moral; Suffering; Scales; Validation studies

INTRODUÇÃO

O distresse moral (DM) vem sendo estudado desde a década de 1980, inicialmente nos Estados Unidos, como uma manifestação também definida como angústia, aflição ou sofrimento em situações nas quais enfermeiros reconhecem o mais correto curso de ação a tomar, mas não conseguem concretizá-lo devido a barreiras externas ou internas, gerando sentimento de impotência ou incapacidade para realizar a ação definida como eticamente adequada.^1-3 Estudos o caracterizam como fenômeno que pode se diferenciar em tipos e fases (inicial, reativo, persistente),^2,4 afetando a integridade moral e levando a sérias consequências para o profissional, além daquelas geradas por ações moralmente impróprias.^5-6

Considerando a abrangência das causas, a gravidade das consequências e o caráter subjetivo e pessoal do fenômeno, o DM passou a ser objeto de análise em diferentes realidades, países e tipos de unidades assistenciais onde atuam enfermeiros.⁷ Estudos recentes^8-10 ampliam a preocupação sobre diferentes profissionais da equipe de saúde, detectando a presença do DM em grupos profissionais e como preditor significativo da intenção de deixar a profissão ou local de trabalho. Foram identificados níveis mais elevados de DM entre aqueles envolvidos no atendimento direto ao paciente, comparativamente aos médicos, sendo negativamente correlacionado com o clima ético de trabalho e positivamente relacionado com a tendência de abandono do trabalho.¹¹ Diferenças apontadas entre profissionais se referem a escores superiores de DM entre enfermeiros e outros profissionais não médicos (em relação aos médicos), relação inversamente associada com idade para outros profissionais de saúde e diretamente associada com anos de experiência apenas em enfermeiras. A relação com a Síndrome de Burnout e com a predisposição ao abandono da profissão mostrou-se relevante para os profissionais não médicos.¹² Também no Brasil foram observadas implicações e similaridades entre DM e Burnout.¹³

Deste tipo de análise, cabe reconhecer a importância de não apenas relacionar o problema do DM a dados demográficos e a situações reais de trabalho mas, também, de reexaminá-lo sob diferentes aportes teóricos,¹⁴ como numa abordagem feminista¹⁵ ou em relação a conceitos que possuem significado para a profissão.⁶ Salienta-se a relevância de se discutir o alcance e os limites do construto e das pesquisas realizadas até o momento.^16-17

A escala de Corley¹⁸ - Moral Distress Scale - é pioneira nos estudos sobre DM, e dela resultaram aplicações e adaptações para diferentes unidades de saúde. No Brasil, sua tradução e validação, e posterior adaptação, foram realizadas em 2012 e 2014.¹⁹ A versão brasileira adaptada de Corley ampliou os achados para a equipe de enfermagem, em torno de cinco constructos: falta de competência na equipe de trabalho, desrespeito à autonomia do paciente, condições de trabalho insuficientes, negação do papel da enfermagem como advogada do paciente na terminalidade e negação do papel da enfermagem como advogada do paciente.¹⁹

Com base nos resultados produzidos, especialmente em estudos brasileiros em contextos institucionais ou locais, despontou o interesse por preencher uma lacuna - de construir uma escala brasileira de DM em enfermeiros - uma vez que especificidades próprias dos cenários dos serviços de saúde e das transformações históricas da profissão no Brasil exigem um olhar mais acurado sobre este contexto e profissionais. Mesmo reconhecendo o uso de escalas como não suficiente para responder à complexidade do objeto, estas podem fornecer informações importantes para o posterior avanço do conhecimento na área do DM. No caso do Brasil, é o momento de se construir instrumentos capazes de aferir expressões de DM próprias, podendo referendar aspectos do trabalho já detectados com o uso de traduções e também revelar dimensões particulares, até mesmo possibilitando comparações internacionais.

Na enfermagem, tem-se utilizado diferentes instrumentos de mensuração, produzidos especificamente por pesquisadores da área ou de áreas afins. Para tal utilização e aplicação, os estudos mais comuns são os de validação e adaptação cultural, até mesmo porque é racional que instrumentos disponíveis sejam testados e adaptados, até se evidenciar a necessidade de desenvolvimento de uma nova ferramenta. No Brasil é recente o investimento da enfermagem neste tipo de pesquisa, mas já existem diversos instrumentos utilizados, alguns já validados por pesquisadores enfermeiros, especialmente para aplicação clínica, focados em fenômenos objetivos ou subjetivos do paciente, além de alguns voltados para aspectos do trabalho, de processos educacionais e de experiências e atitudes do próprio profissional.^20-23

Para se avaliar a prioridade de estudos de tradução/adaptação ou de desenvolvimento de instrumentos é necessário considerar a especificidade do objeto de estudo. Quando se trata de realidades de trabalho, problemas ou experiências ético-morais tão diversificados, a adaptação do que foi produzido em cenários diferentes pode ser drasticamente limitada. Uma questão cotidiana do trabalho de enfermeiros brasileiros, por exemplo, pode ser sequer imaginada por um enfermeiro norte-americano e vice-versa. A forma como a profissão historicamente se conformou em cada contexto produz diversidade em termos de arcabouço legal e formativo, de modelos políticos e tecnológicos aos quais adere, de organização e relações interprofissionais, entre outros. Este fato pode determinar grandes diferenças quanto às experiências éticas e ao processo de sofrimento moral.

Especificamente sobre o DM, foi realizado o estudo metodológico descrito neste artigo, cujo objetivo foi desenvolver um instrumento denominado Escala Brasileira de Distresse Moral em Enfermeiros, para medição da intensidade e frequência do distresse moral.

MÉTODO

Estudos metodológicos contribuem para ampliar o rigor na condução de pesquisas, pois investigam os próprios métodos de coleta ou organização de dados, desenvolvendo, validando e avaliando ferramentas e métodos de pesquisa.²⁴

A mensuração é uma atividade fundamental da ciência, pois permite quantificar observações sobre eventos, pessoas, objetos e processos, ampliando a compreensão sobre os mesmos. As medidas psicrométricas são importante no campo das ciências sociais, uma vez que se referem a fenômenos psicológicos e sociais explorados a partir de variáveis de interesse. Embora se baseie em métodos estatísticos, seu papel não é separado do desenvolvimento de teorias; ao contrário, medidas e teorias se relacionam em mútua contribuição. Teorias são fundamentais para a concepção de instrumentos de medida e de medições para avaliar e correlacionar indicadores e construtos, fortalezas e deficiências de teorias.²⁵

Os atributos esperados de um instrumento se referem a sua validade, confiabilidade, sensibilidade, responsividade e praticabilidade.²⁶ Há uma evidente vantagem de estudos de adaptação de instrumentos, do ponto de vista econômico e para o interesse de robustez e universalização destas ferramentas,²⁷ especialmente em pesquisas epidemiológicas.

Esse estudo integrou-se ao projeto de pesquisa, de caráter multicêntrico, o qual analisa o processo de angústia/sofrimento moral em enfermeiros em diferentes contextos de trabalho em saúde no Brasil. A pesquisa seguiu as diretrizes dispostas pela Resolução n. 466/12 do Conselho Nacional de Saúde e foi aprovado pelos Comitês de Ética em Pesquisa com Seres Humanos das três Universidades envolvidas no projeto multicêntrico, com os seguintes pareceres finais: 602.598-0 de 10/02/2014 (UFSC); 602.603-0 de 31/01/2014 (Universidade Federal de Minas Gerais/UFMG) e 511.634 de 17/01/2014 (Universidade Federal de Rio Grande/FURG). O parecer obtido junto a FURG sob o número144/2013, aprovou a segunda etapa da pesquisa.

A escala desenvolvida se aplica para o estabelecimento de medidas de intensidade e frequência de DM de enfermeiros atuantes em diferentes contextos de trabalho no Brasil. O desenvolvimento de instrumentos ou questionários segue cinco etapas sequenciais: 1) definição do marco teórico (background); 2) concepção do instrumento; 3) formatação e análise dos dados; 4) validação; e 5) estabelecimento da confiabilidade.²⁸

RESULTADOS

O presente artigo detalha as etapas que, embora tenham seguido orientação específica para o estudo em foco, apresentam correspondência com as etapas 1, 2 e 3 referidas.²⁸ A etapa 1 representou a fundamentação teórica do estudo, construída de forma singular pelos pesquisadores, mediante interpretações e análise da bibliografia disponível sobre o problema, incluindo escalas já validadas, hipóteses ou questões originais sobre o objeto em seu contexto delimitado, público alvo, objetivos do estudo e justificativas de relevância. O produto desta etapa foi o alicerce para as definições do estudo. Para a etapa 1, foi adotado o termo marco conceitual e as etapas 2 e 3 englobaram a concepção e elaboração do instrumento. Estas etapas, por sua vez, são constituídas de estágios e procedimentos que demonstram a complexidade de pesquisas metodológicas e sua potencial contribuição para a análise de outros objetos. A figura 1 sintetiza os procedimentos adotados em cada uma das 3 etapas, conforme descritos a seguir.

Figura 1
Representação esquemática das etapas do estudo metodológico

Etapa 1: marco conceitual

A etapa de definição do marco conceitual foi desenvolvida no escopo do mesmo projeto, na primeira etapa do estudo, sendo anteriormente publicada na íntegra e brevemente sintetizada a seguir (Figura 2).¹⁷

Figura 2
Matriz esquemática - Marco conceitual para a análise do processo de distresse moral

Os elementos conceituais para a análise do DM foram propostos por meio de discussões, realizadas pela equipe de pesquisadores. O DM é entendido: como processo articulador diversos conceitos relacionados à experiência moral, como o de incerteza ou desconforto moral (inerente à condição humana e à prática profissional, esta última ligada à insuficiência dos saberes frente às circunstâncias do trabalho e elemento de desacomodação em relação aos hábitos, fatos e atitudes), da sensibilidade moral (indispensável para que um problema moral seja alvo de crítica e o conteúdo ético das ações seja reconhecido) e da deliberação moral (método da razão prática e ferramenta para solução de problemas morais, em relação com diferentes envolvidos e sustentada por valores e conhecimentos); e como processo que tem como ponto de partida o problema moral (mobilizador da reflexão moral sobre a situação e sobre si mesmo, intimamente relacionado com a sensibilidade moral) e culmina com processos de deliberação impedidos, interrompidos ou prejudicados em seus fins, não alcançando o melhor curso de ação e produzindo consequências para o próprio profissional (embora também inclua a possibilidade de reavaliação pós-deliberação e distresse por constatação de equívoco e resultados não esperados).¹⁷

Etapa 2: concepção do instrumento

Esta etapa compreendeu a elaboração do conteúdo do instrumento na forma de declarações ou questionamentos, de acordo com o objetivo de medir atitudes, conhecimentos percepções ou opiniões.²⁸

Para definir o conteúdo e elementos a serem explorados, a etapa 2 articulou dois métodos, desenvolvidos nos anos de 2014 e 2015: um survey para exploração inicial do objeto na realidade estudada e a revisão bibliográfica propriamente dita, já iniciada na etapa 1, mas retomada com foco especifico nas causas do DM.

A revisão bibliográfica caracterizou-se como integrativa, focada na questão específica de identificar as causas de DM de enfermeiros abordadas na literatura. A busca por estudos nesta temática foi realizada no período de fevereiro a março de 2014 e atualizada em maio de 2015, na Biblioteca Virtual em Saúde (BVS), incluindo todas as suas bases de dados. Os critérios de inclusão foram artigos disponíveis na íntegra, publicados nos idioma português, inglês ou espanhol, acessados por meio do operador boleano AND com os seguintes termos contidos no título ou resumo: Moral Distress AND Nurse, Moral Distress AND Nursing, Moral Suffering AND Nurse, Moral Suffering AND Nursing. Foram excluídos estudos duplicados nas bases de dados, artigos de revisão, publicações institucionais, documentos governamentais, teses e dissertações.

Foram identificados 708 artigos, dos quais 105 eram repetidos. Dos 603 buscados, 490 foram excluídos por não responderem à questão de estudo (causas de DM) ou por não estarem disponíveis on-line na íntegra. A amostra foi constituída por 113 artigos analisados na íntegra. Foram compiladas em uma planilha Excel as informações sobre: título, autores, anos, periódico, base de dados, desenho, cenário e contexto do estudo e causas de DM abordadas. Posteriormente, uma atualização enfocou as consequências de DM em 86 artigos publicados até julho de 2015.²⁹ Neste momento, foram acrescidos nove artigos publicados após a primeira coleta, para evidenciar eventuais novos elementos acerca das causas e aprimorar o marco conceitual (etapa 1).

As causas do sofrimento moral foram relacionadas a dez categorias: 1) futilidade terapêutica/terminalidade; 2) conflitos interpessoais/condutas/valores; 3) desvalorização/desrespeito na equipe; 4) desrespeito à autonomia/privacidade do paciente/família; 5) negligência /imperícia/discriminação no cuidado; 6.) impotência na tomada de decisão; 7) Recursos humanos/materiais insuficientes; 8) Assédio moral; 9) Dilemas éticos; e 10) Interferência política/hierárquica. Cada uma destas categorias foi analisada separadamente, considerando os artigos que abordavam tais causas, por dois pesquisadores distintos, de modo a produzir uma síntese da relação das situações com o DM. As duas sínteses foram abordadas por uma terceira pesquisadora, a qual elaborou uma síntese única e final sobre as principais ideias que representavam a categoria. Este resultado analítico serviu de substrato para o aprofundamento e refinamento das questões produzidas por meio do segundo método desta etapa de concepção, o survey, descrito a seguir.

Apesar da característica quantitativa do survey, a quantificação dos achados não foi destacada, pois independente de significâncias estatísticas, foram valorizadas categorias com novos aportes e relações entre os dados, já que a finalidade dos mesmos era apontar elementos ou causas do DM para compor o instrumento/escala.

O survey foi realizado por meio da aplicação de um questionário aberto, no qual apresentava-se o conceito de sofrimento moral e solicitava-se aos participantes a citação de até cinco situações causadoras de sofrimento moral, por eles vivenciada. O questionário foi aplicado a uma amostra por conveniência de enfermeiros que realizavam especialização em Linhas de Cuidado em Enfermagem, modalidade ensino à distância, promovido pelo Ministério da Saúde, coordenado pelo Departamento de Enfermagem da UFSC, e executado por este e instituições parceiras. A coleta ocorreu em um dos encontros presenciais simultâneos nas capitais das 27 unidades federativas do Brasil (26 Estados e Distrito Federal), em outubro de 2014. Cerca de 1050 enfermeiros estavam presentes no encontro e, destes, 771 responderam ao questionário, após serem convidados e assinarem o Termo de Consentimento Livre e Esclarecido.

As respostas obtidas foram lançadas em planilha Excel, gerando uma somatória de 2.304 citações ou excertos relacionados às situações de DM apontadas por cada sujeito. Dado o caráter dos dados (menção direta da causa, sem narrativa ou justificativa), a análise limitou-se a categorização temática. O primeiro procedimento consistiu em categorizar as citações por similaridade de conteúdo, inicialmente em oficina do grupo de pesquisadores (incluindo pesquisadores das três Universidades), até a construção de nove categorias (Tabela 1) e 72 subcategorias advindas das respostas dos profissionais aos questionamentos.

Tabela 1
Frequência das categorias/códigos dos achados do survey

Códigos/Categorias	n	%
Condição de trabalho (CT)	529	22,96
Relações profissionais (RP)	524	22,74
Organização do trabalho (OT)	316	13,72
Competência profissional (CP)	293	12,72
Conflito (CO)	264	11,46
Outras (O)	186	8,07
Qualidade do cuidado (QC)	112	4,86
Acesso (AC)	80	3,47
Total	2304	100

Com base na matriz gerada, o total das respostas foi codificado por duplas de pesquisadores, sendo que cada código (CT, por exemplo) possuía um conjunto de subcategorias (CT1, CT2...CT10). Estes resultados foram descritos quanto à caracterização da amostra e frequência das situações potencialmente desencadeadoras de DM.³⁰ Após, foram desenvolvidas cinco rodadas de elaboração do instrumento, consideradas como integrantes desta etapa 2, quais sejam:

• Rodada 1: elaboração de assertivas representativas de situações desencadeadoras de DM, a partir da planilha Excel. As categorias e subcategorias representaram o subsídio para as duplas de pesquisadores elaborarem uma a quatro questões por sub-categoria, de modo a manter coerência com o conceito de DM (exemplo: as subcategorias “Desvio de função” e “Desempenhar a competência do outro” geraram as assertivas “Executar ações que não são inerentes à sua função” e “Executar ações para as quais não está tecnicamente preparado”);

• Rodada 2: revisão inicial das assertivas baseadas nas categorias, por três pesquisadoras, com ações de reordenamento, exclusão e agrupamento de conteúdos repetidos/similares, gerando 207 potenciais questões do instrumento;

• Rodada 3: no grupo completo de pesquisadores (multicêntrico), foi feita a redução, por agrupamento e pertinência das questões, chegando a um instrumento com 87 questões;

• Rodada 4: cotejamento das questões elaboradas com os achados da revisão de literatura, por três pesquisadoras, confirmando a pertinência das mesmas e apontando e elementos ainda não claramente contemplados no instrumento. Não foram geradas novas questões, mas reajustes na apresentação;

• Rodada 5: nova revisão, realizada pela pesquisadora coordenadora, incluindo aspectos linguísticos, redução, inclusão, agrupamento e adaptação para 51 questões.

Etapa 3: composição do instrumento

Esta etapa foi direcionada para a seleção, redação e ordenamento final das questões componentes do instrumento, das instruções aos respondentes, das escalas de medição, layout e formato, considerando a análise de dados prevista.²⁸

Assim, foram definidos os seguintes aspectos: - dados relacionados a variáveis sociodemográfico e laborais para caracterização da amostra (sexo, estado brasileiro de atuação atual, formação, número de vínculo, identificação do vínculo considerado principal quanto ao tipo, nível de atenção e setor/unidade, tempo de atuação e carga horária semanal); - apresentação do conceito de DM utilizado; - adoção de dupla escala Likert (intensidade e frequência) de seis pontos, numa progressão de 0=nunca, até 6=muito frequente (frequência) e de 0=nenhum, até 6=muito intenso (intensidade); - instruções para preenchimento da escala.

Esta versão do instrumento foi submetida às rodadas finais, integrantes da etapa de composição e da primeira técnica de validação:

• Rodada 6: validação de face, por meio de grupo de experts/juízes formado por três pesquisadores da área. Estes receberam o instrumento e orientações via e-mail, o avaliaram quanto a quesitos referentes ao conteúdo, à ordenação e à linguagem, fazendo sugestões de aprimoramento do instrumento. Considerando o teor das sugestões foi alcançado o objetivo desta rodada com apenas uma devolutiva por parte dos experts;

• Rodada 7: revisão final do conteúdo, linguagem, formato e layout, pelo grupo de pesquisadores da instituição coordenadora, considerando os resultados da validação de face - avaliação por experts/juízes, chegando ao instrumento final, com 57 questões.

• Rodada 8: análise dos resultados do pré-teste, ou validação de conteúdo, confirmando as questões do instrumento quanto a contemplarem satisfatoriamente o conteúdo pretendido.

Considerando as recomendações da literatura²⁵ e a variabilidade da população optou-se por realizar um pré-teste, como último procedimento desta etapa, com uma amostra de 30 enfermeiras de três diferentes estados brasileiros, das regiões sul e sudeste, de forma presencial por pesquisadoras. Este número é compatível com o recomendado para estudos de adaptação cultural de instrumentos.³¹ Às entrevistadas foi solicitado relatar dúvidas, de modo a identificar aspectos de compreensão, clareza e organização. O tempo de cada aplicação variou entre 14 e 40 minutos, com tempo médio de 20 minutos. Posteriormente, os resultados foram analisados por grupo de pesquisadoras da instituição coordenadora do estudo, confirmando a adequação do instrumento.

A validação no processo de proposição de um novo instrumento

Para a descrição das etapas, conforme modelo adotado, priorizou-se o esclarecimento das ações em sua sequência lógica, independente de como tais ações são denominadas como etapas ou tipos de validação. No entanto, cabe considerar a relação entre a construção e a validação de instrumentos, como processos interdependentes ou como momentos de um único processo, já que o primeiro supõe, visa ou se completa com o segundo.

A busca por instrumentos precisos e confiáveis leva ao desenvolvimento de testes e parâmetros capazes de assegurar os atributos desejados em um instrumento, impactando na importância dos procedimentos de validação em processos de construção e adaptação de instrumentos e na existência de diferentes métodos para avaliar suas propriedades psicométricas. Apenas quanto à validação de conteúdo, um dos tipos muito utilizados, a literatura revela uma diversidade de bases conceituais e de métodos de medidas e, até mesmo, de denominações e conceitos, de modo a relacionar a limitação deste tipo de validação à sua subjetividade.²⁶

No presente estudo foi referida a validação de face por meio de comitê de especialistas ou juízes, enquanto a validação de conteúdo como obtida por meio de pré-teste, com base em referencial que considera pertinência destas técnicas para verificar as equivalências semântica, cultural e conceitual (validade de face) e confirmar se os itens do instrumento representam o conteúdo foco da análise (validade de conteúdo).³² Por outro referencial, as duas técnicas, com base em avaliação por experts e por aplicação de pré-teste, se referem à validade de conteúdo; não é utilizado o termo validade de face, mas o cotejamento dos itens do instrumento com as teorias propostas na literatura, permitida pela revisão bibliográfica, pode ser aplicável à chamada validade de critério.²⁵

Normalmente, o teor subjetivo destas validações é compensado com a etapa ou tipo de validação de construto, alcançada por testes estatísticos, sobre os quais também não existe consenso ou um único modelo, os quais recaem sobre a verificação das características e fidedignidade dos construtos, a confiabilidade ou consistência das escalas. Análises fatoriais exploratórias são aplicadas, permitindo que grupos de variáveis associadas entre si expressem construtos,³² relacionando o nível conceitual com o operacional (itens ou questões medidoras dos construtos).²⁵ Este tipo de avaliação integra a pesquisa base, mas não é objeto do presente artigo, conforme assumido na apresentação da metodologia.

Cumpre situar os procedimentos adotados e descritos neste estudo como partes importantes de um processo, considerado de modo mais ampliado quando são articulados os momentos de construção e validação. Apesar de tal distinção entre as três etapas eleitas do estudo metodológico (Figura 1), estas também incorporam, parcialmente, o processo de validação (face, critério e conteúdo), sem prejuízo de posterior etapa de validação de construto por testes estatísticos. Ao contrário de qualquer prejuízo, tal parcelamento temporal do processo permitirá que estudos mais robustos e em cenários mais abrangentes possam ser desenvolvidos, em prazos factíveis e com produtos mais consistentes, do ponto de vista teórico e empírico.

CONCLUSÃO

O desenvolvimento de um instrumento brasileiro para medir a intensidade e a frequência do DM em enfermeiros responde a uma necessidade e contribui para ampliar a compreensão do tema numa vertente que considera os aspectos morais, o cenário político e social brasileiro no qual a enfermagem convive com diversos obstáculos na sua prática.

A descrição detalhada das etapas necessárias à construção de uma escala de mensuração do DM pode ser transponível para a elaboração de outras escalas brasileiras e, desta forma, esse estudo cumpre com seu objetivo.

O rigor científico aplicado em cada etapa descrita contribuiu para a elaboração de uma escala que pode ser aplicada às diversas realidades brasileiras. Estudos dessa natureza são incipientes na enfermagem brasileira e precisam ser divulgados para dar sustentação à construção de um conhecimento que contribua para a avaliação mais objetiva da diversidade da prática da enfermagem.

Escala Brasileira de Distresse Moral em Enfermeiros

Idade:_____ Sexo: ( ) Feminino ( ) Masculino Estado em que trabalha:__________________ Ano de conclusão da graduação:__________ Outros cursos realizados: ( ) Não ( ) Capacitação ( ) Especialização/Residência ( ) Mestrado ( ) Doutorado Número de vínculos empregatícios: ( ) 1 ( ) 2 ( ) 3 ( ) 4 As informações prestadas só podem se referir a um trabalho/vínculo , de acordo com o tipo de serviço ou nível de atenção. Caso você trabalhe em serviços diferentes (exemplo: atenção básica e clínica de internação) pedimos que escolha apenas uma para considerar em suas respostas (como o principal). Qual o seu trabalho/vínculo que será considerado para responder este instrumento? Tipo: ( ) público ( ) privado ( ) misto Nível de atenção: ( ) atenção básica ( ) média complexidade ( ) alta complexidade Unidade/Setor: ( ) 1.Unidade Básica/ESF/Centro de Saúde ( ) 2. Ambulatório/Policlínica ( ) 3.CAPs ( ) 4. Atendimento Pré-hospitalar/SAMU ( ) 5. Emergência/Pronto Socorro/UPA ( ) 6. Clinica de internação adulto ( ) 7. Clínica de internação infantil ( ) 8. Clinica de internação psiquiátrica ( ) 9. Clinica de internação obstetrica/Centro obst. ( ) 10. UTI adulto ( ) 11. UTI infantil/neonatal ( ) 12. Centro cirúrgico ( ) 13 Outro: ___________________________________ Tempo de atuação_______ Carga horária semanal:________ Tipo de vínculo ( ) efetivo ( ) temporário

Idade:_____ Sexo: ( ) Feminino ( ) Masculino Estado em que trabalha:__________________ Ano de conclusão da graduação:__________ Outros cursos realizados: ( ) Não ( ) Capacitação ( ) Especialização/Residência ( ) Mestrado ( ) Doutorado Número de vínculos empregatícios: ( ) 1 ( ) 2 ( ) 3 ( ) 4 As informações prestadas só podem se referir a um trabalho/vínculo , de acordo com o tipo de serviço ou nível de atenção. Caso você trabalhe em serviços diferentes (exemplo: atenção básica e clínica de internação) pedimos que escolha apenas uma para considerar em suas respostas (como o principal). Qual o seu trabalho/vínculo que será considerado para responder este instrumento? Tipo: ( ) público ( ) privado ( ) misto Nível de atenção: ( ) atenção básica ( ) média complexidade ( ) alta complexidade Unidade/Setor: ( ) 1.Unidade Básica/ESF/Centro de Saúde ( ) 2. Ambulatório/Policlínica ( ) 3.CAPs ( ) 4. Atendimento Pré-hospitalar/SAMU ( ) 5. Emergência/Pronto Socorro/UPA ( ) 6. Clinica de internação adulto ( ) 7. Clínica de internação infantil ( ) 8. Clinica de internação psiquiátrica ( ) 9. Clinica de internação obstetrica/Centro obst. ( ) 10. UTI adulto ( ) 11. UTI infantil/neonatal ( ) 12. Centro cirúrgico ( ) 13 Outro: ___________________________________ Tempo de atuação_______ Carga horária semanal:________ Tipo de vínculo ( ) efetivo ( ) temporário

Considere a seguinte definição (JAMETON,1984; CORLEY, 2002):

Distresse moral (também traduzido como angústia ou Sofrimento moral) é uma experiência ou situação em que:

• você sabe qual a atitude eticamente apropriada a assumir, e

• você acredita que não pode assumir tal atitude em razão de obstáculos, limitações ou conflitos existentes no trabalho.

• ou seja, não consegue atuar de acordo com seus conhecimentos ou preceitos morais

Agora: 1) Considere as situações apresentadas no quadro abaixo.

2) Elas estão presentes no local de seu trabalho principal? (único vínculo ou aquele identificado como referência para responder este instrumento).

3) Indique se as situações estão presentes no seu trabalho e se elas são causas de sofrimento moral para você:

• - na primeira escala à direita assinale a frequência em que a situação ocorre, numa progressão de 0 = nunca, até 6 = muito frequente;

• - na segunda escala à direita assinale a intensidade do distresse sofrimento/angustia moral que você vivencia na situação, numa progressão de 0 = nenhum, até 06 = muito intenso;

Situação Frequência Nunca èèaté muito frequente Intensidade Nenhum èèaté muito intenso 0 1 2 3 4 5 6 0 1 2 3 4 5 6 1 Trabalhar com número insuficiente de profissionais para a demanda 2 Equipe multiprofissional de saúde incompleta 3 Vivenciar condições de sobrecarga de trabalho 4 Trabalhar com médicos despreparados 5 Trabalhar com enfermeiros despreparados 6 Trabalhar com auxiliares e técnicos de enfermagem despreparados 7 Trabalhar com profissionais de outras categorias despreparados 8 Vivenciar situações com estudantes que não estão adequadamente preparados para atuar 9 Trabalhar com gestores e chefias despreparadas 10 Reconhecer a insuficiência de ações de educação em serviço 11 Reconhecer que os materiais de consumo são insuficientes 12 Reconhecer que os materiais de consumo são inadequados 13 Reconhecer que os equipamentos/materiais permanentes disponíveis são insuficientes 14 Reconhecer que os equipamentos/materiais permanentes disponíveis são inadequados 15 Reconhecer que a estrutura física do serviço é insuficiente 16 Reconhecer que a estrutura física do serviço é inadequada 17 Sentir-se discriminado por em relação a outros profissionais 18 Sentir-se desvalorizado em relação a outros profissionais 19 Executar ações que não são inerentes à sua função 20 Executar ações para as quais não está tecnicamente preparado 21 Vivenciar a omissão por parte do médico 22 Vivenciar a imprudência por parte do médico 23 Vivenciar a omissão por parte do enfermeiro 24 Vivenciar a imprudência por parte do enfermeiro 25 Vivenciar a omissão por parte de profissionais de outras categorias 26 Vivenciar a imprudência por parte de profissionais de outras categorias 27 Reconhecer insuficiência de acesso ao serviço para o usuário 28 Reconhecer que o acolhimento do usuário é inadequado 29 Reconhecer que as demandas de continuidade do cuidado do paciente/usuário não são atendidas 30 Reconhecer a falta de resolutividade das ações de saúde devido à problemas sociais 31 Reconhecer a falta de resolutividade das ações de saúde devido a baixa qualidade do atendimento 32 Reconhecer que ações educativas com o usuário são insuficientes 33 Vivenciar desrespeito às práticas do cuidado humanizado preconizadas pelas políticas públicas 34 Reconhecer rotinas e práticas inadequadas à segurança profissional 35 Reconhecer rotinas e práticas inadequadas à segurança do paciente 36 Reconhecer rotinas e práticas inadequadas à segurança do familiar/acompanhante 37 Reconhecer prejuízos ao cuidado por inadequada integração entre os serviços/setores 38 Ter sua autonomia limitada na decisão de condutas especificas da equipe de enfermagem 39 Vivenciar relações conflituosas quanto às atribuições dos membros da equipe de saúde 40 Trabalhar sob pressão pela insuficiência de tempo para o alcance de metas ou realização de tarefas 41 Reconhecer situações de ofensa ao profissional 42 Reconhecer situações de desrespeito à privacidade do profissional 43 Reconhecer situações de insubordinação/indisciplina do pessoal de nível médio ao enfermeiro 44 Vivenciar a suspensão e adiamento de procedimentos por razões contrárias às necessidades do paciente/usuário 45 Vivenciar ou participar de condutas assistenciais desnecessárias às condições/necessidades do paciente/usuário 46 Vivenciar condutas assistenciais que desconsideram crenças e cultura dos pacientes 47 Sentir-se desrespeitado por superiores hierárquicos 48 Reconhecer atitudes eticamente incorretas dos gestores ou superiores hierárquicos 49 Sentir-se pressionado à pactuar ou silenciar frente a fraudes em benefício da instituição 50 Sentir-se pressionado pelo usuário por situação sobre o qual não pode intervir 51 Reconhecer que uma decisão judicial interfere nas prioridades de atenção à saúde 52 Sentir-se impotente para defender autonomia do paciente 53 Reconhecer situações de desrespeito/maus tratos por parte dos profissionais em relação ao usuário 54 Reconhecer situações de desrespeito ao direito do usuário à privacidade/intimidade 55 Reconhecer situações de desrespeito ao direito do usuário à confidencialidade/sigilo 56 Reconhecer situações de desrespeito ao direito de pacientes e familiares à informação 57 Sentir-se impedido de defender o usuário em situações de vulnerabilidade social

Situação		Frequência Nunca èèaté muito frequente							Intensidade Nenhum èèaté muito intenso
		0	1	2	3	4	5	6	0	1	2	3	4	5	6
1	Trabalhar com número insuficiente de profissionais para a demanda
2	Equipe multiprofissional de saúde incompleta
3	Vivenciar condições de sobrecarga de trabalho
4	Trabalhar com médicos despreparados
5	Trabalhar com enfermeiros despreparados
6	Trabalhar com auxiliares e técnicos de enfermagem despreparados
7	Trabalhar com profissionais de outras categorias despreparados
8	Vivenciar situações com estudantes que não estão adequadamente preparados para atuar
9	Trabalhar com gestores e chefias despreparadas
10	Reconhecer a insuficiência de ações de educação em serviço
11	Reconhecer que os materiais de consumo são insuficientes
12	Reconhecer que os materiais de consumo são inadequados
13	Reconhecer que os equipamentos/materiais permanentes disponíveis são insuficientes
14	Reconhecer que os equipamentos/materiais permanentes disponíveis são inadequados
15	Reconhecer que a estrutura física do serviço é insuficiente
16	Reconhecer que a estrutura física do serviço é inadequada
17	Sentir-se discriminado por em relação a outros profissionais
18	Sentir-se desvalorizado em relação a outros profissionais
19	Executar ações que não são inerentes à sua função
20	Executar ações para as quais não está tecnicamente preparado
21	Vivenciar a omissão por parte do médico
22	Vivenciar a imprudência por parte do médico
23	Vivenciar a omissão por parte do enfermeiro
24	Vivenciar a imprudência por parte do enfermeiro
25	Vivenciar a omissão por parte de profissionais de outras categorias
26	Vivenciar a imprudência por parte de profissionais de outras categorias
27	Reconhecer insuficiência de acesso ao serviço para o usuário
28	Reconhecer que o acolhimento do usuário é inadequado
29	Reconhecer que as demandas de continuidade do cuidado do paciente/usuário não são atendidas
30	Reconhecer a falta de resolutividade das ações de saúde devido à problemas sociais
31	Reconhecer a falta de resolutividade das ações de saúde devido a baixa qualidade do atendimento
32	Reconhecer que ações educativas com o usuário são insuficientes
33	Vivenciar desrespeito às práticas do cuidado humanizado preconizadas pelas políticas públicas
34	Reconhecer rotinas e práticas inadequadas à segurança profissional
35	Reconhecer rotinas e práticas inadequadas à segurança do paciente
36	Reconhecer rotinas e práticas inadequadas à segurança do familiar/acompanhante
37	Reconhecer prejuízos ao cuidado por inadequada integração entre os serviços/setores
38	Ter sua autonomia limitada na decisão de condutas especificas da equipe de enfermagem
39	Vivenciar relações conflituosas quanto às atribuições dos membros da equipe de saúde
40	Trabalhar sob pressão pela insuficiência de tempo para o alcance de metas ou realização de tarefas
41	Reconhecer situações de ofensa ao profissional
42	Reconhecer situações de desrespeito à privacidade do profissional
43	Reconhecer situações de insubordinação/indisciplina do pessoal de nível médio ao enfermeiro
44	Vivenciar a suspensão e adiamento de procedimentos por razões contrárias às necessidades do paciente/usuário
45	Vivenciar ou participar de condutas assistenciais desnecessárias às condições/necessidades do paciente/usuário
46	Vivenciar condutas assistenciais que desconsideram crenças e cultura dos pacientes
47	Sentir-se desrespeitado por superiores hierárquicos
48	Reconhecer atitudes eticamente incorretas dos gestores ou superiores hierárquicos
49	Sentir-se pressionado à pactuar ou silenciar frente a fraudes em benefício da instituição
50	Sentir-se pressionado pelo usuário por situação sobre o qual não pode intervir
51	Reconhecer que uma decisão judicial interfere nas prioridades de atenção à saúde
52	Sentir-se impotente para defender autonomia do paciente
53	Reconhecer situações de desrespeito/maus tratos por parte dos profissionais em relação ao usuário
54	Reconhecer situações de desrespeito ao direito do usuário à privacidade/intimidade
55	Reconhecer situações de desrespeito ao direito do usuário à confidencialidade/sigilo
56	Reconhecer situações de desrespeito ao direito de pacientes e familiares à informação
57	Sentir-se impedido de defender o usuário em situações de vulnerabilidade social

REFERÊNCIAS

• ¹
  Jameton A. Nursing practice: the ethical issues. Prentice-Hall: Englewood Cliffs; 1984.
• ²
  Jameton A. Dilems of moral distress: moral responsibility and nursing practice. Awhonns Clin Issues Perinat Womens Health Nurs. 1993; 4(4):542-51.
• ³
  Corley MC, Minick P, Elswick RK, Jacobs M. Nurse moral distress and ethical work environment. Nurs Ethics. 2005; 12(4):381-90.
• ⁴
  Epstein EG, Delgado S. Understanding and addressing moral distress. Online J Issues Nurs [Internet]. 2010 [cited 2014 Feb 02]; 15(3):25-34. Available from: http://www.nursingworld.org/MainMenuCategories/EthicsStandards/Courage-and-Distress/Understanding-Moral-Distress.html
  » http://www.nursingworld.org/MainMenuCategories/EthicsStandards/Courage-and-Distress/Understanding-Moral-Distress.html
• ⁵
  Lunardi VL, Barlem ELD, Bulhosa MS, Santos SSC, Lunardi Filho WD, Silveira RS, et al. Sofrimento moral e a dimensão ética no trabalho da enfermagem. Rev Bras Enferm. 2009; 62(1):599-603.
• ⁶
  Barlem ELD, Ramos FRS. Constructing a theoretical model of moral distress. Nurs Ethics [Internet]. 2015 Aug [cited 2015 Jun 27]; 22(5):608-15. Available from: http://nej.sagepub.com/content/early/2014/10/31/0969733014551595
  » http://nej.sagepub.com/content/early/2014/10/31/0969733014551595
• ⁷
  Mccarthy J, Gastmans C. Moral distress: A review of the argument-based nursing ethics literature. Nurs Ethics. 2015; 22(1):131-52.
• ⁸
  Trautmann J, Epstein E, Rovnyak V, Snyder A. Relationships among moral distress, level of practice independence, and intent to leave of nurse practitioners in emergency departments: results from a national survey. Adv Emerg Nurs Jl. 2015 Apr-Jun; 37(2):134-45.
• ⁹
  Cardoso CML, Pereira MO, Moreira DA, Tibães, Ramos FRS, Brito MJM. Moral Distress in Family Health Strategy: experiences expressed by daily life. Rev Esc Enferm USP. 2016; 50(Esp):86-92.
• ¹⁰
  Renno HMS, Ramos FRS, Brito MJM. Moral distress of nursing undergraduates: myth or reality. Nurs Ethics. 2016; 23(1):1-9.
• ¹¹
  Whitehead PB, Herbertson RK, Hamric AB, Epstein EG, Fisher JM. Moral distress among healthcare professionals: report of an institution-wide survey. Journal of Nursing Scholarship. 2015 Mar; 47(2):117-25.
• ¹²
  Dodek PM, Wong H, Norena M, Ayas N, Reynolds SC, Keenan SP, et al. Moral distress in intensive care unit professionals is associated with profession, age, and years of experience. Journal of Critical Care. 2016 Feb; 31(1):178-82.
• ¹³
  Dalmolin GL, Lunardi VL, Barlem ELD, Silveira RS. Implications of moral distress on nurses and its similarities with Burnout. Texto Contexto Enferm. 2012; 21(1):200-8.
• ¹⁴
  Musto LC, Rodney PA, Vanderheide R. Toward interventions to address moral distress: navigating structure and agency. Nurs Ethics. 2015; 22(1):91-102.
• ¹⁵
  Peter E, Liaschenko J. Moral Distress reexamined: a feminist interpretation of nurses' identities, relationships and responsabilites. J Bioeth Inq. 2013 Oct; 10(3):337-45.
• ¹⁶
  Johnstone MJ, Hutchinson A. 'Moral distress' - time to abandon a flawed nursing construct? Nurs Ethics. 2015 Feb; 22(1):5-14.
• ¹⁷
  Ramos FRS, Barlem ELD, Brito MJM, Vargas MA, Schneider DG, Brehmer LCDF. Conceptual framework for the study of moral distress in nurses. Texto Contexto Enferm [Internet]. 2016 [cited 2017 Jan 25]; 25(2):e4460015. Available from: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0104-07072016000200328
  » http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0104-07072016000200328
• ¹⁸
  Corley MC. Moral distress of critical care nurses. AM J Crit Care. 1995; Jul 4(4):280-5.
• ¹⁹
  Barlem ELD, Lunardi VL, Lunardi GL, Tomaschewski-Barlem JG, Almeida AS, Hirsch CD. Psycometric characteristics of the moral distress scale in Brazilian nursing professionals. Texto Contexto Enferm [Internet]. 2014 [cited 2015 Jun 27]; 23(3):563-72. Available from: http://www.scielo.br/scielo.php?pid=S0104-07072014000300563&script=sci_arttext
  » http://www.scielo.br/scielo.php?pid=S0104-07072014000300563&script=sci_arttext
• ²⁰
  Silva MC, Peduzzi M, Sangaleti CT, Silva D, Agreli HF, West MA, et al. Adaptação transcultural e validação da escala de clima do trabalho em equipe. Rev Saúde Pública [Internet]. 2016 Ago [cited 2017 Jan 25]; 50:52. Available from: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0034-89102016000100237&lng=pt http://dx.doi.org/10.1590/S1518-8787.2016050006484
  » http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0034-89102016000100237&lng=pt
• ²¹
  Timm M, Rodrigues MCS. Adaptação transcultural de instrumento de cultura de segurança para a atenção primária. Acta Paul. Enferm. 2016; 29(1):26-37.
• ²²
  Rosanelli CLS, Silva LMG, Gutiérrez MGR. Adaptação transcultural do caring ability inventory para a língua portuguesa. Acta Paul. Enferm. 2016; 29(3):347-54.
• ²³
  Echevarria-Guanilo ME, Dantas RAS, Farina Junior JÁ, Faber AW, Caballero JA, Rajmil L. Reliability and validity of the Brazilian-Portuguese version of the Burns Specific Pain Anxiety Scale (BSPAS). Int J Nurs Stud. 2011 Jan; 48(1):47-55.
• ²⁴
  Lima DVM. Desenhos de pesquisa: uma contribuição ao autor. Online Braz J Nurs [Internet]. 2011 Apr-Aug [cited 2017 Jan 25]; 10(2). Available from: http://www.objnursing.uff.br/index.php/nursing/article/view/3648/html_1
  » http://www.objnursing.uff.br/index.php/nursing/article/view/3648/html_1
• ²⁵
  Devellis RF. Scale development: theory and applications. 3rd ed. University of North Carolina, Chapel Hill: Sage; 2012.
• ²⁶
  Costa ANM, Coluci MZO. Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas. Ciênc Saúde Coletiva [Internet]. 2011 Jul [cited 2017 Jan 16]; 16(7):3061-8. Available from: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1413-81232011000800006&lng=en
  » http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1413-81232011000800006&lng=en
• ²⁷
  Reichenheim ME, Moraes CL. Operationalizing the cross-cultural adaptation of epidemiological measurement instruments. Rev Saude Publica. 2007; 41(4):665-73.
• ²⁸
  Radhakrishna RB. Tips for developing and testing questionnaires/instruments. Journal of Extension. 2007; 45(1):1-4.
• ²⁹
  Ramos FR, Barth PO, Schneider AMM, Cabral AS, Reinaldo JS. Consequências do sofrimento moral em enfermeiros: revisão integrativa. Cogitare Enferm. 2016 Apr-Jun; 21(2):1-13.
• ³⁰
  Ramos FRS, Silva CC, Montenegro LC, Caçador BS, Barlem ELD, Brito MJM. Experiences of Moral Distress in Nurses' Daily Work. International Archives of Medicine [Internet]. 2016 [cited 2017 Jan 05]; 9(1):1-12. Available from: http://imed.pub/ojs/index.php/iam/article/view/1622
  » http://imed.pub/ojs/index.php/iam/article/view/1622
• ³¹
  Beaton DE, Bombardier C, Guillemin F, Ferraz MB. Guidelines for the process of cross-cultural adaptation of selfreport measures. Spine. 2000; 25(24):3186-91.
• ³²
  Hair Jr JF, Black WC, Babin BJ, Anderson RE, Tatham RL. Multivariate Data Analysis 7th ed.. Upper Saddle River, NJ: Pearson Prentice Hall; 2009.

Datas de Publicação

• Publicação nesta coleção
  2017

Histórico

• Recebido
  21 Fev 2017
• Aceito
  03 Ago 2017