Critérios de qualidade para artigos de pesquisa qualitativa

Criterios de calidad para artículos de investigación cualitativa

RESUMO

A partir da revisão não sistemática de publicações científicas sobre pesquisa qualitativa, os autores descrevem as suas particularidades, bem como apresentam critérios de qualidade utilizados internacionalmente para artigos qualitativos. Inicialmente, a pesquisa qualitativa foi contextualizada em termos de paradigmas filosóficos e delineamentos. Em seguida, diferentes considerações sobre critérios de qualidade para pesquisa qualitativa foram discutidos, nomeadamente aqueles derivados da abordagem quantitativa e outros já desenvolvidos para a abordagem qualitativa. Por fim, foram sistematizados critérios de qualidade propostos em três publicações que vêm sendo utilizados internacionalmente. Tais critérios foram apresentados aos leitores em uma tabela que pode ser utilizada por autores, editores e revisores como um checklist de conferência visando o aprimoramento das publicações nacionais.

Palavras-chave:
Pesquisa qualitativa; metodologia; comunicação e divulgação científica

RESUMEN

A partir de la revisión no sistemática de publicaciones científicas sobre la investigación cualitativa, los autores describen sus particularidades, así como presentan criterios de calidad utilizados internacionalmente para artículos cualitativos. Inicialmente, la investigación cualitativa fue contextualizada en términos de paradigmas filosóficos y diseños. A continuación, se discutieron diferentes consideraciones sobre los criterios de calidad para la investigación cualitativa, en particular, aquellos derivados del enfoque cuantitativo y otros ya desarrollados para el abordaje cualitativo. Por último, los criterios de calidad propuestos en tres publicaciones internacionales y que han sido utilizados internacionalmente fueron sistematizados. Esos criterios fueron presentados a los lectores en una tabla que puede ser utilizada por autores, editores y revisores para el perfeccionamiento de las publicaciones brasileñas.

Palabras clave:
Investigación cualitativa; metodología; comunicación y difusión científica

ABSTRACT

Through the non-systematic review of scientific literature on qualitative research, the authors describe its particularities and present quality criteria for qualitative articles used internationally. Initially, qualitative research was contextualized in terms of philosophical paradigms and designs. Then, different considerations on quality criteria for qualitative research were discussed, in particular, those derived from the quantitative approach and others specifically developed for the qualitative approach. Finally, quality criteria presented in three international papers and used worldwide were systematized. Such criteria were displayed for readers in a table that may be used by authors, editors, and reviewers in order to enhance the quality of Brazilian papers.

Keywords:
Qualitative research; methodology; communication and scientific dissemination

Introdução

Por muito tempo e ainda hoje, a pesquisa qualitativa parece estar em descrédito quando comparada à pesquisa quantitativa. Muitas vezes, é ‘acusada’ de ser flexível demais, vaga, imprecisa, sem rigor ou métodos adequados, sem possibilidade de réplica e generalização (Gunther, 2006; Ollaik & Ziller, 2012; Sampieri, Collado, & Lucio, 2013). Estas críticas frequentemente baseiam-se ou são feitas por pesquisadores quantitativos que, por via de regra, possuem um olhar diferente sobre o que consideram uma pesquisa científica. Partindo deste pressuposto, é comum que críticas sejam feitas, pois os pressupostos filosóficos e paradigmas da pesquisa qualitativa são diferentes quando comparados aos da pesquisa quantitativa (Gunther, 2006).

Um paradigma relaciona-se a diferentes visões, crenças ou padrões de pensamentos sobre quatro principais aspectos, a saber: (a) Ontologia: natureza da realidade; (b) Epistemologia: o que é válido como conhecimento e como estas afirmações são justificadas; (c) Axiologia: papel dos valores na pesquisa e, por fim, (d) Metodologia: o processo de condução de pesquisa. Os paradigmas tendem a guiar a abordagem de pesquisa e seu método. Esses paradigmas constroem-se ao longo do tempo na vida de um/a pesquisador/a, não apenas pelas suas experiências de pesquisa, mas também enquanto sujeito com suas visões, crenças ou padrões de pensamentos pessoais que interferem nesta construção (Creswell, 1994; Creswell, 2014; Saccol, 2009).

Na abordagem quantitativa, a realidade é percebida como única, objetiva e separada do/a pesquisador/a (Ontologia), sendo apenas aproximada por meio de testes estatísticos (Epistemologia) de forma que o/a pesquisador/a deve assumir uma postura neutra (Axiologia). Assim, o processo de pesquisa assume o raciocínio dedutivo a partir do qual começa-se com uma teoria geral e busca-se, por meio da pesquisa, testar hipóteses derivadas desta teoria (Metodologia). Estas visões podem estar associadas ao paradigma positivista (Creswell, 1994; Creswell, 2014; Newman & Benz, 1998; Saccol, 2009).

Por outro lado, na pesquisa qualitativa, a realidade é múltipla e subjetiva (Ontologia), sendo que as experiências dos indivíduos e suas percepções são aspectos úteis e importantes para a pesquisa. A realidade é construída em conjunto entre pesquisador/a e pesquisado/a por meio das experiências individuais de cada sujeito (Epistemologia). Sendo assim, os pesquisadores entendem que não há neutralidade e que estão, no processo da pesquisa, influenciando e sendo influenciados pelo que está sendo pesquisado (Axiologia). O raciocínio ou a lógica da pesquisa qualitativa é a indutiva, partindo do específico para o geral. Não se parte de uma teoria específica, mas ela é produzida a partir das percepções dos sujeitos que participam da pesquisa (Metodologia). Estas visões têm raízes na filosofia naturalista e estão, geralmente, associadas a vários paradigmas como o construtivismo social, o interpretativismo, o pós-positivismo, a perspectiva pós-moderna, a ideológica ou crítica (Creswell, 1994; Creswell, 2014; Morrow, 2005, Newman & Benz, 1998).

Desta forma, a partir da compreensão de que as lógicas, visões de realidades, de conhecimento e dos valores tendem a ser diferentes em cada abordagem metodológica, entende-se que nenhuma perspectiva é melhor que a outra, mas que as diferentes percepções sobre a realidade e sobre o fenômeno estudado implicam, geralmente, em diferentes métodos a serem empregados pelos pesquisadores. Ainda, há diferentes finalidades em cada abordagem metodológica sendo que a pesquisa quantitativa busca a generalização e a replicação de seus resultados e a pesquisa qualitativa a sua compreensão e interpretação (Creswell, 2014; Gunther, 2006; Sampieri et al., 2013). Assim, a compreensão e a reflexão sobre as visões de mundo e de construção de conhecimento que embasam a pesquisa são essenciais, visto que é por meio delas que é possível avaliar a qualidade, a consistência e a coerência da estratégia metodológica adotada (Morrow, 2005; Saccol, 2009).

A consideração de critérios de qualidade para pesquisas qualitativas vem sendo amplamente discutida, principalmente em âmbito internacional. O debate, muitas vezes, está centrado na adequação ou não de uso de critérios para a pesquisa qualitativa tendo em vista as diferentes visões, crenças ou padrões de pensamento nos níveis ontológico, epistemológico, axiológico e metodológico. Assim, posições contrárias e favoráveis à adoção de critérios de qualidade para pesquisas qualitativas são encontradas. Embora haja posturas diferentes sobre critérios de qualidade, há algumas necessidades e desafios externos que demandam a reflexão e também a concretização de pesquisas com maior qualidade como, por exemplo: (a) o interesse dos pesquisadores em saber sobre o quanto sua pesquisa é boa ou insuficiente; (b) o interesse das agências de financiamento em avaliar o que deveria ser ou já foi financiado; (c) o interesse dos editores em publicações acadêmicas na decisão sobre o que ou não publicar e, por fim, (d) o interesse dos leitores em orientações sobre em qual pesquisa confiar e em qual não confiar (Flick, 2009; Morrow, 2005). Desta forma, posicionando-se favoráveis à necessidade de critérios de qualidade, os autores deste artigo objetivaram apresentar uma sistematização de possíveis critérios de qualidade para a avaliação de pesquisas qualitativas e artigos provenientes de pesquisas dessa natureza. Para tal, uma revisão não sistematizada da literatura, principalmente internacional, foi realizada.

Integrando critérios de qualidade para pesquisas qualitativas e artigos derivados

Mesmo dentre aqueles pesquisadores que defendem o uso de critérios de qualidade da pesquisa qualitativa, pode-se perceber distintas posições. A primeira posição rejeita critérios de qualidade, considerando que, por ser diferente da pesquisa quantitativa em termos de pressupostos filosóficos, objetivos e finalidades, não seria necessário adotar tais critérios. A segunda postura argumenta a favor de critérios de qualidade específicos de pesquisa qualitativa e, por fim, a terceira postura tenta adaptar critérios de qualidade da pesquisa quantitativa para a pesquisa qualitativa (Flick, 2009; Gunther, 2006). Ao propor a sistematização de critérios de qualidade, os autores do presente artigo concordam com a segunda e terceira posturas. Considera-se que tanto os critérios de qualidade específicos de pesquisa qualitativa, quanto os adaptados da pesquisa quantitativa possam ser úteis para a avaliação da qualidade de uma pesquisa qualitativa.

Além de distintas posturas encontradas dentre os pesquisadores, há dificuldades em estabelecer critérios para a pesquisa qualitativa por suas particularidades, não sendo possível apenas transpor conceitos de qualidade da pesquisa quantitativa para a qualitativa. No entanto, alguns autores propõem critérios diversificados e específicos para a pesquisa qualitativa, os quais consideram as singularidades deste tipo de pesquisa (Dixon-Woods, Shaw, Agarwal, & Smith, 2004; Morrow, 2005; Whittemore, Chase, & Mandle, 2001).

O primeiro grupo de critérios seriam aqueles denominados de paralelos ou extrínsecos, ou seja, critérios que derivam da pesquisa quantitativa. Assim, o critério de validade interna (quantitativo) é correspondente ao critério da credibilidade (qualitativo), o de validade externa (quantitativo) ao de transferabilidade (qualitativo), o de confiabilidade (quantitativo) ao de dependabilidade (qualitativo) e o de objetividade (quantitativo) ao de confirmabilidade (qualitativo). Critérios específicos para a pesquisa qualitativa, ou seja, não derivados da pesquisa quantitativa, são denominados de critérios intrínsecos. Estes critérios variam de acordo com o paradigma qualitativo adotado - construtivista, construcionista, interpretativo, pós-moderno, ideológico (Morrow, 2005). A incompatibilidade das nomenclaturas atribuídas aos critérios qualitativos derivados da abordagem quantitativa e a expansão das pesquisas qualitativas fez com que fossem propostos critérios específicos (Whittemore et al., 2001) que podem variar dependendo dos autores.

Critérios específicos que podem ser aplicados a diferentes paradigmas e delineamentos de pesquisa qualitativa foram descritos por Morrow (2005), a saber: validade social, subjetividade e reflexibilidade, adequação dos dados, e adequação da interpretação. A validade social da pesquisa qualitativa diz respeito à sua aplicabilidade e ao seu impacto no cotidiano das pessoas. Por exemplo, pesquisas sobre as reações maternas à revelação da violência sexual sofrida por suas filhas (Santos & Dell'Aglio, 2013) e sobre a percepção de famílias em situação de violência sexual acerca das medidas protetivas adotadas pelos serviços (Santos, Costa, & Silva, 2011) podem subsidiar o planejamento de intervenções mais contextualizadas para familiares e vítimas de violência sexual.

A pesquisa qualitativa, em sua essência, é baseada na subjetividade. Alguns paradigmas, principalmente pós-positivistas, defendem ser necessário algum controle desta subjetividade, enquanto outros (e.g., construtivistas) indicam que não há como evitar ou controlar totalmente a subjetividade, sendo o/a pesquisador/a um/a co-construtor/a de significados junto ao/s indivíduo/s pesquisado/a/s. Morrow (2005)defende que o total controle da subjetividade é impossível dado que os pesquisadores sempre terão algum nível de envolvimento emocional com o tema pesquisado, além de algum conhecimento prévio advindo do contato com a literatura da área e o próprio contato com o/a entrevistado/a. Sendo assim, é necessário que os pesquisadores sejam sinceros acerca da presença de subjetividade na pesquisa realizada. Para tal, devem usar da reflexibilidade (ou autorreflexão), ou seja, estar atentos aos vieses que possuem e que podem interferir no entendimento e interpretação dos dados e resultados da pesquisa. Além disso, é necessário que as implicações do/a pesquisador/a com o tema pesquisado sejam explicitadas nas publicações.

O manejo da subjetividade pode ser realizado de diversas formas. A manutenção de um diário de campo no qual notas sobre o processo de pesquisa são realizadas, especificando reações e impressões do/a pesquisador/a pode auxiliar a análise dos resultados e interpretação dos resultados. A submissão dos dados, resultados e interpretações a um grupo de pesquisadores pode revelar, por meio de uma discussão crítica, a presença de vieses do/a pesquisador/a na forma como os resultados são interpretados e a proposição de interpretações alternativas. Tais alternativas para o manejo da subjetividade têm como um de seus objetivos a busca de representatividade, ou seja, a verificação de qual realidade está sendo representada pelos resultados da pesquisa - a realidade do/a pesquisador/a ou do/a pesquisado/a. Visando garantir a representatividade dos participantes da pesquisa, o/a pesquisador/a pode adotar uma postura ingênua (naive inquirer) durante a coleta de dados, solicitando esclarecimentos e aprofundamentos dos conteúdos relatados pelos participantes da pesquisa. É possível, ainda, solicitar a opinião dos entrevistados acerca das interpretações que o/a pesquisador/a fez a partir dos dados coletados, podendo ser realizado, por exemplo, um grupo focal para tal (Morrow, 2005).

Frequentemente, quando se pensa em adequação dos dados na pesquisa qualitativa, a tendência é considerar o número de participantes ou de entrevistas como um balizador (Morrow, 2005). No entanto, o número de participantes na pesquisa qualitativa irá depender da capacidade operacional de coleta e análise e do entendimento e da natureza do fenômeno em análise (Sampieri et al., 2013). Desta forma, o número de participantes não é fixado a priori, mas enquanto o/a pesquisador/a vai realizando a coleta e a análise de dados (Fontanella, Ricas, & Turato, 2008; Sampieri et al., 2013).

A necessidade de definir o número de participantes a priori tem sido debatida entre pesquisadores qualitativos. Agências de Fomento e Comitês de Ética em Pesquisa (CEP) solicitam que o número de participantes seja indicado no projeto de pesquisa. Além disso, a definição deste número pode ser necessária para o planejamento dos recursos à realização da pesquisa. No entanto, a definição do número de participantes a priori vai de encontro aos pressupostos filosóficos da pesquisa qualitativa (Sim, Saunders, Waterfield, & Kingstone, 2018).

Quatro abordagens para a definição dos números de participantes têm sido identificadas (Sim et al., 2018): 1) ‘regras de ouro’, que consistem em recomendações acerca do número de participantes com base em estudos prévios similares nos quais os autores verificaram que certo número de entrevistas são suficientes para o alcance da saturação, variando de dois a 60 participantes; 2) modelos conceituais, ou seja, o número de participantes é definido a partir das características da pesquisa (e.g., problema, objetivo, escopo teórico, delineamento e técnica de análise); 3) diretrizes numéricas advindas de estudos empíricos com o intuito de verificar o número necessário de participantes para o alcance da saturação teórica (ver Guest, Bunce, & Johnson, 2006); 4) fórmula estatística, que consiste na utilização de probabilidade para estimar o tamanho da amostra de acordo com o nível de significância estatística desejada. Questões filosóficas e metodológicas relacionadas às abordagens foram discutidas, concluindo-se que a definição do número de participantes a priori é problemática. A alternativa seria atender à necessidade pragmática de indicar algum número de participantes, frisando que o real número de participantes será verificado durante a execução da pesquisa. Deve-se, portanto, justificar as decisões tomadas para determinação do número de participantes. Por exemplo, isto pode ser realizado por meio da descrição dos critérios utilizados pelo/a pesquisador/a para atingir a saturação teórica (Sim et al., 2018).

Além da questão referente ao número de participantes, o procedimento de escolha desses participantes deve ser considerado, bem como a qualidade, duração e profundidade das entrevistas e dos dados obtidos com elas. Frequentemente, o procedimento de escolha de participantes se dá de forma intencional ou por conveniência na pesquisa qualitativa. Técnicas de snowball (i.e., bola de neve) e de cadeia nas quais um/a participante indica outro/a são comumente utilizadas (Morrow, 2005).

A qualidade, duração e profundidade das entrevistas e dos dados obtidos dependerá da forma como a entrevista é realizada, se esta for a técnica utilizada para a coleta de dados. A utilização de perguntas abertas (open-ended questions) e de roteiros de entrevista flexíveis costumam resultar na geração de mais dados uma vez que permitem relato mais aprofundado do/a entrevistado/a. Um roteiro flexível com poucas perguntas abertas tende a ser mais efetivo do que um roteiro estruturado com muitas perguntas. No entanto, realizar apenas a entrevista pode ser um limitador. Sempre que possível, é aconselhável incluir diferentes fontes de evidência, tais como observações, diários de campo e análise documental (i.e., triangulação de dados). Por fim, visando aumentar a adequação dos dados, é recomendada a busca de casos discrepantes e evidências contrárias. Assim, se diminui a tendência natural que o/a pesquisador/a pode ter de confirmar seus pressupostos em relação ao tema investigado (Morrow, 2005).

Recentemente, o conceito de ‘poder da informação’ foi proposto com o objetivo de guiar pesquisadores em relação ao número de participantes de pesquisas qualitativas. Nem sempre o número de participantes pode ser pré-concebido, sendo necessário avaliação contínua durante a coleta de dados. O conceito foi operacionalizado por meio de um modelo com cinco itens: (a) objetivo do estudo; (b) especificidades dos participantes; (c) uso de teoria estabelecida; (d) qualidade do diálogo; e (e) estratégia de análise. A partir disso, um estudo irá necessitar menor número de participantes quando o seu objetivo for bem delimitado, a combinação dos participantes for altamente específica, for apoiado por uma teoria estabelecida, se o diálogo da entrevista for robusto e se a análise dos dados incluir uma exploração aprofundada dos detalhes das narrativas ou discursos. Por outro lado, maior número de participantes é necessário quando o objetivo do estudo é amplo, ou seja, busca-se cobrir amplamente as variações de determinado fenômeno, a combinação dos participantes é menos específica em relação ao problema de pesquisa, se não se utiliza embasamento teórico, se o diálogo da entrevista for fraco e se a análise é conduzida de forma cruzada. Esse modelo não pretende ser um checklist para calcular o número de participantes, mas recomendações sobre o que considerar ao se estabelecer a quantidade de participantes (Malterud, Siersma, & Guassora, 2016).

A adequação da interpretação dos dados diz respeito ao processo de análise dos dados e comunicação dos resultados da pesquisa. É essencial que uma imersão nos dados, que se inicia já na coleta de dados, seja feita por meio da transcrição do material coletado, repetidas leituras e revisão dos áudios gravados, bem como das anotações em diários de campo e revisão de outras fontes de dados. Em seguida, é necessário eleger uma estrutura analítica que será aplicada aos dados (Morrow, 2005). Ou seja, deve-se optar por uma técnica de análise dos dados coletados. Mais do que isso, é imprescindível que, ao redigir o artigo resultante da pesquisa, se deixe claro como a técnica de análise foi operacionalizada na pesquisa em questão. Braun e Clarke (2006), por exemplo, propõem seis passos para a realização de análise temática. Ao utilizar uma técnica como a de Braun e Clarke é necessário que os pesquisadores indiquem, em seus artigos, como os passos propostos foram realizados na pesquisa em questão ao invés de apenas mencionar qual técnica utilizaram. Ao redigir os resultados é importante, ainda, atentar para o balanço entre os resultados em si e interpretação dada aos resultados, ou seja, como o/a pesquisador/a entendeu os resultados. Uma forma de garantir este balanço é utilizando trechos das falas dos participantes que sustentam as interpretações apresentadas pelo/a pesquisador/a, tornando mais clara aos leitores a fonte das interpretações do/a pesquisador/a (Morrow, 2005).

Enquanto Morrow (2005)propôs cinco critérios de qualidade para diferentes abordagens qualitativas, Whittemore et al. (2001) dividiram os critérios em primários e secundários. Os critérios primários são considerados essenciais a todas as abordagens qualitativas. Já os critérios secundários são utilizados de forma complementar aos primários, aplicando-se a abordagens qualitativas específicas (e.g., Grounded Theory). Tal proposição foi realizada com o intuito de sintetizar diferentes pontos de vista acerca da validade de pesquisas qualitativas, buscando emancipação dos critérios adaptados da pesquisa quantitativa.

Os critérios de validade primários são essenciais à toda pesquisa qualitativa, independente dos delineamentos e paradigmas qualitativos. Já os critérios secundários são mais flexíveis e aplicados a determinados delineamentos e paradigmas qualitativos. Os quatro critérios primários são a credibilidade, a autenticidade, a criticidade e a integridade. A ‘credibilidade’ e a ‘autenticidade’ dizem respeito ao esforço do/a pesquisador/a para garantir que a sua interpretação dos dados está de acordo com a realidade refletindo os significados e experiências dos participantes. A ‘criticidade’ refere-se à reflexão do/a pesquisador/a em todo o processo da pesquisa em relação a possíveis vieses. Por fim, a ‘integridade’ diz respeito à garantia de que a interpretação é fundamentada nos dados (Whittemore et al., 2001).

Além de serem mais flexíveis, os seis critérios secundários são específicos à delineamentos e paradigmas qualitativos particulares (e.g., Grounded Theory). A ‘explicitação’ refere-se ao esforço do/a pesquisador/a em deixar claro todo o processo para chegar aos resultados e interpretações. A ‘vivacidade’ diz respeito às descrições suficientemente fiéis e detalhadas para a interpretação do significado dos resultados e do contexto onde a pesquisa foi realizada. A ‘criatividade’ refere-se à utilização da combinação de delineamentos com o intuito de responder problemas de pesquisa específicos, bem como meios criativos para organizar, analisar e apresentar os dados. A ‘meticulosidade’ está relacionada à adequação dos dados ao número de participantes, bem como à conexão entre os resultados com a finalidade de responder ao problema de pesquisa. Já a ‘congruência’ diz respeito à correspondência entre o problema de pesquisa, o método, os resultados, a coleta e a análise dos dados. Além disso, refere-se à aplicabilidade de resultados na prática. Por fim, a ‘sensibilidade’ refere-se à execução da pesquisa em consonância com a natureza cultural, contextual e humana, de forma a considerar que a pesquisa serve para dar visibilidade às múltiplas realidades que são relatadas.

Critérios operacionais de qualidade para artigos derivados de pesquisa qualitativa

A sistematização de critérios tem sido proposta por diferentes autores (Dixon-Woods et al., 2004; Kitto, Chesters, & Grbich, 2008; Tong, Sainsbury, & Graig, 2007; Whittemore et al., 2001). Por exemplo, Dixon-Woods et al. (2004) propõem algumas perguntas que podem auxiliar na diminuição de erros nos desenhos de pesquisa, nas condutas do/a pesquisador/a e nos relatos de pesquisa (i.e., artigos). Embora não seja considerada critério de qualidade pelos autores, a utilização das perguntas ao se analisar um estudo qualitativo, independentemente de características metodológicas específicas, pode auxiliar na aferição da sua qualidade. Portanto, as perguntas têm caráter geral: (a) o problema de pesquisa está claro? (b) as questões da entrevista são adequadas para a pesquisa qualitativa? (c) os itens ‘amostragem’, coleta e análise de dados estão claramente descritos e de acordo com o problema de pesquisa? (d) as afirmações são apoiadas por evidências suficientes? (e) os dados, interpretações e conclusões estão claramente integrados? (f) o artigo traz contribuição útil?

Sete critérios foram propostos por Kitto et al. (2008): 1) clarificação, ou seja, se o problema de pesquisa e seus objetivos estão claramente definidos; 2) justificativa, que consiste em justificar o porquê do método qualitativo ser a melhor opção para responder ao problema de pesquisa e o motivo de escolha do delineamento específico; 3) rigor procedural consistindo em detalhar as técnicas para coleta e análise de dados, não omitindo nenhum procedimento; 4) representatividade diz respeito à explicitação de qual técnica foi utilizada para definição do número de participantes e se essa técnica embasa a generalização conceitual; 5) interpretação refere-se à discussão conceitual dos resultados relacionada à teoria existente ou ao desenvolvimento de uma nova teoria; 6) reflexividade e rigor avaliativo na consideração de possíveis vieses do/a pesquisador/a na escolha do tema, do método, na relação com os participantes da pesquisa e na interpretação dos resultados, bem como na aprovação de Comitê de Ética; 7) transferabilidade, ou seja, se os resultados foram avaliados criticamente acerca de sua aplicação para contextos similares e a relevância dos resultados para a área de conhecimento, políticas públicas e práticas.

Outros autores indicam que, para que os critérios de qualidade sejam alcançados, há necessidade do uso de técnicas (Whittermore et al., 2001). Elas dizem respeito a um conjunto que envolve desde a escolha do delineamento de pesquisa, a geração de dados, a análise até a apresentação dos resultados. Para tanto, há a necessidade de evidenciar cada passo da pesquisa, sendo importante os descrever por meio de quatro grandes eixos: 1) considerações sobre o desenho do estudo, que se refere ao pesquisador/a ter ciência das decisões do desenho/delineamento do estudo; das decisões relacionadas aos participantes da pesquisa; o emprego da triangulação e a necessidade de ‘dar voz’ aos participantes; 2) geração de dados diz respeito ao pesquisador/a articular decisões de coleta de dados; demonstrar envolvimento prolongado no campo de pesquisa; demonstrar observação persistente e fornecer a transcrição dos textos; 3) analítico refere-se à análise de dados, sendo que o/a, pesquisador/a deve demonstrar como foi realizada, caso utilizada, a saturação teórica e as decisões para análise de dados; realizar verificação por membros, juízes e especialistas; podendo realizar procedimentos ‘quasiestatísticos’ e testar hipóteses na análise de dados; usar software para análise de dados; construir tabelas com o resumo dos dados; 4) apresentação dos dados deve explorar explicações para os fenômenos; realizar revisão da literatura; analisar casos negativos; ‘memorando’; ter um diário reflexivo; escrever um relatório provisório; ter atitude de colocar-se entre parênteses (Bracketing), ou seja, em suspensão de julgamento e teorias prévias; fornecer uma trilha de auditoria; fornecer evidências que suportem as interpretações; reconhecendo a perspectiva do/a pesquisador/a (reflexividade) e fornecer descrições densas (Whittemore et al., 2001). Para os autores, essas técnicas estariam na base dos critérios, ou seja, seriam aspectos que conferem maior validade à pesquisa qualitativa.

Em 2007, um checklist com critérios de avaliação de relatórios de pesquisas qualitativas com uso de entrevistas e grupos focais foi proposto por Tong et al. (2007). O checklist, denominado de COREQ (Consolidated Criteria for Reporting Qualitative Research), é composto por 32 itens divididos em três domínios: 1) equipe de pesquisa e reflexividade, composto por itens sobre características pessoais dos integrantes da equipe e sobre a relação entre a equipe e os participantes da pesquisa; 2) desenho do estudo, composto por itens sobre embasamento teórico, seleção de participantes e contexto e procedimentos de coleta de dados; 3) análise de dados e resultados, composto por itens sobre procedimentos de análise dos dados e relato dos resultados. O COREQ foi desenvolvido a partir de uma revisão compreensiva de estudos publicados nas bases de dados Medline, CINAHL, Cochrane e Campbell Protocols, bem como de revisões sistemáticas de estudos qualitativos, diretrizes para autores e pareceristas de journals da área e da lista de referências de publicações relevantes.

De forma mais abrangente, um conjunto de 21 itens foi proposto para garantir a transparência e completude de artigos qualitativos. O SRQR (Standards for Reporting Qualitative Research) inclui itens aplicáveis a diferentes abordagens e métodos qualitativos. O SRQR possui itens referentes ao título, resumo, formulação do problema e pergunta de pesquisa, delineamento e métodos de coleta e análise de dados, resultados, interpretação, discussão e integração, bem como outras informações (O’Brien, Harris, Beckman, Reed, & Cook, 2014).

Recentemente, a American Psychological Association [APA] (2018) publicou nova versão do Journal Article Reporting Standards (JARS). O JARS para relatório de pesquisas qualitativas indica itens que devem ser inclusos em cada seção, isto é, título, resumo, introdução, método, resultados e discussão de artigos qualitativos. Além dos itens, a APA incluiu diretrizes para autores e revisores.

A seguir, na Tabela 1, são apresentados os critérios de qualidade provenientes do COREQ, do SRQR e do JARS-Qual. Na coluna da esquerda são apresentados os critérios detalhados, compilados de acordo com cada seção do texto conforme usualmente publicados no Brasil. Nas três colunas da direita são indicadas as fontes das quais derivam os critérios.

Tabela 1
Critérios de qualidade para artigos advindos de pesquisa qualitativa

Critério	COREQ	SRQR	JARS-Qual
Título: fornece uma descrição concisa da natureza ou tema do estudo indicando se tratar de pesquisa qualitativa, ou indicando o delineamento (e.g., etnografia, teoria fundamentada nos dados) ou método de coleta de dados (e.g., entrevista, grupo focal).		x	x
Resumo: sintetiza os principais elementos do estudo (problema, objetivo, delineamento, método, principais resultados e implicações).		x	x
Palavras-chave: inclui, em média, cinco palavras-chave, sendo pelo menos uma referente ao delineamento, uma descrevendo o tipo de participantes ou fenômeno investigado.			x
Introdução: contempla descrição do tema de estudo, com revisão crítica da literatura teórica e empírica relevante, de forma a justificar o estudo realizado.		x	x
Método: identifica o delineamento qualitativo utilizado no estudo (e.g., estudo de casos, etnografia). Além disso, pode-se explicitar o paradigma de pesquisa que norteou o estudo (e.g., construtivista, feminista) justificando sua escolha.	x	x	x
Participantes: indica o número de participantes, documentos ou eventos analisados. Caracteriza os participantes/documentos/eventos a partir de dados biossociodemográficos, culturais, etc. Descrever o porquê da inclusão/exclusão dos participantes.	x	x	x
Instrumentos: descreve os instrumentos utilizados para a coleta de dados (e.g., roteiros de entrevistas, diário de campo), indicando a origem e possíveis adaptações, formato das questões (e.g., aberta ou fechada) e exemplos de questões.	x	x	x
Procedimentos de coleta de dados: fornece todos os detalhes da coleta de dados, incluindo: datas de início, interrupção e fim, processo de recrutamento dos participantes (e.g., compensação, desistências ou recusas, conveniência, exaustão), se houve estudo piloto, indicação do local de coleta, se houve presença de terceiros, procedimentos de gravação (e.g., áudio, vídeo), processo iterativo abarcando especificação de quem conduziu a coleta de dados (formação acadêmica, sexo, papel dentro da equipe de pesquisa, experiência e treino para a pesquisa, relação do pesquisador/a com o/a participante), se houve repetidas entrevistas, triangulação, possíveis modificações de procedimentos, duração média da coleta de dados, bem como da interação com os participantes, procedimento de arquivamento dos dados, justificativa para finalização da coleta (e.g., saturação), indica como a saturação foi operacionalizada, se as transcrições foram compartilhadas com os participantes para comentários e/ou correções.	x	x	x
Procedimentos éticos: indica como os dados foram manipulados e armazenados com vistas a garantir sua segurança e o anonimato dos participantes. Indica as relações e interações entre pesquisadores e participantes que são relevantes para o processo e qualquer impacto advindo desta relação (e.g., se há algum relacionamento prévio à pesquisa entre pesquisador/a e pesquisado/a). Descreve compensações e provê garantia dos processos éticos relevantes na coleta de dados e seu consentimento. Indica se houve alguma mudança metodológica, suas razões e implicações éticas.		x	x
Procedimentos de análise de dados: a seção apresenta todo o processo de análise em detalhes. Indica quantos pesquisadores realizaram as transcrições e a codificação dos dados, explicitando treinamento para tal. Indica se houve conferência dos dados transcritos com os coletados (i.e., integridade dos dados). Identifica as unidades de análise (e.g., transcrição total, textos, unidades). O paradigma que orientou a análise foi apresentado e sua escolha justificada. Apresenta descrição do esquema final de codificação, indicando como os temas/categorias foram gerados - se indutiva ou dedutivamente. Quando aplicável, inclui descrição do software (e.g., NVivo, Atlas.ti) utilizado para a análise. Indica se os resultados foram discutidos com os participantes. Indica técnicas para garantir a credibilidade e fidedignidade da análise de dados (e.g., checagem por membros, auditoria, triangulação).	x	x	x
Resultados: Foram utilizados trechos das falas dos participantes para ilustrar temas/categorias. Cada trecho foi identificado (e.g., número ou nome fictício do/a participante). Apresenta consistência entre trechos e temas/categorias apresentados. Descreve os temas/categorias principais, demonstrando a compreensão que o/a pesquisador/a teve dos resultados. Resultados que não se encaixam aos temas/categorias centrais e/ou temas/categorias não centrais são apresentados. Quando pertinentes, diagramas, tabelas e modelos são utilizados para ilustrar os resultados.	x	x	x
Discussão: Os principais resultados são sumarizados e discutidos de acordo com uma teoria ou modelo e com pesquisas prévias. Discute a aplicação e a transferabilidade dos resultados. Indica e problematiza as principais limitações. Descreve as principais contribuições para a área ou disciplina, bem como para políticas públicas e aplicação prática. Sugestões para novos estudos são apresentadas.		x	x

O que se espera após a realização de uma pesquisa qualitativa considerando os critérios de qualidade aplicáveis, é a publicação de artigos em revistas conceituadas. Visando aumentar as chances de sucesso nas submissões de artigos derivados de pesquisas qualitativas, algumas dicas são fundamentais. Embora as dicas apresentadas a seguir tenham sido propostas para artigos advindos de pesquisa qualitativa, artigos derivados de outros métodos também podem ser orientados por essas dicas:

• - o artigo deve ser escrito em linguagem científica, ou seja, objetiva e clara, atentando para a fluência dos parágrafos e para a não utilização de variações que podem comprometer o entendimento do/a leitor/a. Por exemplo, apresentar o problema de pesquisa de formas distintas ao longo do artigo;

• - colocar as informações onde elas devem estar, ou seja, atentar para as informações que são essenciais em cada subseção do artigo, eliminando conteúdo desnecessário que pode distrair os leitores da mensagem principal do artigo (Staller & Krumer-Nevo, 2013);

• - o artigo deve conter uma mensagem forte, clara e concisa sobre o que foi encontrado com os resultados da pesquisa e porque isto é importante (Clark & Thompson, 2016; Staller & Krumer-Nevo, 2013);

• - a mensagem do artigo deve estar em consonância com a audiência do artigo, portanto, é necessário conhecer antecipadamente a revista a qual o artigo será submetido e mapear sua audiência, ou seja, o perfil dos seus leitores (Clark & Thompson, 2016; Staller & Krumer-Nevo, 2013);

• - o artigo deve se encaixar no objetivo e escopo da revista à qual será submetido (Clark & Thompson, 2016; Staller & Krumer-Nevo, 2013), então, é necessário analisar minuciosamente as diretrizes da revista, bem como consultar artigos já publicados e, em alguns casos, se aproximar dos editores visando verificar a adequação do artigo à revista (Clark & Thompson, 2016);

• - considerar que ao publicar um artigo em uma revista conceituada é possível se conectar a renomados pesquisadores, ou seja, fazer parte de uma comunidade de trabalho conjunto sobre um tema de pesquisa (Clark & Thompson, 2016);

• - “tente, tente e tente outra vez” (Clark & Thompson, 2016, p. 2);

• - seja humilde na resposta dada aos pareceres, não esquecendo que é possível contra-argumentar, com o devido embasamento teórico/metodológico, acerca das sugestões dadas pelos pareceristas (Staller & Krumer-Nevo, 2013).

Um dos motivos de poucos artigos derivados de pesquisas qualitativas serem publicados em revistas conceituadas é a baixa frequência de submissões destes artigos. Pesquisadores podem evitar submeter seus artigos em boas revistas temendo que serão recepcionados com hostilidade por se tratarem de pesquisa qualitativa e que serão prontamente rejeitados. No entanto, após se realizar a pesquisa e redigir o artigo de forma criteriosa, considerando as dicas mencionadas, não há como saber se o artigo tem potencial para publicação a não ser submetendo-o à revista. Caso uma rejeição ocorra, sempre é possível reformular o artigo e “tentar, tentar e tentar outra vez” (Clark & Thompson, 2016, p.2).

Considerações finais

O objetivo principal deste artigo foi o de apresentar uma sistematização de possíveis critérios de qualidade para a avaliação de pesquisas qualitativas e artigos provenientes de pesquisas dessa natureza. Diferentes formas de se avaliar a qualidade dos artigos advindos de pesquisas qualitativas são propostas. Ainda, alguns tipos de critérios são propostos: intrínsecos versus extrínsecos ou paralelos (Morrow, 2005); primários e secundários (Whittemore et al., 2001), evidenciando a pluralidade do campo. Mesmo diante de tal pluralidade, ao se consultar três propostas de sistematização de critérios de qualidade (APA, 2018; O`Brien et al., 2014; Tong et al., 2007) é possível verificar similaridades. Tais semelhanças, bem como aspectos complementares entre as propostas, foram inclusas numa tabela na qual foram reunidos os critérios de qualidade de acordo com seções típicas de artigos empíricos. Sabe-se que não foram esgotadas as possibilidades de critérios, tendo sido selecionadas apenas três proposições.

As três propostas de sistematização de critérios de qualidade (APA, 2018; O`Brien et al., 2014; Tong et al., 2007) parecem ser as mais utilizadas em âmbito internacional. Diante disso, a intenção foi a de iniciar uma discussão nacional sobre possíveis critérios de qualidade para artigos provenientes de pesquisa qualitativa a partir do artigo aqui apresentado. Espera-se que a sistematização apresentada possa auxiliar pesquisadores qualitativos a conduzirem seus estudos com maior rigor metodológico e com maiores possibilidades de aceite em revistas científicas. Além disso, é possível a utilização da sistematização de critérios de qualidade aqui apresentada por editores e revisores de periódicos no intuito de aprimorar as avaliações.

Referências

• American Psychological Association[APA]. (2018). APA Style JARS - Journal Article Reporting Stardants Recuperado de:http://www.apastyle.org/jars/qual-table-1.pdf
  » http://www.apastyle.org/jars/qual-table-1.pdf
• Braun, V., & Clarke, V. (2006) Using thematic analysis in psychology. Qualitative Research in Psychology, 3(2), 77-101. doi:10.1191/1478088706qp063oa
  » https://doi.org/10.1191/1478088706qp063oa
• Clark, A. M., & Thompson, D. R. (2016). Five tips for writing qualitative research in high-impact journals: moving from #BMJnoQual. International Journal of Qualitative Methods, 1-3. doi: 10.1177/1609406916641250
  » https://doi.org/10.1177/1609406916641250
• Creswell, J. W. (1994). Research design: qualitative e quantitative approaches Thousand Oaks, CA: Sage.
• Creswell, J. W. (2014). Investigação qualitativa e projeto de pesquisa: escolhendo entre cinco abordagens Porto Alegre, RS: Penso.
• Dixon-Woods, M., Shaw, R. L., Agarwal, S., & Smith, J. A. (2004). The problem of appraising qualitative research. BMJ Quality & Safety, 13, 223-225. doi: 10.1136/qshc.2003.008714
  » https://doi.org/10.1136/qshc.2003.008714
• Flick, U. (2009). Qualidade na pesquisa qualitativa Porto Alegre, RS: Artmed.
• Fontanella, B., Ricas, J., & Turato, E. (2008). Amostragem por saturação em pesquisas qualitativas em saúde: Contribuições teóricas. Cadernos de Saúde Pública, 24(1), 17-27. doi: 10.1590/S0102-311X2008000100003
  » https://doi.org/10.1590/S0102-311X2008000100003
• Guest, G., Bunce, A., & Johnson, L. (2006). How many interviews are enough? An experiment with data saturation and variability. Field Methods, 18(1), 59-82. doi: 10.11777/1525822X05279903.
  » https://doi.org/10.11777/1525822X05279903.
• Gunther, H. (2006). Pesquisa qualitativa versus pesquisa quantitativa: Esta é a questão? Psicologia: Teoria e Pesquisa, 22(2), 201-210. doi: 10.1590/S0102-37722006000200010
  » https://doi.org/10.1590/S0102-37722006000200010
• Kitto, S. C., Chesters, J. E., & Grbich, C. (2008). Quality in qualitative research: criteria for authors and assessors in the submission and assessment of qualitative research articles for the Medical Journal of Australia.Medical Journal of Australia,188(4), 243-246. Recuperado de:https://www.mja.com.au/journal/2008/188/4/quality-qualitative-research
  » https://www.mja.com.au/journal/2008/188/4/quality-qualitative-research
• Malterud, K., Siersma, V. D., & Guassora, A. D. (2016). Sample size in qualitative interview studies: Guided by information power. Qualitative Health Research, 26(13), 1753-1760. doi: 10.1177/1049732315617444
  » https://doi.org/10.1177/1049732315617444
• Morrow, S. (2005). Quality and trustworthiness in qualitative research in counseling psychology. Journal of Counseling Psychology, 52(2), 250-260. doi: 10.1037/0022-0167.52.2.250
  » https://doi.org/10.1037/0022-0167.52.2.250
• Newman, I., & Benz, C. R. (1998). Qualitative-quantitative research methodology: Exploring the interactive continuum Carbondale, IL: Southern Illinoins University Press.
• Ollaik, L., & Ziller, H. M. (2012). Concepções de validade em pesquisas qualitativas. Educação & Pesquisa, 38(1), 229-241. Recuperado de http://www.scielo.br/pdf/ep/v38n1/ep448.pdf
  » http://www.scielo.br/pdf/ep/v38n1/ep448.pdf
• O’Brien, B., Harris, I., Beckman, T., Reed, D., & Cook, D. (2014). Standards for Reporting Qualitative Research: A synthesis of recommendations. Academic Medicine, 89(9), 1245-1251. doi: 10.1097/ACM.0000000000000388.
  » https://doi.org/10.1097/ACM.0000000000000388.
• Saccol, A. Z. (2009). Um retorno ao básico: compreendendo os paradigmas de pesquisa e sua aplicação na pesquisa em administração. Revista de Administração da UFSM, 2(2), 250-269. doi: 10.5902/198346591555
  » https://doi.org/10.5902/198346591555
• Sampieri, R., Collado, C., & Lucio, M. (2013). Definições dos enfoques quantitativo e qualitativo, suas semelhanças e diferenças Porto Alegre, RS: Penso.
• Santos, S. S., & Dell'Aglio, D. D. (2013). O processo de revelação do abuso sexual na percepção de mães. Psicologia: Teoria e Prática, 15(1), 50-64.
• Santos, V. A. D., Costa, L. F., & Silva, A. X. D. (2011). As medidas protetivas na perspectiva de famílias em situação de violência sexual. Psico, 42(1), 77-86.
• Sim, J., Saunders, B., Waterfield, J., & Kingstone, T. (2018). Can sample size in qualitative research be determined a priori? International Journal of Social Research Methodology, 1-16. doi: 10.1080/13645579.2018.1454643
  » https://doi.org/10.1080/13645579.2018.1454643
• Staller, K. M., & Krumer-Nevo, M. (2013). Successful qualitative articles: A tentative list of cautionary advice. Qualitative Social Work, 12(3), 247-253. doi: 10.1177/1473325012450483
  » https://doi.org/10.1177/1473325012450483
• Tong, A., Sainsbury, P., & Craig, J. (2007). Consolidated criteria for reporting qualitative research (COREQ): a 32-item checklist for interviews and focus groups. International Journal for Quality in Health Care, 19(6), 349-357.
• Whittemore, R., Chase, S., & Mandle, C. (2001). Validity in qualitative research. Qualitative Health Research, 11(4), 522-537.

Datas de Publicação

• Publicação nesta coleção
  05 Dez 2019
• Data do Fascículo
  Dez 2019

Histórico

• Recebido
  01 Jul 2018
• Aceito
  22 Maio 2019