Efeitos dos Softwares de Análise de Dados Qualitativos na Qualidade de Pesquisas

Effects of Qualitative Data Analysis Softwares in the Quality of Researches

Resumo

O objetivo deste estudo é descrever os efeitos dos softwares de análise de dados qualitativos (Qualitative Data Analysis Software [QDAS]) na qualidade das pesquisas qualitativas, segundo a perspectiva de pesquisadores. O que motivou esta pesquisa foi a divergência de opiniões com relação aos efeitos dos QDAS na qualidade das pesquisas qualitativas. O aporte teórico foi construído com base nas literaturas de critérios de qualidade de pesquisas qualitativas, estratégias de promoção de qualidade e adoção de QDAS. Os dados foram coletados por meio de entrevistas semiestruturadas com dez pesquisadores com experiência de análise sem e com o uso QDAS. A técnica de análise utilizada foi a análise de conteúdo apoiada pelo uso do software ATLAS.ti^®. Os resultados evidenciaram que o uso dos QDAS pode potencializar seis das sete estratégias de qualidade consideradas, com destaque para a melhoria da coerência do pesquisador. Os critérios de qualidade mais beneficiados pelo uso foram a confirmabilidade e a credibilidade. Como desvantagem do uso dos QDAS, emergiu a questão do distanciamento do pesquisador dos dados. Os resultados desta pesquisa contribuem para o enriquecimento da discussão sobre os efeitos dos QDAS nas pesquisas e fomentam o uso dos softwares. JEL Code: L86, C9, B41.

pesquisa qualitativa; QDAS; critérios de qualidade

Abstract

This study aims to describe the effects of Qualitative Data Analysis Softwares (QDAS) in the quality of qualitative research from researchers’ perspective. What motivated this research was the divergence of opinions about the effects of QDAS on the quality of qualitative research. The theoretical framework was developed based on the literatures about quality criteria of qualitative research, strategies of quality promotion and adoption of QDAS. Data were collected through semi-structured interviews with ten researchers with or without experience in the use of a QDAS. The analysis technique used was content analysis with the support of ATLAS.ti® software. The results showed that the use of a QDAS can potentiate six of the seven quality strategies considered, with emphasis on improvement of researcher’s coherence. The quality criteria more benefitted by the use were confirmability and credibility. As a disadvantage of the use of QDAS, the question of the researcher’s distance from the data emerged. The results contribute to the flourishment of the discussion about the effects of QDAS and encouraging the use of QDAS.

qualitative research; QDAS; quality criteria

Introdução

Os softwares de análise de dados qualitativos – também conhecidos pelo acrônimo QDAS (Qualitative Data Analysis Softwares) – são programas computacionais desenvolvidos para auxiliar o gerenciamento e análise de dados qualitativos (Lewis & Silver, 2007; Merriam & Tisdell, 2016; Tracy, 2013; Yin, 2011). Por meio desses softwares, os pesquisadores podem adicionar, organizar, codificar e gerenciar diferentes tipos de dados, como áudio, texto, imagens e vídeos (Gibbs, 2014). O uso de QDAS tem crescido a cada ano (James, 2010; Woods, Paulus, Aktins, & Macklin, 2016), sendo o ATLAS.ti^® e o NVivo^® os mais utilizados pelos pesquisadores.

Apesar da expansão do uso, não há um consenso na literatura quanto aos efeitos dos QDAS na qualidade das pesquisas qualitativas. Para um grupo de pesquisadores, o uso desses programas acarreta efeitos negativos na qualidade, como o distanciamento e a perda da reflexividade dos dados (Kelle, 1997; MacMillan, 2005; MacMillan & Koening, 2004; Morison & Moir, 1998), ao passo que, para outro grupo, o uso traz efeitos positivos, como ganhos na validade e confiabilidade dos resultados (Ang, Embi, & Yunus, 2016; Leitch & Oktay, 2016; Rambaree, 2007; Tracy, 2013; Woods, Macklin, & Lewis, 2016). Assim, fica a dúvida quanto ao uso desse tipo de programa (Woods, Paulus et al., 2016).

Em meio a esse contexto, poucos estudos investigaram os efeitos dos QDAS na qualidade das pesquisas – a busca foi realizada em novembro de 2017 nas bases Scopus e Web of Science, utilizando os seguintes termos e operadores booleanos: QDAS OR CAQDAS OR qualitative data analysis software AND quality OR qualitative research OR rigour OR trustworthiness OR validity. A maior parte dos estudos consiste de revisões de literatura (por ex.: Woods, Macklin et al., 2016) ou relatos de experiência pessoal (por ex.: MacMillan, 2005). Apenas dois estudos investigaram o tema empiricamente (Ang et al., 2016; James, 2010), contudo, esses estudos apresentam limitações, como a exploração apenas dos efeitos positivos dos QDAS e a análise apenas de dados secundários.

Face ao exposto, o presente artigo se propõe a descrever os efeitos dos QDAS na qualidade das pesquisas qualitativas pela perspectiva dos pesquisadores com as duas experiências de análise, sem e com QDAS. O aporte teórico foi construído com base na literatura sobre qualidade da pesquisa qualitativa, estratégias de QDAS. Assim, buscamos responder a seguinte questão de pesquisa: Como o uso dos softwares de análise de dados qualitativos afeta a qualidade das pesquisas qualitativas? Ao responder essa pergunta pretendemos contribuir para o enriquecimento da discussão sobre os efeitos dos QDAS na qualidade de estudos qualitativos.

A Pesquisa Qualitativa e Seus Critérios de Qualidade

A pesquisa qualitativa é um tipo de pesquisa que busca compreender os significados atribuídos pelos indivíduos aos fenômenos sociais (Merriam & Tisdell, 2016; Yin, 2011). Nesse tipo de pesquisa, o investigador vai à campo, buscando captar o fenômeno em estudo por meio das perspectivas das pessoas nele envolvidas e dos pontos de vista relevantes (Creswell, 2014; Merriam & Tisdell, 2016; Tracy, 2013). O processo de investigação é indutivo e o produto é ricamente descritivo, transmitindo o que foi aprendido por meio de palavras e figuras, ao invés de números (Creswell, 2014; Merriam & Tisdell, 2016). As estratégias de investigação mais adotadas nas pesquisas qualitativas incluem a etnografia, a fenomenologia e a teoria fundamentada, enquanto as técnicas de coleta de dados mais comuns são a entrevista e a observação (Creswell, 2014).

O número de pesquisas qualitativas tem crescido em diversas áreas de conhecimento, inclusive a de Administração (Welch & Piekkari, 2017), e muitos pesquisadores têm estudado a qualidade dessas pesquisas (Gibbs, 2009; Miles, Huberman, & Saldana, 2014; Merriam & Tisdell, 2016; Patton, 2002; Tracy, 2010; Welch & Piekkari, 2017). A qualidade de uma pesquisa é uma propriedade atribuída a um estudo com base na sua capacidade de atender aos critérios de qualidade estabelecidos pela comunidade acadêmica (Tracy, 2013). Tais critérios permitem avaliar a qualidade dos estudos e ajudam a “responder a questões se os achados são suficientemente autênticos ... e seguros” (Tracy, 2013, p, p. 231, tradução nossa). Merriam e Tisdell (2016, p, p. 237, tradução nossa) evidenciam a importância dos critérios ao afirmar que a confiabilidade de uma pesquisa qualitativa é “especialmente importante para os profissionais de campos aplicados, porque eles interferem na vida das pessoas”.

Apesar da importância do tema, não há consenso quanto aos critérios de qualidade da pesquisa qualitativa (Flick, 2009; Gibbs, 2009; Miles et al., 2014; Patton, 2002; Tracy, 2013). Em geral, os autores consideram nomenclaturas e quantidades de critérios diferentes – por exemplo, Merriam e Tisdell (2016) consideram três critérios de qualidade, Guba (1981) considera quatro, Miles, Huberman e Saldana (2014) consideram cinco e Tracy (2010) considera oito critérios. Esta pesquisa adota os quatro critérios propostos por Guba (1981) e Lincoln e Guba (1985) para representar o constructo qualidade das pesquisas qualitativas: confirmabilidade, credibilidade, dependabilidade/consistência e transferibilidade. A escolha por esses critérios considerou o caráter seminal do estudo e sua ampla citação e validação pelas pesquisas da área até os dias atuais (Ang et al., 2016; Cope, 2014; Creswell, 2014; Flick, 2009; Miles et al., 2014; Merriam & Tisdell, 2016; Patton, 2002, , Shenton, 2004). A Tabela 1 apresenta as definições dos quatro critérios de qualidade considerados.

Tabela 1
Critérios de Qualidade da Pesquisa Qualitativa

Critério de qualidade	Definição
Confirmabilidade	Medida em que os resultados da pesquisa expressam as ideias e experiências dos sujeitos investigados, ao invés das preferências do pesquisador. Se existem vieses inevitáveis, o pesquisador deve explicitá-los no relatório.
Credibilidade	Medida em que resultados do estudo são coerentes, fazem sentido e são acreditáveis às pessoas estudadas e aos leitores. Os resultados devem ser um retrato fiel e coerente da realidade investigada.
Dependabilidade/ Consistência	Medida em que o processo da pesquisa é consistente e, razoavelmente, estável ao longo do tempo e entre pesquisadores e métodos. As mudanças ocorridas devem ser indicadas e justificadas pelo pesquisador.
Transferibilidade	Medida em que os resultados de um estudo podem ser aplicados a outros contextos. O pesquisador deve fornecer dados descritivos suficientes para permitir que o leitor julgue a transferência dos resultados para outros contextos.

NotaIntrodução à pesquisa qualitativaEducational Communication and Tecnology, 29The American Journal of Occupational Therapy, 45Naturalistic inquiryQualitative research: a guide to design and implementationMiles, M. B., Huberman, A. M., & Saldana, J. (2014)Qualitative data analysis: A methods sourcebookEducation for Information, 22
• Apesar da falta de consenso quanto aos critérios, os estudos concordam que existe um método para julgar a capacidade das pesquisas atenderem tais critérios: verificar a adoção de estratégias de qualidade (Creswell, 2014; Flick, 2009; Gibbs, 2009; Guba, 1981; Krefting, 1991; Lincoln & Guba, 1985; Merriam & Tisdell, 2016; et al.; Patton, 2002; Shenton, 2004; Tracy, 2013; Yin, 2011). Estratégias de qualidade são procedimentos de coleta, análise e apresentação de dados aceitos na comunidade acadêmica para documentar a precisão dos estudos (Creswell, 2014). A lógica do método citado é que cada estratégia afeta elementos da pesquisa relacionados aos critérios de qualidade específicos, de forma que a verificação das estratégias adotadas indica se os critérios foram atendidos (Guba, 1981; Krefting, 1991; Merriam & Tisdell, 2016; et al.; Shenton, 2004).

Na literatura, foram identificadas 35 estratégias de qualidade com nomenclaturas diferentes (Creswell, 2014; Flick, 2009; Guba, 1981; Krefting, 1991; Lincoln & Guba, 1985; Merriam & Tisdell, 2016; Patton, 2002; Yin, 2011). A partir da leitura das definições dessas estratégias, verificou-se que alguns autores usam nomenclaturas diferentes para se referir a um mesmo procedimento e que existem semelhanças entre outras. Assim, as 35 estratégias identificadas foram agrupadas em sete categorias. A Tabela 2 mostra as categorias criadas, suas descrições e as respectivas estratégias de qualidade agrupadas.

Tabela 2
Estratégias de Qualidade da Pesquisa Qualitativa

Categoria	Descrição	Estratégias agrupadas
Coerência do pesquisador	Coerência e a clareza do posicionamento do pesquisador na pesquisa.	Adequação do referencial, análise comparativa constante, coerência estrutural, estabelecimento de coerência, esclarecimento do viés do pesquisador, reflexividade.
Construção do corpus da pesquisa	Representatividade dos dados e tamanho da amostra.	Amostra teórica, casos negativos, indução analítica, máxima variação.
Descrição detalhada da investigação	Descrição clara dos procedimentos realizados (coleta, análise e interpretação dos dados).	Descrição densa e rica, descrição grossa, procedimento de codificação, trilha de auditagem.
Envolvimento com o campo	Engajamento do pesquisador na coleta dos dados.	Coleta de dados grossos, envolvimento prolongado com o campo, estabelecimento da autoridade do pesquisador, observação persistente, riqueza dos dados, tempo de amostra.
Validação dos respondentes	Validação dos resultados com os participantes/ informantes da pesquisa.	Checagem pelos membros, checagem pelos participantes, validação dos participantes, validação dos respondentes.
Validação por pesquisadores	Revisão das análises e resultados por atores internos e/ou externos à pesquisa.	Auditoria de confirmabilidade, auditoria de dependabilidade, auditoria de expert, auditoria externa, exame por pares, validação pelos pares.
Triangulação	Uso de múltiplas e diferentes fontes, métodos, investigadores e teorias.	Comparação da amostra com dados demográficos, coleta de materiais adequados, divisão dos investigadores, triangulação, técnicas de entrevista.

NotaEducational Communication and Tecnology, 29Naturalistic inquiryThe American Journal of Occupational Therapy, 45Qualitative research & evaluation methodsIntrodução à pesquisa qualitativaQualitative research from start to finishInvestigação qualitativa e projeto de pesquisa: Escolhendo entre cinco abordagensQualitative research: a guide to design and implementation

A literatura também indica a relação entre as relações entre as estratégias e os critérios de qualidade propostos por Guba (1981) e Lincoln e Guba (1985), identificando os critérios que são afetados por cada uma das estratégias (Guba, 1981; Krefting, 1991; Merriam & Tisdell, 2016; Miles et al., 2014; Shenton, 2004). A partir da análise das relações estabelecidas na literatura com os critérios adotados, elaboramos a Tabela 3 que relaciona as estratégias com os critérios de qualidade e apresenta os estudos que evidenciam essas relações. Conforme a Tabela 3, uma estratégia de qualidade pode afetar, simultaneamente, mais de um critério (ex.: a estratégia coerência do pesquisador afeta os critérios confirmabilidade, credibilidade e dependabilidade) e algumas relações são mais consensuais entre os estudos do que outras (ex.: quatro estudos relacionam a estratégia envolvimento com o campo com o critério credibilidade e apenas uma relaciona com o critério transferibilidade).

Tabela 3
As Relações Entre Estratégias e Critérios de Qualidade na Literatura

Critérios	Confirmabilidade	Credibilidade	Dependabilidade/ consistência	Transferibilidade
Estratégias
Coerência do pesquisador	1*, 2*, 3* e 4*	1*, 2*, 3*, 4* e 5*	4* e 5*	-
Construção do corpus da pesquisa	-	3* e 4*	4*	1*, 2*, 3*, 4* e 5*
Descrição detalhada da investigação	1*, 3* e 4*	3* e 4*	1*, 2*, 3* e 5*	1*, 2*, 3*, 4* e 5*
Envolvimento com o campo	-	1*, 2*, 3* e 5*	-	2*
Validação dos respondentes	-	1*, 2*, 3*, 4* e 5*	-	-
Validação por pesquisadores	1* e 2*	1*, 2*, 3* e 5*	1*, 2*, 4* e 5*	-
Triangulação	1*, 2*, 3*	1*, 2*, 3* e 5*	1*, 2*, 3* e 5*	-

NotaEducational Communication and Tecnology, 29The American Journal of Occupational Therapy, 45Education for Information, 22Miles, M. B., Huberman, A. M., & Saldana, J. (2014)Qualitative data analysis: A methods sourcebookQualitative research: a guide to design and implementation

Com base na literatura apresentada, este trabalho analisa a qualidade das pesquisas qualitativas por meio de quatro critérios de qualidade (confirmabilidade, credibilidade, dependabilidade e transferibilidade). A capacidade das pesquisas atenderem esses critérios, por sua vez, é identificada por intermédio da análise das estratégias de qualidade adotas nas pesquisas. Na próxima seção, revisamos a literatura de QDAS nas temáticas relevantes (definição e relação com a qualidade das pesquisas).

Os Softwares de Análise de Dados Qualitativos e a Qualidade das Pesquisas

O uso dos QDAS tem crescido ao longo dos anos (James, 2010; Woods, Paulus et al., 2016), contudo, poucas pesquisas foram realizadas sobre os seus efeitos na qualidade das pesquisas (Woods, Paulus et al., 2016). As pesquisas sobre os efeitos são, em geral, relatos pessoais de caso e estão divididas em dois grupos: o grupo que relaciona o uso desses softwares com efeitos negativos na qualidade das pesquisas (Kelle, 1997; MacMillan, 2005; Morison & Moir, 1998) e o grupo que relaciona o seu uso com ganhos na qualidade (Ang et al., 2016; Leitch & Oktay, 2016; Rambaree, 2007; Tracy, 2013; Wolfe, Gephart, & Johnson, 1993; Woods, Macklin et al., 2016). O único consenso entre eles é que os softwares não analisam os dados, por si só. O pesquisador deve ter o conhecimento prévio para dar significado aos dados. A Tabela 4 apresenta os efeitos positivos e negativos da adoção dos QDAS no processo de pesquisa, os autores que apontam tais efeitos e as estratégias de qualidade afetadas de alguma forma por esses efeitos. As estratégias de qualidade afetadas foram definidas pelos autores desta pesquisa, considerando as semelhanças entre a descrição do efeito e a descrição das estratégias (Tabela 2).

Tabela 4
Efeitos dos QDAS nas Estratégias de Qualidade

Tipo de efeito	Descrição do efeito	Autor(es)	Estratégia afetada
Negativo	Limita a criatividade dos pesquisadores ao restringir o processo de análise em torno das ferramentas permitidas	Goble, Austin, Larsen, Kreitzer e Brintnell (2012), Holbrook e Butcher (1996), MacMillan (2005) e Morison e Moir (1998)	Coerência do pesquisador
	Distancia os pesquisadores dos dados ao apresentar os dados (listas de citações, códigos e fragmentos de textos) fora de seus contextos	Goble et al. (2012), Holbrook e Butcher (1996), MacMillan (2005) e Morison e Moir (1998)	Coerência do pesquisador
	Prejudica a reflexividade ao mecanizar o processo de análise e promover a ideia de que esse processo é linear e rápido	Woods, Paulus, Aktins e Macklin (2016) e Goble et al. (2012)	Coerência do pesquisador
Positivo	Estimula a reflexividade ao disponibilizar ferramentas que permitem registrar reflexões (memo), visualizar as relações entre os dados e realizar experimentos com os dados	Aljunid (1996), Ang, Embi e Yunus (2016), Bazeley e Jackson (2013), Cope (2014), Gibbs (2014), Merriam e Tisdell (2016), Miles et al. (2014), Rambaree (2007), Sinkovics e Alfoldi (2012), Taft (1993), Tracy (2013) e Woods, Macklin e Lewis (2016)	Coerência do pesquisador
	Estimula a criatividade ao gerenciar as tarefas mecânicas da análise e liberar tempo para o pensar criativamente	Bazeley e Jackson (2013), Cope (2014), Merriam e Tisdell (2016), Morison e Moir (1998), Taft (1993), Tracy (2013) e Woods, Macklin et al. (2016)	Coerência do pesquisador
	Facilita a identificação da saturação teórica e de casos desviantes ao disponibilizar ferramentas de comparação dos dados e de representação gráfica	Richards (2002)	Construção do corpus da pesquisa
	Melhora a transparência do processo de pesquisa ao registrar automaticamente o histórico das atividades realizadas pelo pesquisador (trilhas de auditagem)	Ang et al. (2016), Flick (2009), Gibbs (2014), Kelle (1997), Richards (2002), Sinkovics e Alfoldi (2012) e Wolfe, Gephart e Johnson (1993)	Descrição detalhada da investigação
	Facilita o compartilhamento de informações com terceiros ao produzir relatórios automáticos dos resultados da pesquisa	Ang et al. (2016)	Validação dos respondentes
	Melhora o trabalho em equipe ao possibilitar o compartilhamento on-line do banco de dados e da análise entre os pesquisadores	Bazeley e Jackson (2013), Merriam e Tisdell (2016), Rambaree (2007), Sinkovics e Alfoldi (2012), Stewart (2012), Taft (1993) e Tracy (2013)	Validação por pesquisadores
	Permite analisar diferentes tipos de dados (documentos, imagens, vídeos, transcrições de entrevistas e outros), que não poderiam ser analisados sem o seu uso	Ang et al. (2016), Flick (2009), Gibbs (2014), Rambaree (2007), Saldaña (2009), Sinkovics e Alfoldi (2012), Stewart (2012), Wolfe et al. (1993) e Tracy (2013)	Triangulação

Nota

Conforme a Tabela 4, a maioria dos pesquisadores relaciona o uso dos QDAS à efeitos positivos no processo de pesquisa. Entre os efeitos positivos identificados, os três mais citados, por ordem decrescente de citação, são: (a) estimula a reflexividade, (b) estimula a criatividade e (c) permite analisar diferentes tipos de dados. Com relação ao primeiro efeito citado, os estudos defendem que os QDAS possuem ferramentas que permitem explorar mais os dados do que o método manual, promovendo a reflexão crítica e o enriquecimento dos resultados. O estímulo à criatividade, por sua vez, está relacionado à economia de tempo e energia pela automatização das tarefas repetitivas e promove descobertas. Com relação aos tipos de dados permitidos, os estudos destacam que os QDAS abrem espaço para o uso de várias fontes ricas de dados, o que pode potencializar os resultados da pesquisa. As estratégias de qualidade mais apontadas como beneficiadas são, respectivamente: coerência do pesquisador, triangulação, descrição detalhada da investigação e validação por pesquisadores.

Ainda na Tabela 4, a literatura aponta poucos efeitos negativos do uso dos QDAS. Por ordem decrescente de citação, os três efeitos negativos apontados são: (a) limita a criatividade dos pesquisadores, (b) distancia os pesquisadores dos dados e (c) prejudica a reflexividade. Com relação à limitação da criatividade, os estudos defendem que os QDAS restringem da análise em torno das ferramentas permitidas pelo QDAS e que pode comprometer o desenho da pesquisa, caso o pesquisador projete a pesquisa em torno dessas ferramentas. O distanciamento dos dados, por sua vez, está relacionado à interface dos QDAS, que elimina a visão geral dos dados ao apresentá-los fora de seus contextos, e pode favorecer a distorção dos significados reais. Com relação ao prejuízo na reflexividade, os estudos apontam que é gerado pela padronização da análise em um processo mecânico, linear e rápido e que pode favorecer interpretações superficiais. Os três efeitos negativos citados estão relacionados à estratégia coerência do pesquisador.

Na literatura brasileira, alguns pesquisadores já demonstraram interesse pelo tema. Oliveira, Bitencourt, Santos e Teixeira (2016) compararam o NVivo® e o MAXQDA® na análise de conteúdo temática e verificaram que, de modo geral, os dois softwares reduzem consideravelmente o tempo de execução da análise, além de possibilitar a aplicação de diferentes filtros e auxiliar o investigador na reflexividade sobre os dados. Já os estudos de Walter e Bach (2015), Costa e Itelvino (2018) e Leite, Moraes e Salazar (2016) verificaram empiricamente o uso do Atlas.ti em pesquisas qualitativas em administração como um meio adequado para o aperfeiçoamento de pesquisas na área.

Na próxima seção, apresentamos os procedimentos metodológicos empregados nesta pesquisa.

Procedimentos Metodológicos

Esta pesquisa adota uma perspectiva qualitativa e descritiva para descrever os efeitos dos Qualitative Data Analysis Softwares (QDAS) na qualidade das pesquisas qualitativas. Escolhemos esta perspectiva pelo interesse na reflexão e no significado atribuído pelos sujeitos ao uso dos QDAS.

Os sujeitos investigados neste estudo foram pesquisadores, todos alunos ou ex-alunos de cursos de pós-graduação, que possuíam dois tipos de experiência de análise de dados – sem e com o uso de QDAS, para que fosse possível compará-las e relatar os efeitos por eles percebidos. A seleção dos sujeitos da pesquisa foi do tipo não aleatória por acessibilidade (Miles et al., 2009). A identificação dos sujeitos ocorreu de duas formas: contato com pessoas próximas e envio de convite via e-mail para participantes de um curso anual sobre métodos qualitativos que ocorre na cidade de São Paulo. Pelo contato com pessoas próximas, foram identificados seis participantes. Por e-mail, foram enviados 41 convites e identificados quatro participantes. No total, dez pesquisadores concordaram em participar da pesquisa. A busca por novos participantes foi encerrada quando, após algumas semanas, não surgiram novos contatos.

Os dados foram coletados por meio de entrevistas semiestruturadas, seguindo um roteiro desenvolvido com base no modelo da pesquisa apresentado na Figura 1. Com o propósito de validar e aperfeiçoar o roteiro, foi realizada uma entrevista piloto e, a partir disso, o roteiro foi melhorado (Flick, 2009). A Tabela 5 apresenta o roteiro que contabilizou nove perguntas e um checklist. O checklist, era composto pelas estratégias de qualidade apresentadas na Tabela 2. Este buscou captar a percepção dos entrevistados sobre o atendimento das estratégias de qualidade nas suas próprias pesquisas. Para esse momento solicitamos apenas uma resposta dicotômica (sim ou não).

Figura 1
Modelo da Pesquisa Fonte: Elaborado pelos autores.

Tabela 5
Roteiro de Entrevista

Perguntas	Estratégias de qualidade
1. O que levou você a usar o QDAS?	Perguntas introdutórias
2. Compare sua experiência de pesquisa sem e com o auxílio de QDAS.
3. Para você, o que confere qualidade à uma pesquisa qualitativa?
Checklist	------------
4. Comparando as duas experiências, você acredita que o uso do software influenciou para o uso de mais de uma fonte de dados/ métodos/ teorias/ investigadores? Por quê?	Triangulação
5. Comparando as duas experiências de análise, em qual você considera que conseguiu refletir melhor sobre os dados e os resultados? Por quê?	Reflexividade
6. Na sua opinião, qual o papel do software na identificação da saturação teórica?	Construção do corpus da pesquisa
7. Comparando as duas experiências, em qual você conseguiu detalhar melhor a metodologia de pesquisa realizada? Por quê/ como?	Descrição clara, rica e detalhada
8. A validação da análise pelos pares teve alguma relação com o uso do QDAS? Se sim, explique.	Validação com os pares
9. Você relaciona o uso do software com o surgimento de resultados inesperados? Por quê?	Surpresa na pesquisa
10. Na sua opinião, o uso do QDAS confere qualidade às pesquisas qualitativas? Por quê?	------------
11. Imagine a pesquisa que usou software, o que mudaria se você não tivesse usado?	------------
12. Você pretende utilizar o QDAS nas suas próximas pesquisas?	------------

Nota

A coleta dos dados ocorreu no período entre 8 a 28 de novembro de 2016. Antes de iniciar as entrevistas, os pesquisadores seguiram procedimentos éticos, propostos por Flick (2009) e Creswell (2010). Explicamos aos participantes o objetivo da pesquisa, sua contribuição, os métodos que seriam utilizados e solicitamos a autorização para gravação em áudio utilizando dois gravadores. Também foram entregues um Termo de Confidencialidade e um Termo de Consentimento Livre e Esclarecido. Cada participante foi entrevistado uma vez.

Os áudios das entrevistas foram transcritos seguindo as recomendações de Gibbs (2009). Ao final foram totalizadas seis horas de áudio, que geraram 104 páginas transcritas. A análise dessas transcrições ocorreu por meio da análise de conteúdo em dois ciclos de codificação (Saldaña, 2009). No primeiro ciclo, realizamos a codificação descritiva atribuindo rótulos para resumir em uma palavra ou frase curta as falas que relacionavam o uso do software a qualidade (Miles et al., 2014), sem seguir uma lista de códigos pré-definida, que gerou 74 códigos. No segundo ciclo, foi realizada a codificação focalizada (Miles et al., 2014), onde refinamos os códigos criados, posteriormente agrupadas nas categorias pré-estabelecidas, mencionadas na Tabela 2. Nesse ciclo, contabilizamos seis categorias, duas subcategorias e 17 códigos.

Todo o processo de codificação foi realizado no software ATLAS.ti^® 7. A análise foi realizada simultaneamente por todos os autores via vídeoconferência online, considerando a visão de todos. Essa codificação simultânea e em equipe conferiu maior confiabilidade aos resultados pois evitou possíveis vieses pessoais (Miles et al., 2014).

Figura 2
Procedimentos Metodológicos da Pesquisa

Na seção seguinte serão apresentadas as análises e interpretação dos resultados.

Análise dos Resultados

Caracterização dos sujeitos da pesquisa

A caracterização dos sujeitos da pesquisa foi sintetizada na Tabela 6 que mostra os nomes fictícios dos entrevistados, idade, formação, região da instituição de doutoramento, software adotado, motivo da adoção, tempo de uso do software, e técnica de análise utilizada.

Tabela 6
Caracterização dos Sujeitos por Ordem Alfabética

Nome	Idade	Formação	Região do doutoramento	Software	Motivo da adoção	Tempo de uso	Técnica de Análise
Alice	25	Doutoranda	Nordeste	ATLAS.ti®, NVivo®	Limitação do método manual	3,5 anos	Análise de Conteúdo
Dinah	29	Doutoranda	Nordeste	ATLAS.ti®	Disciplina	6 meses	Análise de Conteúdo
Laura	40	Doutora	Nordeste	NVivo®	Limitação do método manual	3 meses	Análise de conteúdo
Levi	32	Doutorando	Nordeste	QDA Miner®	Disciplina	1 ano	Análise de conteúdo
Lívia	34	Doutora	Sudeste	NVivo®, Alceste®	Grupo de pesquisa	2 anos	Análise de Conteúdo
Luan	43	Doutorando	Sudeste	ATLAS.ti®, NVivo®	Limitação do método manual	1 ano	Análise de conteúdo
Lucas	27	Doutorando	Sudeste	ATLAS.ti®	Limitação do método manual	10 meses	Análise de conteúdo
Marcos	39	Doutorando	Sudeste	NVivo®	Limitação do método manual	1 ano	Análise de conteúdo
Mônica	56	Doutoranda	Sudeste	ATLAS.ti®	Disciplina	3 meses	Análise de conteúdo
Théo	35	Doutor	Nordeste	ATLAS.ti®	Disciplina	1 ano	Análise de conteúdo

Nota

Quanto ao gênero, a metade dos sujeitos são do sexo masculino e a outra metade do sexo feminino. A distribuição geográfica também foi equilibrada entre as duas regiões. Os sujeitos apresentaram idades que variaram entre 25 a 56 anos. Quanto a formação acadêmica, três entrevistados eram doutores e os outros sete estavam em processo de doutoramento. Em relação ao software utilizado, observou-se a predominância dos QDAS ATLAS.ti^® e NVivo^®.

Em relação a motivação para adoção dos softwares, quatro entrevistados afirmaram ter utilizado os softwares pelas limitações do método tradicional (manual); os demais participantes reportaram que a adoção aconteceu devido a exigência do professor nas disciplinas cursadas. A técnica de análise adotada nas pesquisas foi, predominantemente, a análise de conteúdo. Este último resultado corrobora o estudo de Gibbs (2014). O autor afirma que embora os QDAS possam ser utilizados em qualquer pesquisa qualitativa, as funcionalidades desses softwares são mais atraentes para pesquisas que adotam a análise de conteúdo.

O efeito dos QDAS na qualidade das pesquisas qualitativas

Nesta subseção, foi adotada a técnica de análise comparativa inter-casos e inter-critérios de Miles et al. (2014). Para tanto, foi elaborada a Tabela 7, que mostra, por entrevistado, os efeitos do uso dos QDAS em cada estratégia de qualidade. Foi atribuído o símbolo + quando o entrevistado apontou apenas efeitos positivos do uso do QDAS naquela estratégia e - para efeitos negativos. Os nomes dos entrevistados foram abreviados para as três primeiras letras.

Tabela 7
Efeitos do Uso dos QDAS nas Estratégias de Qualidade

	Ali.	Din.	Lau.	Lev.	Lív.	Lua.	Luc.	Mar.	Môn.	Thé.	Total
Coerência do pesquisador	+	+	+	+	+ | -	+	+		+	+	9
Construção do corpus da pesquisa	+		+			+	+	+		+	6
Descrição detalhada da investigação	+						+	+	+		4
Envolvimento com o campo											0
Validação dos respondentes	+				+	+					3
Validação por pesquisadores	+			+		+	+	+	+		6
Triangulação	+		+	+	+	+	+	+			7
Total	6	1	3	3	3	5	5	4	3	2

Nota

Conforme a Tabela 8, todos os entrevistados relacionaram o uso dos QDAS à algum efeito positivo na qualidade da pesquisa. Alice foi a entrevistada que mais fez relações positivas (seis estratégias), Luan e Lucas ficaram na segunda posição (cinco estratégias). Esse resultado está de acordo com o grupo que associa o uso de QDAS com ganhos na qualidade da pesquisa (por ex.: Ang et al., 2016; Tracy, 2013; Woods, Macklin et al., 2016). Apenas uma entrevistada, Lívia, relacionou o uso do QDAS à efeitos negativos. A partir da comparação das suas experiências de análise, com e sem auxílio do QDAS, Lívia concluiu: “eu acho que sem o software a gente reflete mais”. A fala da entrevistada está de acordo com o grupo que associa o uso do QDAS a perdas na reflexividade do pesquisador (Kelle, 1997; MacMillan, 2005; Morison & Moir, 1998). Apesar da relação negativa, nessa mesma categoria Lívia relacionou o uso do QDAS com ganhos na demonstração dos resultados.

A estratégia coerência do pesquisador foi a estratégia mais citada pelos entrevistados como influenciada (positivamente e negativamente) pelo uso do QDAS (9 entrevistados e 35 citações). A estratégia triangulação ficou na segunda posição (7 entrevistados e 18 citações) e a estratégia validação por pesquisadores em terceiro (6 entrevistados e 10 citações), ambas relacionadas com efeitos positivos na qualidade da pesquisa. Essa ordem de classificação das estratégias está de acordo com os dados apresentados na Tabela 4, as três estratégias mais mencionadas pelos entrevistados também são as mais citadas na literatura.

Relacionando o número de citações das estratégias com os critérios de qualidade da Tabela 3, foi identificado que o uso do QDAS gera efeitos positivos, principalmente, nos critérios de confirmabilidade e credibilidade. As estratégias coerência do pesquisador e triangulação, que foram as mais citadas pelos entrevistados, também receberam um maior número de citações na literatura e têm em comum a melhoria desses dois critérios. Isso mostra que o uso do QDAS auxilia, principalmente, os pesquisadores a expressarem as ideias e experiências dos sujeitos investigados (confirmabilidade) e apresentar um retrato fiel e coerente da realidade (Flick, 2009, Miles et al., 2014).

Os resultados expostos nos parágrafos anteriores, evidenciam que todos os entrevistados relacionaram a adoção do QDAS com ganhos na qualidade da pesquisa, sobretudo com as estratégias que atendem aos critérios de confirmabilidade e credibilidade. Esses resultados corroboram as informações da Tabela 4, onde é evidenciado que a literatura aponta mais efeitos positivos do que negativos em relação a adoção do QDAS. Acreditamos que esses resultados mostram a contribuição positiva dos softwares na qualidade das pesquisas, auxiliando no desenvolvimento de investigações e no trabalho dos pesquisadores, e, portanto, devem ser adotados em estudos científicos.

Apesar da evidenciação dos efeitos positivos do QDAS nas pesquisas, é importante destacar que todos os participantes afirmaram que o uso do QDAS não garante, automaticamente, qualidade às pesquisas. Para eles, a qualidade de uma pesquisa depende, primeiramente, da competência do pesquisador. Théo, por exemplo, afirmou: “Ele [QDAS] não toma decisão nenhuma, né? ... nem ele lhe dá uma conclusão, nenhum resultado. Tudo isso você vai ter que pescar dele”. Destacamos que o roteiro de entrevistas não possuía um item específico sobre esse tema. Esse resultado está de acordo com a literatura. Segundo Ang et al. (2016) e Rambaree (2007) é necessário que os pesquisadores tenham conhecimento de análise de dados qualitativos para explorar e otimizar os benefícios oferecidos pelos QDAS.

Nas próximas subseções, descrevemos, os efeitos dos QDAS nas estratégias de qualidade apresentadas no modelo da pesquisa (Figura 1). Destacamos, que a estratégia envolvimento com o campo não foi incluída nessa análise, pois não foram encontrados na literatura estudos que associassem o uso do QDAS com essa estratégia, e os entrevistados também não estabeleceram essa relação.

Coerência do pesquisador

A categoria coerência do pesquisador, contou com as falas de nove entrevistados que relacionaram o uso dos QDAS com efeitos positivos e negativos a estratégia coerência do pesquisador. Essa categoria é composta por cinco códigos: recursos deixam os resultados mais evidentes (22 citações), sistematização permite aprofundamento nos dados (7 citações), recursos auxiliam na demonstração dos resultados (3 citações), uso permitiu coletar mais dados (2 citações) e uso gera distanciamento de dados (1 citação).

No código recursos deixam os resultados mais evidentes, as falas de oito entrevistados (Alice, Dinah, Laura, Levi, Luan, Lucas, Mônica e Théo) indicam que os recursos dos QDAS, como os mapas de códigos, deixam os dados da pesquisa mais claros, auxiliando o processo de interpretação. A fala de Alice exemplifica as falas dos entrevistados nesse código:

“Eu acho que com o software, eu consegui compreender melhor, abstrair melhor e gerar resultados mais sólidos e válidos porque eu tinha as ferramentas .... Eu tinha umas ferramentas para eu poder gerar as matrizes, para eu poder gerar os gráficos, as tabelas. E quando eu gerava isso, eu ficava pensando ... “o que é que esse modelo está me dizendo?”, e a partir dessa esquematização que o software me dava, eu refleti mais em cima disso.” (Alice)

Ainda sobre os recursos dos QDAS, no código recursos auxiliam na demonstração dos resultados, as falas de três entrevistados (Alice, Lívia e Luan) indicam que as ferramentas de análise dos QDAS, como gráficos e mapas, tornaram os resultados da pesquisa mais inteligíveis e claros para os pesquisadores e leitores. A fala de Luan exemplifica este resultado: “Muitas vezes você tem instrumentos mais sofisticados para fazer o teste, para fazer buscas, para verificar”. Lívia também comentou sobre estes recursos: “o Alceste gerou o dendrograma, gerou uma série de gráficos e a apresentação dos resultados ficava muito mais inteligíveis ... É, eu acho que deixou o trabalho muito mais claro mais intuitivo”.

As falas contidas nos dois códigos acima mostram os efeitos positivos dos recursos dos QDAS no exercício da pesquisa, auxiliando na reflexão, compreensão e demonstração dos resultados. Essa informação está de acordo com os estudos de Aljunid (1996), Ang et al. (2016), Bazeley e Jackson (2013), Oliveira et al. (2016), Cope (2014), Gibbs (2014), Merriam e Tisdell (2016), Miles et al. (2014), Taft (1993), Tracy (2013) e Woods, Macklin et al. (2016). Esses autores afirmam que os recursos disponíveis e a facilidade na revisão de códigos encorajam os pesquisadores a realizarem experimentos e reflexões sobre os dados coletados.

No código sistematização permite aprofundamento nos dados, os relatos de quatro entrevistados (Laura, Marcos, Mônica e Théo) indicaram que com a sistematização eles tiveram mais tempo para realizar uma análise mais detalhada dos dados coletados. Como podemos observar na fala de Marcos: “O software ele já permite uma organização, até uma tranquilidade para aquilo que você está fazendo, para tentar chegar de uma forma mais detalhada, mais profunda e organizada”. A fala de Luan também indica que o uso do software permite que ele tivesse mais tempo para reflexão.

“Sobra mais espaço para você utilizar da sua capacidade cognitiva para interpretar, e não para se preocupar se você está anotando tal coisa, então eu acredito que você tem muito mais liberdade de raciocínio, liberdade para fazer uma análise crítica.... de forma artesanal você é inclusive também o instrumento de organização. ... te dá liberdade para você usar sua capacidade cognitiva para isso e não para criar pastinhas.” (Luan)

No código uso permitiu coletar mais dados, a fala de Marcos indica que o uso do QDAS agilizou o processo de organização dos dados e permitiu a realização de uma pesquisa longitudinal. Como observamos na fala de Marcos: “Sem o uso do QDAS, minha pesquisa mudaria bastante. Assim, eu teria que partir para um outro tipo de coleta. Eu não poderia até buscar tantas informações ... Teria que ser eu acho que mais transversal, mais rápido”.

Os relatos contidos nos dois códigos acima evidenciam os efeitos positivos dos recursos dos QDAS nas atividades do pesquisador como coleta, exploração e aprofundamento dos dados. Esse resultado está de acordo com os estudos de Bazeley e Jackson (2013), Oliveira et al. (2016), Cope (2014), Merrian e Tisdell (2016), Morison e Moir (1998) e Tracy (2013) e Woods, Macklin et al. (2016). Os autores afirmam que a automatização de algumas tarefas pelo software permite que o pesquisador dispense mais tempo e energia para pensar de forma criativa sobre a análise dos dados.

No código uso gera distanciamento de dados, Lívia menciona que, sem o uso do QDAS, ela conseguiu refletir melhor sobre os resultados, sob a justificativa de que o uso do software diminui o contato com os dados gerando um distanciamento prejudicial durante as análises.

“Eu acho que sem o software a gente reflete mais, porque você lê mais vezes as transcrições das entrevistas .... Eu acho que a reflexão é mais um trabalho manual mesmo, até porque na primeira pesquisa que foi de mestrado que eu não utilizei o software eu fiz a categorização no papel, então isso demandou muito mais reflexão mesmo, e conhecer profundamente as entrevistas do que por software.” (Lívia)

O efeito negativo identificado por Lívia corrobora os estudos de Goble et al. (2012), Holbrook e Butcher (1996), MacMillan (2005), e Morison e Moir (1998). Esses autores afirmam que o pesquisador corre o risco de perder a criatividade e o contato com a essência dos dados se mantiver o processo de reflexão direcionado apenas para as ferramentas do software.

Analisando os resultados dessa categoria, observamos que apesar de ser a única estratégia relacionada negativamente com o uso do QDAS, os registros na literatura e os entrevistados destacaram mais efeitos positivos do que efeitos negativos em relação a adoção do QDAS e a coerência do pesquisador. Os ganhos gerados pelo software como melhor compreensão e apresentação dos resultados, e maior detalhamento e agilidade na análise de dados, refletem positivamente no desenvolvimento de pesquisas acadêmicas e auxiliam no atendimento de critérios de confirmabilidade, credibilidade e dependabilidade/consistência.

Construção do corpus da pesquisa

A categoria construção do corpus, contou com as falas de seis entrevistados que relacionaram o uso dos QDAS com efeitos positivos na estratégia construção do corpus da pesquisa. Essa categoria é composta por apenas um código: auxilia na identificação da saturação teórica (6 citações).

No código criado, as falas dos entrevistados (Alice, Laura, Luan, Lucas, Marcos e Théo) indicam que os QDAS permitem uma boa visualização da repetição das falas, facilitando a identificação da saturação teórica. Esse aspecto foi observado na fala de Alice: “Auxilia com certeza porque eu posso até ter uma impressão mais clara de onde eu alcancei a saturação ou não. Porque eu posso está lá, vendo os códigos que eu criei, eu posso puxar os aspectos principais de cada entrevista”. E na fala de Luan:

“No ATLAS.ti^® você monta uma espécie de tabela de contingência, aonde você compara duas categorias, três categorias e você consegue estabelecer relações entre elas. E essa redundância muitas vezes nos achados faz com que você chegue aí, a um momento que você possa dizer que chegou a saturação teórica”. (Luan)

Outro aspecto evidenciado é a maior segurança em afirmar que se chegou a saturação teórica da pesquisa, como exemplificado na fala de Marcos: “agora com o software eu já consigo ter um pouquinho mais de segurança para afirmar”.

Esses resultados estão de acordo com Richards (2002), que afirma que o pesquisador pode identificar a saturação teórica por meio de modelos esquemáticos e gráficos gerados pelo QDAS na etapa da análise dos dados. O atendimento dessa estratégia reflete positivamente nas pesquisas acadêmicas, uma vez que ela está associada aos critérios de credibilidade, dependabilidade/consistência e transferibilidade.

Descrição detalhada da investigação

A categoria descrição detalhada da investigação, contou com as falas de quatro entrevistados que relacionaram o uso dos QDAS com efeitos positivos na estratégia descrição detalhada da investigação. Essa categoria é composta por dois códigos: registro automático do processo de análise auxilia no detalhamento (5 citações) e padronização de etapas permite maior detalhamento (3 citações).

No código registro automático do processo de análise auxilia no detalhamento, três entrevistados (Alice, Lucas e Mônica) afirmaram que o recurso dos QDAS que registra automaticamente o processo de análise auxiliou no detalhamento dos procedimentos metodológicos adotados na pesquisa. Esse aspecto é evidenciado nas falas de Alice e Lucas:

“com o software, você consegue detalhar muito bem o que você fez. ‘Primeira coisa, eu fui lá coloquei a transcrição, na segunda coisa, eu fui lá...’ Está sistematizado e tem os registros do software. Ele mesmo registra o que você fez”. (Alice).

“Então na etapa 1 foi feita a entrevista tal com quem? Aí vou lá puxo e já tenho um cara lá. Aí foi analisado quantas categorias? Vou no software e abro as categorias. Como que eu triangulei? Abro aquele mapa e está lá. Então, acho que com o software o detalhamento ficou mais rico”. (Lucas)

No código padronização de etapas permite maior detalhamento, dois entrevistados (Alice e Marcos) relataram que os QDAS padronizam o processo de análise e que isso permitiu um melhor detalhamento da investigação. A fala de Marcos exemplifica: “então precisa [usar os QDAS] até para poder ter essa comprovação do que nós estamos fazendo com essas etapas da pesquisa, com cada uma delas seguindo o rigor necessário”.

Os resultados corroboram com os resultados da pesquisa de Ang et al. (2016) que concluiu que o QDAS permite a criação de registros para uma trilha de auditoria, e com o estudo de James (2010) que afirmou que o software permite o registro preciso e consistente das etapas da pesquisa. Também estão de acordo com os estudos de Flick (2009), Gibbs (2014), Kelle (1997), Richards (2002) e Wolfe et al. (1993) que afirmam que o registro automático auxilia na formalização dos procedimentos metodológicos, e torna o processo da pesquisa mais transparente e explícito. O atendimento dessa estratégia gera ganhos nas pesquisas científicas, visto que a descrição detalhada da investigação está associada aos quatro critérios considerados nessa pesquisa: confirmabilidade, credibilidade, dependabilidade/consistência e transferibilidade.

Validação dos respondentes

A categoria validação com os respondentes, contou com as falas de três entrevistados (Alice, Lívia e Luan) que relacionaram o uso dos QDAS com efeitos positivos na estratégia validação dos respondentes. Essa categoria é composta por um código: permite gerar feedback detalhado (3 citações).

Nesta categoria, os entrevistados afirmam que os recursos dos QDAS facilitam o compartilhamento e a visualização dos dados da pesquisa pelos respondentes. Esses aspectos são evidenciados na fala de Alice: “Ajuda totalmente por que você já transcreveu, já está tudo lá, tudo codificado, você só já juntou as casinhas, né? No outro, eu enviaria só o que? Só a transcrição e as minhas anotações”. E na fala de Lívia: “A forma do entrevistado observar um mapa conceitual e entender os resultados do trabalho de uma maneira mais fácil”.

Esse resultado está de acordo com o estudo de Ang et al. (2016). O referido estudo mostrou que os pesquisadores que utilizaram o QDAS afirmaram que os relatórios gerados pelo software facilitavam o compartilhamento e a checagem de informações com os respondentes. A validação dos respondentes é uma estratégia importante na pesquisa qualitativa, e contribui para atender ao critério de credibilidade.

Validação por pesquisadores

A categoria validação por pesquisadores, contou com as falas de seis entrevistados que relacionaram o uso dos QDAS com efeitos positivos na estratégia validação por pesquisadores. Essa categoria é composta por quatro códigos: permite análise simultânea a distância (4 citações), facilita o compartilhamento de dados (3 citações), sistematização dos dados facilita a validação por pares (2 citações) e compartilhamento com outros pesquisadores agrega uma nova visão (1 citação).

No código permite análise simultânea, Levi e Luan relataram que os QDAS possuem recursos que permitem que vários pesquisadores realizem a análise de um mesmo material simultaneamente e à distância. Segundo eles, esse recurso foi fundamental para que adotassem a estratégia validação por pesquisadores nos seus trabalhos em grupo. Esses aspectos estão evidenciados na fala de Levi:

“Porque quando a gente está sem [o QDAS] aí fica aquele negócio: “Te mandei o arquivo em anexo por e-mail”, “vamos marcar tal data para a gente se encontrar na universidade para a gente discutir”. Quando você está com o programa você faz as modificações, em dois minutos você entra e já tem acesso a tudo que coloquei e você pode fazer as suas contribuições em cima das contribuições que eu já tinha feito no programa e aí a gente consegue trabalhar no mesmo corpus, no mesmo conteúdo sem necessariamente estar no mesmo local.” (Levi)

No código facilita o compartilhamento de dados, Luan e Lucas destacaram a facilidade do compartilhamento online de arquivos com os demais autores da pesquisa. Para eles, a possibilidade de compartilhar todo material coletado e analisado auxilia a adoção dessa estratégia. Como podemos observar na fala de Luan: “No ATLAS.ti^® foi mais fácil confrontar com o colega, pois os dois tinham acesso a base de dados”.

No código sistematização dos dados facilita a validação por pares, Alice e Marcos destacam que a sistematização dos dados pelo software deixa as informações mais claras e organizadas, e proporciona a melhor compreensão do processo de análise por outros pesquisadores. Como podemos observar na fala de Alice: “Também ajudou completamente porque já estava tudo sistematizado, aí ficava fácil para as outras pessoas que estavam totalmente fora entender. Porque já estava tudo junto, já estava tudo sistematizado”.

Por fim, no código compartilhamento com outros pesquisadores agrega uma nova visão, Mônica relatou que a facilidade de compartilhamento gerada pelos QDAS possibilita discussões que podem gerar uma nova visão sobre o tema estudado.

Os resultados dessa categoria mostram que a adoção do QDAS auxilia na validação com os respondentes principalmente nos seguintes aspectos: facilidade de compartilhamento de dados, possibilidade de análise simultânea a distância, e sistematização dos dados permite melhor compreensão pelos pesquisadores. Essas informações são confirmadas pelos estudos de Bazeley e Jackson (2013), Merriam e Tisdell (2016), Rambaree (2007), Stewart (2012), Wolfe et al. (1993), Taft (1993) e Tracy (2013), que falam que a possibilidade do compartilhamento de dados por meio de armazenamento computacional e em nuvem facilita a validação da análise com outros pesquisadores. A validação dos pesquisadores é importante no exercício da pesquisa, visto que está associada a critérios de confirmabilidade, credibilidade e dependabilidade/consistência.

Triangulação

A categoria triangulação, contou com as falas de sete entrevistados que relacionaram o uso dos QDAS com efeitos positivos na estratégia triangulação, que foi dividida em duas subcategorias: fontes e teorias. Na subcategoria fontes, estão alocados dois códigos: recursos permitem analisar diferentes tipos de dados (14 citações) e celeridade de análise permitiu coletar diferentes tipos de dados (1 citação). A subcategoria teorias também é formada por dois códigos: recurso de fichamento auxilia na triangulação de teorias (2 citações) e recursos evidenciaram necessidades por outras teorias (1 citação). Não foi criada uma subcategoria métodos, pois os entrevistados não relacionaram a triangulação de métodos com o uso do QDAS.

Na subcategoria fontes, o código recursos permitem analisar diferentes tipos de dados foi citado por sete entrevistados (Alice, Laura, Levi, Lívia, Lucas, Luan e Marcos) que relataram que os recursos disponíveis nos programas ajudaram na análise simultânea de diversos tipos de dados. Podemos observar isso nas falas de Laura e Luan que destacaram o papel do software durante o processo de análise.

“A necessidade de usar o NVivo veio mais por essa... não só a quantidade, mas pelas diferentes fontes, né? Então, eu tinha muitos documentos, muitas publicações, mais de 15 entrevistas, e umas 2.500 páginas de notas taquigráficas de um evento que aconteceu há dez anos atrás..... Assim, colocando tudo NVivo® ajuda muito mais.” (Laura)

“Sim, ele ajudou bastante. Nessa pesquisa que estou fazendo... você traz a mídia como uma das fontes de evidência, você traz a entrevista como fontes de evidência ou sites. Então você faz análise documental, utiliza entrevistas e o que você acha de documentos ou as próprias observações, as anotações neste campo.” (Luan)

Ainda na subcategoria fontes, o código celeridade de análise permitiu coletar diferentes tipos de dados foi citado por Levi. Esse código evidenciou que a agilidade da análise no QDAS permitiu coletar dados adicionais, conforme relatou Levi: “Ele contribuiu, porque como eu falei, como a gente tem mais celeridade na análise de dados .... Então nesse caso específico eu fiz com utilização do programa eu somei com observação, somei também com entrevistas e análise de documentos”.

Os resultados apresentados nessa subcategoria, evidenciam o principal ganho da adoção do QDAS na triangulação de fontes que é a análise ágil de diversos tipos de dados. Esses dados corroboram os estudos de Ang et al., (2016), Flick (2009), Gibbs (2014), Rambaree (2007), Saldaña (2009), Stewart (2012), Wolfe et al. (1993) e Tracy (2013) que afirmam que o software permite a análise simultânea de dados derivados de diversas fontes. Ademais, a triangulação de fontes é importante no trabalho do pesquisador, pois essa estratégia ajuda no atendimento dos critérios de confirmabilidade, credibilidade e dependabilidade/consistência.

Na subcategoria teorias, o código recurso de fichamento auxilia na triangulação de teorias foi citado por três entrevistados (Laura, Luan e Lucas) que afirmaram que a possibilidade de fazer o fichamento da teoria no próprio QDAS auxilia o cruzamento dos dados empíricos com os dados teóricos e auxilia a triangulação de teorias. O aspecto é evidenciado na fala de Luan:

“Se eu tenho os fichamentos da teoria, né? Então, o que eu entendo da teoria... depois eu pego o da outra teoria também e eu posso cruzar isso dentro do meu modelo, eu tenho uma teoria aqui lá embaixo e esse fenômeno sendo analisado pelas duas teorias” (Luan).

No código recursos evidenciaram necessidades por outras teorias, a fala de Laura relata que, a partir da melhor visualização da análise de dados proporcionada pelo QDAS, foram identificados dados que poderiam ser corroborados por outra teoria, o que permitiu a realização da triangulação de teorias. A fala de Laura abaixo mostra esse resultado:

“Porque quando eu organizei todas aquelas falas, aqueles eventos todos em uma coisa só, a gente consegue ter uma visualização melhor do processo do histórico, de tudo que foi feito. Então ajuda. Aí você fala ‘olha está faltando alguma coisa, vou atrás de outra’, ‘talvez essa teoria explique junto a terminar a situação’”. (Laura)

Apesar de ter emergido das falas de quatro entrevistados uma relação positiva entre a triangulação de teorias e as funcionalidades dos QDAS, não foram identificados na literatura estudos anteriores que demonstrassem essa relação. Diante da experiência positiva de três entrevistados no uso do QDAS e triangulação de teorias, sugerimos que pesquisas futuras se dediquem a compreender melhor essa relação.

Considerações Finais

A questão que esta pesquisa se propôs a responder foi: Como o uso dos QDAS afeta a qualidade da pesquisa qualitativa?. Respondemos essa questão mostrando que o uso de um QDAS não confere, automaticamente, qualidade à uma pesquisa qualitativa. A qualidade deste tipo de investigação depende, primeiramente, da competência do pesquisador com a pesquisa. Contudo, nos casos em que há essa competência, os resultados indicam que o uso dos QDAS gera efeitos positivos nos quatro critérios de qualidade da pesquisa. Os critérios de qualidade mais beneficiados pelo uso são a confirmabilidade e a credibilidade, ou seja, o software permite diminuir os vieses do pesquisador e tornar os resultados mais coerentes e confiáveis.

Os resultados mostram que o uso dos QDAS pode potencializar a adoção das estratégias de qualidade. As estratégias mais beneficiadas pelo uso foram, respectivamente, coerência do pesquisador e triangulação. Na coerência do pesquisador, as ferramentas dos QDAS permitiram que os pesquisadores tivessem mais insights sobre os dados do que quando eles não os utilizaram o software, enquanto na triangulação, o software permitiu que os pesquisadores gerenciassem diferentes tipos de dados. Apenas uma entrevistada narrou um efeito negativo do uso dos QDAS. Para esta entrevistada, o método tradicional (manual) possibilita melhor possibilidade de reflexão dos dados. Destacamos que esta mesma entrevistada relatou ganhos de qualidade em outras falas, afirmando, por exemplo, que o uso dos QDAS tornou os dados mais inteligíveis.

Diante desses resultados positivos, recomendamos a adoção do QDAS para análise de pesquisas qualitativas, visto que todos os entrevistados e a revisão da literatura associaram mais benefícios do que prejuízos, no que se refere ao atendimento dos critérios de qualidade. Contudo, alertamos sobre os possíveis prejuízos do uso do QDAS caso os pesquisadores não possuam as devidas competências necessárias. Como mencionado, a qualidade da pesquisa está associada, principalmente, ao conhecimento do pesquisador, pois o software não atribui qualidade a pesquisa de forma automática.

Em relação a contribuição para o desenvolvimento de pesquisas científicas, identificamos que os QDAS podem contribuir em mais uma estratégia de qualidade, que não havia sido relacionada anteriormente na literatura: a triangulação de teorias. Os entrevistados relataram que os recursos dos softwares, como o de fichamento, permitem organizar a literatura teórica e identificar as possibilidades de utiliza-las nos estudos. Frente a esse resultado, sugerimos que os pesquisadores busquem utilizar os QDAS para organizar, gerenciar e documentar o material teórico que embasa suas pesquisas.

A presente pesquisa contribui, sob o ponto de vista teórico com a apresentação da Tabela 3 na revisão da literatura, que relaciona de forma concisa as estratégias e os critérios de qualidade. Essa tabela pode ser utilizada como fundamentação teórica por outros pesquisadores, e também pode facilitar a avaliação dos critérios de qualidade adotados nas pesquisas. Sobre a contribuição prática, é esperado que os efeitos positivos do QDAS que foram evidenciados nas falas dos entrevistados e na literatura, sirvam como estímulo para adoção desse tipo de software por pesquisadores que estudam fenômenos de natureza qualitativa.

Esta pesquisa tem poder de generalização limitado. Os entrevistados realizaram apenas análise de conteúdo durante a utilização do software, portanto não foi possível identificar percepções advindas de outros métodos de análise. Em relação ao acesso aos informantes, as entrevistas foram suspensas quando não houve mais acesso a outros possíveis entrevistados, portanto a saturação teórica não foi atingida. Além disso, não foi empregada a análise de confiabilidade no desenvolvimento de códigos e o valor Kappa para medir a concordância entre os codificadores.

Quanto às sugestões para pesquisas futuras, recomendamos a investigação da relação entre QDAS e critérios de qualidade realizada por meio de análise documental, onde – ao invés de entrevistas – serão analisadas as informações sobre atendimento dos critérios registradas na metodologia de artigos ou teses. Sugerimos um estudo com a utilização de métodos multicritério, em que os avaliadores possam indicar por meio de pesos quais os critérios de qualidade são mais relevantes para publicação de artigos qualitativos. Também sugerimos uma pesquisa para investigar com mais profundidade a relação entre os ganhos do uso do QDAS e a triangulação de teorias.

Referências

• Aljunid, S. (1996). How to do (or not to do): Computer analysis of qualitative data: The use of ethnograph. Health Policy and Planning, 11(1), 107-111. https://doi.org/10.1093/heapol/11.1.107
  » https://doi.org/10.1093/heapol/11.1.107
• Ang, C. K., Embi, M. A., & Yunus, M. M. (2016). Enhancing the quality of the findings of a longitudinal case study: Reviewing trustworthiness via ATLAS. ti. The Qualitative Report, 21(10), 1855-1867. Retrieved from http://nsuworks.nova.edu/tqr/vol21/iss10/7/
  » http://nsuworks.nova.edu/tqr/vol21/iss10/7/
• Bazeley, P., & Jackson, K. (2013). Qualitative data analysis with NVivo (2nd ed.). London: Sage Publications Limited.
• Cope, D. G. (2014). Computer-assisted qualitative data analysis software. Oncology Nursing Forum, 41(3), 322-323. https://doi.org/10.1188/14.ONF.322-323
  » https://doi.org/10.1188/14.ONF.322-323
• Costa, P. R., & Itelvino, L. S. (2018). Grounded theory com utilização do software ATLAS.ti: Um exemplo empírico de estudo sobre estratégia de ascensão do empreendedorismo inovador em negócios sociais. Revista Ibero-Americana de Estratégia, 17(3). https://doi.org/10.5585/ijsm.v17i3.2683
  » https://doi.org/10.5585/ijsm.v17i3.2683
• Creswell, J. W. (2010). Projeto de pesquisa métodos qualitativo, quantitativo e misto (3a ed.). Porto Alegre: Artmed.
• Creswell, J. W. (2014). Investigação qualitativa e projeto de pesquisa: Escolhendo entre cinco abordagens (3a ed.). Porto Alegre: Penso.
• Flick, U. (2009). Introdução à pesquisa qualitativa (3a ed.). Porto Alegre: Artmed.
• Gibbs, G. (2009). Análise de dados qualitativos (Coleção pesquisa qualitativa). Porto Alegre: Artmed.
• Gibbs, G. (2014). Using software in qualitative analysis. In U. Flick (Eds.), The Sage Handbook of Qualitative Data Analysis (Chap. 19, pp. 277-294). Thousand Oaks: SAGE.
• Goble, E., Austin, W., Larsen, D., Kreitzer, L., & Brintnell, S. (2012). Habits of mind and the split-mind effect: When computer-assisted qualitative data analysis software is used in phenomenological research. Forum: Qualitative Social Research, 13(2). http://doi.org/10.17169/fqs-13.2.1709
  » http://doi.org/10.17169/fqs-13.2.1709
• Guba, E. G. (1981). Criteria for assessing the trustworthiness of naturalistic inquiries. Educational Communication and Tecnology, 29(2), 75-91. Retrieved from https://link.springer.com/article/10.1007/BF02766777
  » https://link.springer.com/article/10.1007/BF02766777
• Holbrook, A., & Butcher, L. (1996). Uses of qualitative data analysis in educational research: The literature, the hard questions and some specific research applications. Australian Educational Researcher, 23(3), 55-80. https://doi.org/10.1007/BF03219631
  » https://doi.org/10.1007/BF03219631
• James, M. (2010). The validity endeavor (Master in Sociology and Social Anthropology). University of Stellenbosch, Stellenbosch, Cabo Ocidental, África do Sul. Retrieved from http://scholar.sun.ac.za/handle/10019.1/4162
  » http://scholar.sun.ac.za/handle/10019.1/4162
• Kelle, U. (1997). Theory building in qualitative research and computer programs for the management of textual data size. Sociological Research Online, 2(2), 1-16. https://doi.org/10.5153/sro.86
  » https://doi.org/10.5153/sro.86
• Krefting, L. (1991). Rigor in qualitative research: the assessment of trustworthiness. The American Journal of Occupational Therapy, 45(3), 214-222. https://doi.org/doi:10.5014/ajot.45.3.214
  » https://doi.org/doi:10.5014/ajot.45.3.214
• Leitch, J., & Oktay, J. (2016). A dual instructional model for computer-assisted qualitative data analysis software integrating faculty member and specialized instructor: Implementation, reflections, and recommendations [Eletronic version], Qualitative Social Work, 15(3), 392-406. https://doi.org/10.1177/1473325015618773
  » https://doi.org/10.1177/1473325015618773
• Leite, Y. V. P., Moraes, W. F. A., & Salazar, V. S. (2016). Teoria adaptativa e ATLAS. ti 7: Uma parceria para o desenvolvimento de framework de empreendedorismo internacional. Revista Gestão & Tecnologia, 16(2). http://doi.org/10.20397/2177-6652/2016.v16i2.829
  » http://doi.org/10.20397/2177-6652/2016.v16i2.829
• Lewis, A., & Silver, C. (2007). Using software in qualitative research: A step-by-step guide Thousand Oaks, CA: SAGE.
• Lincoln, Y. S., & Guba, E. G. (1985). Naturalistic inquiry Newbury Park, CA: SAGE.
• MacMillan, K., (2005). More than just coding? Evaluating CAQDAS in a discourse analysis of news texts. Forum: Qualitative Social Research, 6(3). http://doi.org/10.17169/fqs-6.3.28
  » http://doi.org/10.17169/fqs-6.3.28
• MacMillan, K., & Koenig, T. (2004). The wow factor: preconceptions and expectations for data analysis software in qualitative research. Social Science Computer Review, 22(2), 179-186. https://doi.org/10.1177/0894439303262625
  » https://doi.org/10.1177/0894439303262625
• Merriam, S. B., & Tisdell, E. J. (2016). Qualitative research: a guide to design and implementation (4th ed.). San Francisco: Jossey-Bass.
• Miles, M. B., Huberman, A. M., & Saldana, J. (2014). Qualitative data analysis: A methods sourcebook (3rd ed.). Thousand Oaks: SAGE.
• Morison, M., & Moir, J. (1998). The role of computer software in the analysis of qualitative data: Efficient clerk, research assistant or Trojan horse? Journal of Advanced Nursing, 28(1), 106-116. https://doi.org/10.1046/j.1365-2648.1998.00768.xs
  » https://doi.org/10.1046/j.1365-2648.1998.00768.xs
• Oliveira, M., Bitencourt, C. C., Santos, A. C. M. Z., & Teixeira, E. K. (2016). Análise de conteúdo temática: Há uma diferença na utilização e nas vantagens oferecidas pelos softwares MAXQDA^® e NVivo^®?. Revista de Administração da Universidade Federal de Santa Maria, 9(1), 72-82. http://doi.org/10.5902/1983465911213
  » http://doi.org/10.5902/1983465911213
• Patton, M. Q. (2002). Qualitative research & evaluation methods (3rd ed.). Thousand Oaks: SAGE.
• Rambaree, K. (2007). Bringing rigour in qualitative social research: The use of CAQDAS. University of Mauritius Research Journal, 13, 1-15. Retrieved from https://www.ajol.info/index.php/umrj/article/view/130883/120461?frbrVersion=2
  » https://www.ajol.info/index.php/umrj/article/view/130883/120461?frbrVersion=2
• Richards, L. (2002). Rigorous, rapid, reliable and qualitative? Computing in qualitative method. American Journal of Health Behavior, 26(6), 425-430. https://doi.org/10.5993/AJHB.26.6.3
  » https://doi.org/10.5993/AJHB.26.6.3
• Saldaña, J. (2009). The coding manual for qualitative researchers London: SAGE.
• Shenton, A. K. (2004). Strategies for ensuring trustworthiness in qualitative research projects. Education for Information, 22(2), 63-75. https://doi.org/10.3233/EFI-2004-22201
  » https://doi.org/10.3233/EFI-2004-22201
• Sinkovics, R. R., & Alfoldi, E. A. (2012). Progressive focusing and trustworthiness in qualitative research. Management International Review, 52(6), 817-845. https://doi.org/10.1007/s11575-012-0140-5
  » https://doi.org/10.1007/s11575-012-0140-5
• Stewart, K. (2012). Considering CAQDAS: Using and choosing software. In S. Delamont (Eds.), Handbook of qualitative research in education (Chap. 37, pp. 503-511). Cheltenham: Edward Elgar.
• Taft, L. B. (1993). Computer-assisted qualitative research. Research in Nursing & Health, 16(5), 379-383. https://doi.org/10.1002/nur.4770160509
  » https://doi.org/10.1002/nur.4770160509
• Tracy, S. J. (2010). Qualitative quality: Eight “big-tent” criteria for excellent qualitative research. Qualitative Inquiry, 16(10), 837-851. http://doi.org/10.1177/1077800410383121
  » http://doi.org/10.1177/1077800410383121
• Tracy, S. J. (2013). Qualitative research methods: Collecting evidence, crafting analysis, communicating impact Chichester: Wiley-Blackwell.
• Walter, S. A., & Bach, T. M. (2015). Adeus papel, marca-textos, tesoura e cola: Inovando o processo de análise de conteúdo por meio do ATLAS.ti. Administração: Ensino e Pesquisa, 16(2), 275-308. https://doi.org/10.13058/raep.2015.v16n2.236
  » https://doi.org/10.13058/raep.2015.v16n2.236
• Welch, C., & Piekkari, R. (2017). How should we (not) judge the ‘quality’of qualitative research? A re-assessment of current evaluative criteria in International Business. Journal of World Business, 52(5), 714-725. https://doi.org/10.1016/j.jwb.2017.05.007
  » https://doi.org/10.1016/j.jwb.2017.05.007
• Wolfe, R. A., Gephart, R. P., & Johnson, T. E. (1993). Computer-facilitated qualitative data analysis: Potential contributions to management research. Journal of Management, 19(3), 637-660. https://doi.org/10.1016/0149-2063(93)90008-B
  » https://doi.org/10.1016/0149-2063(93)90008-B
• Woods, M., Macklin, R., & Lewis, G. K. (2016). Researcher reflexivity: exploring the impacts of CAQDAS use. International Journal of Social Research Methodology, 19(4), 385-403. https://doi.org/10.1080/13645579.2015.1023964
  » https://doi.org/10.1080/13645579.2015.1023964
• Woods, M., Paulus, T., Atkins, D., & Macklin, R. (2016). Advancing qualitative research using qualitative data analysis software (QDAS)? Reviewing potential versus practice in published studies using ATLAS.ti and NVivo, 1994–2013. Social Science Computer Review, 34(5), 597-617. https://dx.doi.org/10.1177/0894439315596311
  » https://dx.doi.org/10.1177/0894439315596311
• Yin, R. K. (2011). Qualitative research from start to finish New York: The Guilford Press.

• Financiamento
  Os autores informaram que não há existência de apoio financeiro para a pesquisa neste artigo.

Datas de Publicação

• Publicação nesta coleção
  27 Jun 2019
• Data do Fascículo
  May-Jun 2019

Histórico

• Recebido
  10 Nov 2017
• Revisado
  20 Dez 2018
• Aceito
  07 Fev 2019