Aplicação do conceito de crowdsourcing na avaliação de instituições de ensino superior: um estudo comparativo entre instituições públicas e privadas

Application of the crowdsourcing concept in the assessment of higher education institutions: a comparative study of public and private institutions

Resumos

O presente trabalho conduziu uma survey para capturar a importância percebida por discentes de Instituições de Ensino Superior brasileiras, públicas e privadas, sobre os fatores motivacionais que influenciam sua participação em avaliações institucionais, atividade observada à luz do conceito de crowdsourcing. Participaram da pesquisa 383 discentes, de três estados brasileiros e 25 cursos. Foi desenvolvida uma análise fatorial exploratória que definiu oito fatores motivacionais relevantes estatisticamente presentes nas respostas. Em seguida foi conduzida uma comparação entre as médias dos fatores e um teste paramétrico, com o objetivo de verificar a presença, ou não, de diferença da percepção dos fatores motivacionais entre os discentes das IES públicas e os discentes das IES privadas. Também foi conduzida uma análise de conteúdo de 93 respostas a uma questão aberta de resposta opcional, que fazia parte da mesma survey. O fator motivacional “relacionamento/socialização” emergiu como o mais relevante para os discentes de IES privadas, sendo que o fator motivacional “compartilhamento de conhecimento/altruísmo” também se destacou tanto entre os discentes de IES privadas quanto públicas. A análise das respostas à questão aberta evidenciou que os discentes relacionam a avaliação institucional a uma avaliação dos docentes, mais do que à avaliação da instituição.

Palavras-chave:
avaliação institucional; crowdsourcing; survey

The present work conducted a survey to capture the perceived importance of motivational factors that influence the participation of public and private Brazilian Higher Education Institutions’ students in institutional assessments, in light of the concept of crowdsourcing. 383 students from three Brazilian states and 25 programs participated in the research. An exploratory factor analysis was carried out, leading to eight statistically relevant motivational factors that appeared in the responses. Then, a comparison was made between the means of the factors based on a parametric test to check if the difference in perception of the motivational factors by students of public institutions and students of private institutions was statistically significant. A content analysis of 93 open responses was also conducted. The motivational factor “relationship / socialization” emerged as the most relevant for private institutions’ students. “Knowledge sharing / altruism” also stood out among students from private and public institutions. The analysis of the open question responses showed that students relate the institutional assessment to an assessment of their lecturers, only, not of the whole institution.

Keywords:
Institutional assessment; crowdsourcing; survey

1 Introdução

As Instituições de Ensino Superior (IES) públicas e privadas são responsáveis pela formação técnica e cognitiva de jovens que estão sendo preparados para ingressar no mercado de trabalho. Peixoto (2011) afirma que, diante do volume financeiro investido pelo governo, diretamente no caso das IES públicas, ou indiretamente no caso das IES privadas, por meio de bolsas e parcerias, as expectativas relativas à qualidade destas instituições são altas, tanto por parte do governo quanto da sociedade civil.

Freitas (2004) e Barreyro e Rothen (2008) afirmam que as instituições de ensino superior estão em constante construção e aprimoramento de seus planos, instrumentos e controles para avaliação da qualidade do ensino, das estruturas e de seus professores. A necessidade de desenvolver instrumentos que auxiliem a percepção das IES quanto àquilo que os estudantes precisam e os recursos disponíveis para alcançar tais necessidades não é recente, já sendo pecebida por Therrien e Hage Sobrinho (1984).

Com o objetivo de garantir legalmente o atendimento da necessidade de desenvolvimento de instrumentos de autoavaliação adequados, foi criada a Lei nº 10.861 de 2004 (BRASIL, 2004), que define as diretrizes para a avaliação das IES. Além do esforço conjunto de IES públicas e privadas e do Estado, na avaliação do seu desempenho, as instituições de ensino contam, também, com a colaboração de seus alunos, que participam destas atividades avaliativas (FREITAS, 2004).

O presente trabalho buscou analisar os fatores motivacionais envolvidos na participação de alunos nas avaliações de IES brasileiras, feitas por meio da web. Este tipo de atividade pode ser considerado uma forma de crowdsourcing, conforme definido nos trabalhos de Howe (2006), Chawla, Hartline e Sivan (2015) e Blohm et al. (2017), por se basear no desenvolvimento de uma atividade de avaliação de um serviço, desempenhada por uma multidão conectada. Mais especificamente, Sivula e Kantola (2015) e Saxton, Oh e Kishore (2013) afirmam que a atividade de crowdsourcing que avalia serviços e produtos pode oferecer aos participantes retornos pecuniários que podem envolver a simples satisfação por ajudar uma comunidade.

Para o desenvolvimento da presente pesquisa, foi utilizada uma survey com 36 afirmações em escala Likert de cinco pontos e uma questão aberta para que os respondentes pudessem mencionar outros motivos ou fazer considerações sobre a pesquisa. As afirmações da survey tiveram como base uma Revisão Sistemática de Literatura (RSL) desenvolvida em um trabalho anterior que levantou nove fatores motivacionais relacionados à participação de indivíduos em atividades de crowdsourcing.

Após a participação de 383 estudantes na survey, pertencentes a mais de vinte diferentes cursos de graduação, de IES públicas e privadas localizadas em três estados brasileiros, foi realizada uma análise fatorial exploratória (AFE). Esta AFE definiu oito categorias de fatores motivacionais, dentre as nove que haviam sido obtidas a partir da RSL, as quais foram utilizadas para o desenvolvimento das análises, com base nas médias obtidas e de um teste paramétrico t. O objetivo do teste t foi verificar se havia diferenças estatisticamente significativas entre os fatores motivacionais que influenciam a participação de estudantes de IES públicas e de estudantes de IES privadas.

Também foi analisado o conteúdo das respostas da questão aberta, o que permitiu categorizar as percepções dos participantes, que trouxeram novos elementos motivadores e desmotivadores da participação dos estudantes nas avaliações das IES. O trabalho está estruturado da seguinte forma: é apresentada uma seção de levantamento de literatura, em seguida é apresentada a estrutura metodológica e análises dos resultados obtidos. Por fim, são apresentas as conclusões, limitações e possibilidades de trabalhos futuros.

2 Revisão da literatura

2.1 Avaliação institucional

A avaliação institucional na educação superior está normatizada pela Lei nº 10.861, de 14 de abril de 2004, pelo Sistema Nacional de Avaliação da Educação Superior (SINAES). Peixoto (2011) afirma que as avaliações institucionais representam dois importantes aspectos: o primeiro se refere tanto às IES públicas quanto privadas, já que são responsáveis pela capacitação de indivíduos que atuarão no mercado de trabalho, o que representa um direito fundamental daqueles que nelas são formados, o segundo aspecto concerne às IES públicas, devido a estas consumirem grande volume de recursos do Estado, que precisa estar seguro da qualidade dos investimentos realizados.

Tendo em vista as responsabilidades das IES públicas e privadas sobre o processo de desenvolvimento educacional e suas repercussões, Therrien e Hage Sobrinho (1984) e Silva et al. (2018) afirmam que as avaliações deveriam abarcar diferentes fatores como: a produtividade, os recursos investidos e o retorno percebido, a eficiência gerencial, entre outros. Jesus e Bedritichuk (2018) salientam que as avaliações são voltadas para os cursos disponibilizados pela IES, para os estudantes e ainda para a infraestrutura da IES, sendo que a avaliação feita pelos discentes é um elemento essencial que compõe a autoavaliação da instituição. Estas avaliações são feitas por meio de diferentes instrumentos e, segundo Andriola e Araujo (2018), apesar da importância da adoção de indicadores estatísticos na avaliação, estes nem sempre são completos, sendo necessárias avaliações qualitativas complementares.

Para Cunha (2006), mesmo com a possibilidade de aplicação de variados indicadores e técnicas de levantamento de dados para a composição da avaliação institucional, a percepção dos alunos pode ser centralizada na figura do professor e seus métodos. Santos (2019) relata que o ensino está voltado, atualmente, para o desenvolvimento técnico ou funcionalista do aluno e que, sendo assim, os professores acabam sendo avaliados com base em demandas empresariais por melhoria na eficiência produtiva.

Apesar das diferentes necessidades de conhecimento demandadas ao longo do período universitário, tanto em relação ao professor quanto à IES, Pensin e Pacheco (2018) afirmam que nem todos os professores universitários possuem formação didática adequada. Muitos desses profissionais acabam desenvolvendo habilidades pedagógicas de acordo com a necessidade e a partir da própria prática. Estas habilidades, assim como a estrutura da IES, são avaliadas pelos estudantes por meio de instrumentos desenvolvidos pelos gestores, não havendo um padrão sobre a forma do instrumento de pesquisa. Silva et al. (2018) consideram que tanto o instrumento de pesquisa quanto a própria avaliação podem ser melhorados com a aplicação de ferramentas tecnológicas e que esta avaliação deve estar alinhada às diretrizes para a educação.

2.2 Crowdsourcing, avaliação e fatores motivacionais

A avaliação ou desenvolvimento de produtos e serviços para uma organização, por meio da participação dos indivíduos que não fazem parte da estrutura de funcionários de uma organização não é recente. Hossain e Kauranen (2015) citam o caso da coroa britânica que, em 1714, ofereceu uma recompensa para qualquer indivíduo que desenvolvesse uma calculadora específica. Contudo, apesar do caso relatado se tratar de uma forma de busca de solução de um problema a partir da inteligência coletiva de uma massa de indivíduos, foi somente em 2006 que Howe cunhou o termo crowdsourcing. De acordo com o próprio Howe (2006), o termo crowdsourcing se refere à realização de atividades variadas por uma multidão dispersa geograficamente, mas virtualmente conectada.

Segundo Chawla, Hartline e Sivan (2015) e Blohm et al. (2017), a aplicação do conceito de crowdsourcing é ampla e aborda desde atividades simples como avaliar a prestação de um serviço até desenvolver uma solução de algoritmo complexa para uma plataforma de streaming. Borromeo e Toyama (2016) e Mao et al. (2017) afirmam que o crowdsourcing representa uma forma de computação humana na busca de informações ou prestação de serviços. Tendo em vista a complexidade do crowdsourcing e suas variadas aplicações, são muitos os elementos que influenciam a participação de um indivíduo no desempenho de uma atividade. Dentre estes elementos, diferentes autores, dentre os quais Malone, Laubacher e Dellarocas (2010), Estélles-Arolas e González-Ladrón-de-Guevara (2012), Zogaj, Bretschneider e Leimeister (2014), Zheng, Li e Hou (2014), Nakatsu, Grossman e Iacovou (2014), Sivula e Kantola (2015), Prpic, Taeihagh e Melton (2015) e Soliman e Tuunainen (2015), destacam os fatores motivacionais que levam os indivíduos a desempenhar as atividades, além dos tipos de atividades desempenhadas pelos participantes, como importantes itens a serem considerados para garantir o sucesso de uma iniciativa de crowdsourcing.

Atualmente, observa-se o conceito de crowdsourcing sendo aplicado, especialmente, nas atividades desempenhadas de forma digitalizada, fragmentada e distribuída virtualmente, incluir dentre as quais está a realização de avaliações (CARUSO, 2018; QIN et al., 2016). Dessa forma, Gao et al. (2015) afirmam que os dados gerados por indivíduos conectados, em cada uma de suas atividades, são compilados e podem se tornar importantes informações na busca por soluções de problemas e inovações pelas organizações. Atribui-se ao crowdsourcing grande relevância, diante de um cenário caracterizado como Indústria 4.0, onde o engajamento de indivíduos conectados funciona como um fator de agregação de valor ao processo produtivo (PILLONI, 2018; QIN et al., 2016). Nesse sentido, a multidão conectada passa a impactar diretamente os processos das organizações, tendo suas percepções e opiniões transformadas em dados, compiladas em sistemas computacionais em nuvem para, então, municiar as organizações em suas tomadas de decisão (GUO; JIANG, 2018; VIANNA; GRAEML; PEINADO, 2018).

Entre as vantagens do modelo de crowdsourcing está a facilidade no alcance dos indivíduos, considerando que a participação ocorre em plataformas digitais acessíveis por dispositivos smartphone, em muitos casos (SINGH et al., 2017). A facilidade de participar utilizando dispositivos que se encontram à mão também contribui para aumentar a possibilidade desses indivíduos se engajarem por motivações não financeiras, reduzindo o custo envolvido (HOWE, 2006; VIANNA; PEINADO; GRAEML, 2018). Por fim, a heterogeneidade da multidão envolvida reduz a interferência de vieses individuais no resultado obtido por uma multidão de participantes, já que uns anulam os outros.

Por outro lado, entre as desvantagens do modelo de crowdsourcing, é possível elencar três. Primeiro, a própria necessidade de engajamento de uma multidão de indivíduos, que nem sempre buscam os mesmos objetivos a partir da sua participação (RANDHAWA; WILDEN; WEST, 2019). Segundo, pode ser necessário utilizar plataformas pagas para a coordenar o esforço de crowdsourcing ou, no caso de utilização de plataformas gratuitas, pode não haver segurança quanto a forma como os dados serão capturados e tratados (VIANNA; MENEGHETTI, 2020). E, por fim, a baixa flexibilidade do tipo de atividade a ser desempenhada por meio de plataformas de crowdsourcing também pode ser um desestímulo ao engajamento e realização das tarefas necessárias (YAN; DING; GU, 2016).

Em relação à avaliação das IES públicas e privadas pelos discentes, Sivula e Kantola (2015) atribuem a este tipo de atividade o termo crowdevaluation, enquanto Saxton, Oh e Kishore (2013) preferem o termo consumer report model. Este tipo de atividade se caracteriza, de acordo com Saxton, Oh e Kishore (2013) e Nakatsu, Grossman e Iacovou (2014), por um retorno ou feedback dos usuários a respeito da prestação de um serviço. Tal atividade poderia ser recompensada de maneira pecuniária ou desempenhada de maneira voluntária, envolvendo, assim, outros fatores motivacionais (SIVULA; KANTOLA, 2015; SAXTON; OH; KISHORE, 2013; NAKATSU; GROSSMAN; IACOVOU, 2014). Nesse sentido, no caso da avaliação institucional de IES pelos discentes, estes são os usuários conectados digitalmente envolvidos no crowdsourcing para municiar as IES com dados, a partir de suas experiências, opiniões e percepções sobre os serviços educacionais que lhes são prestados.

Quanto aos fatores motivacionais que influenciam a participação dos indivíduos em determinadas atividades por meio de crowdsourcing, ainda há diferentes categorizações desenvolvidas pelos autores que pesquisam na área. Estas diferentes categorizações são percebidas tanto em relação à própria recompensa, que varia entre monetária, amor, altruísmo ou socialização, entre outras (MALONE; LAUBACHER; DELLAROCAS, 2010; HOSSEINI et al. 2015; BRETSCHNEIDER; LEIMEISTER; MATHIASSEN, 2014; TRAN; PARK, 2015; PEE; KOH; GOH, 2018), quanto em relação às características da percepção da motivação, que podem ser intrínsecas e extrínsecas (AITAMURTO, 2015; SUKAINI et al., 2015; LIANG et al., 2018).

3 Procedimentos metodológicos

O presente trabalho é delineado como uma pesquisa quantitativa da ciência social, já que busca compreender o comportamento humano e social, por meio da análise de dados quantitativos (IMAI, 2018). Para Marteleto (2018), o delineamento quantitativo, quando aplicado às ciências sociais, permite a compreensão do funcionamento e estrutura de redes sociais. No caso deste trabalho, que objetiva compreender os fatores motivacionais envolvidos na participação de estudantes em avaliações de IES públicas e privadas, Nardi (2018) a realização de uma survey.

Como base para o desen vol vimento do instru mento de pesquisa deste artigo, foi adotado o mesmo con jun to de fatores motivacionais relacionados à participação em plataformas de crowd sourcing levantado por Vianna, Graeml e Peinado (2018), em uma revisão sistemática de literatura. Estes fatores são apresentados no Quadro 1: Financeiro; Reconhecimento/Glória; Oportunidade profissional/Carreira; Conhecimento e desenvolvimento de habilidades; Relacionamento/Socialização; Prazer/Diversão; Interesse Próprio; Compartilhamento de informações ou conhecimento/Altruísmo; e Amor.

Como instrumento de coleta de dados, utilizou-se uma survey que, segundo Babbie (2003) e Moser e Kalton (2017), além de trazer dados sobre diferentes áreas do ambiente social e econômico, permite que tais dados sejam revisitados devido à sua característica permanente.

Quadro 1
Fatores motivacionais relacionados às atividades de crowdsourcing

Fator motivacional	Explicação
Financeiro	Retorno financeiro a partir da colaboração ou retorno material (BRABHAM, 2010; ANTHUAN; SHOAUB; JOOYOUNG, 2012).
Reconhecimento/glória	Reconhecimento de terceiros, autoafirmação ou reação de outros quanto à participação (COLEMAN; GEORGIADOU; LABONTE, 2009; BRABHAM, 2008).
Oportunidade profissional/ carreira	Novas oportunidades de carreira ou desenvolvimento de portfólio (ANTHUAN; SHOAUB; JOOYOUNG, 2012; ZOLKEPLI; HASNO; MUKHIAR, 2015).
Conhecimento e desenvolvimento de habilidades	Aprendizado, aprendizado por meio do ensino, estímulo intelectual e de criatividade (BRABHAM, 2010; HOSSEINI et al., 2015).
Relacionamento/socialização	Desenvolvimento de rede de contatos ou pertencimento a um grupo (LEIMEISTER et al., 2009; BRETSCHNEIDER; LEIMEISTER; MATHIASSEN, 2014).
Prazer/diversão	Prazer com a atividade, hedonismo (BORST, 2010; KOSONEN et al., 2014).
Interesse próprio	Autodesafio (BORST, 2010; VASANTHA; CORNEY; SMITH, 2014).
Compartilhamento de conhecimento/ altruísmo	Contribuição e ajuda a outras pessoas (ANTHUAN; SHOAUB; JOOYOUNG, 2012; HOSSEINI et al., 2015).
Amor	Amor por uma comunidade ou por uma tecnologia que permita desempenhar uma atividade (HOSSEINI et al., 2015; ZOLKEPLI, HASNO; MUKHIAR, 2015).

• Fonte: VIANNA, F. R.; GRAEML, A. R.; PEINADO, J. As motivações que levam usuários a participar de plataformas de crowdsourcing online. In: SIMPÓSIO DE ADMINISTRAÇÃO DA PRODUÇÃO, LOGÍSTICA E OPERAÇÕES INTERNACIONAIS, 22., 2018, São Paulo. Anais [...]. São Paulo: FGV, 2018.

A survey foi estruturada com 36 afirmações em escala Likert de cinco pontos variando entre “(1) discordo totalmente” e “(5) concordo totalmente”. Uma questão aberta foi inserida ao final da survey para que os respondentes pudessem mencionar outros fatores motivacionais que não tivessem sido contemplados nas afirmações, o que permitiu realizar uma análise de conteúdo e categorização destes fatores motivacionais não antecipados a partir da revisão de literatura.

A survey incluiu também algumas questões para o levantamento de variá veis de controle como: idade, gênero e tipo de IES em que estuda.

3.1 Definição da amostra

Para participar da pesquisa o respondente em potencial deveria ser estudante de algum curso de graduação em uma IES pública ou privada brasileira.

3.2 Procedimento de coleta de dados

Seguindo semelhante método ao adotado por Peinado e Graeml (2016), a survey foi submetida a um pré-teste junto a estudantes universitários de uma IES pública. O link para a survey foi hos pedado na plataforma GoogleDocs, e enviado, inicialmente, para uma lista de emails incluindo todos os 323 alunos do curso de graduação em Administração da IES. O retorno de 36 respostas permitiu testar o instrumento de pesquisa.

Como não foi detectada nenhuma necessidade de ajuste no formulário, em decor rência de dificuldade de entendimento pelos respondentes ou identificação de qual quer outro problema a survey foi, em seguida, divulgada pelos próprios pes qui sadores nas suas redes sociais e plataformas de comunicação, como Facebook e Whats App, fazendo-se valer de amostra não probabilística dos seus contatos pessoais para iniciar uma “bola de neve”, com o objetivo de alcançar estudantes universitários de IES públicas e privadas brasileiras. De acordo com Freitas et al. (2000), Bickman e Rog (2008) e Dancey e Reidy (2006), uma amostra não probabilística é eficiente em pesquisas que envolvem grupos esparsos, nos quais a identificação ou localização da população não é limitada a uma determinada região.

Em pouco mais de trinta dias após a divulgação por redes sociais e plataformas de trocas de mensa gens online, a pesquisa já contava com mais de 300 respostas, chegando a 383 respon dentes trans corridos 37 dias do início da coleta. Participaram estudantes de três estados brasileiros de 25 diferentes cursos.

3.3 Procedimento de tratamento e análise dos dados

Os dados quantitativos obtidos na pesquisa foram analisados estatisticamente com o auxílio do software Statistical Package for the Social Sciences (SPSS), versão 23. Inicialmente, procedeu-se a uma análise descritiva de cada uma das 36 variáveis medidas na survey, por meio de uma análise exploratória de dados (AED). Em seguida, adotando recomendação de Dancey e Reidy (2006) e Pallant (2013), os dados foram submetidos a análises gráficas para um entendimento inicial do comportamento dos participantes e melhor vi su a li zação dos dados. Já os dados qualitativos foram analisados de acordo com a técnica de análise de conteúdo que, de acordo com Bauer (2003, p. 191) pode ser utilizada “para produzir inferências de um texto focal para seu contexto social de maneira objetivada”.

Em seguida foi aplicada uma Análise Fatorial Exploratória (AFE) (HAIR et al., 2005), que resultou em oito fatores. A adequação fatorial foi avaliada por meio dos testes Kaiser-Meyer-Olkin (KMO) e esfericidade de Bartlett, que apresentaram os resultados: KMO = 0,882 e teste de Barlett = .000 (p-value < 0.001). Por meio da AFE foram definidos os oito fatores, com base naqueles que apresentavam um eigenvalue maior que um, de acordo com método adotado por Pallant (2013).

Os fatores capturaram aproximadamente 63% da variabilidade dos dados, estando acima do percentual mínimo de variância sugerido por Malhotra (2001), de 60%. Foram calculados, então, a média e o desvio-padrão para os fatores motivacio nais pes qui sados e também foi efetuada a análise de confiabilidade interna dos fato res, com o cálculo do alfa de Cronbach, conforme apresentado na Tabela 1.

Tabela 1
Análise dos fatores motivacionais identificados na AFE

Fator	Média	Desvio Padrão	Alfa de Cronbach
Fator 1	4,49	0,61	.798
Fator 2	1,86	0,80	.865
Fator 3	2,14	1,00	.843
Fator 4	3,42	1,07	.799
Fator 5	2,94	0,85	.627
Fator 6	3,92	0,98	.626
Fator 7	3,00	1,18	.702
Fator 8	2,19	1,15	.720

• Fonte: Os autores com base nos dados da pesquisa.
• Nota: Na seção de discussão dos resultados, mais adiante, é atribuído um nome a cada um desses fatores, com base nas afirmações que acabaram sendo agrupadas para formar cada um deles.

De acordo com Hair et al. (2005), Pallant (2013) e Corrar, Paulo e Dias Filho (2007), o cálculo do alfa de Cronbach busca avaliar confiabilidade de uma determinada escala, composta por diferentes variáveis, sendo utilizado especialmente em pesquisas empíricas. Apesar de alguns autores adotarem valores acima de 0,7 como adequados para esta métrica, Hair et al. (2005) consideram adequados valores acima de 0,6, para estudos exploratórios. Também foram excluídas cinco variáveis, seguindo a orientação de Pallant (2013), nos casos em que a eliminação das variáveis contribuía para o aumento da confiabilidade do fator.

Em seguida foi efetuado um teste paramétrico caracterizado por Pallant (2013) e Hair et al. (2005) como teste t de amostra independente. Este teste teve o objetivo de verificar eventuais diferenças entre os grupos formados por IES públicas e privadas, a partir das médias obtidas para as respostas de participantes provenientes desses grupos distintos. A aplicação desse tipo de teste é adequada em casos que envolvem uma variável categórica e independente (participante de IES pública ou privada) e outra variável contínua e dependente (variáveis relacionadas aos oito fatores motivacionais identificados na pesquisa), a partir da AFE.

Também foi realizada uma análise de conteúdo das respostas da questão aberta, com o objetivo de levantar outros possíveis fatores motivacionais positivos ou negativos que influenciam a participação dos alunos nas avaliações.

4 Resultados obtidos

Houve um equilíbrio entre o gênero dos respondentes: 53,1% do sexo masculino e 46,4% do sexo femini no. Aproximadamente 95% dos respondentes estão na faixa etária entre 17 e 35 anos. Aproximadamente 83% estudam em IES públicas.

As questões que foram agrupadas dentro de cada fator na AFE estão relacionadas no Quadro 2, resultando em oito fatores motivacionais, os quais foram analisados e atribuídos títulos mencionados anteriormente no Quadro 1. O fator “Prazer/Diversão” teve suas variáveis incorporadas aos demais fatores na AFE, sem que isso representasse prejuízo à análise.

Quadro 2
Fatores motivacionais obtidos a partir da AFE

	Fator 1: Compartilhamento de conhecimento/Altruísmo
P1	Avalio os professores e a estrutura para melhorar o ambiente acadêmico para meus colegas e os próximos alunos que virão.
P2	Colaboro com as avaliações para que outros alunos não passem pelas mesmas dificuldades pelas quais passei.
P3	As melhorias que poderão ser efetuadas a partir da minha avaliação me motivam a avaliar com mais atenção.
P4	Avalio a instituição, porque gosto de ajudar outros alunos.
P25	O sentimento que tenho pelo próximo (alunos e professores) me motiva a colaborar para ajudar em seu desenvolvimento e aprendizado.
Fator 2: Oportunidade profissional
P17	Quero compreender o que faz as pessoas avaliarem bem os professores para poder, eu mesmo, na minha profissão, ser bem avaliado.
P18	Quero compreender o que faz as pessoas avaliarem bem os professores pela web porque acredito que, assim, posso, eu mesmo, caso preste um serviço que venha a ser avaliado por alguém, prestar um melhor serviço.
P19	Empenho-me nas avaliações, pois acredito que também posso ser beneficiado profissionalmente ao entender como são feitas estas avaliações.
P20	Percebo nestas avaliações oportunidades de desenvolver um modelo de avaliação para o meu próprio trabalho.
Fator 3: Conhecimento e desenvolvimento de habilidades
P11	Sinto satisfação em participar e contribuir com informações e com minha percepção sobre as aulas.
P31	Colaboro porque acho legal/importante ver minha colaboração com relação ao desempenho de um professor em específico.
P33	Colaboro com a avaliação pela web para melhorar a minha percepção com relação aos professores, seu conhecimento, cordialidade e nível de serviço, fatores que passei a observar após começar a realizar avaliações na instituição.
P34	Colaboro com a instituição por meio de avaliações para melhorar a minha percepção sobre as condições da instituição, limpeza e manutenção, fatores que passei a observar após começar a avaliar a instituição.
P35	A cada nova avaliação busco melhorar as minhas avaliações ou comentários.
Fator 4: Reconhecimento/Glória
P13	Se a faculdade/universidade desenvolver um ranking de colaborações e participações, me sentirei mais motivado a participar.
P14	Se for criado um ranking de avaliação dos alunos irei me dedicar mais e elaborar melhores avaliações.
P15	Sinto-me motivado a avaliar, pois posso conversar com colegas, amigos e meus familiares sobre aquilo que avalio bem e mal sobre os professores e a instituição.
P16	Gosto de participar da avaliação pois, depois de avaliar, converso com meus colegas ou familiares sobre aquilo que avaliei bem e mal.
Fator 5: Relacionamento/Socialização
P5	Ao avaliar a estrutura e os professores, me sinto parte da comunidade acadêmica.
P7	A avaliação pela Internet me aproxima de meus colegas, pois todos avaliamos pela mesma página ou aplicativo.
P8	O fato de existirem classificações e frases predeterminadas para avaliar professores e instituição estimula minha colaboração.
P21	O fato de só ter acesso às notas e presenças após efetuar a avaliação é (ou seria) o principal motivo para participar da avaliação dos professores e da instituição.
P32	Tenho meus próprios interesses para participar da avaliação, não sendo importante para mim se o resultado afetará outras pessoas.
Fator 6: Amor
P27	Tenho um sentimento positivo pelas novas tecnologias. Isso me motiva a colaborar por meio de avaliações e comentários.
P28	A possibilidade de sempre ter contato com novos professores e mudanças na estrutura da instituição me motiva a colaborar e avaliar.
Fator 7: Financeiro
P22	Se houvesse um incentivo financeiro para avaliarmos, como um prêmio a ser sorteado, por exemplo, a qualidade de minhas participações seria melhor.
P23	A distribuição de prêmios NÃO me faria colaborar mais do que já colaboro na avaliação dos docentes e da infraestrutura da instituição.
P24	Com certeza participaria mais, se houvesse promoções ou parcerias com plataformas de estudos ou escolas de línguas, nas quais eu pudesse ganhar cursos ou ter descontos em cursos.
Fator 8: Interesse próprio
P29	Ao inserir um conteúdo ou avaliação, não me importo com o que os outros pensam sobre minha avaliação.
P30	Colaboro porque acho interessante para mim, não me influenciando o fato de outros gostarem ou não de minhas avaliações.

• Fonte: Os autores com base nos dados da pesquisa.

Teste t de influência do fato de a IES ser pública ou privada sobre percepção dos fatores de motivação

Fez-se necessário verificar se todos os fatores atendiam ao pressuposto de igual variância, ou seja, a variância para os dois grupos (IES públicas e IES privadas) era mesma. Este pressuposto não pode ser refutado no caso do nível de significância do teste de Levene ser superior a 0,05 (p > 0,05). Conforme apresentado na Tabela 2, todos os fatores contam com p > 0,05.

Em seguida, foram avaliadas as diferenças entre os dois grupos, adotando-se o teste t. Só são significativas diferenças que apresentem significância bilateral igual ou inferior a 0,05 (PALLANT, 2013).

Tabela 2
Testes de Levene e significância bilateral para diferença na percepção de fatores motivacionais por indivíduos que estudam em IES públicas e IES privadas

Fator	Teste de Levene (p > 0,05)	F	Sig. (bilateral) (p < 0,05)
1. Compartilhamento de conhecimento/altruísmo	.483	0.492	.361
2. Oportunidade profissional	.199	1.654	.010
3. Conhecimento e desenvolvimento de habilidades	.132	2.284	.001
4. Reconhecimento/glória	.791	0.070	.002
5. Relacionamento/socialização	.368	0.813	.000
6. Amor	.395	0.725	.003
7. Financeiro	.117	2.472	.033
8. Interesse próprio	.556	0.347	.040

• Fonte: os autores com base nos dados da pesquisa.

É possível perceber que todos os fatores apresentam significância para o teste de Levene, indicando que não se pode afirmar que as variâncias para os dois grupos de respondentes (participantes de IES públicas e privadas) são distintas (teste de Levene). Por outro lado, os fatores “Conhecimento e desenvolvimento de habilidades”, “Reconhecimento/glória”, “Relacionamento/Socialização” e “Amor” apresentam diferenças significativas entre as médias para os dois grupos, conforme ilustrado na figura 1.

Figura 1
Diferença das médias dos fatores entre as IES públicas e IES privadas

Análise de conteúdo das respostas descritivas dos respondentes

Do total de 316 respondentes, 95 inseriram algum conteúdo na questão aberta. Para a análise das respostas a esta questão, seguiu-se a orientação de Bauer (2003), para quem a codificação deve ser efetuada com base em palavras e termos semelhantes adotados pelos respondentes. Foi possível, então, categorizar estas participações, conforme apresentado a seguir.

Melhorar os professores: Os respondentes afirmaram que sua motivação para responder às avaliações institucionais está relacionada a “melhorar os professores”. Respostas como “melhorar o nível dos mestres...” e “motivar o professor a certas ações e sugerir mudanças de conduta” fazem parte desta categoria. A percepção do professor como um elemento que pode ser mudado a partir das avaliações fica evidente nesta categoria, a partir de afirmações como: “Avalio para que os professores que estejam realizando aulas de má qualidade sejam analisados pela universidade...” e “Eu participo porque espero uma melhora dos professores mal avaliados...”. Nesta categoria também são contemplados os agradecimentos aos professores ou feedbacks positivos, como “acho importante o professor saber se está cumprindo os critérios estabelecidos e fazer um elogio” e “elogios motivam cada vez mais”.

Melhorar a IES ou o curso: Os estudantes também afirmaram que sua motivação para responder às avaliações institucionais está relacionada a “melhorar a IES ou o curso”. Respostas como “...aumentar a qualificação do curso” e “mostrar para a instituição o que precisa ser melhorado e o que é bom ser valorizado” fazem parte desta categoria.

Baixo impacto da avaliação: Os estudantes ainda afirmaram que, mesmo participando das avaliações, não percebem mudanças no curso ou na instituição. Afirmações como “ainda não vi melhora...” e “O maior motivo que causa desânimo ou falta de interesse na avaliação dos docentes é o fato de ela não ter efeito nenhum nos professores (ao menos do ponto de vista de um aluno), um professor pode ser consistentemente mal avaliado e nada acontece...” E há ainda respondentes que afirmam não participar das avaliações por “...dúvidas da eficiência de seu resultado”.

Outras considerações relevantes: Faz-se importante ainda mencionar que foram feitas críticas ao método de pesquisa, nas quais os alunos sugeriram uma avaliação conjunta e qualitativa com a participação de professores e alunos. Ainda houve situações nas quais os alunos criticaram o fato de os instrumentos de coleta de dados das avaliações serem elaborados com “pouquíssimos campos de avaliação”. E, por fim, em alguns casos os alunos se referiram às aulas como prestação de serviços, afirmando que participavam das pesquisas “para melhorar a qualidade do serviço prestado”.

5 Análise dos resultados

Quanto aos resultados obtidos, foi possível observar duas principais questões. A primeira está relacionada às diferenças entre os grupos de respondentes, os fatores que motivam esses grupos a participarem de avaliações por meio de dispositivos e plataformas digitais e a própria avaliação por meio de questão aberta. A segunda questão está relacionada às vantagens da utilização do conceito de crowdsourcing como lente para observar a avaliação das IES. Inicialmente foi possível verificar que a diferença entre os grupos de respondentes que estudam em IES públicas e privadas, quanto aos fatores motivacionais, é moderadamente significativo em relação ao fator “relacionamento/ socialização”. De acordo com os resultados apresentados, os respondentes que estudam em IES privadas são mais influenciados pelo fator “relacionamento/socialização” do que os respondentes que estudam em IES públicas. De acordo com Bretschneider, Leimeister e Mathiassen (2014) a maior importância atribuída ao aspecto socialização entre estudantes de IES privadas pode ocorrer devido ao fator estar relacionado a uma percepção de grupo e de se sentirem parte daquela comunidade ao avaliarem.

Também se observou que a média mais positiva em relação aos fatores foi a do fator denominado “compartilhamento de conhecimento/altruísmo”, evidenciando que os participantes, usualmente, se sentem motivados a participar por razões como contribuir e ajudar outras pessoas (TRAN; HASSAN; PARK, 2012; HOSSEINI et al., 2015). Ao mesmo tempo o fator “oportunidade profissional” apresentou a média mais baixa, indicando que não há interesse em avaliar como forma de se desenvolver profissionalmente. O fator “financeiro” apresentou uma média que indica neutralidade, com os respondentes se apresentando indiferentes quanto à possibilidade ou não de receberem qualquer recompensa pecuniária.

Em resumo, observa-se que os respondentes são motivados a participar das avaliações online das IES, principalmente por um sentimento de altruísmo, que indica ajudar a si próprios ou aos futuros estudantes da instituição. Além disso, os respondentes vinculados a IES públicas percebem um sentimento de socialização ao participarem dessas ações, o que pode indicar uma maior identidade com a IES.

Sobre os resultados oriundos da questão aberta, foi possível verificar que mais de 50% dos respondentes respondem às avaliações com o objetivo de avaliar o professor, tanto positivamente, quanto negativamente. Aproximadamente 21% dos participantes responderam que avaliam com o objetivo de melhorar a qualidade do curso. Esta informação vai ao encontro das análises de Cunha (2006) e Santos (2019), que já haviam percebido uma tendência de o aluno centralizar sua avaliação na figura do professor e nas técnicas que são por ele adotadas, deixando outros aspectos importantes da avaliação em segundo plano.

Ainda sobre a questão aberta é importante citar que os respondentes afirmam que sua participação é influenciada negativamente pelo fato de não perceberem mudanças a partir de sua avaliação. A percepção, no primeiro caso, pode estar relacionada ao fato de a avaliação do discente, como apresentam Jesus e Bedritichuk (2018), ser apenas um dos elementos que compõem a autoavaliação institucional.

A respeito da utilização dos conceitos de crowdsourcing como forma de abordar a avaliação das IES públicas e privadas, observou-se que a captura de dados e informações por meio de dispositivos digitais, como smartphones (SINGH et al., 2017), assim como seu processamento em sistemas de compilação de dados, pode proporcionar maior velocidade e segurança na busca por soluções de problemas (GUO; JIANG, 2018; VIANNA, GRAEML, PEINADO, 2018). Além disso, também se constatou que o envolvimento dos discentes nas avaliações está vinculado a motivações não financeiras, indicando uma possível redução de custos em relação à utilização dos próprios recursos das instituições na investigação de problemas e, em alguns casos, na sua solução.

6 Conclusão

O presente estudo buscou identificar os fatores motivacionais que influenciam a participação de discentes de IES públicas e privadas brasileiras nas avaliações institucionais, assim como as diferenças entre respondentes dos dois tipos de instituição.

Os resultados apontaram oito categorias de fatores motivacionais: “compartilhamento de conhecimento/altruísmo”, “oportunidade profissional”, “conhecimento e desenvolvimento de habilidades”, reconhecimento/glória”, “relacionamento/socialização”, “amor”, “financeiro”, e “interesse próprio”. Tendo em vista que o fator que apresentou a média mais alta foi o fator classificado como “compartilhamento de conhecimento/altruísmo”, é possível concluir que a participação dos respondentes está relacionada, principalmente, à vontade de compartilhar seu conhecimento sobre os aspectos a serem avaliados na organização como forma de ajudar à IES e seus colegas. Esta conclusão é apoiada, ainda, pelo fato de o fator financeiro, com a possibilidade de obtenção de um retorno pecuniário ou material pelo esforço desempenhado, não ser considerado importante pelos respondentes (média = 3,00).

Os dados indicam que as decisões gerenciais relacionadas à forma como os gestores das IES podem motivar a participação dos alunos para obter resultados mais positivos devem se voltar para o senso de comunidade e auxílio ao próximo. No caso apresentado foi possível a identificação da forma de crowdsourcing caracterizada por Sivula e Kantola (2015), como crowdevaluation, na qual a organização que busca uma avaliação de seus serviços (CHAWLA; HARTLINE; SIVAN, 2015; BLOHM et al., 2017) o faz por meio da comunidade conectada à web.

Ainda foi possível a aplicação de um teste t que atribuiu ao fator “relacionamento/socialização” um percentual entre moderado e alto para a diferença entre as médias dos dois grupos (IES públicas e privadas). Este dado pode ser interpretado da seguinte forma: o fator “relacionamento/socialização” influencia mais os respondentes vinculados a IES públicas (média = 3,05) do que os respondentes vinculados a IES privadas (média = 2,40), sendo o vínculo às diferentes IES uma variável importante na explicação da variância da média do fator. Isto indica que a forma como os dois grupos percebem a influência do sentimento de pertencimento à comunidade da qual fazem parte, em sua participação nas avaliações institucionais, é significativa.

Quanto aos dados da pergunta subjetiva, percebe-se que os alunos avaliam, prioritariamente, o professor, havendo assim uma significativa responsabilidade deste ator na formação do conceito que o aluno tem da instituição. Também é importante mencionar que tal importância atribuída pelos respondentes ao professor, tanto por meio de feedbacks positivos quanto negativos, justifica o compromisso que a IES e órgãos reguladores, como Secretarias de Educação e Ministérios, devem ter com a formação, condição de trabalho e qualidade de vida dos docentes.

Também é importante mencionar que os alunos avaliam como influenciador negativo sobre sua participação em avaliações a falta de ações por parte das IES relacionadas às suas demandas, apresentadas por meio da participação nessas avaliações. Contudo, a percepção do serviço público como um serviço voltado para o cliente-cidadão pôde ser percebido entre os alunos das IES públicas que afirmaram participar da avaliação institucional com o objetivo de melhorar o serviço prestado.

A metodologia adotada neste trabalho e os dados coletados são importantes para o amadurecimento das pesquisas relacionadas à adoção de crowdsourcing não apenas por instituições de ensino, mas por qualquer organização que queira dispor de avaliação do seu desempenho por aqueles que por ele são afetados. Assim, os resultados são importantes para as próprias IES públicas e privadas que necessitam compreender as percepções de seus estudantes para atender às suas demandas e evitar a evasão ou não ingresso de jovens de idade universitária, mas também podem contribuir para que outros compreendam que podem se beneficiar de crowdevaluation.

Este modelo de procedimento, quando analisado à luz da teoria de crowdsourcing, busca no ator envolvido (neste caso o discente) soluções e possíveis inovações em relação ao produto ou serviço ofertado. Também são buscadas percepções difíceis de serem alcançadas pelos gestores, devido ao fato de se localizarem em um polo diferente daquele no qual se encontra o aluno, no entendimento das questões importantes para o desenvolvimento organizacional das IES.

Como limitações da pesquisa, os autores acreditam que o o maior número de participantes vinculados a IES públicas, decorrente, muito provavelmente, da sua atuação em instituições desse tipo e da coleta de dados a partir das suas próprias redes de contato, tenha impossibilitado algumas inferências mais amplas.

Um outro motivo que pode ter contribuído para a dificuldade de coleta de dados de estudantes de IES privadas pode envolver o fato de as próprias instituições terem receio de participação mais ativa nesse tipo de pesquisa, que poderia expor informações que consideram estratégicas e de interesse competitivo no mercado educacional.

Assim, os dados qualitativos coletados por meio do preenchimento das questões abertas precisaram ser analisados de forma agregada, sem nenhuma tentativa de discriminação entre IES públicas e privadas, devido ao pequeno número de participações de estudantes de IES particulares, em números absolutos, ainda que a sua representatividade percentual tenha sido mantida.

Os autores sugerem como trabalhos futuros, a exploração de outras variáveis da pesquisa que possam contribuir para um melhor entendimento de como o crowdsourcing e o crowdevaluation podem ser usados para melhorar cada vez mais a qualidade da educação superior no país.

Referências

• AITAMURTO, T. Motivation factors in crowdsourced journalism: social impact, social change, and peer learning. International Journal of Communication, Sidney, v. 9, p. 3523-3542, out. 2015.
• ANDRIOLA, W. B.; ARAÚJO, A. C. Uso de indicadores para diagnóstico situacional de instituições de ensino superior. Ensaio: Avaliação e Políticas Públicas em Educação, Campinas, v. 26, n. 100, p. 645-663, 2018.
• BABBIE, E. Métodos de pesquisa de survey. Belo Horizonte: UFMG, 2003.
• BARREYRO, G. B.; ROTHEN, J. C. Para uma história da avaliação da educação superior brasileira: análise dos documentos do PARU, CNRES, GERES e PAIUB. Avaliação, Campinas; Sorocaba, v. 13, n. 1, 2008.
• BAUER, M. W. Análise de conteúdo clássica: uma revisão.In: BAUER, M. W.; GASKEL, G. (eds.) Pesquisa qualitativa com texto, imagem e som: um manual prático. Petrópolis: Editora Vozes, 2003. p. 189-217.
• BICKMAN, L.; ROG, D. J. (eds.). The Sage handbook of applied social research methods. Londres: Sage Publications, 2008.
• BLOHM, Ivo et al How to manage crowdsourcing platforms effectively? California Management Review, Berkeley, v. 60, n. 2, p. 122-149, 2017.
• BORROMEO, R. M.; TOYAMA, M. An investigation of unpaid crowdsourcing. Human-centric Computing and Information Sciences, Seul, v. 6, n. 1, p. 1-19, 2016.
• BRASIL. Lei nº 10.861 de 2004, de 14 de abril de 2004. Dispões sobre o Sistema Nacional de Avaliação da Educação Superior (SINAES). Brasília, DF, 2004. Disponível em: Disponível em: http://www.planalto.gov.br/ccivil_03/_ato2004-2006/2004/lei/l10.861.htm Acesso em: 25 set. 2019.
  » http://www.planalto.gov.br/ccivil_03/_ato2004-2006/2004/lei/l10.861.htm
• BRETSCHNEIDER, U.; LEIMEISTER, J. M.; MATHIASSEN, L. IT-enabled product innovation: customer motivation for participating in virtual idea communities. International Journal of Product Development, Genebra, v. 20, n. 2, p. 126-141, 2014.
• CARUSO, L. Digital innovation and the fourth industrial revolution: epochal social changes? Ai & Society, Londres, v. 33, n. 3, p. 379-392, 2018.
• CHAWLA, S.; HARTLINE, J. D.; SIVAN, B. Optimal crowdsourcing contests. Games and Economic Behavior, Londres, v. 113, n. C, p. 80-96, 2015.
• CORRAR, L. J.; PAULO, E.; DIAS FILHO, J. M. Análise multivariada. São Paulo: Atlas, 2007.
• CUNHA, M. I. da. Docência na universidade, cultura e avaliação institucional: saberes silenciados em questão. Revista Brasileira de Educação, Rio de Janeiro, v. 11, n. 32, p. 258-271, 2006.
• DANCEY, C. P.; REIDY, J. Análise de correlação: or de Pearson.In: DANCEY, C. P.; REIDY, J. Estatística sem matemática para psicologia. Porto Alegre: Artmed, 2006. p. 178-216.
• ESTÉLLES-AROLAS, E.; GONZÁLEZ-LADRÓN-DE-GUEVARA, F. Towards an integrated crowdsourcing definition. Journal of Information Science, Londres, v. 38, n. 2, p. 189-200, 2012.
• FREITAS, A. L. P. A auto-avaliação de instituições de ensino superior: uma importante contribuição para a gestão educacional. Revista Iberoamericana de Educación, Madrid, ES, v. 1, p. 1-15, 2004.
• FREITAS, H. et al O método de pesquisa survey. Revista de Administração da Universidade de São Paulo, São Paulo, v. 35, n. 3, 2000.
• GAO, R. et al Cloud-enabled prognosis for manufacturing. CIRP Annals, Londres, v. 64, n. 2, p. 749-772, 2015.
• GUO, W.; JIANG, P. An investigation on establishing small-and medium-sized enterprises communities under the environment of social manufacturing. Concurrent Engineering, Lancing - MI, v. 26, n. 3, p. 251-264, 2018.
• HAIR, J. F. et al Análise multivariada de dados. Porto Alegre: Bookman, 2005.
• HOSSAIN, M.; KAURANEN, I. Crowdsourcing: a comprehensive literature review. Strategic Outsourcing: An International Journal, Bingley, v. 8, n. 1, p. 2-22, 2015.
• HOSSEINI, M. et al Crowdsourcing: A taxonomy and systematic mapping study. Computer Science Review, Praga, v. 17, p. 43-69, 2015.
• HOWE, J. The rise of crowdsourcing. Wired, São Francisco - CA, v. 6, n. 14, p. 1-4, jun. 2006.
• JESUS, G. R.; BEDRITICHUK, A. G. A. Autoavaliação institucional: construção e validação de um questionário para o professor. Avaliação, Campinas; Sorocaba, v. 23, p. 628-647, 2018. Disponível em: Disponível em: https://www.scielo.br/j/aval/a/MWHDcfTqdfh8Jy56c7wn47M/abstract/?lang=pt Acesso em: 25 set. 2019.
  » https://www.scielo.br/j/aval/a/MWHDcfTqdfh8Jy56c7wn47M/abstract/?lang=pt
• LIANG, H. et al How intrinsic motivation and extrinsic incentives affect task effort in crowdsourcing contests: A mediated moderation model. Computers in Human Behavior, Amsterdã, v. 81, p. 168-176, 2018.
• IMAI, K. Quantitative social science: an introduction. Princeton: University Press, 2018.
• MALHOTRA, N. K. Pesquisa de marketing: uma orientação aplicada. Porto Alegre: Bookman , 2001.
• MALONE, T. W.; LAUBACHER, R.; DELLAROCAS, C. The collective intelligence genome. MIT Sloan Management Review, Cambridge, v. 51, n. 3, p. 20-31, 2010.
• MARTELETO, R. M. Redes sociais, mediação e apropriação de informações: situando campos, objetos e conceitos na pesquisa em Ciência da Informação. Revista Telfract, São Caetano do Sul, v. 1, n. 1, 2018.
• MAO, K. et al A survey of the use of crowdsourcing in software engineering. Journal of Systems and Software, Amsterdã, v. 126, p. 57-84, 2017.
• MOSER, C. A.; KALTON, G. Survey methods in social investigation. Routledge, 2017.
• NAKATSU, R. T.; GROSSMAN E. B.; IACOVOU, C. L. A taxonomy of crowdsourcing based on task complexity. Journal of Information Science, Londres, v. 40, n. 6, p. 823-834, 2014.
• NARDI, P. M. Doing survey research: a guide to quantitative methods. Routledge, 2018.
• PALLANT, J. SPSS survival manual. London: McGraw-Hill Education, 2013.
• PEE, L. G.; KOH, E.; GOH, M. Trait motivations of crowdsourcing and task choice: A distal-proximal perspective. International Journal of Information Management, Amsterdã, v. 40, p. 28-41, 2018.
• PEINADO, J.; GRAEML, A. R. Mapeamento dos temas pertinentes à gestão de operações: uma análise refinada baseada nas percepções de pesquisadores, professores e praticantes. Brazilian Business Review, Vitória - ES, v. 13, n. 2, p. 84, 2016.
• PEIXOTO, M. C. L. Avaliação institucional externa no SINAES: considerações sobre a prática recente. Avaliação, Campinas; Sorocaba, v. 16, p. 11-36, 2011. Disponível em: Disponível em: https://www.scielo.br/j/aval/a/CLDFV7G7D5vP6dWmv67Mhrk/abstract/?lang=pt Acesso em: 25 set. 2019.
  » https://www.scielo.br/j/aval/a/CLDFV7G7D5vP6dWmv67Mhrk/abstract/?lang=pt
• PENSIN, D. P.; PACHECO, A. B. L. Professoralidade e desempenho docente: um olhar a partir dos resultados da avaliação institucional. Revista de Ciências Humanas, Florianópolis-SC, v. 19, n. 1, p. 120-142, 2018.
• PILLONI, V. How data will transform industrial processes: Crowdsensing, crowdsourcing and big data as pillars of industry 4.0. Future Internet, Basel, Suíça, v. 10, n. 3, p. 24, 2018.
• PRPIĆ, J.; TAEIHAGH, A.; MELTON, J. The fundamentals of policy crowdsourcing. Policy & Internet, Nova Jersey, v. 7, n. 3, p. 340-361, 2015.
• QIN, S. et al Exploring barriers and opportunities in adopting crowdsourcing based new product development in manufacturing SMEs. Chinese Journal of Mechanical Engineering, Pequim, v. 29, n. 6, p. 1052-1066, 2016.
• RANDHAWA, K.; WILDEN, R.; WEST, J. Crowdsourcing without profit: the role of the seeker in open social innovation. R&d Management, Nova Jersey, v. 49, n. 3, p. 298-317, 2019.
• SANTOS, M. G. Trilhas da avaliação da educação superior no Brasil: os (des) caminhos em direção ao Sinaes. Revista Espaço Pedagógico, Passo Fundo-RS, v. 26, n. 1, p. 117-138, 2019.
• SAXTON G. D.; OH, O.; KISHORE, R. Rules of crowdsourcing: models, issues, and systems of control. Information Systems Management, Oxford, v. 30, n. 1, p. 2-20, 2013.
• SILVA, J. M. et al Um sistema computacional de coleta de dados e avaliação institucional para apoio à tomada de decisão na Universidade Federal de Santa Catarina. Revista Gestão Universitária na América Latina-GUAL, Florianópolis-SC, v. 11, n. 1, p. 138-161, 2018.
• SINGH, G. et al Smart patrolling: an efficient road surface monitoring using smartphone sensors and crowdsourcing. Pervasive and Mobile Computing, Nova Jersey, v. 40, p. 71-88, 2017.
• SIVULA, A.; KANTOLA, J. Integrating crowdsourcing with holistic innovation management, International Journal of Advanced Logistics, Oxford, v. 5, n. 3-4, p. 153-164, 2015.
• SOLIMAN, W.; TUUNAINEN, V. Understanding continued use of crowdsourcing systems: an interpretive study. Journal of Theoretical and Applied Eletronic Commerce Research, Basel, Suíça, v. 10, n. 1, p. 1-18, 2015.
• SUKAINI, A. et al Mobile crowdsourcing: intrinsic and extrinsic motivational factors influencing online communities in China. Journal of Marketing Development and Competitiveness, Atlanta, v. 9, n. 1, p. 129-145, 2015.
• THERRIEN, J; HAGE SOBRINHO, J. Avaliação institucional em universidades: considerações metodológicas. Revista Educação em Debate, Fortaleza, v. 6/7, n. 2/1, p. 17-27, 1984.
• TRAN, A.; HASSAN, S. U.; PARK, J. Y. Crowd participation pattern in the phases of a product development process that utilizes crowdsourcing. Industrial Engineering and Management Systems, Cheonan, v. 11, n. 3, p. 266-275, 2012.
• TRAN, T.; PARK, J. Y. A quantitative study of influencing factors on crowd participation in a crowdsourcing project for consumer product design. Industrial Engineering & Management Systems, Seul, v. 14, p. 325-334, 2015.
• VIANNA, F. R.; GRAEML, A. R.; PEINADO, J. As motivações que levam usuários a participar de plataformas de crowdsourcing online In: SIMPÓSIO DE ADMINISTRAÇÃO DA PRODUÇÃO, LOGÍSTICA E OPERAÇÕES INTERNACIONAIS, 22., 2018, São Paulo. Anais [...]. São Paulo: FGV, 2018. p. 1-12.
• VIANNA, F. R. P. M.; MENEGHETTI, F. K. Is it crowdsourcing or crowdsensing? An analysis of human participation in digital platforms in the age of surveillance capitalism. REAd. Revista Eletrônica de Administração, Porto Alegre, v. 26, p. 176-209, 2020.
• YAN, X.; DING, X.; GU, N. Crowd work with or without crowdsourcing platforms. In: IEEE INTERNATIONAL CONFERENCE ON COMPUTER SUPPORTED COOPERATIVE WORK IN DESIGN (CSCWD), 20., 2016, Nanchang (China). Annals of 20th IEEE CSCWD. Nanchang: IEEE, 2016. p. 56-61.
• ZHENG, H.; LI, D.; HOU, W. Task design, motivation, and participation in crowdsourcing contests. International Journal of Eletronic Commerce, São Francisco-CA, v. 15, n. 4, p. 57-88, 2014.
• ZOGAJ, S.; BRETSCHNEIDER, U.; LEIMEISTER, J. M. Managing crowdsourced software testing: a case study based insight on the challenges of a crowdsourcing intermediary. Journal of Business Economics, Berlim, v. 84, n. 3, p. 375-405, 2014.

Datas de Publicação

• Publicação nesta coleção
  06 Abr 2022
• Data do Fascículo
  Jan-Apr 2022

Histórico

• Recebido
  30 Set 2019
• Aceito
  21 Out 2021
• Revisado
  01 Nov 2021