Processo de mapeamento das publicações científicas de um tema: portfólio bibliográfico e análise bibliométrica sobre avaliação de desempenho de cooperativas de produção agropecuária

Processo de mapeamento das publicações científicas de um tema: portfólio bibliográfico e análise bibliométrica sobre avaliação de desempenho de cooperativas de produção agropecuária

Sandra Rolim Ensslin^I; Leonardo Ensslin^II; Jhonatan Munaretto Imlau^III; Leonardo Corrêa Chaves^IV

^IProfessora do Programa de Pós-graduação em Contabilidade da Universidade Federal de Santa Catarina. E-mail: [e-mail]

^IIProfessor do Programa de Mestrado em Administração da Universidade do Sul de Santa Catarina. E-mail: [e-mail]

^IIIMestrando do Programa de Pós-graduação em Contabilidade da Universidade Federal de Santa Catarina. E-mail: [e-mail]

^IVDoutorando do Programa de Pós-graduação em Administração da Universidade Federal de Santa Catarina. E-mail: [e-mail]

RESUMO

As Cooperativas de Produção Agropecuária (CPA) têm se consolidado no cenário econômico e social por sua característica específica de unir o desenvolvimento econômico ao bem-estar social do seu grupo de associados. Diante dessa especificidade, como auxiliar as cooperativas a identificar em quais atividades devem investir esforços? Na área dos negócios, a Avaliação de Desempenho (AD) oferece insumos. Assim, esse artigo objetiva construir, nos pesquisadores, o conhecimento necessário sobre o tema Avaliação de Desempenho de Cooperativas de Produção Agropecuária e explicitá-lo por meio da identificação de um Portfólio Bibliográfico que o represente e pelo mapeamento de suas características. Essa investigação caracteriza-se como exploratório-descritiva e adota o instrumento Knowledge Development Process – Construtivist (Proknow-C). Como resultado, verificou-se que o tema é representado por 14 artigos, cuja maioria foi publicada em periódicos vinculados ao assunto central desta investigação (Cooperativas e Agropecuária); "Environmental management and firm performance: a case study" é o artigo mais relevante; e inexiste autor com trajetória de pesquisa nesse tema. Como conclusão geral, constatou-se que a maioria dos artigos adota uma afiliação teórica de AD informada sob uma abordagem realista. Os autores sugerem a adoção de uma perspectiva construtivista para novas pesquisas nessa área.

Palavras-chaves: cooperativas de produção agropecuária, cooperativas rurais, avaliação de desempenho, Proknow-C.

ABSTRACT

The Agricultural Production Cooperatives (APC) have been consolidated in the economic and social scenario of its specific characteristic of joining the economic development and social well-being of group members. Given this specificity, how cooperatives can be helped to identify in which activities they should invest efforts? In the business area, the Performance Evaluation (PE) provides inputs. Thus, this article aims to build, in the researchers, the knowledge regarding Performance Evaluation of Agricultural Production Cooperatives and make it explicit by identifying a Portfolio Library that represents itself and by mapping its features. Such research is characterized as exploratory-descriptive and adopts the instrument Knowledge Development Process – Construtivist (Proknow-C). As a result, it was found that the subject is represented by 14 papers, where the majority has been published in journals related to the main subject of this research (Agricultural and Cooperatives), "Environmental management and firm performance: a case study" is the most relevant article and an author with research history in this subject does not exist. As a general conclusion, it was found that most of the articles adopt a theoretical affiliation PE informed under a realistic approach. The authors suggest the adoption of a constructivist perspective for further research in this area.

Key-words: Agricultural production cooperatives, rural cooperatives, performance evaluation, Proknow-C.

Classificação JEL: P13, Q13, N56.

1. Introdução

O movimento cooperativista tem se consolidado há muitos anos no cenário econômico e social do Brasil por sua filosofia capaz de unir o bem-estar social e o desenvolvimento econômico. Para Irion (1997), os referenciais básicos desse modelo consistem em atender às necessidades de um grupo, buscando prosperidade conjunta por meio da participação autônoma, solidária e democrática.

A importância desse modelo econômico de desenvolvimento remete principalmente à função de inserção econômica de seus associados nos mercados concentrados, além de promover o aumento da renda local e o desenvolvimento do agronegócio nas regiões em que se insere (SOUZA, BRAGA e FERREIRA, 2011).

Dessa forma, o cooperativismo torna-se presente nos diversos setores da economia, principalmente no setor agrícola, sendo constituído basicamente por produtores rurais ou agrícolas cujos instrumentos de produção são de propriedade individual dos próprios associados e a cooperativa encarrega-se de atividades coletivas, como armazenagem, beneficiamento e comercialização, entre outros (LIMBERGER, 1996).

A organização de agricultores em cooperativas de produção agropecuária pode gerar ao grupo vantagens e benefícios no que tange aos rendimentos obtidos da agricultura, tais como: o aumento do preço dos produtos ofertados no mercado, a redução do valor dos suprimentos comprados, a diminuição dos custos de processamento das unidades beneficiadas e a melhora na qualidade dos bens ou produtos agrícolas produzidos (PIRES, 2003).

Assim, as cooperativas diferenciam-se das demais empresas de capital gerenciadas para beneficiar os seus investidores. Essas organizações controladas e de propriedade de seus associados buscam operar e beneficiar seus membros que são os produtores e fornecedores das matérias-primas. Devido às suas características de serem controladas e operadas pelos seus associados que também são os proprietários e fornecedores de matéria-prima da cooperativa, essas organizações contrastam com as demais entidades empresariais que são gerenciadas e operadas para beneficiar os investidores. Portanto, as cooperativas possuem a necessidade de priorizar e maximizar a satisfação de seus associados, oferecendo serviços e condições de gerar bem-estar social, além de somente melhorar a lucratividade de seus envolvidos.

O instituto legal e doutrinário estabelece, para as cooperativas agropecuárias brasileiras, que o direito ao controle do proprietário é desvinculado das suas cotas de capital e do montante das transações econômicas que realiza com a entidade, o que gera alguns problemas de controle nas cooperativas (COSTA, CHADDAD e AZEVEDO, 2012). Assim, diante da complexidade no agronegócio, exige-se dos produtores rurais uma permanente revisão de como são planejadas e organizadas as suas atividades, tanto no aspecto operacional de planejamento produtivo como do relacionamento com seus fornecedores e clientes (MOREIRA et al., 2012).

A complexidade da atuação das cooperativas faz com que essas necessitem de instrumentos que lhes auxiliem na gestão das atividades a fim de garantir a qualidade dos serviços prestados e beneficiar econômica e socialmente seus associados. Na área de conhecimentos dos negócios, a dimensão Avaliação de Desempenho oferece insumos para que a atividade de gestão se realize. Assim, a Avaliação de Desempenho nessas entidades representa uma ferramenta importante no sentido de identificar onde estão ocorrendo desalinhamento de atividades, quais aspectos podem ser melhorados, quais são as atividades consideradas mais importantes, em quais atividades os associados e a cooperativa devem investir esforços para obter melhores resultados e o nível de satisfação dessa parceria.

Nesse contexto, várias dúvidas surgem: Qual instrumento é o mais indicado para auxiliar na gestão das cooperativas que apresentam características tão diferentes das organizações tradicionais? Qual aporte teórico pode melhor contribuir para esse segmento econômico? Quais abordagens científicas alinham-se à situação das cooperativas para contribuir na identificação do diagnóstico destas? A partir dessas e de muitas outras dúvidas que surgem quando um pesquisador inicia seu estudo, quer seja com o propósito científico, quer seja com o prático, acredita-se que o ponto de partida está na busca de conhecimento sobre o que a literatura científica apresenta sobre o tema. Nesse momento, novamente suscitam dúvidas: Onde selecionar materiais sobre o assunto diante da quantidade de veículos informativos qualificados e não qualificados pela academia científica?

Em decorrência desses problemas, emerge a pergunta que orienta o desenvolvimento desta pesquisa: Quais são as bases teóricas capazes de informar o fragmento da literatura científica relativo à Avaliação de Desempenho de Cooperativas de Produção Agropecuária? Para responder a esse questionamento, o objetivo formulado é construir conhecimento acerca do tema Avaliação de Desempenho das Cooperativas de Produção Agropecuária a partir da seleção do portfólio e de análise bibliométrica na área. Como tal objetivo possui dimensão subjetiva e intangível, a resposta ao leitor será oferecida pela evidenciação do Portfólio Bibliográfico (PB) das publicações científicas relevantes que representam esse fragmento da literatura e pelo mapeamento das características desse PB em termos de: (i) quem é/são o(s) pesquisador(es) com trajetória nessa área de conhecimento; (ii) quais são os periódicos que têm devotado espaço para publicação desse assunto; e (iii) qual/quais é/são o(s) artigo(s) de destaque. Adicionalmente os autores analisam a abordagem que informa a Avaliação de Desempenho dos artigos do PB.

Para dar conta dessa tarefa, os pesquisadores selecionaram um instrumento de intervenção cuja abordagem científica fosse construtivista, alinhado, assim, ao objetivo da pesquisa. O instrumento selecionado é o Knowledge Development Process – Construtivist (ProKnow-C), proposto por Ensslin et al. (2010).

A justificativa desta investigação é argumentada por duas contribuições centrais: (i) a comunidade científica e prática que estuda a Avaliação de Desempenho sob o ponto de vista do auxílio à gestão de cooperativas de produção agrícola – no sentido de destacar, em um único trabalho, as características de um conjunto de obras internacionais reconhecidas cientificamente e relevantes sobre o tema com base em aspectos julgados como relevantes pelos pesquisadores; e (ii) a comunidade científica e acadêmica ao apresentar a operacionalização de uma ferramenta de apoio para todos aqueles que desejam iniciar um processo de pesquisa sobre algum assunto e desejam valer-se de um processo estruturado para realizar a seleção de artigos relevantes e realizar sua análise bibliométrica e sistêmica.

Além desta seção introdutória, o presente trabalho abordará a revisão de literatura sobre avaliação de desempenho na área de cooperativas agropecuárias na seção 2; a metodologia da pesquisa na seção 3, em termos de seu enquadramento metodológico e do instrumento de intervenção selecionado para orientar o alcance do objetivo da pesquisa; na seção 4 serão apresentados e discutidos os resultados da pesquisa em termos do Portfólio Bibliográfico selecionado, das características desse PB e das considerações dos autores sobre a afiliação teórica de AD utilizada na literatura científica de cooperativas de produção agropecuária; as considerações finais serão apresentadas na seção 5; e, ao final (seção 6), estão as referências utilizadas.

2. Revisão de Literatura – Considerações sobre afiliação teórica de Avaliação de Desempenho utilizada no contexto das Cooperativas de Produção Agropecuária para subsidiar a continuidade da pesquisa no tema

A necessidade de se proceder à Avaliação de Desempenho das cooperativas é manifestada nos estudos, fazendo uso do termo de forma direta ou indireta. Vargas e Garcıa (2003) afirmam que as cooperativas são organizações que possuem grande importância econômica no setor agrícola, e, portanto, a medição de sua eficiência torna-se uma área de investigação que atrai grande interesse. Para Guzmán e Arcas (2008), a Avaliação de Desempenho nas cooperativas é fundamental devido às suas características, princípios e fundamentos e, por diferenciarem-se das demais empresas de caráter exclusivamente econômico, devem realizá-la considerando dimensões adicionais àquelas análises baseadas em índices econômicos tradicionais. E Wilson, Hall e Fields (2011) argumentam que a qualidade do serviço prestado torna-se um importante indicador do desempenho dos gestores das cooperativas. Os cooperados ou clientes percebem e avaliam o serviço em termos de sua qualidade; sendo assim, as cooperativas devem avaliar seu desempenho.

Diante da constatação da percepção da importância da avaliação de desempenho, como os artigos do PB percebem e utilizam a avaliação de desempenho?

Alguns artigos associam a Avaliação de Desempenho a um resultado final, ou seja, eficiente/ineficiente; satisfeito/insatisfeito, como é o caso do artigo de Singh, Coelli, Fleming (2001) que, por meio das ferramentas Stochastic Frontier Analysis (SFA) e Data Envelopment Analysis (DEA), avaliam a eficiência de 'empresas' de processamento de laticínio, sendo 13 cooperativas e 10 privadas. A partir do diagnóstico das 'empresas' mais eficientes e das ineficientes, os autores da presente pesquisa se questionam: Como esse diagnóstico oferecerá subsídios para que cada uma das 13 cooperativas melhore seu desempenho?

Outros artigos percebem a Avaliação de Desempenho como uma ferramenta pontual para identificar um diagnóstico de uma atividade ou serviço prestado pela cooperativa ou ainda dos critérios necessários para prestar os serviços com qualidade. O artigo de Wilson, Hall, Fields (2011) propõe identificar quais são os aspectos mais importantes para 5.000 clientes quando da prestação de serviços da cooperativa agrícola AFC, do Alabama, por meio da ferramenta Retail Service QualityScale (RSQS). Nesse ponto, os autores dessa investigação levantam alguns questionamentos para reflexão: Será que a percepção dos 5.000 clientes que estão distribuídos em 10 estados dos EUA independe da região em que estão localizados? Será que a resposta por meio de Escala de Likert reflete a percepção dos clientes e servirá para atender às suas expectativas? A partir do resultado identificado, como os gestores da cooperativa elaborarão estratégias de aperfeiçoamento? Nessa mesma linha, encontra-se o artigo de Österber e Nilsson (2009), que faz uso das ferramentas Anova e Ancova para avaliar, segundo percepção dos cooperados suecos, se o sucesso da cooperativa é reflexo da gestão e se sua participação na gestão da cooperativa é importante.

Alguns artigos exploram a questão da avaliação em termos dos reflexos que ações ou políticas organizacionais promovem no desempenho. O artigo de Claver, López, Molina e Tarí (2007), por exemplo, explora a relação entre a estratégia ambiental da cooperativa agrícola Coato com o seu desempenho econômico. Durante o desenvolvimento do estudo, devido às entrevistas com os gestores, os autores passaram a perceber o desempenho da Coato como a combinação do desempenho ambiental, da vantagem competitiva da cooperativa e seu desempenho econômico. Sendo assim, tanto os autores como a própria cooperativa passaram a perceber o desempenho de forma mais holística, embora ainda não considerando questões relacionadas aos cooperados. A partir do diagnóstico qualitativo identificado, os autores realizaram uma comparação da Coato com outras cooperativas e constataram, no que tange às questões ambientais, que a Coato é benchmarking. Aqui emerge outra oportunidade de pesquisa: desmembrar esse diagnóstico qualitativo em suas partes constituintes e, por meio da evidenciação da percepção de importância de cada parte, transformá-lo em quantitativo, podendo, assim, identificar quanto cada ação estratégica pode contribuir para o desempenho global.

Como conclusão geral, constata-se que a maioria dos artigos do PB adota uma afiliação teórica de Avaliação de Desempenho informada sob uma abordagem realista (normativista ou descritivista) (ROY, 1993). Considerando que os autores da presente pesquisa seguem uma afiliação construtivista, qual seja Avaliação de Desempenho é o processo para construir conhecimento no decisor/gestor, com base na própria percepção sobre o contexto específico que se propõe avaliar por meio de atividades que identificam, organizam, mensuram (ordinal e cardinalmente) e integram os critérios que serão avaliados, bem como evidenciam o desempenho do contexto e o possível impacto de ações apoiando a atividade de gerenciamento (AZEVEDO et al., 2011). Essa perspectiva de abordar a Avaliação de Desempenho emerge como uma sugestão para novas pesquisas e evolução da área de cooperativas de produção agropecuárias. Sob essa perspectiva, as informações geradas pela Avaliação de Desempenho permitirá "a geração do conhecimento para que a tomada de decisão seja realizada de forma coerente com os valores e preferências dos gestores, os quais podem a qualquer momento alterar essa situação" (AZEVEDO et al., 2011, p. 87) e apoiará "o gestor no gerenciamento das potencialidades e fragilidades da organização, buscando alavancar o desempenho institucional (BORTOLUZZI, ENSSLIN e ENSSLIN, 2011, p. 636).

3. Metodologia da pesquisa

Esta seção tem por objetivo apresentar a metodologia utilizada para o desenvolvimento da presente investigação, sendo subdividida em: (i) enquadramento metodológico; e (ii) instrumento de intervenção: Knowledge Development Process – Construtivist (ProKnow-C).

3.1. Enquadramento metodológico

Esta subseção objetiva apresentar o enquadramento metodológico da investigação a fim de informar aos leitores os pressupostos que orientaram sua execução.

A presente pesquisa possui caráter exploratório-descritivo: é exploratório, uma vez que o agente principal são os pesquisadores que geram conhecimento sobre o tema Avaliação de Desempenho das Cooperativas de Produção Agropecuária; é descritivo, uma vez que esse conhecimento é materializado e apresentado de forma objetiva em termos das características dessa área de conhecimento (VERGARA e PECI, 2003).

No que tange à natureza do artigo, a pesquisa classifica-se como teórico-ilustrativa, uma vez que demonstra, passo a passo, como operacionalizar o instrumento Proknow-C (ALAVI e CARLSON, 1992).

O presente estudo é informado pela lógica indutiva, uma vez que um fragmento específico da literatura é investigado com base nas delimitações dos pesquisadores e seus achados são apresentados ao meio acadêmico para posterior aprofundamento (tema) e/ou replicação (instrumento) (IUDÍCIBUS, 2004).

No que se refere à coleta de dados, fez-se uso tanto de dados primários quanto de secundários. A etapa de seleção do Portfólio Bibliográfico fez uso de dados primários, uma vez que as delimitações são feitas pelos pesquisadores em todas as escolhas demandadas durante o processo. Já a etapa de análise bibliométrica fez uso de dados secundários, uma vez que as características são buscadas no PB (RICHARDSON, 1999).

As análises ocorrem tanto de forma qualitativa quanto quantitativa. A abordagem qualitativa fica evidenciada durante toda a etapa de seleção dos artigos do Portfólio Bibliográfico, bem como na interpretação dos dados provenientes da análise bibliométrica (VERGARA e PECI, 2003). A abordagem quantitativa fica evidenciada na etapa da análise bibliométrica do PB, quando da identificação das características dessa literatura científica, uma vez que é feita pela quantidade de ocorrências (RICHARDSON, 1999).

Quanto aos procedimentos técnicos, caracteriza-se como bibliográfica na etapa da análise bibliométrica, uma vez que identifica as características do tema nas publicações científicas, revisadas e indexadas nas bases de dados disponibilizadas pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes). Pode, ainda, ser classificada como pesquisa-ação, especialmente na etapa de seleção do PB em virtude da atuação dos pesquisadores; ou seja, esses, durante todo o processo de desenvolvimento da primeira etapa do Proknow-C, necessitam apresentar suas delimitações e fazer escolhas. Dessa interação, resultará o Portfólio Bibliográfico.

O instrumento de intervenção utilizado foi o processo estruturado de revisão bibliográfica denominado Knowledge Development Process – Construtivist (ProKnow-C), que descreve e apresenta um processo para construir, nos pesquisadores, o conhecimento necessário para investigar e analisar um tema. Esse processo será apresentado a seguir.

3.2. Instrumento de Intervenção Proknow-C

Ao iniciar uma pesquisa científica e construir conhecimento sobre o tema, Tasca et al.(2010) e Lacerda, Ensslin e Ensslin (2012) afirmam que a relação do pesquisador com as delimitações postas por ele tendem a ser influenciadas pelo contexto em que o pesquisador se insere, além da disponibilidade de acesso do referencial teórico pelos meios de divulgação de pesquisa. Tasca et al.(2010) afirmam que a dispersão da informação em uma grande variedade de fontes de pesquisa, dada a abundância de trabalhos científicos disponíveis nas literaturas nacionais e internacionais, tornou complexo o processo de identificação de artigos relevantes que geram conhecimento e apoiam a realização de pesquisas científicas.

Neste estudo, o instrumento de intervenção é o Knowledge Development Process – Contrutivist (ProKnow-C), encontrado nos trabalhos de Azevedo et al. (2013), Ensslin, Ensslin e Pinto (2013), Lacerda, Ensslin e Ensslin (2012) e Tasca et al. (2010).

Desenvolvido a partir de 1994 pelo Labora­tório de Metodologia Multicritério de Apoio à Decisão – Construtivista (LabMCDA-C), vinculado ao Departamento de Engenharia de Produ­ção e Sistemas da UFSC (Universidade Federal de Santa Catarina), sob a coordenação do Prof. Leonardo Ensslin, esse instrumento investiga o tema Avaliação de Desempenho Organizacional (ADO) como instrumento de Apoio à Decisão por meio da metodologia Multicritério de Apoio à Decisão – Construtivista (MCDA-C), tanto em termos teóricos como em práticos, tendo seu reconhecimento científico alcançado pelas dezenas de publicações internacionais como resultado dessas investigações (ENSSLIN, ENSSLIN e PINTO, 2012).

Diante da constatação dos pesquisadores do Laboratório da ausência de um processo estruturado para a seleção e análise da literatura científica, a partir de 2005, eles desenvolveram um processo estruturado que objetivasse realizar buscas com a amplitude delimitada e foco orientado pelo enquadramento propiciado pelos pesquisadores do assunto. Posteriormente, em 2007 e 2008, surgiram as primeiras versões do instrumento sucedidas pelas primeiras publicações no ano de 2009, sendo em 2010 a primeira em âmbito internacional (TASCA et al., 2010). No final de 2010, para atender às solicitações de registro e de originalidade, os pesquisadores nomearam o instrumento como ProKnow-C–Knowledge Development Process–Contrutivist. No ano de 2012, este se consolida como instrumento para orientar a construção do conhecimento, segundo as suas delimitações, percepções do tema e motivações, do pesquisador. Entretanto, os pesquisadores do LabMCDA-C continuam atentos às considerações dos pareceristas de seus trabalhos e do desenvolvimentos da realização desse processo por seus colaboradores, com vistas a identificar novas oportunidades de melhorias para o Proknow-C.

O processo desse instrumento é composto por quatro etapas: (a) seleção de um portfólio de artigos sobre o tema da pesquisa; (b) análise bibliométrica do portfólio; (c) análise sistêmica; e (d) definição da pergunta e do objeto de pesquisa. Nessa pesquisa, construiu-se parte do conhecimento necessário acerca do tema, pois foram desenvolvidas as duas primeiras etapas do processo: a seleção do portfólio e a análise bibliométrica. A Figura 1 destaca as etapas aplicadas no presente estudo.

A primeira etapa, como o próprio nome indica, objetiva identificar um Portfólio Bibliográfico (PB) sobre o tema investigado. Cumpre esclarecer que PB, no contexto do instrumento Proknow-C, é definido como um conjunto restrito de artigos científicos e relevantes. A cientificidade é aferida pela origem desses artigos: são coletas nas bases científicas (neste artigo, devido à acessibilidade dos pesquisadores, no portal de periódicos da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - Capes). A relevância é aferida pelo número de citações do artigo. O tema investigado representa o fragmento da literatura que os pesquisadores, por meio de suas escolhas e delimitações, têm interesse de investigar (AZEVEDO et al., 2013; LACERDA, ENSSLIN e ENSSLIN, 2012; TASCA et al., 2010; ENSSLIN et al., 2010).

A segunda etapa do Proknow-C objetiva identificar as características do PB. Cumpre esclarecer que, no contexto desse instrumento metodológico, a análise bibliométrica é definida como a atividade de contagem de ocorrência de determinada variável (característica) nas publicações do PB, com vistas a construir o conhecimento inicial nos pesquisadores, de tal forma que saibam onde buscar mais informações sobre o tema (ENSSLIN, ENSSLIN e PACHECO, 2012; ROSA et al., 2011, 2012; LACERDA, ENSSLIN e ENSSLIN, 2012).

A seguir, apresentam-se os resultados do desenvolvimento dessas duas etapas.

4. Apresentação e discussão dos resultados

Nesta seção, serão apresentados os procedimentos seguidos e os resultados do processo de busca que resultaram na identificação de um Portfólio Bibliográfico relevante para os autores e a análise das características das publicações sobre Avaliação de Desempenho com enfoque nas Cooperativas de Produção Agropecuária. Cabe ressaltar que a realização dos procedimentos realizados nesta pesquisa ocorreu entre os meses de março e maio do ano de 2013.

4.1. Seleção do Portfólio Bibliográfico

O processo de seleção do Portfólio Biblio­gráfico tem início com a definição dos eixos de pesquisa e das palavras-chave (em língua inglesa) que, segundo a percepção dos pesquisadores, representam o tema. Tal escolha é ilustrada na Figura 2.

Na Figura 2, a terminologia nos círculos evidencia as áreas de conhecimento que delimitam o assunto a ser investigado, ou seja, os eixos de pesquisa que serão investigados; as terminologias nos colchetes são as palavras-chave que os pesquisadores (autores deste estudo) acreditam melhor representar esses eixos.

Após a definição das palavras-chave, realizaram-se combinações destas nos três eixos da pesquisa, que resultaram em 40 combinações. O segmento textual dessas combinações foi formado utilizando-se a expressão booleana "AND", que indica que o retorno para as buscas observa a inclusão de, pelo menos, uma palavra-chave de cada eixo nos campos da busca.

Na sequência, passou-se à identificação das bases de dados onde serão buscados os artigos. O critério para seleção dessas bases de dados observou os seguintes aspectos: (i) estar disponível gratuitamente no portal de periódicos da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes); (ii) fazer parte da área de Ciências Sociais Aplicadas e possuir área de conhecimento alinhada com o tema de pesquisa; (iii) disponibilizar a possibilidade do uso de expressões booleanas nas pesquisas; (iv) possuir ferramentas que possibilitem a pesquisa das palavras-chave nos seguintes campos: título, resumo e palavras-chave. Doze bases de dados atenderam a tais pré-requisitos.

A partir dessa etapa, verificaram-se quais bases de dados representavam maior relevância acerca do tema objeto de pesquisa. Nesse procedimento, foram adotados outros critérios para a busca dos conteúdos, tais como: limite temporal de 13 anos (2000 a 2013), tipo de publicação (apenas do tipo Journal Article) e o idioma do artigo (apenas em língua inglesa). A verificação deu-se pela consulta do alinhamento das palavras-chave com os resultados obtidos na pesquisa. Para tanto, foram selecionadas seis bases de dados que tivessem resultados significantes, consideradas com potencial para a pesquisa, quais sejam: Scopus; ISI Web of Knowledge; Ebsco Host; Wiley; Science Direct; Emerald.

Assim, passou-se à busca dos artigos nessas seis bases de dados, que resultou em um banco de artigos bruto preliminar de 1.921 artigos. Na sequência, visando garantir um portfólio alinhado ao tema, realizou-se o teste de aderência das palavras-chave. Para tanto, procedeu-se à leitura dos títulos e dos resumos dos artigos encontrados, buscando localizar dois que estivessem amplamente alinhados para comparar as palavras-chave desses dois artigos com as palavras-chave escolhidas pelos pesquisadores e utilizadas na busca inicial. Nesse processo, verificou-se que as palavras-chave dos dois artigos selecionados estavam contidas nas 12 palavras-chaves iniciais. Sendo assim, o processo poderia continuar, sem a necessidade de repeti-lo, incorporando as novas palavras-chave identificadas. A Figura 3 apresenta as subetapas descritas acima.

Após a identificação do 'banco de artigos bruto', passou-se ao desenvolvimento da próxima subetapa, qual seja, a filtragem do banco de artigos.

Na fase de filtragem do banco de artigos, a primeira etapa refere-se à importação dos artigos científicos para softwares de gerenciamento bibliográfico. Dessa forma, a presente pesquisa utilizou-se do software Endnote X6, para o qual os 1.921 artigos do banco de artigos bruto foram importados. Após o procedimento da importação, utilizou-se o recurso desse software que permite a exclusão automática dos artigos repetidos. Esse procedimento resultou na exclusão de 808 artigos, restando 1.113 artigos considerados não repetidos pelo procedimento de exclusão automática.

Na etapa posterior realizou-se a leitura dos títulos desses 1.113 artigos. Nos casos em que os títulos estavam claramente desalinhados, esses foram retirados do processo por não contribuírem com o tema da pesquisa, de acordo com os critérios estabelecidos pelo pesquisador. Nessa etapa, também foram excluídos os artigos duplicados que, por possuírem pequenas diferenças nos caracteres, não foram excluídos no processo automático do Endnote. Como resultado desse processo de leitura e revisão, foram excluídos 953 artigos, permanecendo 160 artigos com título alinhado ao tema.

A etapa seguinte constituiu-se na identificação do reconhecimento científico dos artigos. A aferição do reconhecimento científico nesse processo é evidenciada pela quantidade de citações de cada artigo em outros trabalhos científicos. Com a finalidade de padronizar o processo, buscou-se o número de citações de cada artigo no Google Acadêmico. Essa consulta foi realizada no dia 13 de abril de 2013. Depois disso, os artigos foram ordenados decrescentemente pelo número de citações, e, por representação matemática, buscou-se identificar a proporção de cada artigo na representação total. Dessa forma, observou-se que 46 artigos são responsáveis por 93,5% das citações, ao passo que 114 artigos representam 6,5% das citações. Assim, os 114 artigos com cinco ou menos citação foram separados da amostra por não possuírem, ainda, reconhecimento científico. Cumpre salientar que serão analisados posteriormente pelo processo.

Na sequência, os resumos dos 46 artigos de reconhecimento científico confirmado foram lidos a fim de verificar o potencial de contribuição desses artigos para a consecução dos objetivos e o alinhamento com o tema da pesquisa. Nessa leitura, 24 artigos foram reconhecidos como alinhados ao tema de pesquisa, e esse conjunto de artigos é denominado pelo Proknow-C de 'Banco de Artigos não Repetidos com Título/Resumo Alinhados e Reconhecimento Científico'. Esses 24 artigos foram escritos por 66 autores.

Considerando-se que artigos publicados recentemente possuem a tendência de obter um menor número de citações, e com o objetivo de evitar a exclusão de artigos relevantes para a pesquisa, o Proknow-C demandou uma análise dos 114 artigos que foram separados. Esses 114 artigos foram divididos em dois grupos: os publicados antes do ano de 2011, resultando em 57 artigos; e aqueles cujas publicações compreendem um período recente de dois anos da realização da pesquisa, ou seja, os publicados em 2011 e posteriormente, também resultantes em 57 artigos. Adicionaram-se ao grupo dos artigos recentes aqueles que, mesmo sendo anteriores a 2011, possuíssem pelo menos um dos 66 autores dos artigos classificados no 'Banco de Artigos não Repetidos com Título/Resumo Alinhados e Reconhecimento Científico'. Esse procedimento resultou na adição de três artigos ao grupo de 57 artigos recentes cujos resumos seriam lidos novamente. A leitura do resumo desses 60 artigos resultou na exclusão de 56 artigos por não estarem completamente alinhados ao tema da pesquisa. Os quatro artigos alinhados passam a ser denominados por 'Banco de Artigos não Repetidos com Título/Resumo Alinhados e com Reconhecimento Científico Potencial'.

A fusão desses dois Bancos de Artigos – 24 artigos mais quatro artigos – gera um banco único que passa à última análise: disponibilidade gratuita dos artigos em sua forma integral e o alinhamento integral do mesmo.

Assim, realizando-se essa última análise, verificou-se que somente tornou-se possível a visualização e disponibilidade do texto completo de forma gratuita de 23 artigos. No processo de leitura integral, 11 artigos foram excluídos por terem foco em assuntos distintos ao estudado, restando 12 artigos do 'Portfólio Bibliográfico Primário'.

A última etapa do Proknow-C para seleção do Portfólio Bibliográfico consiste no teste de sua representatividade a fim de verificar se artigos com reconhecimento científico comprovado não foram incluídos no portfólio primário. Para isso, foram exportadas as citações das referências dos 12 artigos do 'Portfólio Bibliográfico Primário' ao Endnote. Em seguida, as referências foram filtradas quanto ao formato de artigo científico, limite temporal superior a 2000, publicação em língua inglesa e alinhamento ao tema (procedimento idêntico ao realizado com os artigos coletados nas bases de dados). Posteriormente, realizou-se a pesquisa no Google Acadêmico a fim de quantificar o número de citação de cada referência, sendo essas listadas em planilha auxiliar e ordenadas crescentemente quanto à sua relevância. Realizou-se a fixação do ponto de corte em 80% da representatividade das citações do total. Nesse procedimento, restaram 17 artigos com maior reconhecimento, e partiu-se, então, para a leitura do resumo desses para verificar o alinhamento com o tema da pesquisa. Concluiu-se, no teste de representatividade, que apenas dois artigos possuíam alinhamento significativo com o estudo, sendo esses adicionados aos 12 artigos primários selecionados anteriormente.

Dessa forma, conforme listado no Quadro 1, restaram 14 artigos que compuseram o Portfólio Bibliográfico (PB) sobre o tema Avaliação de Desempenho das Cooperativas de Produção Agropecuária segundo a percepção e delimitação do pesquisador.

Cumpre salientar que esse PB não representa o estado da arte dos eixos de pesquisa, mas, sim, da intersecção entre eles, considerada as delimitações dos pesquisadores. Ou seja, caso outros pesquisadores repliquem o desenvolvimento dessa etapa, o PB, manterá o núcleo central de artigos, mas alguns não serão selecionados e outros, aqui não incluídos, poderão ser. Tal característica ocorre devido ao caráter qualitativo dessa etapa da pesquisa, em que a subjetividade do pesquisador se faz presente (VERGARA, 2011). Resgatamos as palavras de Vergara (2011, p. 764) que elucidam esse aspecto: "[e]ntendo que em pesquisa qualitativa, por admitir-se a subjetividade do pesquisador, a confiabilidade é alcançada pelo pesquisador pelo detalhamento da metodologia que utilizou na pesquisa, enquanto a validação é concedida pelo leitor, na medida em que o texto explicita o esforço de objetivação do pesquisador."

A subetapa a seguir apresenta as características das publicações sobre Avaliação de Desempenho com enfoque nas Cooperativas de Produção Agropecuária.

4.2. Análise bibliométrica

A análise bibliométrica será realizada em três etapas, quais sejam: (4.2.1) dos artigos da amostra; (4.2.2) das referências citadas; e, por fim, (4.2.3) da relevância acadêmica dos artigos do referencial teórico, conforme se pode visualizar na Figura 4.

Nas duas primeiras etapas, levantou-se a representação do PB por autor e por periódico. Já na terceira etapa, quantificaram-se as citações dos autores nas referências do PB no intuito de determinar a relevância acadêmica dos artigos. Sendo assim, abaixo serão demonstrados os resultado obtidos pela análise bibliométrica.

4.2.1. Avaliação dos artigos da amostra

No que tange ao grau de relevância dos periódicos no Portfólio Bibliográfico (Figura 5), destaca-se dos demais o periódico Agribusiness, visto que três dos 14 artigos foram publicados nesse periódico. Em segundo, com duas publicações, aparece o Annals of Public and Cooperative Economics; os demais periódicos participaram com apenas um artigo.

Dos periódicos da amostra, sete estão diretamente vinculados ao tema central do trabalho, ou seja, 'Cooperativas' e 'Agropecuária'; dois estão diretamente vinculados ao enfoque desejado 'Avaliação de desempenho/gestão'; e dois periódicos foram receptivos ao tema por abordarem questões sociais.

A Figura 6 destaca os artigos com maior reconhecimento científico do Portfólio Bibliográfico.

O artigo de maior reconhecimento científico intitulado "Environmental management and firm performance: a case study", cujo autor é Enrique Claver, foi publicado em 2007 no periódico Journal of Environmental Management. O referido artigo foi citado 63 vezes por outros artigos científicos até a data do presente estudo (abril de 2013), refletindo o reconhecimento científico do artigo para o tema da pesquisa.

Quanto à representatividade dos artigos por autor, nenhum dos 40 autores do Portfólio Bibliográfico foi evidenciado pela trajetória nessa área de conhecimento, uma vez que todos escreveram apenas um artigo nesse Portfólio Bibliográfico. Portanto, percebe-se que o tema Avaliação de Desempenho nas Cooperativas de Produção Agropecuária é um campo fértil que necessita ser explorado para contribuir com a área e com a prática desse segmento importante para a sociedade.

A análise referente às palavras-chave utilizadas nos artigos possibilita ampliar o conhecimento para o pesquisador acerca dos termos frequentemente utilizados no tema pesquisado. Tais informações são importantes para padronizar o uso de terminologias e facilitar a busca de pesquisadores que pretendem identificar novos artigos relacionados ao tema. As palavras-chaves de maior representatividade nos artigos do Portfólio são: Agricultural Cooperatives, Co-operatives, Economic performance e agriculture.

4.2.2. Análise das referências dos artigos da amostra

Nessa etapa, foram analisadas as referências bibliográficas dos 14 artigos do referencial teórico. Utilizaram-se como amostra somente as referências com título alinhado ao tema de pesquisa, em língua inglesa e publicações de artigo científico a partir do ano 2000, totalizando 44 referências.

Em relação aos períodicos de maior relevância (Figura 7), observa-se que os periódicos Agribusiness e Agricultural Economics participaram com a publicação de quatro artigos constantes nas referências do Portfólio Bibliográfico, o que demonstra relevância desses dentre os demais periódicos listados.

No que tange à identificação do reconhecimento científico dos artigos do Portfólio Bibliográfico nas referências, efetivou-se a contagem do número de vezes em que o artigo foi citado nas referências. Apresentam-se, na Figura 8, os três artigos que obtiveram destaque nessa etapa.

O artigo de maior destaque nas referências do Portfólio Bibliográfico é o intitulado "Performance of dairy plants in the cooperative and private sectors in India", publicado por Satbir Singh, Tim Coelli e Euan Fleming, em 2001, no periódico Annals of Public and Cooperative Economics, citado duas vezes nas referências dos artigos do Portfólio Bibliográfico.

Durante a etapa de análise das referências dos artigos do Portfólio Bibliográfico, identificou-se um total de 99 autores, que passaram por um processo para estimar o grau de relevância para analisar os autores mais prolíficos referenciados. Conforme demostra a Figura 9, destacam-se, nessa etapa, os seguintes autores citados duas vezes: Galdeano-Gomez, Cespedes-Lorente, Balcombe, Rodríguez, Zeller, Izquiero e Coelli.

Diante dos resultados obtidos nas etapas apresentadas, permite-se identificar, a seguir, o perfil dos artigos sobre Avaliação de Desempenho nas Cooperativas de Produção Agropecuária, por meio da confrontação de duas fontes de informações, ou seja, dos trabalhos do Portfólio Bibliográfico e de suas referências.

4.2.3. Perfil do conjunto de artigos resultantes do cruzamento entre os dois bancos

No intuito de evidenciar os periódicos mais relevantes quanto ao número de publicações sobre o tema Avaliação de Desempenho nas Cooperativas de Produção Agropecuária, elaborou-se um gráfico cartesiano, sendo que, no eixo das abscissas, apresenta-se o número de artigos das referências do Portfólio Bibliográfico no periódico, ao passo que o eixo das ordenadas mede o número de artigos do Portfólio Bibliográfico no periódico. Dessa forma, tende-se a confrontar os eixos no gráfico com o objetivo de destacar a relevância dos periódicos tanto nas referências do Portfólio, traçando uma linha vertical no gráfico, quanto no próprio Portfólio, traçando uma linha horizontal. Assim, permitiu-se dividir o gráfico cartesiano em quadrantes, conforme apresentado na Figura 10.

A análise da Figura 10 permite concluir que o periódico Agribusiness possui o maior destaque no Portfólio Bibliográfico para o tema da pesquisa, pois é relevante tanto na quantidade de artigos do Portfólio Bibliográfico quanto nas suas referências. Já o periódico Review of Agricultural Economics possui destaque apenas nas referências do periódico.

A análise seguinte refere-se aos artigos e aos autores de maior destaque. Portanto, elaborou-se um gráfico cartesiano, cujo eixo das abscissas é representado pelo número de citações do autor mais citado do artigo nas referências do Portfólio Bibliográfico e o eixo das ordenadas é representado pelo reconhecimento científico do artigo por meio do número de vezes que o artigo foi citado no Google Acadêmico. Dessa forma, pretendeu-se identificar, para cada artigo do Portfólio Bibliográfico, o ponto de encontro da informação referente ao número de citações do autor mais citado nas referências do Portfólio (eixo das abscissas) e o número de citações do artigo no Google Acadêmico (eixo das ordenadas). Com o objetivo de dividir o gráfico em quatro partes para facilitar a análise, traçou-se uma linha vertical para destacar os trabalhos do Portfólio Bibliográfico quanto à relevância do autor mais citado nas referência e uma linha horizontal para destacar aqueles com reconhecimento científico dentre o PB, conforme representa a Figura 11.

O artigo com mais destaque realizado por autor de destaque do Portfólio Bibliográfico intitula-se "Performance of Dairy Plants in the Cooperative and Private Sectors in India", de Satbir Singh, Tim Coelli e Euan Fleming, de 2001, publicado no periódico Annals of Public and Cooperative Economics.

O artigo que possui destaque entre os artigos do Portfólio Bibliográfico intitula-se "Members' Perception of Their Participation in the Governance of Cooperatives: The Key to Trust and Commitment in Agricultural Cooperatives", escrito por Peter Osterberg e Jerker Nilsson, em 2009, e publicado pelo periódico Agribusiness.

O artigo do Portfólio Bibliográfico realizado por autor de destaque nas referências do Portfólio Bibliográfico quanto ao tema da pesquisa é "Productivity and environmental performance in marketing cooperatives: An analysis of the Spanish horticultural sector",de Emilio Galdeano-Gómez, José Céspedes-Lorente e Manuel Rodríguez­-Rodríguez (2008), e publicado no periódico Annals of Public and Cooperative Economics.

Conforme demonstra a Figura 12, a última análise refere-se aos autores que mais se destacaram:

Embora se constate a existência de pesquisadores nas referências dos artigos do PB, percebe-se a ausência de um autor de destaque nesse tema (análise conjunta no Portfólio e nas referências). Essa informação é crucial, embora os autores apontem a Avaliação de Desempenho como necessária e como uma alternativa para auxiliar na gestão das cooperativas de produção agrícola, parece que nenhum pesquisador, ainda, engajou-se nesse nicho.

A partir da leitura dos artigos do PB e do conhecimento gerado, os autores, na subseção a seguir, tecem algumas considerações sobre a afiliação teórica de Avaliação de Desempenho que informou os artigos, com vistas a subsidiar futuros trabalhos.

5. Considerações finais

O cooperativismo tem se consolidado no cenário econômico e social devido à sua filosofia capaz de unir o bem-estar social com o desenvolvimento econômico. Os referenciais básicos desse modelo consistem em atender às necessidades de um grupo, buscando prosperidade conjunta por meio da participação autônoma, solidária e democrática.

Embora as Cooperativas estejam focadas no desenvolvimento social de seus cooperados, essas entidades possuem também características semelhantes às das empresas, uma vez que, mesmo sem a intenção de obter lucro, o objetivo principal de uma Cooperativa de Produção Agropecuária é beneficiar o conjunto dos seus associados por meio da produção de bens ou serviços. Dessa forma, para melhor gestão e garantir o sucesso das suas atividades, as Cooperativas necessitam de controles, técnicas e métodos de Avaliação de Desempenho como qualquer entidade, o que requer uso de instrumentos de gestão atualizados e competitivos.

Entretanto, mesmo sendo reconhecido o benefício advindo da Avaliação de Desempenho, essa prática é pouco explorada no contexto das cooperativas de produção agropecuária. Sendo assim, os autores da presente pesquisa argumentam que o ponto de partida está na busca de conhecimento sobre o que a literatura científica apresenta sobre o tema. Nesse contexto, o objetivo desta investigação foi construir conhecimento acerca do tema Avaliação de Desempenho das Cooperativas de Produção Agropecuária a partir da seleção do Portfólio Bibliográfico e de Análise Bibliométrica na área. Diante desse objetivo, os autores selecionaram o instrumento metodológico Knowledge Development Process – Construtivist (ProKnow-C) por sua perspectiva construtivista.

De forma pontual e objetiva, os pesquisadores podem traduzir o conhecimento construído em termos dos seguintes resultados: (i) o tema Avaliação de Desempenho das Cooperativas de Produção Agropecuária é representado, segundo a percepção dos pesquisadores, por 14 artigos que compõem o Portfólio Bibliográfico (PB); (ii) a maioria dos artigos do PB foi publicada em periódicos vinculados ao assunto central desta investigação (Cooperativas e Agropecuária), quais sejam: Agribusiness (tendo publicado três dos 14 artigos), o Annals of Public and Cooperative Economics (tendo publicado três dos 14 artigos) e o periódico Review of Agricultural Economics é destaque apenas nas referências dos artigos do Portfólio Bibliográfico; (iii) "Environmental management and firm performance: a case study"é o artigo mais relevante, tendo sido citado em 63 trabalhos; (iv) inexistência de autor com trajetória de pesquisa nesse tema, uma vez que cada autor participa somente em uma única publicação do PB; entretanto pode-se citar como autores de relevância nas referências dos artigos do Portfólio: Emilio Galdeano-Gómez, José Céspedes-Lorente, Manuel Rodríguez­-Rodríguez e Tim Coelli; e (v) as palavras-chave mais utilizadas no PB são Agricultural Cooperatives; Co-operatives e Agriculture.

O conhecimento gerado possibilitou aos autores refletirem sobre a afiliação teórica de Avaliação de Desempenho que informou os artigos do PB, onde constou que a maioria dos artigos adotam uma abordagem realista, ou seja, as ferramentas utilizadas buscavam encontrar uma "solução ótima" ou uma "solução única" para o contexto que está investigando nas cooperativas, a partir de dados externos a ela. Nesse aspecto, os autores questionam o auxílio que tais diagnósticos podem oferecer à gestão da cooperativa de produção agropecuária e sugerem a adoção de uma perspectiva construtivista para novas pesquisas nessa área.

Com relação ao instrumento metodológico selecionado – Proknow-C –, os pesquisadores argumentam que seu processo estruturado leva o usuário a refletir sobre todas as variáveis e delimitações e, com isso, gera conhecimento sobre o assunto, de tal forma que tenha condições de argumentar sobre quais são as escolhas e aportes teóricos mais alinhados à sua visão de mundo. O processo utilizado desde a identificação dos eixos de pesquisa para explicitar as áreas de conhecimento que os autores consideram como necessárias e suficientes para delimitar as dimensões desse fragmento da literatura, passando pela constituição do portfólio bruto de artigos, pela sua filtragem e pelo teste de representatividade, permitiu expandir o entendimento, resultando no PB que representa o conjunto de artigos científicos e relevantes (segundo as delimitações dos pesquisadores). Essa primeira etapa foi caracterizada pela participação dos pesquisadores, propiciando a cada escolha a reflexão e entendimento do assunto, fazendo com que, ao final, o Portfólio Bibliográfico se tornasse a representação do fragmento de conhecimento do tema 'Cooperativas de Produção Agropecuária' que buscavam conhecer. No segundo momento, a partir deste Portfólio Bibliográfico, buscaram conhecer as características objetivas desse tema, aqui representadas pelos periódicos, artigos, autores e palavras-chave que mais se destacam nesse PB. Como cada pesquisador percebe e analisa os fatos de acordo com sua visão, aqui não poderia ser diferente. Assim, os pesquisadores deste artigo, por afiliarem-se a uma visão construtivista, ao procederem à leitura dos 14 artigos do PB, perceberam que a maioria deles não se alinha à abordagem construtivista, e, dessa forma, acreditam que a proposta de investigar o tema sob essa perspectiva pode gerar novos conhecimentos tanto para os próprios pesquisadores, mais ainda aos gestores das cooperativas de produção agropecuária e, aí sim, auxiliar na gestão dessas entidades.

Em linhas gerais, os autores reconhecem que o conhecimento construído durante o processo tenha contribuído para o resgate do conhecimento existente e disponível em diversas bases de dados ao apresentar, ilustrar e analisar um processo estruturado para selecionar artigos científicos relevantes que poderão compor o referencial teórico de um estudo que investigue a Avaliação de Desempenho nas Cooperativas de Produção Agropecuária.

Dentre as delimitações da pesquisa, citam-se: (i) a busca bibliográfica restrita aos artigos publicados em periódicos científicos; (ii) a utilização somente das bases de dados do portal de periódicos da Capes; e (iii) a restrição pelo limite temporal dos artigos publicados posteriormente ao ano 2000. Portanto, recomenda-se para futuras pesquisas: (i) a consulta e a busca em bases de dados não disponibilizadas pelo portal de periódicos da Capes; (ii) a ampliação do horizonte temporal anterior ao ano de 2000; (iii) a continuidade desta pesquisa, com o desenvolvimento das etapas 'análise sistêmica' e 'identificação de oportunidades de pesquisa' por meio do ProKnow-C; e (iv) a proposta de uma ferramenta com abordagem construtivista para avaliar o desempenho de uma cooperativa de produção agropecuária e apoiar sua gestão.

6. Referências bibliográficas

• ALAVI, M. e CARLSON, P. A review of MIS research and disciplinary development. Journal of Management Information Systems, v. 8, n. 4, p. 45-62, 1992.
• AZEVEDO, R. C. de, LACERDA, R. T. de O., ENSSLIN, L., JUNGLES, A. E. e ENSSLIN, S. R. Performance Measurement to Aid Decision Making in the Budgeting Process for Apartment-Building Construction: Case Study Using MCDA-C. Journal of Construction Engineering and Management, v. 139, p. 225-235, 2013.
• AZEVEDO, R. C. et al Avaliação de Desempenho do processo de orçamento: estudo de caso em uma obra de construção civil. Ambient. constr. (Online) [online]. 2011, v. 11, n. 1, p. 85-104.
• BAOURAKIS, G., DOUMPOS, M., KALOGERAS, N. e ZOPOUNIDIS, C. Multicriteria analysis and assessment of financial viability of agribusinesses: The case of marketing co-operatives and juice-producing companies. Agribusiness, v. 18, n. 4, p. 543-558, 2002.
• BORTOLUZZI, S. C., ENSSLIN, S. R. e ENSSLIN, L. Avaliação de Desempenho multicritério como apoio à gestão de empresas: aplicação em uma empresa de serviços. Gest. Prod. [online], 2011.
• BOYLE, G. E. The economic efficiency of Irish dairy marketing co-operatives. Agribusiness, v. 20, n. 2, p. 143-153, 2004.
• CAMPOS-CLIMENT, V., APETREI, A. e CHAVES-AVILA, R. Delphi method applied to horticultural cooperatives. Management Decision, v. 50, n. 7-8, p. 1266-1284, 2012.
• CHEN, P. C., HSU, S. H., CHANG, C. C. e YU, M. M. Efficiency measurements in multi-activity data envelopment analysis with shared inputs: An application to farmers' cooperatives in Taiwan. China Agricultural Economic Review, v. 5, n. 1, p. 24-42, 2013.
• CLAVER, E., LÓPEZ, M. D., MOLINA, J. F. e TARÍ, J. J. Environmental management and firm performance: A case study. Journal of Environmental Management, v. 84, n. 4, p. 606-619, 2007.
• COSTA, D. R. M., CHADDAD, F. R. e AZEVEDO, P. F. Separação entre propriedade e decisão de gestão nas cooperativas agropecuárias brasileiras. Revista de Economia e Sociologia Rural, 2012.
• ENSSLIN, L., ENSSLIN, S. R. e PINTO, H. de M. Processo de investigação e Análise bibliométrica: Avaliação da Qualidade dos Serviços Bancários. RAC Revista de Administração Contemporânea; v.17, n. 3, p. 325-349, 2013.
• GALDEANO-GOMEZ, E., CESPEDES-LORENTE, J. e RODRIGUEZ-RODRIGUEZ, M. Productivity and environmental performance in marketing cooperatives: An analysis of the Spanish horticultural sector. Journal of Agricultural Economics, v. 57, n. 3, p. 479-500, 2006.
• GUZMÁN, I. e ARCAS, N. The usefulness of accounting information in the measurement of technical efficiency in agricultural cooperatives. Annals of Public and Cooperative Economics, 2008.
• IRION, J. E. Cooperativismo e economia social: a prática do cooperativismo como alternativa para uma economia centrada no trabalho e no homem São Paulo: Ed. STS, 1997.
• IUDÍCIBUS, S. Teoria da contabilidade São Paulo: Atlas, 2004.
• JAMES H. S. e SYKUTA M. E. Property right and organizational characteristics of producer-owned firms and organizational trust. Annals of Public and Cooperative Economics, v. 76, n. 4, p. 545580, 2005.
• LACERDA, R. T. O., ENSSLIN, L. e ENSSLIN, S. R. Uma Análise Bibliométrica da Literatura Sobre Estratégia e Avaliação de Desempenho. Gestão & Produção, v. 19, n. 1, 2012.
• LERMAN Z. e PARLIAMENT C. Size and industry effects in the performance of agricultural cooperatives. European Review of Agricultural Economics, v. 6, n. 1, p. 15-29, 1991.
• LIMBERGER, E. Cooperativismo Empresa Socializante Porto Alegre: Imprensa Livre, 1996.
• LIN, B. e CHEN, W. Economic performance evaluation on land circulation in modern agricultural planting parks-based on survey data in chengdu. Asian Social Science, v. 7, n. 12, p. 91-97, 2011.
• MOREIRA, V. R., SILVA, C. L. D., MORAES, E. A. D. e PROTIL, R. M. O cooperativismo ea gestão dos riscos de mercado: análise da fronteira de eficiência do agronegócio paranaense. Revista de Economia e Sociologia Rural, v. 50, n. 1, p. 51-68, 2012.
• OSTERBERG, P. e NILSSON, J. Members' Perception of Their Participation in the Governance of Cooperatives: The Key to Trust and Commitment in Agricultural Cooperatives. Agribusiness, v. 25, n. 2, p. 181-197, 2009.
• PIRES, M. L. L. S. A (re)significação da extensão rural. O cooperativismo em debate Recife: Bagaço, 2003.
• REZAEI-MOGHADDAM, K. e KARAMI, E. A multiple criteria evaluation of sustainable agricultural development models using AHP. Environment, Development and Sustainability, v. 10, n. 4, 2008.
• RICHARDSON, R. J. Pesquisa social:métodos e técnicas. 3. ed. São Paulo: Atlas, 1999.
• ROSA, F. S., ENSSLIN, S. R., ENSSLIN, L. e LUNKES, R. J. Gestão da evidenciação ambiental: um estudo sobre as potencialidades e oportunidades do tema. Engenharia Sanitária e Ambiental, v. 16, n. 2, p. 157-166, abr./jun., 2011.
• ROSA, F. S., ENSSLIN, S. R., ENSSLIN, L. e LUNKES, R. J. Management environmental disclosure: a constructivist case. Management Decision, v. 50, n. 6, p. 1117-1136, 2012.
• ROY, B. Decision science or decision-aid science? EJOR, v. 66, n. 2. p. 184-203, 1993.
• SINGH, S., COELLI, T. e FLEMING, E. Performance of dairy plants in the cooperative and private sectors in India. Annals of Public and Cooperative Economics, v. 72, n. 4, p. 453-479, 2001.
• SOBOH, R., LANSINK, A. O., GIESEN, G. e VAN DIJK, G. Performance Measurement of the Agricultural Marketing Cooperatives: The Gap between Theory and Practice. Review of Agricultural Economics,v. 31, n. 3, p. 446-469, 2009.
• SOUZA, U. R. D., BRAGA, M. J. e FERREIRA, M. A. M. Fatores associados à eficiência técnica e de escala das cooperativas agropecuárias paranaenses. Revista de Economia e Sociologia Rural, v. 49, n. 3, p. 573-597, 2011.
• TASCA, J. E., ENSSLIN, L., ENSSLIN, S. R. e ALVES, M. B. M. An approach for selecting a theoretical framework for the evaluation of training programs. Journal of European Industrial Training,v. 34, n. 7, p. 631-655, 2010.
• VERGARA, S. C. Réplica 2 - análise de conteúdo como técnica de análise de dados qualitativos no campo da administração: potencial e desafios. Rev. adm. contemp. [online] v. 15, n. 4, p. 761-765, 2011. http://dx.doi.org/10.1590/S1415-65552011000400012
• Vergara, S. C. e Peci, A. Escolhas metodológicas em estudos organizacionais. Organizações & Sociedade, v. 10, n. 27, p. 13-26, 2003.
• WILSON, N., HALL, T. e FIELDS, D. Measuring retail service quality in farm supply cooperatives. International Food and Agribusiness Management Review, v. 14, n. 1, p. 1-22, 2011.
• ZHENG, S., WANG, Z. G. e SONG, S. F. Farmers' behaviors and performance in cooperatives in Jilin Province of China: A case study. Social Science Journal, v. 48, n. 3, p. 449-457, 2011.

Datas de Publicação

• Publicação nesta coleção
  01 Dez 2014
• Data do Fascículo
  Set 2014