Acessibilidade / Reportar erro

O efeito da interdependência na satisfação de equipes de trabalho: um estudo multinível

Resumos

O efeito da interdependência nos resultados do desempenho das equipes de trabalho foi defendido no modelo teórico, proposto por Guzzo e Shea (1992). No presente estudo, a pertinência dessa proposta foi explorada, adotando-se um modelo multinível. Investigou-se o efeito da interdependência de tarefas, de resultados e crenças na efetividade das equipes. O aspecto considerado indicador da efetividade foi a satção dos membros. A amostra de dados coletados foi composta por 113 indivíduos, agrupados em 28 equipes. Os resultados apontaram a adequação do modelo proposto, pois permitiu compreender as diferenças entre indivíduos e equipes. De maneira específica, observou-se que existe relação direta entre interdependência de resultados e satisfação. A interdependência de tarefas interveio modificando, em alguns casos, essa relação. Adicionalmente, identificou-se maior satisfação de indivíduos que relataram depender dos seus colegas para atingir seus resultados; contudo isto foi verdadeiro apenas para aqueles que acreditam que as equipes de trabalho são efetivas. Pelo contrário, no caso daqueles que não acreditam na efetividade das equipes, a elevada dependência de resultados esteve relacionada a níveis mais baixos de satisfação.

equipes de trabalho; interdependência em equipes; satisfação com a equipe; modelo multinível


The effect of interdependence on the results of work team performance has been defended on grounds of the theoretical model proposed by Guzzo and Shea (1992). In the present study the adequacy of this proposal was investigated by adopting a multilevel model. The effect of task interdependence results interdependence and beliefs on team effectiveness was investigated. Satisfaction with the work team was chosen as an indicator of team effectiveness. The collected data consisted of a sample of 113 individuals, who belonged to 28 work teams. The results of this study confirmed the adequacy of the model, since it was capable to explain differences between individuals and teams. More in specific, a direct relationship between results interdependence and satisfaction was shown to exisit. Task interdependence was shown, in some cases, to modify this direct relationship. Besides this, higher satisfaction was observed of those individuals who reported to depend on other team members to attain their results. However, this was the case only for those individuals who developed positive beliefs on the effectiveness of work teams. In the case individuals did not believe in team effectiveness, a high degree of results dependency was found to be associated with lower levels of satisfaction.

work teams; interdependence in teams; satisfaction with teams; multilevel model


ARTIGOS

O efeito da interdependência na satisfação de equipes de trabalho: um estudo multinível

Katia Elizabeth Puente-Palacios; Jairo Eduardo Borges-Andrade

RESUMO

O efeito da interdependência nos resultados do desempenho das equipes de trabalho foi defendido no modelo teórico, proposto por Guzzo e Shea (1992). No presente estudo, a pertinência dessa proposta foi explorada, adotando-se um modelo multinível. Investigou-se o efeito da interdependência de tarefas, de resultados e crenças na efetividade das equipes. O aspecto considerado indicador da efetividade foi a satção dos membros. A amostra de dados coletados foi composta por 113 indivíduos, agrupados em 28 equipes. Os resultados apontaram a adequação do modelo proposto, pois permitiu compreender as diferenças entre indivíduos e equipes. De maneira específica, observou-se que existe relação direta entre interdependência de resultados e satisfação. A interdependência de tarefas interveio modificando, em alguns casos, essa relação. Adicionalmente, identificou-se maior satisfação de indivíduos que relataram depender dos seus colegas para atingir seus resultados; contudo isto foi verdadeiro apenas para aqueles que acreditam que as equipes de trabalho são efetivas. Pelo contrário, no caso daqueles que não acreditam na efetividade das equipes, a elevada dependência de resultados esteve relacionada a níveis mais baixos de satisfação.

Palavras-chave: equipes de trabalho; interdependência em equipes; satisfação com a equipe; modelo multinível.

ABSTRACT

The effect of interdependence on the results of work team performance has been defended on grounds of the theoretical model proposed by Guzzo and Shea (1992). In the present study the adequacy of this proposal was investigated by adopting a multilevel model. The effect of task interdependence results interdependence and beliefs on team effectiveness was investigated. Satisfaction with the work team was chosen as an indicator of team effectiveness. The collected data consisted of a sample of 113 individuals, who belonged to 28 work teams. The results of this study confirmed the adequacy of the model, since it was capable to explain differences between individuals and teams. More in specific, a direct relationship between results interdependence and satisfaction was shown to exisit. Task interdependence was shown, in some cases, to modify this direct relationship. Besides this, higher satisfaction was observed of those individuals who reported to depend on other team members to attain their results. However, this was the case only for those individuals who developed positive beliefs on the effectiveness of work teams. In the case individuals did not believe in team effectiveness, a high degree of results dependency was found to be associated with lower levels of satisfaction.

Key words: work teams; interdependence in teams; satisfaction with teams; multilevel model.

INTRODUÇÃO

As equipes de trabalho constituem unidades de desempenho, cuja implementação é cada vez mais freqüente no âmbito organizacional. Este incremento pode ser considerado efeito dos processos de mudança, sofridos pelas orgações em resposta às pressões exercidas pelo meio ambiente, que cobra respostas efetivas às suas demandas. Nas equipes de trabalho, em decorrência da sua estrutura, a interação dos membros é imprescindível, pois os objetivos serão atingidos apenas a partir do esforço conjunto. A este respeito, Guzzo e Shea (1992) defendem que a natureza das equipes de trabalho invariavelmente envolve dependência entre os seus membros, em maior ou menor grau. Assim, é pertinente esperar que a inserção da interdependência, como variável preditora, num modelo explicativo de resultados do desempenho das equipes, contribua para a melhor compreensão deste fenômeno.

Guzzo e Shea (1992) propuseram um modelo teórico do desempenho das equipes de trabalho, cuja diferença fundamental, em ção a alguns dos existentes (GLADSTEIN, 1984; HACKMAN, 1987), é a parcimônia. O modelo proposto destaca a participação de um conjunto reduzido de variáveis, tendo em vista o poder explicativo atribuído a elas na predição do desempenho de equipes. Os autores manifestam que a intensidade com que a dependência de tarefas e de resultados é percebida pelos membros das equipes exerce efeitos significativos nos resultados do desempenho dessas equipes.

Saavedra, Earley e Van Dyne (1993) realizaram pesquisas empíricas que confirmaram a pertinência das afirmações realizadas por Guzzo e Shea (1992). Constataram que os membros das equipes percebem a existência de diferentes tipos de interdependência, como de tarefas e resultados, que causam impacto, de maneira também diferenciada, em indicadores do desempenho. Adicionalmente, os autores observaram que melhor compreensão do efeito desses tipos de interdependência pode ser alcançada, se investigada a sua partição conjunta, antes que de maneira separada.

Em pesquisas posteriores, realizadas por Wageman (1995) e Wageman e Baker (1997), os efeitos específicos de cada tipo de interdependência sobre o desempenho das equipes de trabalho foram identificados e as análises realizadas permitiram confirmar o sugerido por Saavedra et al. (1993), em relação à participação conjunta: associações congruentes de interdependência (elevada interdependência de tarefas associada a elevada interdependência de resultados) desembocam em maior efetividade da equipe, quando comparadas com associações incongruentes (elevada interdependência de tarefas associada a interdependência de resultados baixa ou vice-versa).

Pesquisas recentes (VAN DER VEGT; EMANS; VAN DE VLIERT, 2000, 2001; VAN DER VEGT; VAN DE VLIERT, 2002) oferecem contribuições adicionais aos trabalhos deste campo, porque, além de revelar o impacto da interdependência de tarefas e de resultados nas respostas afetivas, dos membros de equipes de trabalho, respostas definidas como indicadores de efetividade, mostram que estas variáveis podem ser consideradas características dos indivíduos ou das equipes, isto é, constituem variáveis explicativas de diferentes níveis. Logo, o modelo teórico proposto e testado é aquele cuja estrutura contempla variáveis organizadas de maneira hierárquica. Modelos com este desenho são denominados modelos multinível.

A importância da adoção deste tipo de modelo teórico radica na possibilidade de investigar contribuições diferentes, dependendo do nível que as variáveis representam, o que é impossível ao adotar modelos de um único nível. Tendo em vista que modelos teóricos multinível têm sido pouco ou nada utilizados no Brasil, nas pesquisas em comportamento organizacional, a seguir são apresentadas algumas das suas principais características.

Modelos Teóricos Multinível

Os modelos multinível constituem proposições teóricas relativas aos mais diversos campos e têm como característica principal a presença de elementos explicativos, oriundos de diferentes níveis. Assim, não se referem a um único corpo teórico; a sua denominação traduz a forma como os componentes estão organizados (VAN DEN EEDEN; HOX; HAUER, 1990). Ao adotar este tipo de modelo para o estudo do desempenho das equipes de trabalho, está sendo defendido que o desempenho é mais bem compreendido, se levada em consideração a participação de variáveis preditoras (ou explicativas), tanto relativas aos indivíduos que compõem as equipes, quanto às equipes em si.

A definição de níveis, conforme Klein e Kozlowski (2000) manifestam, não é simples, pois conceitos formais não podem ser oferecidos. Por esta razão, afirmam os autores, níveis devem ser compreendidos como segmentos de interesse teórico que focalizam coletividades humanas. Duplas, grupos, subunidades e unidades são níveis organizacionais relevantes em decorrência da contribuição que podem oferecer à compreensão de determinado comportamento.

Ao estudar o desempenho de equipes de trabalho, os níveis de interesse podem ser o indivíduo, a equipe, a organização e o seu meio ambiente, só para citar alguns. Contudo, na realização do presente trabalho foram levados em consideração dois níveis: o indivíduo (nível 1) e a equipe (nível 2). Isto em decorrência do papel primordial atribuído a eles, quando o objetivo é a compreensão dos resultados afetivos do desempenho das equipes, que é a satisfação.

A concepção subjacente aos modelos multinível é que a contribuição das variáveis explicativas de diferentes níveis, na compreensão do fenômeno de interesse (variável critério), é teórica e matematicamente diferenciada; portanto os seus efeitos são específicos em decorrência do nível que representam. Esta particularidade deve ser tanto discutida no modelo teórico proposto, quanto respeitada no modelo matemático a ser testado.

Aspecto de fundamental importância nos modelos multinível é a investigação de interação das variáveis de diferentes níveis (efeito cross level). Para a construção destas interações o pesquisador precisa contar com referencial teórico ou empírico que sustente a pertinência das relações esperadas. Falando especificamente sobre a efetividade das equipes de trabalho, as interações representam o reconhecimento do efeito que o contexto, ou características da equipe, tem sobre a relação entre variáveis explicativas e critério dos indivíduos. Por exemplo, pessoas mais motivadas estão mais satisfeitas (variáveis explicativa e critério do nível dos indivíduos), desde que pertençam a equipes nas quais exista suporte social ao desempenho (variável explicativa do contexto ou do nível da equipe). Tendo em vista a complexidade dos modelos multinível, eles devem ser parcimoniosos e caracterizados por um conjunto reduzido de elementos, conforme defendem Kreft e de Leeuw (1998).

Obedecendo às exigências decorrentes da adoção de modelos teóricos multinível, apresenta-se a seguir a definição das variáveis inseridas no modelo aqui proposto, os níveis aos quais pertencem, as interações hipotetizadas entre elas, assim como os efeitos esperados.

Interdependência de Resultados

Guzzo e Shea (1992) afirmam que a interdependência de resultados pode ser compreendida como a medida em que os ganhos e perdas decorrentes do trabalho dependem dos desempenhos de outros membros da equipe. Esclarecem, de maneira adicional, que a intensidade com que os sistemas organizacionais de reconhecimento e pagamento recompensam o grupo, antes que o indivíduo, determina o nível de dependência de resultados entre os seus membros. Segundo a proposta desses autores, quanto maior a interdependência de resultados, maior a efetividade da equipe. Wageman e Baker (1997), autores também interessados no estudo desta variável, afirmam que, nas organizações, os sistemas de recompensas interdependentes são aqueles em que as recompensas são outorgadas ao grupo, com base no desempenho coletivo, e distribuídas entre os membros sem levar em consideração o desempenho individual. Hackman (1987), embora não destaque, de maneira específica, o papel deste tipo de interdependência, esclarece que é importante investigar se o sistema de recompensas oferecido pela organização favorece, ou não, desempenhos coletivos, isto é, verificar se focaliza os indivíduos ou as equipes.

Ao propor a participação desta variável num modelo composto por múltiplos níveis, é necessário definir aquele ao qual pertence. Guzzo e Shea (1992) propõem um modelo que considera a participação de variáveis de um único nível: o das equipes de trabalho. Da mesma forma o fazem Saavedra et al. (1993), Wageman (1995) e Wageman e Baker (1997), que investigam, de maneira empírica, a participação conjunta de diversos tipos de interdependência na explicação de resultados do desempenho de equipes. Por outro lado, Van der Vegt et al.(1998, 1999) e Shaw, Dully e Stark (2000), ao estudar o papel desta variável, embora não defendam com argumentos teóricos o nível ao qual pertence, adotam mecanismos de mensuração e análise de dados no nível dos indivíduos, pelo que pode ser inferido que assumem tratar-se de característica do nível 1.

Portanto, a partir da revisão da literatura, constata-se que esta variável pode ser tida como característica tanto dos indivíduos quanto das equipes de trabalho. No presente trabalho, e considerando que está fortemente sustentado no modelo teórico proposto por Guzzo e Shea (1992), foi tomada a decisão de atribuir esta variável ao segundo nível. Assim, a interdependência de resultados é assumida como característica das equipes de trabalho. O princípio subjacente é que, se as equipes são unidades de desempenho compostas com o objetivo de atingir metas específicas, o sucesso ou fracasso será coletivamente recompensado.

Interdependência de Tarefas

Guzzo e Shea (1992) definem a interdependência de tarefas como a extensão em que os membros do grupo devem interagir e dependem mutuamente para completar o trabalho de maneira satisfatória. Wageman e Baker (1997) manifestam que a interdependência de tarefas é o grau em que o desempenho das tarefas de um membro da equipe depende do esforço e habilidades dos outros. Van der Vegt et al. (2000) afirmam que pode ser compreendida como a intensidade com que os membros das equipes precisam trocar infção e recursos para completar o seu trabalho satisfatoriamente. Conforme se ampliam a complexidade e o grau de dificuldade das tarefas, assim como à medida que os membros precisam de maior assistência dos seus colegas para cumprir o trabalho, mais elevado é o nível de dependência de tarefas nessa equipe, afirmam.

Em relação ao nível ao qual é atribuída, pode-se verificar que tanto é definida como característica dos indivíduos quanto das equipes. Aqueles que a consideram variável do nível das equipes (GUZZO; SHEA, 1992; SAAVEDRA et al., 1993; WAGEMAN; BAKER, 1997) assumem tratar-se de característica estrutural, decorrente do desenho ou estrutura da tarefa. Aqueles que a consideram característica do nível dos indivíduos que compõem as equipes de trabalho (SHAW et al., 2000; VAN DER VEGT et al., 1998, 1999, 2000, 2001; VAN DER VEGT; VAN DE VLIERT, 2002), defendem que, embora o desenho das tarefas exija pouca dependência, os membros são capazes de administrá-las de maneira a maximizar esse nível, quando isto traz ganhos ou evita alguma perda considerada importante. Por isso, os membros das equipes percebem as tarefas, administram a sua execução e agem de maneira a ajustar o grau de dependência às suas necessidades, pelo que é assumida como característica dos indivíduos e não dos grupos.

Tendo em vista as informações obtidas na revisão da literatura, considerou-se pertinente levantar hipóteses sobre a participação dessa variável como sendo donível 1. É assumido que os membros das equipes podem administrar as tarefas de maneira a promover maior associação ou dependência. Admite-se, desta forma que, embora o desenho das tarefas traga embutido determinado grau de dependência, os membros das equipes podem maximizá-la ou minimizá-la de acordo com as suas necessidades e preferências.

Obedecendo às exigências decorrentes da adoção de modelos teóricos de estrutura multinível, a seguir é discutida a relação entre a interdependência de tarefas e de resultados, assim como o seu efeito sobre a satisfação com a equipe de trabalho.

A revisão do modelo teórico que contempla a participação da interdependência de tarefas e de resultados (GUZZO; SHEA, 1992), assim como das pesquisas empíricas realizadas com o objetivo de verificar o seu efeito (SAAVEDRA et al., 1993; VAN DER VEGT et al., 2000, 2001; WAGEMAN, 1995; WAGEMAN; BAKER, 1997), permitem afirmar que a melhor compreensão do impacto dessas variáveis é obtida, quando investigada a interação delas. Guzzo e Shea manifestam que a relação entre interdependência de resultados e efetividade das equipes é direta, enquanto a interdependência de tarefas atua moderando ou modificando esta relação. Esclarecem que o efeito mais forte é resultante da interdependência de resultados, principalmente quando esta se associa à de tarefas.

Resultados de pesquisas empíricas evidenciam o efeito positivo da participação conjunta da interdependência de tarefas e resultados, causando impacto no desempenho de membros de equipes de trabalho (JANZ COLQUITT; NOE, 1997; SAAVEDRA et al., 1993; SHAW et al., 2000; VAN DER VEGT et al., 1998, 1999; WAGEMAN, 1995; WAGEMAN; BAKER, 1997). Portanto é prudente esperar que a congruência entre interdependência de tarefas e resultados redunde em maiores níveis de satisfação do que a incongruência. Também se espera que a variável do segundo nível - interdependência de resultados - afete a relação entre aquelas do primeiro, interdependência de tarefas e satisfação; logo, modifique a sua relação.

Ainda que a interdependência de tarefas e de resultados constituam os elementos centrais do modelo proposto, existem evidências de que as crenças do indivíduo afetam o seu grau satisfação com a equipe, pelo que, a seguir, é explorada a participação desta variável.

Crenças na Efetividade da Equipe

As crenças constituem coções individuais sobre fatos e eventos. Autores como Fishbein e Azjen (1975) as colocam ao lado das opiniões e afirmam tratarse de fenômenos diferentes dos afetos e dos comportamentos. Esses autores especificam que as crenças associam um objeto a um atributo determinado. No caso das ças na efetividade das equipes de trabalho, a crença cumpre a função de ligar o objeto, equipe, a um atributo, efetividade. Pesquisas que focalizam os resultados do desempenho das equipes de trabalho não têm investigado a participação desta variável; contudo o efeito de construtos próximos está presente em estudos desse campo. No modelo proposto por Guzzo e Shea (1992), expectativas positivas sobre a efetividade da equipe, denominadas potência, são vistas como elementos que influenciam os resultados da equipe. Segundo os autores, o efeito das expectativas de efetividade da equipe deve ser investigado de maneira associada ao da interdependência, pois estas variáveis atuam de maneira conjunta sobre os resultados do desempenho.

Investigando, de maneira empírica, o efeito do nível de interdependência na satisfação dos membros da equipe, Shaw et al. (2000) afirmam que a satisfação resulta não apenas do desenho do grupo ou da tarefa. Depende, também, de características individuais; portanto, afirmam, a congruência entre características da tarefa e preferências individuais (preferência pelo trabalho em equipe) causa impacto na satisfação e no desempenho da equipe.

Discutindo o efeito da variável confiança nos resultados do desempenho das equipes, Costa, Roe e Taillieu (2001) a definem como um "estado psicológico que se manifesta em comportamentos a respeito de outros e que está baseado nas expectativas sobre o comportamento deles" (p. 228). Os autores esclarecem que a definição oferecida é adequada tanto para indivíduos quanto para grupos, e pode ser aplicada às relações de trabalho no contexto das equipes. De maneira adicional, apontam a existência de construtos próximos como estados psicológicos, expectativas, crenças e comportamentos em relação aos outros, os quais, agindo de maneira independente ou associada, afetam os resultados do trabalho da equipe. Mais especificamente, os autores defendem que as expectativas positivas sobre os outros membros influenciam positivamente a satisfação e o comprometimento com a própria equipe de trabalho.

Em relação ao nível a que esta variável pertence, a literatura revisada evidencia tratar-se de característica individual, pois os únicos que podem ter crenças ou expectativas são as pessoas. A partir da revisão de pesquisas realizadas, investigando o papel das crenças ou construtos próximos, assim como das teorizações efetuadas a seu respeito, tomou-se a decisão de inserir, no modelo da satisfação, as crenças na efetividade da equipe como segunda variável explicativa relativa aos indivíduos.

Satisfação com a Equipe de Trabalho

A efetividade das equipes de trabalho pode ser considerada o resultado final do seu desempenho. A este respeito Hackman (1987) manifesta que aquelas que atuam em organizações, normalmente não se desintegram após a conclusão de um trabalho; assim, o que acontece durante a execução da tarefa pode afetar a possibilidade de sobrevivência da equipe. A partir destas considerações, o referido autor sugere a adoção de três critérios de avaliação da efetividade da equipe: a) o produto, avaliado em termos de quantidade e qualidade; b) a qualidade das relações interpessoais; e, c) o saldo afetivo positivo para os membros da equipe.

Ainda sobre os indicadores afetivos da efetividade das equipes de trabalho, a revisão da literatura mostrou que a satisfação é um dos mais freqüentemente adotados, seja de maneira isolada ou associada a julgamentos (CAMPION; PAPPER; MEDSKER, 1996; CARLESS; DE PAOLA, 2000; GLADSTEIN, 1984; JANZ et al., 1997; JEHN; NORTHCRAFT; NEALE, 1999; KNOUSE; DANSBY, 1999; SHAW et al., 2000; WAGEMAN, 1995; VAN DER VEGT et al., 1998, 2000, 2001). Assim, a partir dessas evidências, tomou-se a decisão de adotar a satisfação com a equipe de trabalho como indicador afetivo legítimo da efetividade das equipes. Tendo em vista que a satisfação constitui o foco de interesse do modelo proposto (variável critério), é definida como característica dos indivíduos (do nível 1). Desta forma, espera-se encontrar diferenças entre indivíduos quanto ao seu nível de satisfação; contudo diferenças entre as equipes ambém deverão estar presentes, embora de menor magnitude. A existência dessas diferenças deverá ser matematicamente confirmada de forma a justificar a realização da análise multinível. A Figura 1 apresenta o modelo hipotetizado.


MÉTODO

Para testar as relações hipotetizadas, foi realizada uma investigação empírica em que levantaram dados, utilizando escalas de mensuração, na forma de questionários individuais auto-respondidos. Os dados foram analisados aplicando procedimentos de estatística descritiva e inferencial. Características relativas à amostra de indivíduos, cuja informação foi coletada, assim como das escalas utilizadas, são descritas a seguir.

Amostra

Foram encaminhados 152 questionários para os funcionários de uma instituição financeira do setor público. Todos pertenciam ao mesmo departamento e estavam organizados em 29 equipes de trabalho. As equipes possuíam, segundo registros da empresa, no mínimo três e no máximo quinze membros. Eram identificadas por si mesmas, e por outros membros da organização, como unidades de desempenho e possuíam um líder formal nomeado pela organização.

Dos questionários distribuídos entre os membros das equipes, 119 foram devolvidos, atingindo uma taxa de retorno de 78,29% (29 equipes). Seis questionários foram excluídos do banco de dados por apresentar elevada porcentagem de questões sem resposta (acima de 50%) ou pela invariância absoluta delas. Assim, a amostra com a qual as análises foram realizadas esteve composta por 28 equipes e 113 respondentes.

As equipes de trabalho com as quais a presente pesquisa foi realizada, constituem unidades de desempenho, definidas pela organização. Logo, não foram criadas para a realização da pesquisa. A escolha dos membros é realizada pela empresa, mas a solicitação de transferências é prática aceita pela instituição. Resumidamente, o trabalho realizado por essas equipes consiste em cuidar dos passos e procedimentos burocráticos necessários para atingir os objetivos relacionados com o gerenciamento de recursos humanos. Podem ser citados como exemplos de tarefas o monitoramento de treinamentos e desempenho dos membros da organização, assim como de comportamentos organizacionais.

Procedimento

Com base na informação fornecida pela organização quanto ao número de membros, blocos de questionários foram preparados para cada equipe. Os questionários foram entregues ao líder da equipe ou, quando este não estava presente, a um dos membros. No momento da entrega explicava-se o objetivo da pesquisa e esclarecia-se que a informação fornecida seria utilizada exclusivamente para fins de pesquisa e não pela organização.

Instrumentos

Para levantar informação relativa às variáveis definidas na presente pesquisa, foram adotadas diversas escalas de mensuração, descritas a seguir.

Interdependência de tarefas. Foi mensurada por meio da aplicação da versão traduzida ao português e psicometricamente validada da escala desenvolvida por Van der Vegt et al. (2000). Este instrumento, composto por cinco itens, é respondido numa escala tipo Likert de concordância de 5 pontos, onde 1 corresponde a concordo totalmente e 5 corresponde a discordo totalmente. O alfa de Cronbach da escala original foi 0,76. Na validação psicométrica realizada para a presente pesquisa, o valor do alfa de Cronbach foi de 0,86.

Interdependência de resultados. Foi aplicada uma versão traduzida ao português e psicometricamente validada da escala desenvolvida por Van der Vegt et al. (1998). Este instrumento está composto por seis itens respondidos numa escala bipolar de 7 pontos. O alfa de Cronbach da versão original desta escala é de 0,83, enquanto o alfa de Cronbach da versão validada é 0,78, portanto um pouco menor que o encontrado originalmente.

Satisfação com a equipe de trabalho. Mensurada a partir da aplicação de uma versão modificada e reduzida da escala desenvolvida por Van der Vegt et al. (1999). O instrumento aplicado estava composto por cinco itens, respondidos numa escala tipo Likert de concordância de 5 pontos, no qual 1 correspondia a discordo totalmente e 5 a concordo totalmente. O alfa de Cronbach da escala original (composta por nove itens) foi de 0,81 e o da presente versão, reduzida e modificada, foi ainda melhor: 0,87.

Crença na efetividade das equipes. A escala foi construída a partir do conjunto de itens retirados da escala de avaliação da satisfação desenvolvida por Van der Vegt et al. (1999), os quais evocaram indagações sobre as crenças dos indivíduos sobre o trabalho em equipes. O conteúdo original dos itens foi modificado de maneira a enfocar as crenças. A realização posterior de uma análise fatorial mostrou a discriminação adequada entre estes e aqueles que avaliavam a satisfação; portanto esta variável foi mensurada por meio de quatro itens, respondidos numa escala tipo Likert de concordância de 5 pontos, onde 1 corresponde a discordo totalmente e 5 a concordo totalmente. O alfa de Cronbach da escala aplicada foi de 0,75.

Além das escalas descritas, perguntas adicionais foram realizadas com o objetivo de coletar informações sobre variáveis não contempladas no modelo proposto, mas sobre as quais a literatura da área evidencia que afetam satisfação com a equipe. A inserção dessas variáveis, no modelo matemático, foi como variáveis de controle. Elas são: número de membros que compõem as equipes e percepção da quantidade e da qualidade de recursos materiais disponíveis para a realização das tarefas.

RESULTADOS

Considerando que todas as variáveis foram coletadas no nível dos indivíduos, o primeiro passo foi verificar o nível a que pertencem por meio do cálculo do ICC e do rWG. Tais índices permitem confirmar, matematicamente, se os dados coletados representam características dos indivíduos ou das equipes. Para favorecer a compreensão do leitor, vale explicar resumidamente que o ICC dessas análises pode ser compreendido como a magnitude da semelhança nas respostas dadas pelos membros da mesma equipe, levando em consideração as diferenças entre as equipes. O rWG pode ser compreendido como a intensidade da homogeneidade das respostas dadas pelos membros das mesmas equipes (informação detalhada sobre estes índices podem ser encontradas em James, Demaree e Wolf, 1984, 1993; Snijders e Bosker, 1999).

Os resultados encontrados revelam que a interdependência de tarefas e de resultados pertencem a níveis diferentes dos hipotetizados, isto é, no caso da interdependência de tarefas, tida como característica dos indivíduos, foi verificado que se trata de característica das equipes, pois houve grande similaridade nas respostas fornecidas pelos membros das mesmas equipes. No caso da interdependência de resultados, tida como característica das equipes, verificouse que o seu nível é o dos indivíduos, pois as respostas dos membros das mesmas equipes foram significativamente diferentes; portanto não foi identificado um padrão comum de respostas por equipe. No caso da variável crença na efetividade das equipes de trabalho o cálculo dos índices mencionados confirmou que se trata de característica dos indivíduos.

A partir dos resultados obtidos, foi imprescindível redefinir o nível das variáveis e, conseqüentemente, o próprio modelo antes aqui hipotetizado. O modelo a ser efetivamente investigado considera a participação de três variáveis que afetam a satisfação com as equipes de trabalho. Dessas, duas constituem características dos membros das equipes (nível 1, interdependência de resultados e crenças na efetividade das equipes de trabalho) e uma é característica das equipes (nível 2, interdependência de tarefas).

Uma vez identificado o nível das variáveis, deu-se início à construção do modelo matemático, utilizando o programa MLwiN, versão 1.10.007 (GOLDSTEIN et al., 1999). A análise multinível foi realizada em quatro passos e os resultados obtidos estão na Tabela 1.

No primeiro passo, conhecido como modelo vazio, confirmou-se que existem diferenças tanto entre indivíduos quanto entre equipes, em relação à satisfação com a equipe de trabalho. Essas diferenças (variância) foram matematicamente significativas (variância individual t = 6,51; p < 0,01; variância do grupo t = 1,92; p ≈ 0,05). A análise multinível oferece um índice de ajuste do modelo, denominado deviance que revela a adequação dos dados coletados ao modelo teórico proposto. Neste sentido, o que o pesquisados procura é que a cada passo, o deviance seja menor. A significância matemática da redução desse índice é dada em termos de X2.

No segundo passo foram insertas as variáveis de controle (número de membros da equipe, quantidade e qualidade de recursos materiais), cujo efeito sobre a satisfação é conhecido, ainda que não constitua o foco da pesquisa. Os resultados revelam que este conjunto de variáveis realmente afeta o nível de satisfação dos membros da equipe (permitem que o deviance fique menor, em termos de X2 = 7,74; g.l. = 3; p ≈ 0,05); portanto é pertinente isolar o seu efeito daquele oriundo das variáveis que constituem o eixo central do modelo.

No terceiro passo foram adicionadas as variáveis explicativas relativas aos indivíduos e às equipes. Os resultados mostram que este conjunto também favorece o ajuste do modelo, pois o deviance diminui significativamente (X2 = 11,522; g.l. = 3; p < 0,01). Esses dados revelam que quanto mais os membros das equipes percebem depender dos outros para atingir seus resultados, mais fortes as crenças deles sobre a efetividade das equipes, e quanto menor a dependência de tarefas nas suas equipes, maior a sua satisfação.

No quarto passo inseriram-se dois termos de interação. Vale lembrar que a investigação de interações entre variáveis explicativas é uma das características dos modelos multinível. O primeiro termo foi composto pelas variáveis: Interdependência de resultados (Ir) e Crenças na efetividade das equipes (Cr), ambas relativas aos indivíduos (nível 1).O segundo termo foi composto pelas variáveis: Interdependência de tarefas (It), do segundo nível, e Ir, do primeiro. A entrada de ambos favoreceu o ajuste do modelo (X2 = 15,804; g.l. = 2; p < 0,01).

Os resultados significativos, obtidos a partir da entrada dos termos de interação, suscitam novas dúvidas. Por um lado, constata-se que a investigação do efeito associado das variáveis explicativas favorece a compreensão da satisfação com a equipe de trabalho. Por outro, não se obtém informação suficiente a respeito da natureza das associações entre essas variáveis. Em decorrência disto, foi considerado necessário realizar duas regressões adicionais denominadas coeficiente de inclinação simples (simple slop). Na primeira, foi investigada a associação entre as variáveis primeiro nível: interdependência de resultados e crença na efetividade das equipes de trabalho.

Os resultados revelam que, no caso, pessoas que acreditam que as equipes de trabalho são unidades de desempenho efetivas e que dependem dos colegas para atingir os seus resultados estão mais satisfeitas com a equipe de trabalho do que as que percebem os seus resultados menos interdependentes. Para as pessoas que acreditam menos na efetividade das equipes de trabalho, aqueles que percebem depender menos dos colegas estão mais satisfeitos do que aqueles que percebem depender mais, conforme mostra a Figura 2.


Estes achados permitem afirmar que a relação entre a dependência de resultados e a satisfação do membro com a sua equipe muda em função das crenças dele sobre a efetividade das equipes.

A segunda regressão investigou a associação entre a interdependência de tarefas, do segundo nível, e a interdependência de resultados, do primeiro nível. Conforme pode ser visto na Figura 3, os resultados revelam que, em equipes de trabalho caracterizadas por elevada interdependência de tarefas, membros que relatam níveis elevados de interdependência de resultados estão mais satisfeitos do que aqueles que percebem níveis mais baixos deste tipo de interdependência.


A importância desses achados pode ser evidenciada ao analisar a magnitude da diferença nos níveis de satisfação em uma e outra situação, quando o cenário é de elevada interdependência de tarefas. A diferença é 1,26 desvio-padrão numa escala de 1 a 5. Quando a interdependência de resultados é baixa, a satisfação é 3,39 e quando é alta é 4,37. No outro cenário, quando as equipes se caracterizam por interdependência de tarefas baixa, a satisfação com a equipe de trabalho não está correlacionada com o nível percebido de interdependência de resultados; portanto, neste contexto, outras variáveis, que não a interdependência de resultados, explicam a satisfação do membro com a sua equipe.

Os resultados globais obtidos a partir da adoção de um modelo explicativo de estrutura multinível permitem afirmar que as variáveis investigadas favorecem a melhor compreensão das circunstâncias em que ocorre maior ou menor satisfação das equipes de trabalho.

DISCUSSÃO E CONCLUSÕES

O modelo adotado para explicar a satisfação com a equipe de trabalho teve um desenho multinível, em que se levantou a hipótese da participação de variáveis preditoras, relativas tanto aos indivíduos quanto às equipes. Estas variáveis foram a interdependência de resultados e a crença na efetividade das equipes de trabalho, como características dos indivíduos, e a interdependência de tarefas, como característica dos grupos.

De maneira específica, quanto às variáveis interdependência de tarefas e de resultados, verificou-se que o seu nível foi diferente do hipotetizado. Van der Vegt e Van de Vliert (2002), ao discorrer sobre o nível a que estas variáveis pertencem, defendem que, em decorrência da dinâmica característica do trabalho em equipes, é possível que percepções convergentes surjam como conseqüência da interação e convivência dos membros, tornando-se coletivamente sustentadas; portanto aconselham que o pesquisador interessado no seu estudo confirme matematicamente, antes da construção do modelo multinível, o nível que, de fato, representam.

Os resultados atingidos nas análises dos dados desta pesquisa revelam que membros das mesmas equipes têm percepções semelhantes quanto à dependência de tarefas. Assim, existe um padrão por equipe de trabalho. Logo, trata-se de característica das equipes. No caso da interdependência de resultados, observaram-se diferenças entre eles, pelo que deve ser afirmado que, nesta pesquisa, a interdependência de resultados é característica dos indivíduos.

Em relação ao modelo multinível proposto, os resultados apontaram a sua pertinência, uma vez que as variáveis explicativas escolhidas favoreceram a compreensão da satisfação da equipe de trabalho. Em termos concretos, foi verificado que tanto indivíduos quanto equipes diferem no seu nível de satisfação. Esta constatação reforça a necessidade de adoção de modelos teóricos de estrutura multinível, em que características (variáveis) relativas aos indivíduos e às equipes são levadas em consideração. Achados desta natureza também evidenciam que intervenções, cujo alvo sejam os indivíduos podem não ter o efeito esperado nos níveis de satisfação, caso sejam considerados apenas os indivíduos. Melhores resultados podem ocorrer a partir de ações que enfoquem concomitantemente indivíduos e equipes.

Em relação ao papel das variáveis explicativas, verificou-se que a investigação do efeito associado da interdependência de tarefas, resultados e crença na efetividade, contribui para a melhor compreensão da satisfação das equipes de trabalho. Dentre elas, apenas a interdependência de resultados, variável do primeiro nível, teve participação significativa independente. Isto é congruente com os postulados teóricos defendidos por Guzzo e Shea (1992), segundo os quais o efeito da interdependência de resultados é direto, enquanto o da interdependência de tarefas é indireto, moderando ou modificando a relação entre o nível de dependência de resultados e a efetividade da equipe.

Ainda que tendo encontrado relação significativa entre interdependência de resultados e satisfação, cabe alertar o leitor: a investigação do efeito descontextualizado de duas variáveis, ou de variáveis de um único nível, pode desembocar em conclusões parcialmente sustentadas. Em decorrência disto, práticas de intervenção ineficazes nas equipes de trabalho podem ser implementadas.

Em relação à ação conjunta da interdependência de resultados e a crença na efetividade da equipe sobre a satisfação foi constatado que as crenças do indivíduo desempenham papel fundamental. Também estes achados são congruentes com dados apontados pela literatura da área, pois estudos evidenciam a influência das crenças e convicções do indivíduo sobre o seu desempenho. O efeito dessa variável foi investigado tanto de maneira isolada como associado a outras características dos indivíduos (COSTA et al., 2001; KIRMAN; SHAPIRO, 2000; SHAW et al., 2000; WAGEMAN, 1995).

Na presente pesquisa, foi observado que crenças individuais na efetividade das equipes agem de maneira associada à interdependência de resultados na explicação da satisfação. Constatou-se que, no caso de indivíduos que consideram as equipes de trabalho unidades efetivas, quanto maior o nível de dependência de resultados, maior o seu nível de satisfação; porém, se as crenças dos indivíduos forem que as equipes não são efetivas, a elevada dependência de resultados está associada a menores níveis de satisfação. Desta forma, a investigação isolada da relação entre dependência de resultados e satisfação pode levar o pesquisador a conclusões errôneas, caso a participação de outras variáveis, como a aqui investigada, seja desconsiderada.

Quanto ao segundo termo de interação, composto interdependência de tarefas (do nível das equipes) e interdependência de resultados (do nível dos indivíduos), foi verificado que mantêm relações condicionais. Este tipo de achado constitui uma das contribuições dos modelos multinível. Klein e Kozlowski (2000) definem relações condicionais como aquelas em que a relação mantida entre duas variáveis do mesmo nível (nesta pesquisa, duas características dos indivíduos), muda em função da presença de uma variável de outro nível (nesta pesquisa, uma característica da equipe).

Os dados obtidos revelam que a interdependência de tarefas interage com a de resultados, contribuindo na melhor compreensão da satisfação com a equipe de trabalho. Conforme defendido no modelo proposto por Guzzo e Shea (1992), observou-se que o efeito da interdependência de tarefas sobre os resultados da equipe não é direto, tendo em vista que seu o papel foi evidenciado apenas na presença da interdependência de resultados. De maneira específica, constatouse que essa variável afeta a relação entre a interdependência de resultados e a satisfação. Indivíduos que perceberam maiores níveis de dependência de resultados também afirmaram estar mais satisfeitos com a equipe de trabalho; contudo esta relação foi evidenciada apenas em equipes caracterizadas pela elevada interdependência de tarefas. Quando ela foi baixa, não houve qualquer relação entre a dependência de resultados e a satisfação. Isto permite afirmar que o contexto em que as relações entre as variáveis relativas aos indivíduos acontecem, desempenha papel fundamental, pois pode mudar essas relações ou até anulá-las em decorrência do seu comportamento.

Em termos gerais, os resultados desta pesquisa são considerados importantes, porque evidenciam que, em relação à satisfação com a equipe de trabalho, podem ser encontradas tanto diferenças entre os membros quanto entre as equipes. Para a compreensão dessas diferenças, faz-se necessária a investigação de características dos indivíduos; no entanto, por mais extensa e rigorosa que seja a pesquisa realizada, uma adequada compreensão só será atingida, se levadas em conta também as características da equipe.

Finalmente, quanto aos modelos teóricos multinível, cabe destacar que a sua utilização ainda não constitui prática corriqueira na explicação de comportamentos organizacionais na literatura internacional. Ainda assim, vale destacar que a sua aplicação começa a aparecer com maior freqüência em estudos originários da Europa, principalmente de universidades holandesas. No Brasil, é muito difícil encontrar tais estudos, ainda que recentemente autores sugiram a realização de estudos empíricos (BRITTO; BORGES-ANDRADE, 2002) ou adotem a lógica destes modelos para reinterpretar resultados de investigação não concebidas sob essa perspectiva (BORGES-ANDRADE; PEREIRA; PUENTE; MORANDINI, 2002). Tendo em vista isso, os resultados desta pesquisa também cumprem a função de evidenciar as vantagens decorrentes da adoção desses modelos. Para isto, as exigências dos modelos multinível foram obedecidas na formulação da proposta teórica, na realização do estudo empírico e na análise de dados. Espera-se que outros pesquisadores aproveitem das vantagens desta ferramenta de investigação.

Apesar das contribuições feitas por este estudo, algumas limitações precisam ser apontadas com o objetivo de alertar o leitor a respeito da extensão dos resultados alcançados. A primeira delas refere-se à utilização de escalas autorespondidas, o que pode introduzir viés nos dados fornecidos pelos respondentes. Uma segunda limitação diz respeito ao número de equipes investigadas. Embora sejam 113 respondentes, eles estão congregados em apenas 28 equipes de trabalho o que introduz instabilidade no modelo testado. Apesar dos pontos fracos apontados, este trabalho traz contribuições válidas, tendo em vista que é um dos primeiros estudos realizados no país, no campo da psicologia organizacional, seguindo os princípios teóricos e matemáticos exigidos de modelos de desenho multinível.

Artigo recebido em 25.10.2003.

Aprovado em 29.04.2004.

Katia Elizabeth Puente-Palacios, É Doutora em Psicologia Social e do Trabalho pela Universidade de Brasília. Professora Adjunta do Departamento de Psicologia Social e do Trabalho do Instituto de Psicologia da Universidade de Brasília. Coordena grupo de pesquisa sobre desempenho de equipes de trabalho. Suas áreas de interesse em pesquisa são indicadores afetivos e desempenho de equipes, clima social, crenças, dependência e comprometimento de membros de equipes de trabalho.

Endereço: Campus Universitário da UnB, Instituto Central de Ciências, Departamento de Psicologia Social e do Trabalho, Brasília, DF, Brasil, CEP 70910-900. E-mail: puente@unb.br

Jairo Eduardo Borges-Andrade, M.Sc. e Ph.D. em Sistemas Instrucionais pela Florida State University/EUA. Psicólogo pela Universidade de Brasília (UnB). Professor Titular do Departamento de Psicologia Social e do Trabalho do Instituto de Psicologia da UnB. Suas áreas de interesse em pesquisa são treinamento de pessoal e comportamento humano no trabalho.

Endereço: Campus Universitário da UnB, Instituto Central de Ciências, Departamento de Psicologia Social e do Trabalho, Brasília, DF, Brasil, CEP 70910-900. E-mail: jeborges@linkexpress.com.br

  • BORGES-ANDRADE, J. E. et al. Impactos individual e organizacional de treinamento: uma análise com base num modelo de avaliação institucional e na teoria multinível. Psicologia: organizações e trabalho, Florianópolis, v. 2, n. 1, p. 117-146, jan./june 2002.
  • BRITTO, M. J. P.; BORGES-ANDRADE, J. E. Uma abordagem multinível para o estudo da aprendizagem e transferência nas organizações. In: ENCONTRO ANUAL DA ANPAD, 26, 2002, Salvador: ANPAD, 2002. p. 1-15.
  • CAMPION, M.; PAPPER, E.; MEDSKER, G. Relation between work group characteristics and effectiveness: a replication and extension. Personnel Psychology, Durham, v. 49, n. 2, p. 429-689, Summer 1996.
  • CARLESS, S.; DE PAOLA, C. The measurement of cohesion in work teams. Small Group Research, Thousand Oaks, v. 31, n. 1, p. 71-88, feb. 2000.
  • COSTA, A. C.; ROE, R.; TAILLIEU, T. Trust within teams: the relation with performance effectiveness. European Journal of Work Organizational Psychology, Hove, v. 10, n. 3, p. 225-244, sept. 2001.
  • FISHBEIN, M.; AJZEN, I. Belief, attitude, intention and behavior: an introduction to theory and research. 1. ed. Reading, MA: Addison-Wesley. 1975. p. 578.
  • GLADSTEIN, D. Groups in context. A model of task group effectiveness. Administrative Science Quarterly, Ithaca, v. 29, n. 4, p. 499-517, dec. 1984.
  • GOLDSTEIN, H. et al. A user's guide to MLwiN Multilevel models project. 1. ed. London: Institute of Education / University of London. 1999. p. 140.
  • GUZZO, R.; SHEA, G. Group performance and intergroup relations in organizations. In: DUNNETTE, M.; HOUGHS, L. (Org.), Handbook of Industrial and Organizational Psychology, 2. ed. Palo Alto, CA: Consulting Psychologists Press. v. 3, p. 269-313. 1992.
  • HACKMAN, J. The design of work teams. In: LORSCH, J. (Org.). Handbook of Organizational Behavior, 1. ed. New York: Prentice-Hall. v. 3, p. 315-342. 1987.
  • JANZ, B.; COLQUITT, J.; NOE, R. Knowledge worker team effectiveness: the role of autonomy, interdependence, team development, and contextual support variables. Personnel Psychology, Durham, v. 50, n. 4, p. 877-904, Winter 1997.
  • JAMES, L.; DEMAREE, R.; WOLF, G. rwg: an assessment of within-group interrater agreement. Journal of Applied Psychology, Washington, v. 78, n. 2, p. 306-309, apr. 1984.
  • JAMES, L.; DEMAREE, R.; WOLF, G. Estimating within-group interrater reliability with and without response bias. Journal of Applied Psychology, Washington, v. 69, n. 1, p. 85-98, feb. 1993.
  • JEHN, K.; NORTHCRAFT, G.; NEALE, M. Why differences make a difference: a field study of diversity. Administrative Science Quarterly, Ithaca, v. 44, n. 4, p. 741-763. dec. 1999.
  • KIRMAN, B.; SHAPIRO, D. Understanding why team members won't share. Small Group Research, Thousand Oaks, v. 31, n. 2, p. 175-209, apr. 2000.
  • KLEIN, K.; KOZLOWSKI, S. Multilevel theory, research and methods in organizations 1. ed. San Francisco: Jossey-Bass. 2000. p. 605.
  • KNOUSE, S.; DANSBY, M. Percentage of work-group diversity and work-group effectiveness. Journal of Interdisciplinary and Applied Psychology, Provincetown, v. 133, n. 5, p. 486-494, sept. 1999.
  • KREFT, I.; DE LEEUW, J. Introducing multilevel modelling 1. ed. London: Sage Publications. 1998. p. 146.
  • SAAVEDRA, R.; EARLEY, P.; VAN DYNE, L. Complex interdependence in task performing groups. Journal of Applied Psychology, Washington, v. 78, n. 1, p. 61-72, feb. 1993.
  • SHAW, J.; DULLY, M.; STARK, E. Interdependence and performance for group work: main and congruence affects on satisfaction and performance of group members. Journal of Management, New York, v. 26, n. 2, p. 259-297, 2000.
  • SNIJDERS, T.; BOSKER, R. Multilevel analysis. An introduction to basic and advanced multilevel modeling 1. ed. London: Sage Publications. 1999. p. 266.
  • VAN DEN EEDEN, P.; HOX, J.; HAUER, J. Theory and model in multilevel research: congruence or divergence? 1. ed. Amsterdam: SISWO. 1990. p. 163.
  • VAN DER VEGT, G.; EMANS, B.; VAN DE VLIERT, E. Motivating effects of task and outcome interdependence in work teams. Group and Organizational Management, Thhousand Oaks, v. 23, n. 2, p. 124-143, june 1998.
  • VAN DER VEGT, G.; EMANS, B.; VAN DE VLIERT, E. Effects of interdependencies in project teams. The Journal of Social Psychology, Washington, v. 139, n. 2, p. 202-214, apr. 1999.
  • VAN DER VEGT, G.; EMANS, B.; VAN DE VLIERT, E. Team members' affective responses to patterns of intragroup interdependence and job complexity. Journal of Management, New York, v. 26, n. 4, p. 633-655, 2000.
  • VAN DER VEGT, G.; EMANS, B.; VAN DE VLIERT, E. Patterns of interdependence in work teams: a two-level investigation of the relations with job and team satisfaction. Personnel Psychology, Durham, v. 54, n. 1, p. 51-59, Spring 2001.
  • VAN DER VEGT, G.; VAN DE VLIERT, E. Intragroup interdependence and effectiveness: review and proposed directions for a theory and practice. Journal of Managerial Psychology, Bradford, 17, n. 1/2, p. 50-67, 2002.
  • WAGEMAN, R. Interdependence and group effectiveness. Administrative Science Quarterly, Ithaca, v. 40, n. 1, p. 145-180, mar. 1995.
  • WAGEMAN, R.; BAKER, G. Incentives and cooperation: the joint effects of task and reward interdependence on group performance. Journal of Organizational Behavior, Chichester, v. 18, p. 139-158, mar. 1997.

Datas de Publicação

  • Publicação nesta coleção
    20 Mar 2009
  • Data do Fascículo
    Set 2005

Histórico

  • Recebido
    25 Out 2003
  • Aceito
    29 Abr 2004
Associação Nacional de Pós-Graduação e Pesquisa em Administração Av. Pedro Taques, 294,, 87030-008, Maringá/PR, Brasil, Tel. (55 44) 98826-2467 - Curitiba - PR - Brazil
E-mail: rac@anpad.org.br