Análise multinível: contribuições para estudos sobre efeito do contexto social no comportamento individual

Multilevel analysis: contributions to studies investigating the effects of social context on individual behavior

ARTIGOS

Análise multinível: contribuições para estudos sobre efeito do contexto social no comportamento individual

Multilevel analysis: contributions to studies investigating the effects of social context on individual behavior

Katia Elizabeth Puente-Palacios; Jacob Arie Laros

Universidade de Brasília, Instituto Central de Ciências, Departamento de Psicologia Social e do Trabalho. Campus Universitário, Asa Norte. 70910-900, Brasília, DF, Brasil. Correspondência para/Correspondence to: K.E. PUENTE-PALACIOS. E-mails: <[e-mail]>; <[e-mail]>

RESUMO

O reconhecimento da influência do contexto social no comportamento humano destaca a necessidade de adoção de modelos explicativos que favoreçam a identificação desse efeito. Este artigo tem o objetivo de apresentar as características teóricas e técnicas dos modelos multinível, pois eles cumprem com essa exigência. Em uma perspectiva teórica, a escolha dos modelos em discussão deveria ser baseada, tanto quanto possível, em uma teoria multinível que evidenciasse o papel preditivo de variáveis oriundas de diferentes níveis. A construção de modelos guiada por uma teoria levará a modelos mais frutíferos e com maior validade externa, em comparação com modelos construídos com pouco ou nenhum sustento teórico. Do ponto de vista técnico, a análise multinível é similar à análise de regressão; assim, obedece a muitas das suas exigências. Este trabalho permite concluir sobre as vantagens dos modelos multinível para pesquisadores interessados na identificação do efeito do contexto no comportamento humano.

Unitermos: Comportamento. Comportamento social. Modelos multinível.

ABSTRACT

The recognition of the influence of social context on human behavior emphasizes the need for models that allow for the identification of this effect. The theoretical and technical characteristics of multilevel models are presented here, since they satisfy this requirement. From a theoretical perspective, it is worthwhile highlighting that the choice of a multilevel model should be founded, as much as possible, on a multilevel theory that points to the predictive role of variables originating from different levels. The construction of multilevel models guided by theory will result in more fruitful models with higher external validity in comparison with models built with little or no theoretical foundations. From a technical perspective, it may be stated that multilevel analysis shows a high degree of similarity with traditional linear regression including many of its presuppositions. This study enables us to conclude that multilevel analysis is an appropriate tool for researchers interested in the identification of the effects of social context on human behavior.

Uniterms: Behavior. Social behavior. Multilevel models.

Nos campos da educação, da psicologia e de outras áreas afins a análise de regressão múltipla constitui uma das técnicas de análise de dados frequentemente utilizadas em pesquisas que adotam métodos quantitativos para analisar os dados levantados. O problema central com o uso dessa técnica é que, em muitas ocasiões, um dos pressupostos centrais - a independência das observações - é violada. Os dados coletados nas áreas sociais e humanas são frequentemente de pessoas agrupadas em clusters, também conhecidos como conglomerados (estudantes em escolas, indivíduos em sociedades, trabalhadores em empresas); logo, é provável que compartilhem atributos similares em decorrência do contexto que lhes é comum. Como consequência da dependência das observações ou atributos mensurados, ocorre a subestimação dos erros-padrão dos coeficientes da regressão. Uma alternativa para a regressão múltipla, que leva em consideração essa similaridade, é a análise multinível. Esta técnica é um tipo de análise de regressão que contempla simultaneamente múltiplos níveis de agregação, tornando corretos os erros-padrão, os intervalos de confiança e os testes de hipóteses.

Uma vez que em uma análise multinível vários modelos podem se ajustar aos dados empíricos, os modelos multinível deveriam ser escolhidos cuidadosamente pelo pesquisador, e essa escolha deveria ser fundamentada, tanto quanto possível, em conhecimento substantivo da área de estudo. Nesse sentido, a análise multinível deveria envolver uma teoria multinível que especificasse os efeitos diretos esperados das variáveis preditoras sobre outras variáveis do mesmo nível, assim como os efeitos de interação esperados entre variáveis localizadas em níveis diferentes.

Tendo em vista que a análise multinível é uma alternativa pouco conhecida no contexto brasileiro, tanto no âmbito da educação quanto, particularmente, no da psicologia, é conveniente iniciar este texto oferecendo ao leitor caracterizações gerais destes modelos, de maneira a facilitar o seu percurso ao longo do recorrido teórico que se segue.

As teorias multinível constituem proposições teóricas sobre diversos tópicos e têm como característica principal o reconhecimento do papel preditor desempenhado por variáveis oriundas de diferentes níveis. Portanto, não se referem a um único corpo teórico; a sua denominação traduz a forma como os seus componentes estão organizados (van den Eeden, Hox & Hauer, 1990). Teorias multinível têm sido pouco utilizadas no Brasil nas pesquisas empíricas do campo da psicologia e da educação, embora, no que concerne à avaliação educacional, a sua utilização tenda a ser mais frequente (Andrade & Laros, 2007; Ferrão, 2003; Franco & Bonamino, 2001; Jesus & Laros, 2004; Soares, 2004; Soares & Alves, 2003). A reduzida utilização de teorias multinível também está presente nas pesquisas internacionais em psicologia e educação. Ainda assim, algumas evidências revelam o interesse que este assunto desperta entre psicólogos e pesquisadores desde a década de 1980. Portanto, conta-se com indicadores suficientes que permitem inferir o interesse, de longa data, pelo estudo da natureza destes modelos, assim como a importância de melhor entender as contribuições que podem oferecer para a compreensão de comportamentos humanos.

O objetivo deste artigo é apresentar ao leitor as exigências que caracterizam uma pesquisa multinível, assim como destacar, em uma perspectiva prática, a natureza das equações matemáticas em que se sustentam. Espera-se que a partir dessas informações o pesquisador interessado possa avaliar as contribuições que os modelos multinível oferecem para a compreensão de fenômenos do âmbito da educação, da psicologia e das ciências sociais, em geral, e possa adotá-los como mecanismos de investigação no seu campo de estudo.

Para atingir o objetivo mencionado, o artigo está organizado em duas partes: na primeira estão apresentadas as características teóricas dos modelos multinível, enquanto a segunda enfoca seus princípios técnicos ou matemáticos. O artigo encerra tecendo algumas considerações quanto às contribuições da pesquisa multinível para o estudo de certos fenômenos cuja compreensão possa ser beneficiada se levados em consideração os efeitos do contexto em que ocorrem.

Princípios teóricos

A adoção de modelos de desenho multinível para a compreensão de um determinado fenômeno implica o reconhecimento da existência de elementos explicativos provenientes de diferentes níveis. Portanto, não são característicos de um único campo do conheci-mento e podem perpassar vários deles. Utilizando este tipo de modelo para o estudo do comportamento dos indivíduos de uma organização (professores de escolas, por exemplo), pode-se dizer que a sua adequada compreensão será mais bem atingida se levado em consideração o efeito diferenciado de variáveis relativas aos indivíduos, ao grupo ou unidade de trabalho, bem como às características da organização (níveis).

Ao discorrer sobre os níveis da organização, Klein e Kozlowski (2000) alertam sobre a dificuldade de oferecer uma definição única. Assim, destacam que devem ser compreendidos como segmentos de interesse teórico que focam em coletividades humanas e sociais. Duplas, grupos, subunidades e unidades são níveis organizacionais relevantes, dada a contribuição que podem oferecer para a compreensão de um determinado comportamento.

Em termos gerais, os níveis podem ser considerados como agregados sociais, isto é, coletividades que exercem efeito significativo sobre os comportamentos dos seus membros. Logo, indivíduos podem constituir o nível inferior, enquanto o contexto (coletividade) em que estão inseridos seria o nível superior.

A lógica subjacente a estes modelos estabelece que indivíduos que pertencem a um mesmo grupo, por exemplo, escolas, bairros ou famílias, estão submetidos a estímulos semelhantes. Esses estímulos exercem influencia sobre eles; portanto, se o objetivo é melhor compreender o comportamento dessas pessoas, é tão importante investigar o efeito das suas características pessoais quanto o efeito das características do contexto do qual recebem influência. Adicionalmente, deve ser ressaltado que em muitas instituições, por exemplo, escolas e empresas, existem processos seletivos formais que aumentam a homogeneidade dos seus integrantes. Desta forma, no modelo explicativo do comportamento humano devem ser consideradas concomitantemente as características dos indivíduos e as do contexto, porém ambas não pertencem ao mesmo nível; logo, é imprescindível estabelecer uma hierarquia entre essas variáveis, na qual deverá ser claramente diferenciado o que é considerado atributo do contexto daquilo que constitui atributo pessoal.

Tendo em vista a escassa divulgação dos modelos multinível e da análise multinível, assim como as especificidades que devem ser observadas para a sua adequada aplicação, considerou-se pertinente organizar as suas características em termos de exigências. Desta forma, o leitor poderá contar com um texto-guia a partir do qual será possível estabelecer se o modelo explicativo do fenômeno do seu interesse cumpre com os requisitos de um modelo multinível. Adicionalmente, cabe destacar que este trabalho apresenta, principalmente, exemplos da psicologia e da educação, porém modelos multinível podem ser adotados para a investigação de fenômenos oriundos de quaisquer áreas das ciências sociais.

Exigência 1: estabelecimento dos níveis a serem contemplados no modelo proposto

Os modelos multinível contemplam, conforme exposto, a participação de variáveis preditoras de diferentes níveis. Assim, exigem do pesquisador uma clara definição dos níveis contemplados no modelo adotado. Apesar de ter utilizado, com fins didáticos, a palavra contexto, ela seria insuficiente para definir um nível. Isto é, deve ser claramente estabelecido qual o contexto ao qual está se fazendo referência. No caso das empresas, por exemplo, o contexto poderia ser a equipe de trabalho, o departamento ou setor, ou mesmo a instituição como um todo.

Para o estabelecimento dos níveis hierárquicos a serem contemplados, deve-se ter em mente a existência de relações de inclusão entre eles. Por exemplo, no caso de uma escola, os alunos podem constituir o nível 1, contudo é o conjunto de alunos que compõe a turma (nível 2); no caso de outro agregado social, as pessoas constituem o nível 1, e o conjunto delas compõe a família ou o bairro (nível 2). Necessariamente, o nível 2 condensa um conjunto de sujeitos (alunos, funcionários, estudantes, cidadãos) que individualmente representam o nível 1.

No campo da psicologia organizacional, a utilização da análise multinível obriga o pesquisador a analisar o fenômeno em questão tanto de uma perspectiva micro quanto de uma perspectiva macro. Assim, com a adoção destes modelos pode ser levado em consideração tanto o sujeito quanto o seu entorno organizacional. Em modelos com este desenho, o efeito de variáveis relativas aos indivíduos, grupos e à própria organização estaria sendo considerado quando o objetivo é a compreensão de um evento do nível micro. Desta forma, a primeira exigência destaca que, independentemente dos níveis que forem escolhidos pelo pesquisador, eles devem ser claramente descritos e apresentados com o objetivo de estabelecer os segmentos representados pelos níveis 1 e 2.

Exigência 2: definição das variáveis preditoras, de cada nível, cujo efeito será investigado sobre a variável critério

Uma vez tendo definido de maneira específica quais os níveis participantes no modelo hipotetizado (lembrando que apesar de terem sido utilizados apenas dois níveis nos exemplos, outros podem ser inseridos), na sequência, o pesquisador deve estabelecer quais as variáveis de cada nível que serão investigadas, e a sua escolha deve ocorrer tomando como base evidências teóricas e empíricas. As variáveis preditoras escolhidas devem representar todos os níveis contidos no modelo, e a variável critério deve necessariamente ser oriunda do nível mais baixo. A hipótese subjacente em relação a essa variável é que a sua melhor compreensão é alcançada a partir da investigação simultânea do efeito de variáveis tanto do mesmo nível quanto do contexto em que estão inseridas.

Esses modelos também podem ser aplicados a estudos longitudinais caracterizados pela realização de mensurações repetidas de um mesmo indivíduo. Nesses casos, as diversas mensurações (medidas repetidas) constituem o nível mais baixo (nível 1), enquanto o indivíduo constitui o nível mais elevado (nível 2).

Um modelo teórico multinível deve definir, além dos níveis e as variáveis contempladas, a forma como elas se organizam na estrutura do modelo adotado. Hox (2002) afirma que uma das características do modelo multinível é a sua estrutura hierarquizada, pois existem mais observações nos níveis inferiores que nos superiores. Tomando como exemplo o desempenho escolar, deveria ser claramente definido quais características dos alunos seriam consideradas no nível mais baixo modelo (nível 1), ou nível micro, e quais da escola corresponderiam às variáveis do nível 2, ou nível macro. Ainda, entre esses dois níveis (alunos e escola) poderiam ser identificados outros potencialmente importantes na compreensão do desempenho, como as características da turma, do professor ou da série. Caso esses níveis fossem inseridos no modelo explicativo, o pesquisador deveria definir o nível ao qual pertencem ou o ponto em que se localizam na hierarquia das variáveis já estabelecidas (dos níveis 1 e 2).

Exigência 3: definição das relações entre as variáveis inseridas no modelo

Após o estabelecimento do nível das variáveis, assim como da sua organização hierárquica, a terceira exigência determina que as relações hipotetizadas entre as variáveis sejam definidas. Apontar que variáveis oriundas de diferentes níveis afetam o desempenho de uma do nível mais baixo não é suficiente para caracterizar um modelo como tendo uma estrutura multinível. É imprescindível que as variáveis de cada nível sejam cuidadosamente especificadas, e as suas relações defendidas enfatizando o seu efeito sobre aquela do primeiro nível que desempenha o papel de variável critério.

Retomando o exemplo relacionado ao desempenho escolar, a hipótese seria de que o aprendizado do aluno poderia ser mais bem compreendido (obtenção de maior porcentagem de variância explicada) se investigada a influência de variáveis relativas tanto ao aluno quanto à escola. Contudo, uma vez que é necessário estabelecer relações específicas entre as variáveis do modelo, precisaria ainda ser defendido que, por exemplo, o aprendizado do aluno depende do seu interesse pela disciplina, do tempo que dedica aos estudos em casa e do seu estado geral de saúde (variáveis preditoras do nível 1). O mesmo tipo de especificação deve ser aplicado às variáveis preditoras do segundo nível, que, para o exemplo utilizado, poderiam ser o clima disciplinar da escola ou o fato de a escola ser pública ou privada (ambas variáveis preditoras do nível 2).

Desta maneira, é insuficiente apenas enunciar os níveis contemplados e descrever as variáveis participantes no modelo. As relações estabelecidas entre elas devem estar claramente especificadas e sustentadas em evidências teóricas e/ou empíricas.

Exigência 4: estabelecimento de relações de interação entre variáveis de diferentes níveis

Além de ser exigida do pesquisador a definição das relações esperadas entre as variáveis preditoras e a variável critério, também é exigido dele o estabelecimento de interações entre variáveis de diferentes níveis e seu efeito conjunto sobre a variável critério, ainda que não seja necessário defender relações de interação entre todas as variáveis preditoras dos níveis 1 e 2. Utilizando ainda o exemplo do desempenho escolar, esta exigência se traduz como: alunos com elevado interesse pela disciplina, que dedicam maior tempo aos estudos (variáveis preditoras do nível 1) e que estudam em escolas particulares (variável preditora do nível 2) terão melhor desempenho (variável critério do nível 1) que aqueles que apresentam as mesmas características individuais mas que estudam em instituições públicas; isto é, reconhece-se o efeito diferenciado da participação conjunta ou combinação específica de determinadas variáveis (de diferentes níveis) sobre um comportamento. Este tipo de combinação é conhecido como interação cross level ou transversal (van den Eeden et al., 1990), ou interação entre níveis, e traduz a presença de uma variável com efeito moderador (a do nível superior). A relação entre a variável preditora e critério (ambas do nível 1) é moderada ou afetada pela presença da variável preditora do nível 2.

Conforme visto, a associação entre variáveis de diferentes níveis deve ser não apenas sugerida, mas explicitada. Por esta razão, é imprescindível que o pesquisador conte com um modelo teórico subjacente que sustente tais interações. Assim, o modelo teórico deve estabelecer a importância de um determinado tipo de interação hierárquica, na compreensão do fenômeno de interesse. A esse respeito, Klein e Kozlowski (2000) afirmam que, no âmbito das organizações, a definição exata das variáveis que participam do modelo, assim como das relações mantidas entre elas, permite evitar a generalização errada da metáfora sistêmica organizacional segundo a qual tudo influencia tudo, ou, dito de forma mais acadêmica, o contexto influencia o comportamento. Embora real, essa afirmação é genérica demais para evidenciar um modelo multinível, pois pode ser aplicada a quase todos os campos do comportamento, humano ou não. As variáveis mais importantes, nos diferentes níveis, devem ser cuidadosamente selecionadas, tomando como base um modelo teórico ou empírico que sustente e justifique a sua participação. Segundo van den Eeden et al. (1990) e Schnake e Dumler (2003), as teorias de natureza multinível podem ser vistas como proposições teóricas sobre as relações entre características (ou variáveis) de diferentes níveis. Nelas, ganhos importantes podem ser obtidos com a inserção de informações relativas ao nível mais elevado, na compreensão de fenômenos ocorridos no nível mais baixo.

Todas as exigências apresentadas até agora dizem respeito às variáveis preditoras; no entanto, outro aspecto ainda não mencionado mas tão importante quanto diz respeito à variável critério. Os modelos de natureza multinível envolvem o reconhecimento da existência de diferenças entre indivíduos (nível 1) e contextos (nível 2), em relação à variável critério ou fenômeno cujo comportamento está sendo explicado. Por exemplo, ao adotar um modelo multinível para explicar desempenho escolar, está sendo afirmado que o desempenho do aluno é mais bem compreendido se considerada a participação de variáveis preditoras relativas ao próprio aluno e à escola. Concomitantemente, entretanto, está sendo reconhecido que o desempenho muda de um aluno para outro (presença de variância, na variável critério, no nível 1), assim como de uma escola para outra (presença de variância, na variável critério, no nível 2). Portanto, diferenças estarão presentes no nível mais baixo (alunos), como também nos outros inseridos no modelo (escolas). Essas diferenças - conhecidas como variância "intra" (intranível, entre elementos do nível 1 ou ainda within) e "entre" (entre unidades do nível 2 ou between) - estão implícitas no modelo; logo, devem ser tanto defendidas na apresentação das justificativas em que o modelo se sustenta quanto levadas em consideração na hora da testagem matemática do modelo - quando, em relação à variável critério, será investigada a presença de variância significativa em todos os níveis contemplados no modelo proposto, assim como a sua redução, decorrente da inserção das variáveis preditoras no modelo matemático. Conforme manifestado, a presença de diferenças entre unidades do nível 1 e 2, em relação à variável critério, não pode ser apenas teoricamente defendida, mas evidenciada a partir do cálculo de indicadores capazes de demonstrar a sua intensidade. Para tanto, procedimentos matemáticos como a concordância intragupos (r_wg) e a correlação intraclasse (ICC) oferecem estimativas adequadas para a obtenção das informações requeridas (James, Demaree & Wolf, 1984, 1993; Kreft & De Leeuw, 1998).

No campo da psicologia organizacional, a utilização de pesquisa multinível tem sido mais frequente quando o objeto de interesse é a compreensão da efetividade das equipes de trabalho (Puente-Palacios & Borges-Andrade, 2005; van der Vegt, Emans & van de Vliert, 1999, 2000, 2001), satisfação no trabalho (Elovainio, Kivimäki, Steen & Kalliomäki-Levanto, 2000; Huang & van der Vliert, 2004), stress ocupacional (Bliese & Jex, 2002; Jex & Bliese, 1999; van Yperen & Snijders, 2000) e tomada de decisões (van Yperen, van den Berg & Willering, 1999). A esse respeito, cabe ressaltar que ainda que os modelos explicativos de comportamentos (como os mencionados) tenham destacado, desde longa data, a importância de levar em consideração o papel do contexto, a grande maioria deles não pode ser considerada multinível, uma vez que a definição do contexto é genérica ou sequer são mencionadas as variáveis específicas cujo efeito é defendido. De maneira adicional, na verificação empírica usualmente é considerado um único nível, isto é, as mensurações ou as análises ocorrem em um mesmo nível. Portanto, a identificação de relatos de pesquisas realizadas utilizando, de fato, análise multinível constitui evidência de avanços nesses campos do conhecimento, principalmente na concepção do fenômeno em questão, e não apenas no que diz respeito ao método de análise dos dados adotado.

Tendo em vista as exigências estabelecidas para a aplicação de modelos multinível que demandam do pesquisador interessado a construção de hipóteses explicativas para cada variável preditora, assim como a indagação de possíveis relações de interação entre variáveis de diferentes níveis, Kreft e Leeuw (1998) desaconselham o seu uso em análises exploratórias que envolvem grandes conjuntos de variáveis. Esses autores alertam que modelos multinível são por natureza modelos parcimoniosos. Segundo Miles e Shevlin (2001), um modelo parcimonioso é aquele que explica a maior quantidade de variância a partir do menor número de variáveis independentes; logo, não se pretende propor um número específico de variáveis preditoras que podem ou devem ser incluídas. Apenas fica o alerta para o leitor quanto à necessidade de procurar atender ao requisito "parcimônia" na definição do modelo adotado.

Os princípios fundamentais dos modelos multinível apresentados neste artigo podem ser resumidos afirmando que neles se enfatiza o efeito diferenciado de variáveis de diversos níveis na compreensão de outra variável que pertence a um nível mais baixo. Este desenho mostra-se adequado para o estudo de comportamentos cuja compreensão é favorecida se investigado o efeito de características tanto dos indivíduos quanto do contexto em que estão inseridos. A investigação empírica destas diferenças pode ser realizada com a análise multinível, que é uma das técnicas que permite verificar se as variáveis dos diferentes níveis favorecem, conforme esperado, a redução do resíduo da variância do nível correspondente na variável critério. A seguir são brevemente descritos os aspectos matemáticos que caracterizam a testagem destes modelos.

Princípios técnicos

Da mesma forma que a adoção de modelos multinível exige o reconhecimento teórico de que um fenômeno é mais bem compreendido se levado em consideração o contexto em que ocorre, do ponto de vista matemático também existem exigências fundamentais. Uma delas diz respeito à falta de independência das informações coletadas, isto é, membros de um mesmo grupo social (turma, por exemplo) não podem ser considerados fontes de informação independentes em relação às variáveis do contexto, uma vez que as suas respostas contêm similaridade decorrente da presença de um elemento comum de influência. A homogeneidade nas respostas dos membros de um mesmo grupo viola o princípio básico de independência das observações, enfatizado pela estatística tradicional (Kreft & Leeuw, 1998; van der Vegt, 1998), e resulta no incremento da possibilidade de ocorrência do erro tipo I que, em pesquisas do campo das ciências sociais, usualmente é de apenas 5% (α=0,05). O erro do tipo I ocorre quando o pesquisador rejeita a hipótese nula quando ela é, de fato, verdadeira (Kvanli, Guynes & Pavur, 1996). Portanto, se no modelo explicativo de um fenômeno são inseridas variáveis relativas ao contexto, é imprescindível adotar um método de análise que permita tratar o papel destas variáveis de forma diferenciada, levando em conta as semelhanças existentes entre os indivíduos inseridos nesse contexto em relação à variável em questão. Essa exigência é satisfatoriamente cumprida pela análise multinível.

A análise multinível investiga a participação de diversas variáveis preditoras na explicação de uma outra, denominada critério. O aspecto diferencial da análise multinível, se comparada com a regressão, é que pelo menos uma das variáveis explicativas deve ser do segundo nível, o que permite testar, de maneira adicional, interações entre níveis. São contemplados, no mínimo, dois níveis e três variáveis. Em termos gerais, uma pesquisa multinível investiga a explicação do comportamento (variância) de uma variável do primeiro nível (por exemplo, comprometimento do professor com a escola) decorrente de variáveis preditoras de vários níveis, das quais pelo menos uma outra é também do primeiro nível (por exemplo, satisfação do professor como seu trabalho).

Na análise multinível, as variáveis preditoras devem representar todos os níveis definidos no modelo, enquanto a variável critério somente pode ser do nível mais baixo. Esta exigência tem uma razão matemática lógica. A compreensão do comportamento de uma variável critério, utilizando uma regressão simples, dá-se a partir do valor da média aritmética, assim como da discrepância entre essa média e as respostas efetivamente dadas pelos indivíduos. Essas discrepâncias, que em conjunto podem ser consideradas a variância da variável (o leitor interessado deve procurar a definição matemática de variância, pois aqui aparece descrita de maneira simplificada apenas com o objetivo de favorecer a sua compreensão), refletem as diferenças entre os indivíduos. As variáveis preditoras inseridas em um modelo deste tipo seriam aquelas cuja participação contribui para a redução da variância da variável critério, ou seja, variáveis que contribuem na compreensão das diferenças encontradas entre os indivíduos em relação à variável critério.

Outro aspecto importante em relação à testagem empírica de modelos multinível diz respeito às características da amostra. O conjunto de dados coletados para a verificação da pertinência do modelo teórico deve favorecer a investigação das relações hipotetizadas. Para tanto, é necessário que todos os níveis contemplados estejam adequadamente representados, pelo que a definição das características e tamanho da amostra demanda um cuidado especial. Considerando que uma das hipóteses subjacentes a esse tipo de modelo é o efeito que variáveis do nível mais elevado têm sobre aquelas do nível mais baixo, as unidades do nível mais elevado devem estar em número suficiente para oferecer a variabilidade necessária à verificação do seu efeito.

A este respeito, Snijders e Bosker (1999) manifestam que o pesquisador deve pensar, em relação ao número de unidades do nível mais elevado, da mesma forma como pensa no tamanho da amostra quando a pesquisa contempla um único nível. Portanto, trabalhar com uma amostra de dez unidades do nível macro seria tão desconfortável quanto fazer uma análise de regressão considerando apenas as respostas de dez indivíduos. A partir desta exigência quanto ao tamanho da amostra, o leitor pode inferir que uma pesquisa de desenho multinível na qual são levantadas hipóteses sobre a participação de variáveis relativas à organização, por exemplo, não pode ser realizada em uma única organização. Caso assim o fizesse, o pesquisador careceria da variância de que necessita para introduzir no modelo a variável do nível macro. Snijders e Bosker (1999) afirmam que, em geral, os estudos multinível que se baseiam em um número elevado de unidades de nível macro e em um número relativamente baixo de unidades do nível micro dão resultados muito mais confiáveis e estáveis que os estudos que se baseiam em poucas unidades de nível macro e um grande número de unidades de nível micro.

A análise multinível, conforme já afirmado, guarda semelhança com a regressão múltipla padrão de um único nível, inclusive no que diz respeito à existência de pressupostos. Sobre esse assunto, Snijders e Berkhof (2008) afirmam que o pesquisador interessado na sua aplicação deve verificar, em primeira instância, se os pressupostos matemáticos em que se sustenta são obedecidos pela sua massa de dados, para estabelecer, desta forma, a pertinência do uso desta técnica.

Embora a análise multinível apresente semelhanças com a regressão tradicional, apresenta também algumas diferenças em relação a ela, as quais merecem ser destacadas. Uma delas diz respeito ao número de parâmetros a serem estimados, que na análise multinível é muito maior. Isto pode introduzir problemas na exploração sobre qual o modelo que melhor se ajusta aos dados. Uma segunda diferença é que os modelos multinível frequentemente contêm efeitos de interação "entre níveis", os quais são inexistentes nos outros tipos de regressão. A terceira diferença é a possibilidade de identificação do efeito das variáveis preditoras ou explicativas sobre a proporção da variância modelada¹ da variável critério, nos dois níveis em que ela ocorre. Assim, considerando que na análise multinível a variância total da variável critério está dividida entre indivíduos (variância within ou "dentro") e entre grupos (variância between ou "entre"), a análise multinível permite identificar se o efeito principal da entrada de uma nova variável no conjunto explicativo é sobre a variância residual dentro ou entre grupos. Em outras palavras, com o uso de regressão multinível existem variâncias residuais distintas, e os resultados da realização da equação matemática não oferecem um número único que possa ser interpretado como sendo a quantidade de variância explicada (Hox, 2002), uma vez que existe mais do que uma variância a ser modelada.

Por outro lado, focando nas vantagens da análise multinível é pertinente enfatizar a possibilidade que oferece de investigar diferenças nos coeficientes de inclinação (slopes, em inglês, ou relação entre X e Y) e interceptos (valor médio de Y quando o valor de X é igual a zero) dos grupos (Snijders & Bosker, 1999; van den Eeden et al., 1990). Isto significa que o pesquisador tem à disposição uma ferramenta que lhe permite verificar se o comportamento de uma variável, ou as relações entre as variáveis do modelo, são sistemáticas ou diferem de um grupo para outro.

Como qualquer tipo de análise multivariada, a análise de dados sem um modelo teórico é problemática. A esse respeito, Kreft (1998, 2000, 2005) afirma que é uma falácia esperar que os próprios números revelem a verdade. Afirma ainda que o pesquisador precisa de um modelo teórico para poder definir o conjunto de variáveis de interesse; por esta razão a análise multinível não é uma técnica adequada para explorar a participação de muitas variáveis. Segundo Kreft e Leeuw (1998), para a correta aplicação deste tipo de análise é necessário escolher um número reduzido de variáveis, em ambos os níveis, cuja participação na explicação da variância de uma variável do nível 1 possa ser defendida.

Quando o pesquisador se depara com dois modelos matemáticos que modelam a variância da variável critério de maneira semelhante, a escolha do melhor deve ser realizada a partir do modelo teórico subjacente. Desta forma, o escolhido será aquele que melhor representa os princípios teóricos do fenômeno em estudo. Caso existam dois modelos matemáticos que se ajustam adequadamente à teoria, o pesquisador deve considerar todas as informações disponibilizadas pelo programa de análise de dados utilizado (análises multinível são realizadas por MLwiN, LISREL 8, HLM, SAS, ML3, VARCL3 e VARCL9, entre outros programas). Entre essas informações estão a constante ou intercepto, a estimativa do β para cada variável explicativa com o seu respectivo erro-padrão, as variâncias residuais nos níveis 1 e 2, também acompanhadas do erro-padrão correspondente, e o deviance (sem tradução adequada para o português até o momento). O deviance pode ser compreendido como um indicador da falta de ajuste entre os dados e o modelo. Assim, quanto maior o seu valor, mais pobre o ajuste (Raudenbush & Bryk, 2002; Snijders & Bosker, 1999). Esse indicador é baseado na diferença matemática entre os valores observados e os valores esperados caso o modelo seja baseado em dados verdadeiramente aleatórios. Uma regra prática que ajuda na interpretação desse indicador da falta de ajuste é que a diferença observada entre os deviances de dois modelos deve ser pelo menos duas vezes maior que a diferença nos graus de liberdade entre esses modelos. Quanto maior a diferença, e menores os graus de liberdade, tanto mais a diferença entre os modelos é estatisticamente significativa. Na análise multinível a significância dos coeficientes de regressão e dos parâmetros de variância é verificada por meio da divisão do parâmetro estimado pelo erro-padrão. Esta divisão resulta em um escore Z: qualquer escore Z maior que 1,96 indica que a estatística estimada é significativa no nível de 5%. Nas ciências sociais, entretanto, é comum lidar com variáveis altamente correlacionadas. Por isso, a interpretação dos modelos em uma análise multinível deve ser realizada com base no ajuste do modelo total, em vez dos coeficientes da regressão individuais (Kreft & Leeuw, 1998; Raudenbush & Bryk, 2002; Snijders & Bosker, 1999).

Tendo em vista a semelhança entre a análise multinível e a regressão linear, a equação para dois níveis (multinível) é escrita de maneira semelhante, como mostrado na equação 1:

As principais diferenças entre a equação da regressão multinível e a equação tradicional dizem respeito à adoção de diferentes notações das usualmente encontradas em equações de regressão tradicional, assim como à presença de dois números (ou letras) subscritos nos diversos termos.

Em relação à mudança nas notações, "γ" (gama) no lugar do tradicional "β" (beta), cabe alertar ao leitor sobre a existência de divergências entre alguns autores, mas a maior parte da literatura revisada adota essa letra para representar o coeficiente de regressão em relação à variável que o acompanha. Portanto, gama (γ) não é outra coisa senão o β ou coeficiente de regressão.

Uma diferença importante em relação aos coeficientes de regressão multinível (gamas) é que eles têm dois subscritos em vez de um: o primeiro representa o número da variável do nível micro, o segundo indica o número da variável do nível macro. Assim, por exemplo, γ₂₁ é o efeito da primeira variável do nível macro sobre a segunda variável do nível micro. O valor zero do subscrito em um coeficiente de regressão multinível significa o intercepto. Neste caso, γ₀₁ representa o efeito da primeira variável do nível macro sobre o intercepto da regressão. O valor médio esperado da variável dependente é representado pelo símbolo γ₀₀, que é a constante da equação de regressão.

Em uma regressão multinível na qual são considerados dois níveis, as variáveis participantes são representadas utilizando três símbolos: Y, X, e Z. Para indicar uma variável explicativa do nível micro utiliza-se"X"; para representar uma variável explicativa do nível macro utiliza-se "Z". O símbolo tradicionalmente utilizado para a variável critério é o mesmo usado na regressão padrão: "Y". As variáveis X e Y mensuradas no nível micro têm dois subscritos (i e j): o primeiro indica o número do indivíduo (aluno, paciente etc.) e o segundo representa o número da unidade do nível macro (escola, hospital etc.). Assim, X_ij indica, por exemplo, o valor do aluno i da escola j da variável independente X. A variável Z, sendo do nível macro, tem um único subscrito (j). Além dos subscritos i e j é utilizado um número para diferenciar as variáveis. Assim, Z_1j indica o valor da unidade macro j para a primeira variável do nível macro.

Os termos da equação podem ser agrupados em dois conjuntos: a parte fixa e a parte aleatória. A parte fixa está composta pela constante e os coeficientes de inclinação das diferentes variáveis explicativas do modelo. Já a parte aleatória está composta pelos termos de erro no nível do grupo e do indivíduo. Como em uma regressão tradicional, o objetivo da análise multinível é identificar o conjunto de variáveis explicativas, de ambos os níveis, que favorecem a redução da parte aleatória da equação. Desta forma, o objetivo é reduzir a variância do nível dos indivíduos e dos grupos, promovendo melhor ajuste dos dados ao modelo.

Para entender melhor a equação 1 de um modelo multinível completo, serão apresentados os cinco passos sugeridos por Hox (2002, p.49-71) para chegar a este modelo. Eles constituem um roteiro adequado que pode ser seguido pelo pesquisador no momento da construção (testagem) prática do seu modelo matemático.

Passo 1: O primeiro passo é um modelo sem qualquer variável explicativa. É conhecido como modelo somente de intercepto ou modelo vazio, e é dado pela equação equação 2:

Υ_ij= γ₀₀ + u_0j + e_ij

Na equação equação 2, γ₀₀ é o intercepto da regressão, e u_0j e_ij esão os resíduos no nível macro (ou nível 2) e no nível micro (ou nível 1), respectivamente. A variável dependente Y_ijé o valor da variável do sujeito i e da unidade macro j. O modelo vazio é útil porque proporciona uma estimativa da correlação intraclasse (r) pela aplicação da equação equação 3:

Nesta equação, σ²_u0 é a variância dos resíduos u_oj do nível macro e σ²₀é a variância dos resíduos e_ij do nível micro. Caso o pesquisador não identifique presença de variância de magnitude significativa no nível macro, não há justificativa para avançar na construção do modelo matemático multinível. Adicionalmente, o modelo vazio proporciona também uma medida de referência do deviance (deviance inicial), o qual, conforme já manifestado, constitui uma medida do grau de falta de ajuste do modelo e pode ser usado para comparar modelos: quanto menor o deviance, maior o ajuste obtido.

Passo 2: Neste modelo são introduzidas todas as variáveis explicativas do nível mais baixo, porém com a especificação de que são fixas. Isto significa que os componentes de variância correspondentes aos coeficientes de regressão são fixados em zero. A recomendação de inserir primeiramente as variáveis do nível mais baixo decorre do maior número de observações disponíveis neste nível, levando à geração de coeficientes mais acurados. Este modelo é descrito pela equação equação 4:

Nesta equação, os χ_pij são as p variáveis explicativas do nível 1. Neste passo, estima-se a contribuição de cada variável explicativa na redução da variância, deste nível, na variável critério.

Passo 3: Acrescentam-se as variáveis explicativas do nível macro, equação 5:

Nesta equação, os Z_qj são as q variáveis explicativas do nível macro.

Os modelos dos passos 2 e 3 são chamados modelos de componentes de variância, por decomporem a variância do intercepto em componentes distintos para cada nível hierárquico. Assume-se, nesta equação, que o intercepto varia entre as unidades macro, mas os coeficientes de regressão são considerados fixos.

Passo 4: Avalia-se se algum dos coeficientes de regressão das variáveis explicativas do nível micro tem um componente significativo de variância (ou seja, diferente de zero) entre as unidades macro. Este modelo, o chamado modelo de coeficientes randômicos, é dado pela equação equação 6:

Nesta equação, os u_0j são os resíduos do nível da unidade macro dos coeficientes das variáveis explicativas χ_pijdo nível do sujeito.

Passo 5: Adicionam-se as interações"entre níveis" entre as variáveis explicativas do nível macro e aquelas variáveis explicativas do nível do sujeito que tiveram participação significativa de coeficientes no passo 4. Isto conduz ao modelo completo, apresentado na equação equação 7:

Desta forma, ao chegar ao passo 5 (equação 7) o pesquisador estará não apenas investigando o papel preditivo das variáveis inseridas no modelo, mas analisando se o seu efeito é o mesmo em todos os contextos investigados ou, pelo contrário, trata-se de um efeito aleatório (randômico). Também estará verificando se as interações hipotetizadas quanto ao efeito conjunto de variáveis preditoras de diferentes níveis sobre a variável critério têm efeito significativo.

Conforme o leitor deve ter percebido, existe grande semelhança entre a equação 1 e a de um modelo de regressão tradicional. Diante dessas semelhanças pode surgir a pergunta: qual a necessidade de utilizar a análise multinível em lugar da regressão quando o objeto de estudo é o comportamento humano?

Em uma perspectiva matemática, a utilização da análise de regressão tradicional em lugar da análise multinível tem a desvantagem severa de obrigar o pesquisador a utilizar artifícios matemáticos para reduzir todas as variáveis a um mesmo nível, seja por processos de agregação ou desagregação. A agregação consiste em mensurar a variável no nível individual e, posteriormente, somar os escores ou calcular a média aritmética das respostas dos membros do grupo e adotar este valor como variável do segundo nível. A desagregação consiste em mensurar a variável no segundo nível e, depois, atribuir esse valor a cada membro do grupo. Hox (2002) alerta para o uso destes mecanismos comentando que, no processo de agregação, valiosa informação é perdida, pois a média aritmética é o valor adotado, desconsiderando as diferenças entre as respostas dos membros. Quando o procedimento adotado é a desagregação, o mesmo autor comenta que um dos principais riscos é a presença de significância estatística espúria, pela multiplicação artificial do número de observações.

Um risco adicional associado ao uso de dados agregados ou desagregados é a possibilidade de generalizações em níveis diferentes dos investigados. Neste caso, ocorrem erros teóricos resultantes de generalizações em um nível diferente daquele em que o evento foi mensurado. Hox (2002) esclarece que resultados ou relações encontradas entre variáveis de um nível não podem ser tomados como indicadores do tipo de relação ocorrida no outro. Variáveis que apresentam correlações positivas no nível 1 podem apresentar inclusive correlações opostas (negativas) no nível 2.

Finalmente, a grande vantagem matemática decorrente da utilização da análise multinível é a possibilidade de identificação do efeito que cada variável preditora tem sobre o resíduo da variância da variável critério no nível dos indivíduos ou dos grupos, isto é, o nível em que a variância é modelada em decorrência da entrada de variáveis do primeiro e segundo níveis.

Em uma perspectiva teórica, quando se adota um modelo multinível para sustentar uma pesquisa empírica especifica-se o efeito que variáveis dos diferentes níveis têm sobre a variável critério. Assim, o pesquisador terá evidências que justifiquem a necessidade de levar em conta o contexto ou cenário social em que os fenômenos acontecem. Esta conclusão dar-se-ia a partir da observação do nível da variância que é modelada como resultado da entrada das variáveis do segundo nível. A esse respeito, Snijders (2001) afirma que nos casos em que o pesquisador está testando, de maneira simultânea, os efeitos de variáveis individuais e grupais, ele precisa de modelos com termos de erro em ambos os níveis, isto é, modelos multinível.

Para encerrar este trabalho cabe enfatizar que o aspecto fundamental a ser lembrado é que modelos multinível constituem modelos teóricos nos quais se destaca a importância da participação de variáveis de um nível mais elevado (contexto) na compreensão de um fenômeno ocorrido no nível mais baixo. Modelos com este desenho favorecem a adequada compreensão de fenômenos ocorridos no nível 1, pela possibilidade de verificação do efeito que relações condicionais estabelecidas entre variáveis explicativas de diferentes níveis exercem sobre eles. Na existência de um modelo teórico que sustenta tais inter-relações, a análise multinível é o caminho adequado a ser tomado pelo pesquisador na hora de testar as hipóteses levantadas.

Considerações Finais

Neste artigo foram apresentadas as características dos modelos multinível, tanto nos seus aspectos teóricos quanto nos aspectos matemáticos ou técnicos. Uma constatação muito importante neste trabalho diz respeito ao uso pouco frequente, nos estudos multinível, de modelos teóricos. Desta forma, resta o alerta sobre a necessidade de dar muito mais atenção à construção de teorias multinível para evitar que a pesquisa multinível se torne completamente baseada em dados empíricos. A construção de modelos multinível guiada por uma teoria levará aos modelos mais frutíferos e com uma maior validade externa, em comparação com modelos construídos com pouca ou nenhuma noção teórica.

Na construção de teorias multinível, precisa ser dada mais atenção à seleção de variáveis, diminuindo, assim, os problemas encontrados quando o pesquisador se defronta com um grande número de variáveis que devem ser inseridas no modelo. Nesse sentido, cabe lembrar que modelos multinível devem ser parcimoniosos. Uma constatação preocupante é que praticamente não existem teorias especificando a ordem em que as variáveis precisam entrar em uma análise multinível. Logo, a parcimônia surge como mecanismo de auxílio, pois obriga o pesquisador a selecionar um número reduzido de variáveis em relação às quais existe teoria subjacente que justifica a sua inserção no modelo proposto.

Em relação às contribuições específicas dos modelos multinível para a compreensão do comportamento humano, deve ser enfatizado que diversos teóricos da área têm apontado a necessidade de levar em consideração o efeito do contexto. Na investigação empírica, entretanto, houve sempre uma limitação quanto ao uso de estratégias de análise matemática que efetivamente permitissem investigar o seu papel. Nesse sentido, os modelos teóricos multinível constituem contribuições relevantes, na medida em que favorecem a estruturação e organização de modelos preditivos que expliquem de maneira pontual os efeitos esperados dessas variáveis sobre os comportamentos individuais. De maneira adicional, a técnica de análise multinível permite testar empiricamente a magnitude do efeito das variáveis relativas ao contexto, respeitando a sua especificidade e reduzindo, desta forma, a presença do erro decorrente do fato de se ignorar que pertencem a um nível mais elevado.

Finalmente, cabe destacar que a adoção de análise multinível é especialmente recomendada, em lugar da regressão tradicional, nos casos em que o pesquisador reconhece a importância de investigar interações entre variáveis de diferentes níveis, quando evidencia uma correlação intraclasse significante, quando precisa de maior eficiência estatística, maior poder e menos viés que aquele contido na regressão tradicional. Portanto, trata-se de uma ferramenta de pesquisa à espera de utilização tanto no campo da educação e da psicologia como em campos paralelos.

Recebido em: 6/8/2007

Versão final reapresenda em

28/3/2008 Aprovado em: 30/4/2008

• Andrade, J. M., & Laros, J. A. (2007). Fatores associados as desempenho escolar: estudo multinível com dados do SAEB/2001. Psicologia: Teoria e Pesquisa, 23 (1), 33-42.
• Bliese, P., & Jex, S. (2002). Incorporating a multilevel perspective into occupational stress research: theoretical, methodological, and practical implications. Journal of Occupational Health Psychology,7 (3), 265-276.
• Elovainio, M., Kivimäki, M., Steen, N., & Kalliomäki-Levanto, T. (2000). Organizational and individual factors affecting mental health and job satisfaction: a multilevel analysis of job control and personality. Journal of Occupational Health Psychology,5 (2), 269-277.
• Ferrão, M. E. (2003). Introdução aos modelos de regressão multinível em educação. Campinas: Komedi.
• Franco, C., Bonamino, A. (2001). Iniciativas recentes de avaliação da qualidade da educação no Brasil. In C. Franco (Org.), Avaliação, ciclos e promoção na educação (pp.15-28). Porto Alegre: Artmed.
• Hox, J. J. (2002). Multilevel analysis: techniques and applications Mahwah: Lawrence Erlbaum Associates.
• Huang, X., & van Vliert, E. (2004). Job level and national culture as joint roots of job satisfaction. Applied Psychology: An International Review, 53 (3), 329-348. 2004.
• James, L., Demaree, R., & Wolf, G. (1984). Estimating withingroup interrater reliability with and without response bias. Journal of Applied Psychology, 69 (1), 85-98.
• James, L., Demaree, R., & Wolf, G. (1993). Rwg: an assessment of within-group interrater agreement. Journal of Applied Psychology, 78 (2), 306-309.
• Jesus, G. R., & Laros, J. A. (2004). Eficácia escolar: regressão multinível com dados de avaliação em larga escala. Avaliação Psicológica, 3 (2), 21-31. 2004
• Jex, S., & Bliese, P. (1999). Efficacy beliefs as a moderator of the impact of work-related stressors: a multilevel study. Journal of Applied Psychology, 84 (3), 349-361.
• Klein, K., & Kozlowski, S. (2000). Multilevel theory: research and methods in organizations San Francisco: Jossey-Bass.
• Kreft, I. G. G. (2005). Are multilevel techniques necessary? An overview, including simulation studies. 1996. Retrieved April 23, 2005, from http://www.calstatela.edu/faculty/ikreft
• Kreft, I. G. G. (2000). Using random coefficient linear models for the analysis of hierarchically nested data. In H. Tinsley & S. Brown. (Eds.), Handbook of applied multivariate statistics and mathematical modeling (pp.613-639). San Diego: Academic Press.
• Kreft, I .G. G., & Leeuw, J. (1998). Introducing multilevel modeling London: Sage Publications.
• Kvanli, A., Guynes, C., & Pavur, R. (1996). Introduction to business statistics: a computer integrated, data analysis approach St. Paul: West Publishing Company.
• Miles, J., & Shevlin, M. (2001). Applying regression and correlation: a guide for students and researchers London: Sage Publications.
• Puente-Palacios, K., & Borges-Andrade, J. O. (2005). Efeito da interdependência na satisfação de equipes de trabalho: um estudo multinível. Revista de Administração Contemporânea, 9 (3), 57-78.
• Raudenbush, S. W., & Bryk, A. S. (2002). Hierarchical linear models: applications and data analysis methods. London: Sage Publications.
• Schnake, M., & Dumler, M. (2003). Levels of measurement and analysis issues in organizational citizenship behavior research. Journal of Occupational and Organizational Psychology,76 (3), 283-301.
• Snijders, T. A. B. (2001). Introduction to multilevel analysis Paper non-published, University of Groningen, Holland.
• Snijders, T. A. B., & Bosker, R. (1999). Multilevel analysis: an introduction to basic and advanced multilevel modeling London: Sage Publications.
• Snijders, T. A. B., & Bosker, R. (1994). Modeled variance in two level models. Sociological Methods and Research, 22 (3), 342-363.
• Snijders T. A. B., & Berkhof, J. (2008). Diagnostic checks for multilevel models. In J. Leeuw & E. Meijer (Orgs.), Handbook of multilevel analysis (pp.141-175). New York: Springer Science+Business Media.
• Soares, J. F. (2004). O efeito da escola no desempenho cognitivo de seus alunos. Revista Electrónica Iberoamericana sobre Calidad Eficacia y Cambio en la Educación - REICE, 2 (2), 83-104.
• Soares, J. F., & Alves, M. T. G. (2003). Desigualdades raciais no sistema brasileiro de educação básica. Educação e Pesquisa, 29 (1), 147-165.
• van den Eeden, P., Hox, J., & Hauer, J. (1990). Theory and model in multilevel research: congruence or divergence? Amsterdam: SISWO.
• van Der Vegt, G. (1998). Patterns of Interdependence in work teams: a cross-level examination of the relation with satisfaction and commitment. PhD dissertation non-published, University of Groningen, Holland.
• van Der Vegt, G., Emans, B., & van de Vliert, E. (1999). Effects of interdependencies in project teams. The Journal of Social Psychology, 139 (2), 202-214.
• van Der Vegt, G., Emans, B., & van de Vliert, E. (2000). Team members' affective responses to patterns of intragroup interdependence and job complexity. Journal of Management, 26 (4), 633-655.
• van Der Vegt, G., Emans, B., & van de Vliert, E. (2001). Patterns of interdependence in work teams: a two-level investigation of the relations with job and team satisfaction. Personnel Psychology,54 (1), 51-69.
• van Yperen, N., & Snijders, T. (2000). Multilevel analysis of demands-control model: stress at work determined by factors at the group level or the individual level? Journal Occupational Health Psychology, 5 (1), 182-190.
• van Yperen, N., van Den Berg, A., & Willering, M. (1999). Towards a better understanding of the link between participation in decision-making and organizational citizenship behavior: a multilevel analysis. Journal of Occupational and Organizational Psychology, 72 (3), 377-392.

1

Snijders e Bosker (1994) defendem o uso da expressão "proporção da variância modelada".

Datas de Publicação

• Publicação nesta coleção
  06 Nov 2009
• Data do Fascículo
  Set 2009

Histórico

• Aceito
  30 Abr 2008
• Revisado
  28 Mar 2008
• Recebido
  06 Ago 2007