Regressão múltipla stepwise e hierárquica em Psicologia Organizacional: aplicações, problemas e soluções

Stepwise and hierarchical multiple regression in organizational psychology: Applications, problemas and solutions

a04v7nesp

Regressão múltipla stepwise e hierárquica em Psicologia Organizacional: aplicações, problemas e soluções

Gardênia Abbad

Cláudio Vaz Torres

Universidade de Brasília

Resumo

Este artigo discute algumas aplicações das técnicas de análise de regressão múltipla stepwise e hierárquica, as quais são muito utilizadas em pesquisas da área de Psicologia Organizacional. São discutidas algumas estratégias de identificação e de solução de problemas relativos à ocorrência de erros do Tipo I e II e aos fenômenos de supressão, complementaridade e redundância nas equações de regressão múltipla. São apresentados alguns exemplos de pesquisas nas quais esses padrões de associação entre variáveis estiveram presentes e descritas as estratégias utilizadas pelos pesquisadores para interpretá-los. São discutidas as aplicações dessas análises no estudo de interação entre variáveis e na realização de testes para avaliação da linearidade do relacionamento entre variáveis. Finalmente, são apresentadas sugestões para lidar com as limitações das análises de regressão múltipla (stepwise e hierárquica).

Palavras-chave: Regressão múltipla stepwise e hierárquica, Supressão, Complementaridade, Redundância, Interação, Psicologia Organizacional.

Abstract

Stepwise and hierarchical multiple regression in organizational psychology: Applications, problemas and solutions. This article discusses applications of stepwise and hierarchical multiple regression analyses to research in organizational psychology. Strategies for identifying type I and II errors, and solutions to potential problems that may arise from such errors are proposed. In addition, phenomena such as suppression, complementarity, and redundancy are reviewed. The article presents examples of research where these phenomena occurred, and the manner in which they were explained by researchers. Some applications of multiple regression analyses to studies involving between-variable interactions are presented, along with tests used to analyze the presence of linearity among variables. Finally, some suggestions are provided for dealing with limitations implicit in multiple regression analyses (stepwise and hierarchical).

Key words: Stepwise and hierarchical multiple regressions, Suppression, Complementarity, Redundancy, Organizational Psychology.

O presente artigo tem como objetivo discutir as principais aplicações e problemas ligados ao uso da análise de regressão hierárquica e stepwise em Psicologia Organizacional. As pesquisas em Psicologia Organizacional têm utilizado modelos multivariados para examinar os complexos relacionamentos entre comportamentos e ambientes organizacionais. A multiplicidade de fatores explicativos das principais variáveis dependentes da área, como desempenho produtivo e atitudes do trabalhador, vem obrigando os pesquisadores a realizarem pesquisas de campo com delineamentos multivariados. Em revisão da literatura nacional sobre treinamento e desenvolvimento de pessoal, Borges-Andrade e Abbad (1996) encontraram que as pesquisas sobre avaliação de treinamento têm utilizado modelos multivariados de investigação, muitas das quais utilizando análises de Regressão Múltipla.

Pesquisas nacionais sobre comprometimento organizacional (Bastos, 1994a; Bastos, 1994b; Borges-Andrade, 1994; Dias & Moraes, 1994), clima organizacional (Sbraglia, 1983), levantamento de necessidades de treinamento (Magalhães, 1996), cultura organizacional (Gomide Jr., 1999), cidadania organizacional (Siqueira, 1995), técnicas de análise de necessidades de treinamento (Borges-Andrade & Lima, 1983) e avaliação de treinamento (Abbad, 1999; Leitão, 1994; Paula, 1992) empregaram análises de Regressão Múltipla para descrever os relacionamentos entre as variáveis estudadas. Nas pesquisas internacionais, apesar de um notório crescimento do interesse dos pesquisadores por técnicas estatísticas sofisticadas como a Equação Estrutural, observa-se o uso de Regressão Múltipla em pesquisas sobre temas importantes da área de comportamento organizacional como comprometimento organizacional (Shadur, Kienzle & Rodwell, 1999), avaliação de desempenho (Schwarzwald, Koslowsky & Mager-Bibi, 1999) e comportamento gerencial (Krishnan & Park, 1998). Finalmente, na área de pesquisa intercultural, nota-se um movimento distinto daquele que vem ocorrendo em outras áreas, nas quais se observa uma preferência clara pela Regressão Múltipla e pouco interesse pelo uso da Equação Estrutural. Exemplos de pesquisas interculturais que utilizam a Regressão Múltipla envolvem os temas mais diversos, tais como liderança internacional (Dorfman, 1996; Torres, 1999), estratégia e estrutura organizacional (Adler, 1991; Boyacigiller & Adler, 1991), estudos sobre expatriados (Brislin, 1980), comportamento de grupos de trabalho (Cox, Lobel & McLeod, 1991), entre outros.

Apesar da Regressão Múltipla ser uma prática muito difundida, não tem havido discussões detalhadas sobre os problemas específicos do uso dessa técnica nas pesquisas em Psicologia Organizacional, tampouco artigos que apontem possíveis soluções para os problemas enfrentados pelo pesquisador ao escolhê-la. Exemplos destes problemas são a ocorrência de erros do Tipo I e II, fenômenos relativos ao relacionamento entre os preditores (e.g., redundância, complementaridade, supressão) e aumento artificial dos coeficientes de regressão. Este artigo pretende apresentar os problemas mais comuns da utilização desta técnica, bem como, algumas alternativas de solução. Para tal, será apresentada a seguir a definição de Regressão Múltipla, suas características e principais aplicações.

Regressão Múltipla: definição, aplicações e padrões de associação entre variáveis

Definição

Modelos multivariados de pesquisa envolvem análise do relacionamento entre múltiplas variáveis explicativas e, em alguns casos, múltiplas variáveis dependentes. Grande parte das pesquisas delineadas para examinar o efeito exercido por duas ou mais variáveis independentes sobre uma variável dependente utiliza a análise de Regressão Múltipla. A Regressão Múltipla (RM) é definida por Tabachnick e Fidell (1996) como um conjunto de técnicas estatísticas que possibilita a avaliação do relacionamento de uma variável dependente com diversas variáveis independentes. Essas técnicas são muito úteis nas pesquisas da área de Psicologia Organizacional, onde grande parte dos estudos envolve variáveis independentes correlacionadas entre si. Para Dunlap e Landis (1998), o uso de preditores redundantes, correlacionados entre si, é uma característica dos estudos da Psicologia que, ao construírem medidas internamente consistentes, incluem múltiplas medidas correlacionadas ao mesmo construto, o que pode levar, em alguns casos, à exclusão de variáveis importantes na explicação da variável em foco. Nestes casos, é mais segura a utilização de técnicas estatísticas como a RM. Embora esta técnica seja sensível à natureza redundante dos preditores, suas limitações já são bastante conhecidas, como, por exemplo, a sua sensibilidade ao erro Tipo II (Dunlap & Landis, 1998). Para facilitar a discussão sobre as aplicações e problemas relacionados ao uso da RM, são apresentadas algumas definições relacionadas à técnica.

O resultado final de uma RM é uma equação da reta que representa a melhor predição de uma variável dependente a partir de diversas variáveis independentes. Esta equação representa um modelo aditivo, no qual as variáveis preditoras somam-se na explicação da variável critério. A equação da regressão linear pode ser representada por: "y = a + bx_i + Î", onde: "y" é a variável dependente, ou critério; "a" é a constante, ou o intercepto entre a reta e o eixo ortogonal; "b" é o parâmetro, coeficiente padronizado de regressão, ou peso; "x_i" são as variáveis independentes (preditoras) e "Î" é o erro ou resíduo, que se refere à diferença entre os valores observados e preditos.

Para que o uso desta equação seja eficaz na predição da variável dependente em estudo, o pesquisador deve examinar previamente os pressupostos da RM, bem como identificar as conseqüências da sua violação. Entre os pressupostos citados por Tabachnick e Fidell (1996), estão: (1) a multicolinearidade, (2) a singularidade, (3) a homogeneidade nas variâncias, (4) a normalidade e (5) a linearidade.

Embora seja imprescindível que o pesquisador examine esses pressupostos antes de iniciar suas análises, nota-se que a RM é um modelo eficaz contra a violação de grande parte dos pressupostos. Por exemplo, no caso da inclusão de variáveis multicolineares ou singulares nas análises, o pesquisador estará perdendo graus de liberdade, o que conseqüentemente reduz o poder estatístico de suas conclusões. O pesquisador pode, ainda, estar excluindo de seu modelo de estudo variáveis importantes para a explicação do fenômeno em questão, as quais podem estar correlacionadas com uma variável multicolinear. A violação do pressuposto de normalidade pode ser atenuada por meio do aumento do tamanho da amostra da população pesquisada. Esse aumento, além de afetar todos os parâmetros da equação, poderá também reduzir os problemas advindos da violação desse pressuposto. Segundo o teorema do limite central, quanto maior a amostra, maior a chance de que as distribuições das médias das variáveis envolvidas estejam normalmente distribuídas, apesar de não terem individualmente o formato normal. Logo, aumentando-se o tamanho da amostra, os efeitos da não-normalidade das variáveis são reduzidos, aumentando a robustez da análise, e tornando menos necessária a transformação dessas variáveis (Tabachnick & Fidell, 1996). Quando o pressuposto da linearidade é violado, o pesquisador deve estar ciente de que o modelo de regressão linear não é o melhor modelo explicativo para o estudo das variáveis envolvidas, e que outros modelos (e.g. o quadrático) devem ser utilizados. Finalmente, a violação do pressuposto da homogeneidade das variâncias não, necessariamente, invalida a análise, a depender da sua finalidade, mas a enfraquece. A heterogeneidade das variâncias, ou violação da homogeneidade das variâncias, pode ser reduzida por intermédio da transformação de variáveis que não possuem distribuição normal (e.g., assimetria positiva ou negativa).

É necessário ressaltar que a qualidade do modelo de investigação adotado pelo pesquisador pode ser avaliada por meio do valor do coeficiente de determinação, R^2, e da distribuição dos resíduos. Tomando como base uma equação de regressão linear (y = a + bx_i + Î), diz-se, por exemplo, que um R² = 0,401 significa que o(s) preditor(es) explica(m) 40% da variância de y. Em outras palavras, o R² é a quantidade da variância da variável dependente que é explicada conjuntamente pela(s) variável(is) independente(s) e é a estatística mais utilizada para interpretar os resultados da regressão (Tabachnick & Fidell, 1996).

Como observado anteriormente, a regressão permite verificar o quanto cada variável preditora aumenta o poder explicativo da equação de regressão (DR²). Na equação de RM, obtém-se um coeficiente de correlação, o parâmetro b (ou peso padronizado), que representa a magnitude do relacionamento entre cada um dos preditores e o critério, sendo que sua interpretação depende do conhecimento dos erros padrões ele associados (Dunlap & Landis, 1998). O valor de b é influenciado por todas as variáveis preditoras incluídas na equação e está sujeito a mudanças em sua magnitude, dependendo do conjunto de preditores investigados. Uma vez apresentados alguns dos principais conceitos relacionados à RM, serão discutidas algumas das principais aplicações deste conjunto de técnicas.

Aplicações e padrões de associação entre variáveis

A RM é uma análise estatística vastamente utilizada nas pesquisas em Psicologia Organizacional para investigar questões referentes: (1) ao grau de relacionamento entre as variáveis, indicando se uma correlação é significativamente diferente de zero; (2) à importância relativa das variáveis preditoras na explicação da variável dependente; (3) à magnitude do aumento da correlação múltipla resultante da adição de uma ou mais variáveis na equação; (4) à maneira pela qual uma variável independente se comporta no contexto de outra(s) variável(is); (5) à natureza do relacionamento entre as variáveis independentes e dependentes, indicando se o relacionamento é linear ou não-linear (e.g., valores quadrados, cúbicos, produtos cruzados entre as variáveis); (6) à comparação entre conjuntos diferentes de variáveis independentes na predição da variável dependente; (7) ao cálculo estimativo dos escores da variável dependente para os membros de uma nova amostra ainda não pesquisada; e (8) à identificação de relacionamentos causais entre variáveis quando aplicada como um caso especial de path analysis ou equação estrutural.

No caso do uso da regressão para a finalidade mencionada no item 5 (verificar se o relacionamento entre as variáveis é linear ou não ), a RM pode ser empregada na identificação de variáveis mediadoras e moderadoras. Em função da grande difusão desta estratégia nas pesquisas internacionais (e.g., Kromrey & Foster-Johnson, 1999) e na área de Psicologia Organizacional, os fenômenos de mediação e moderação serão definidos a seguir, assim como a forma pela qual a regressão pode ser utilizada para identificá-los.

Mediação: o conceito de mediação implica suposição de relacionamentos causais entre as variáveis envolvidas. Uma variável mediadora é aquela que, ao estar presente na equação de regressão, diminui a magnitude do relacionamento entre uma variável antecedente e uma variável dependente ou critério. Para melhor ilustrar a definição de uma variável mediadora, podemos analisar o relacionamento entre três variáveis hipotéticas, sendo a variável B a mediadora do relacionamento de A com C (A B C). Note-se que a relação entre as variáveis A e C ficará enfraquecida na presença da variável B. No caso de uma variável mediadora pura, o relacionamento entre A e C deixa de existir na presença da variável B.

Segundo Tabachnick e Fidell (1996) e Keppel (1991), a identificação de variáveis mediadoras pode ser feita, por exemplo, com base na observação dos padrões assumidos pelos pesos b das variáveis envolvidas. No caso de uma variável mediadora pura, tem-se um b significativo de A para C, antes da entrada de B na equação. Contudo, uma vez que B é adicionado à equação, o b de B torna-se significativo, enquanto a significância do b de A desaparece. No caso de uma mediação pura, o B captura totalmente a relação entre A e C. Contudo, quando a mediação não é total, pode ainda existir uma relação entre A e C mesmo na presença de B.

Moderação: o conceito de moderação implica influência entre as variáveis e não suposição de causalidade, como no caso da mediação. Para testar a moderação, o pesquisador deve observar a interação entre A e B. Para tal, procura-se observar se A é um bom preditor de C. Em caso positivo, verifica-se se A e B predizem C, e se a interação entre A e B, calculada por meio do produto A x B, também prediz C. Caso a interação seja uma preditora estatisticamente significativa de C, diz-se que B é uma variável moderadora. A existência de uma interação entre A e B só é um indicador de moderação quando, adicionada à equação, é preditora do critério. Logo, na moderação, o relacionamento entre A e C depende do valor assumido pela variável B.

Vale salientar que, no caso da mediação, a relação entre A e C fica enfraquecida com a entrada de B na equação. No caso do moderador, além da interação A x B tornar-se um preditor significativo, a relação entre A e C poderá aumentar ou diminuir, dependendo do valor de B. Pedhazur (1982) discute detalhadamente a diferença entre moderadores e mediadores. Os trabalhos de Gordon (2000) e Torres (1999) exemplificam o uso da RM na identificação de mediadores e moderadores, respectivamente. O'Connor (1998), comparando testes e programas estatísticos, discutiu detalhadamente procedimentos para identificação de moderadores por meio da regressão múltipla.

A RM pode, ainda, ser utilizada para a identificação da ocorrência de outros fenômenos estatísticos que indicam relações complexas entre variáveis, tais como a redundância, a complementaridade e a supressão. Tais fenômenos, e como identificá-los através da RM, são brevemente discutidos abaixo.

Redundância: este fenômeno refere-se à entrada de preditores correlacionados positivamente entre si na equação, acarretando perda de parcimônia na explicação de um critério. A redundância pode ser observada quando os pesos b e os Sr² (i.e., soma das contribuições únicas de cada variável) para cada preditor são menores do que a correlação bivariada entre cada um desses preditores e o critério. Por exemplo, Abbad (1999) identificou redundância em variáveis preditoras que mantinham fortes correlações (0,70 £ r ³ 0,50) com a variável critério e que, ao entrarem na equação de regressão múltipla, resultaram em coeficientes de correlação múltipla muito menores (e.g., bs variando de 0,11 a 0,23 e Sr²s de 0,07 a 0,14). Este fenômeno reflete que cada preditor explica parte da variância do critério que já foi explicada por outro preditor. Nas Ciências Sociais, em geral (Cohen & Cohen, 1975), grande parte das variáveis são correlacionadas entre si. Na Psicologia Organizacional, em particular, este fato se deve ao uso de múltiplas medidas redundantes (Dunlap & Landis, 1998), estratégia esta considerada necessária para conferir validade de conteúdo e consistência interna aos instrumentos.

Complementaridade: refere-se a um padrão pouco freqüente de associação entre preditores e critério, em que a soma da contribuição única de um conjunto de preditores excede a soma das contribuições individuais de cada preditor na explicação do critério. Na complementaridade, dois preditores (x₁ e x₂) devem ter uma alta correlação negativa entre si (Tabachnick & Fidell, 1996), bem como uma correlação bivariada positiva com a variável critério (Keppel, 1991). Em alguns casos, observa-se um decréscimo no valor do b de x₁, podendo o mesmo assumir valores negativos quando a variável x₂ entra na equação. Nestes casos, os dois preditores (x₁ e x₂) são considerados interdependentes ou complementares. A conseqüência da complementaridade é uma diminuição no poder estatístico da pesquisa devido à inclusão de duas variáveis que, juntas, acrescentam pouca explicação à variância do critério e, portanto, representam uma diminuição nos graus de liberdade.

Um exemplo de complementaridade pode ser observado na pesquisa de Torres (1999), que utilizava, como preditores da preferência por estilos de liderança (y), as variáveis padrão cultural (x₁) e país de origem (x₂) dos participantes, medidas por escala intervalar de atitude (x₁) e dados categóricos (x₂). Torres observou uma correlação negativa (r_x1x2 = - 0, 11) entre x₁ e x₂ e correlações positivas entre x₁ e y (r_x1y = 0, 22) e entre x₂ e y (r_x2y = 0,29). Na análise de regressão hierárquica, foi observado um forte decréscimo com inversão de sinal do b_x1 depois que a variável x₂ entrava na equação (de 0,29 para - 0,61). Neste caso, x₁ foi caracterizado como uma variável complementar a x₂. Complementaridade, na verdade, é um caso especial do fenômeno de supressão, que será descrito a seguir.

Supressão: refere-se à situação na qual uma variável (x₁), que mantém uma fraca correlação bivariada com a variável critério (y), entra como preditora na equação de regressão múltipla com um b de sinal oposto ao da correlação bivariada que mantém com y. Trata-se de um fenômeno estatístico raro, conforme Cohen e Cohen (1975) e Tabachnick e Fidell (1996). A supressão pode ser um sinal de relações complexas entre variáveis preditoras na explicação da variável critério. Esse fenômeno é inicialmente identificado por meio da análise do padrão assumido pelos coeficientes de regressão e de correlação de cada preditor com o critério. Entre os sinais de supressão, deve-se observar, segundo Tabachnick e Fidell, os dois seguintes: (1) o valor absoluto da correlação simples entre as variáveis x₁ e y deve ser substancialmente menor que o peso b para a variável supressora x_1; e (2) a correlação simples e o peso b dessa variável devem ter sinais opostos. Para Cohen e Cohen (1975), há mais dois indicadores importantes da supressão: (1) a soma das contribuições únicas de cada variável (Sr²) na explicação da variável critério excede o valor assumido por R²; e (2) em alguns casos, o valor de b pode ser maior do que 1. Uma variável supressora é identificada quando se observa que esta variável aumenta a importância de outras variáveis preditoras ao se suprimir parte da variância irrelevante em outros preditores, ou na variável critério (Tabachnick & Fidell, 1996).

Um exemplo de supressão pode ser encontrado na pesquisa de Abbad (1999), que investigou o relacionamento entre variáveis organizacionais, características do treinamento, características do treinando, satisfação com treinamento e aprendizagem, com a variável critério impacto do treinamento no trabalho (y). A variável aprendizagem (x₁) mantinha uma correlação próxima de zero com o critério (r_x1y = 0,002). Na análise de regressão múltipla stepwise, encontrou-se que x₁, apesar de não se correlacionar com y, entrou na equação com o peso b de sinal negativo (b = - 0,07), suprimindo a variância de outro(s) preditor(es). Neste caso, observou-se ainda que a soma dos Sr² era superior ao valor do R² (Sr² = 0,94 > R² = 0,61), caracterizando assim o fenômeno da supressão.

Com base nas informações relativas a aplicações da RM e padrões de associação entre variáveis, serão brevemente discutidos a seguir os tipos mais utilizados de RM, bem como seus usos e problemas.

Tipos de regressão: usos e problemas

São três os tipos principais de análise de regressão múltipla: (1) regressão múltipla padrão; (2) regressão múltipla hierárquica, ou seqüencial; e (3) regressão estatística (e.g., stepwise ou setwise). Como observado por Tabachnick e Fidell (1996), estas estratégias analíticas diferem entre si quanto ao que acontece com a variabilidade sobreposta de preditores correlacionados entre si na explicação do critério e, além disso, de quem determina (a estatística ou a teoria) a ordem de entrada dos preditores na equação. Este artigo trata de apenas duas dessas formas de regressão, stepwise e hierárquica, as quais são amplamente utilizadas em pesquisa da área de Psicologia Organizacional.

Tipos mais comuns de regressão e seus usos

São três as formas de se realizar uma regressão stepwise: (1) forward - quando a equação começa vazia e cada preditor entra, um por um, na equação; (2) backward - quando todos os preditores são incluídos de uma só vez na equação, e depois são retirados, um a um, até que se identifiquem os melhores preditores; (3) blockwise ou setwise - assemelha-se à regressão stepwise forward, mas, ao invés dos preditores serem incluídos individualmente, eles entram na equação em blocos (Keppel, 1991; Tabachnick & Fidell, 1996).

A regressão stepwise geralmente é a estratégia escolhida para estudos exploratórios. Quando se está utilizando este tipo de regressão, o pesquisador, desprovido de uma teoria consistente sobre os fenômenos estudados, está interessado apenas em descrever relacionamentos pouco conhecidos entre variáveis, e não em os explicar. Neste tipo de regressão, a seleção da seqüência de entrada dos preditores na equação é feita estatisticamente, sem um modelo teórico consistente a ser seguido. Em estudos exploratórios, o pesquisador elabora um modelo teórico de investigação que inclui hipóteses sobre relacionamentos entre variáveis, mas que ainda não possibilita afirmações consistentes sobre a magnitude ou direção desses relacionamentos. Além disso, este tipo de estudo ainda não encontra apoio empírico às hipóteses a serem testadas. Este é o caso, por exemplo, das pesquisas na área de transferência de treinamento, que apresentam um corpo teórico disperso, modelos de investigação excessivamente parcimoniosos e poucas informações sobre esses relacionamentos (Abbad, 1999).

A regressão hierárquica é utilizada em estudos confirmatórios, uma vez que este tipo de análise busca a explicação sobre o relacionamento entre variáveis descrito em modelos teóricos consistentes, ou seja, em modelos que apresentam um conjunto de proposições empíricas que já indicam a magnitude e direção da relação entre variáveis, mas que, apesar de já terem sido testados, ainda carecem de validação. Neste caso, a ordem de entrada dos preditores na equação de regressão é definida pelo pesquisador, que baseia sua decisão em teorias ou outras pesquisas relacionadas, como, por exemplo, no caso das pesquisas sobre liderança internacional (Torres, 1999). A exemplo do que ocorre com a regressão stepwise, a regressão hierárquica tem o objetivo de determinar os melhores preditores de um critério.

Diversos autores, entre os quais Keppel (1991), ao descreverem a regressão hierárquica como forma de se preparar uma path analysis, sugerem que esta regressão é capaz de identificar relações de causalidade entre variáveis. Contudo, é importante lembrar que, como qualquer outra técnica de análise correlacional, a regressão hierárquica não pode identificar causalidade, mas apenas a relação (ou correlação) entre variáveis. Mesmo quando utilizada para testar modelos teóricos que apenas teoricamente indicam uma relação de causa e efeito entre variáveis, a regressão hierárquica está, no máximo, descrevendo padrões de relacionamento entre variáveis.

Problemas associados ao uso da Regressão Múltipla

Nesta seção, são discutidos alguns dos dilemas encontrados por pesquisadores da área, no uso de regressão stepwise e hierárquica, e algumas soluções para enfrentá-los. São relatados os modos pelos quais alguns dos fenômenos estatísticos descritos anteriormente (e. g., supressão, complementaridade, moderação) são identificados com o auxílio da regressão, assim como os problemas relacionados à identificação dos mesmos e a maneira escolhida pelos pesquisadores para lidar com essas situações.

Em pesquisa sobre avaliação de impacto do treinamento no trabalho, Abbad (1999), utilizando análise de regressão múltipla stepwise, identificou sinais de supressão e redundância entre variáveis. Em um destes casos, a variável aprendizagem, que é uma medida de desempenho do participante ao final do treinamento, apesar de manter uma correlação bivariada próxima de zero (r = 0,002), com impacto ou transferência de treinamento, entrava na equação de regressão como variável supressora, indicando relacionamento complexo dessa variável com outros preditores de impacto. A análise das correlações bivariadas entre os preditores mostrou que a variável aprendizagem mantinha, ainda, correlação negativa com outras duas variáveis preditoras, que também estavam envolvidas em uma espécie de supressão em rede. O fenômeno de supressão foi estudado, retirando-se intencionalmente a variável supressora da equação com a finalidade de observar os efeitos dessa estratégia na predição de impacto. Observou-se que esta retirada não afetava a importância relativa das variáveis que melhor prediziam o critério.

Em parte, a supressão observada por Abbad (1999) ocorreu provavelmente em função da estratégia metodológica adotada nesta pesquisa. A autora incluiu em suas análises todas as variáveis contidas no modelo de investigação, mesmo aquelas que mantinham fracas correlações com a variável critério, com a finalidade de testar suas hipóteses, explorando detalhadamente os relacionamentos entre as variáveis. É possível que o fenômeno supressivo venha sendo pouco encontrado na literatura, devido à prática disseminada de somente incluir, nos modelos de análise, as variáveis que mantêm correlação significativa com o critério. A estratégia adotada por Abbad pode ter permitido a observação do fenômeno. Outra explicação para a ocorrência da supressão pode relacionar-se à natureza e qualidade das medidas utilizadas. Como descrito acima, aprendizagem (e.g., variável supressora) foi medida por meio de testes comportamentais, elaborados e administrados por diferentes instrutores para um grande número de cursos. Logo, não se teve controle da qualidade psicométrica dos testes, em termos de sua confiabilidade e validade (preditiva, ou mesmo de conteúdo). Por outro lado, todas as outras variáveis que entraram no modelo, inclusive a variável critério, foram medidas através de instrumentos de natureza perceptual, construídos com o rigor psicométrico necessário, apresentando altos níveis de confiabilidade e validade. A natureza distinta dessas medidas (comportamental e perceptual) e a discrepância na qualidade psicométrica das mesmas podem ter contribuído para o aparecimento do fenômeno da supressão. As abordagens teóricas revisadas pela pesquisadora afirmam que a variável aprendizagem relaciona-se significativamente com o impacto do treinamento. Contudo, os dados empíricos não vêm corroborando esta sugestão teórica, como demonstrado no estudo de Abbad. Provavelmente, o distanciamento entre as afirmações teóricas e os dados empíricos deva-se à qualidade das medidas de aprendizagem utilizadas. É importante notar que esta hipótese foi fortalecida devido ao fenômeno da supressão. Se, por um lado, a entrada da variável supressora na equação apóia as abordagens teóricas, por outro, também apóia os dados empíricos encontrados, que mostram fraca correlação bivariada entre aprendizagem e impacto. Esta aparente contradição só pôde ser adequadamente compreendida quando a variável supressora foi analisada, ao invés de ter sido simplesmente retirada do modelo. Assim, o fenômeno supressivo chamou atenção para as diferenças entre medidas, refinando a interpretação dos resultados das pesquisas na área.

Como foi descrito anteriormente, o fenômeno da redundância observado por Abbad (1999) é muito comum em pesquisa em Psicologia Organizacional. Dois pontos devem ser observados neste tipo de situação. Primeiro, a busca por medidas confiáveis e com altos coeficientes de consistência interna, medidas estas utilizadas em pesquisas na área, resultam em variáveis redundantes mas que não devem ser eliminadas, pois estar-se-ia, assim, diminuindo a explicação do construto subjacente.

O outro ponto refere-se à meta que pesquisadores da área de Psicologia Organizacional têm de construir e validar modelos parcimoniosos de explicação do comportamento humano em organizações. Para alcançar esta meta, é importante levar em consideração todas aquelas variáveis que possam explicar os construtos latentes que estejam associados às variáveis critério estudadas. Nos casos de estudos exploratórios, esta consideração é importante, ou seja, um certo nível de redundância é desejável, enquanto, nos confirmatórios, a parcimônia é o alvo. Neste último tipo de estudo, considera-se a eliminação da redundância nos modelos de RM uma estratégia adequada, já que ela aumentaria a confiabilidade da predição, por manter no modelo de regressão apenas variáveis não-correlacionadas (ou fracamente correlacionadas) entre si. Nos casos dos estudos exploratórios, eliminar a variável redundante pertencente a um mesmo construto subjacente pode gerar um efeito indesejável, pois a variável preditora eliminada da equação pode ser uma das mais importantes na explicação da variável latente que prediz o critério, conforme Dunlap e Landis (1998).

A regressão stepwise, que muitas vezes elimina de seu modelo variáveis redundantes, pode, assim, estar descartando parte importante da explicação dos fenômenos estudados. Para solucionar este problema, Dunlap e Landis (1998) sugerem, além da análise dos índices tradicionalmente utilizados (e.g., b e Sr²), a utilização de cargas na interpretação dos modelos de regressão múltipla stepwise. De acordo com esta sugestão, um preditor com b não-significativo, eliminado da regressão por ser redundante no contexto de outros preditores da equação, pode ser considerado um bom preditor da variável critério se tiver uma alta carga. As cargas são calculadas dividindo-se a correlação bivariada de cada preditor com a variável critério pelo coeficiente de regressão múltipla. Essas cargas indicam o quanto cada preditor está correlacionado com o composto linear de variáveis que melhor prediz o critério. As cargas não levam em consideração o quanto um dado preditor correlaciona-se com outro preditor (como ocorre no caso dos b e Sr²), mas apenas se ele está correlacionado com o critério. Se a pesquisa é exploratória e busca identificar relacionamentos com variáveis subjacentes, então, deve-se interpretar, além das informações tradicionais contidas nos resultados da regressão, as cargas, de modo a identificar variáveis redundantes. Em resumo, Dunlap e Landis (1998) sugerem que um preditor só deve ser descartado da equação quando tiver peso b e cargas não-significativos. As cargas fatoriais, coeficientes de correlação, são facilmente interpretáveis e podem assumir valores entre -1 e 1. Além disso, eles são menos sensíveis ao tamanho da amostra do que os bs, e podem ser facilmente calculados a partir das informações contidas nos resultados dos pacotes estatísticos.

Como citado anteriormente, Torres (1999) encontrou complementaridade quando utilizava as variáveis padrão cultural e país de origem dos participantes para predizer a preferência destes por estilos de liderança, por meio de uma regressão hierárquica. Note-se que o autor oferece duas formas distintas de lidar com o problema da complementaridade. No primeiro estágio de sua discussão, Torres optou pela retirada da variável complementar (e.g., país de origem) da equação, uma vez que a sua contribuição na explicação do critério era fraca. Quando isto foi feito, a variável padrão cultural passou a explicar grande parte da variância de preferência por estilo de liderança. Mas é a segunda forma de lidar com a variável complementar que parece interessante discutir neste artigo.

Torres (1999) utilizou uma amostra de brasileiros e outra de norte-americanos para testar suas hipóteses. Todos os participantes responderam, entre outros instrumentos, uma escala atitudinal que mede padrão cultural (Singelis, Triandis, Bhawuk & Gelfand, 1995) e forneceram informações sobre seu país de origem. Os resultados mostram que Brasil e Estados Unidos diferem forte e significativamente (t = 39,13; p < 0,01) em uma das dimensões culturais medidas pela escala de Singelis et al. (1995). A interpretação teórica dada por Torres à complementaridade é que, como Brasil e Estados Unidos representam extremos da dimensão cultural investigada, a variável país de origem é, não só interdependente com a variável padrão cultural, mas também a inclui. Na verdade, por representarem pólos opostos de um mesmo construto (e.g., a dimensão cultural individualismo-coletivismo), as amostras brasileira e norte-americana provocaram uma restrição na amplitude de variação da escala utilizada. Torres sugere que futuras pesquisas deveriam utilizar outras amostras de países que pudessem garantir maior variabilidade nos níveis de padrão cultural. Desta forma, o fenômeno da complementaridade entre país de origem e padrão cultural poderia desaparecer. É importante notar que, nem sempre, a simples retirada de uma variável complementar da equação é a melhor saída para a resolução deste fenômeno. Muitas vezes, o pesquisador deve fazer uma melhor análise teórica de seus construtos, paradigmas e níveis de análise para entender e oferecer soluções para problemas estatísticos existentes.

Na Psicologia Organizacional, observa-se uma tendência crescente de refinar conceitos e modelos de investigação. São cada vez mais freqüentes os estudos que utilizam procedimentos estatísticos tais como Equações Estruturais e Path Analysis, que têm sido considerados mais sensíveis que a análise de RM à complexidade dos fenômenos investigados. Entre outros objetivos, tais pesquisas buscam melhor descrever relacionamentos indiretos entre variáveis, que interferem na explicação das variáveis dependentes. De modo geral, a RM tem sido utilizada para a descrição de relacionamentos diretos entre variáveis. Todavia, a RM, técnica mais simples e conhecida que a Equação Estrutural, também pode se constituir em ferramenta adequada à exploração dos relacionamentos indiretos entre variáveis. A RM pode, ainda, auxiliar na diferenciação entre modelos lineares e modelos não-lineares. Estes usos da regressão são descritos e discutidos a seguir.

Regressão Múltipla na análise de relacionamentos indiretos e não-lineares

O'Connor (1998) sugere que a RM é a técnica estatística recomendada para identificar a interação entre os preditores, especialmente quando alguns deles são contínuos. Para o autor, identificar se a interação existe é um processo relativamente simples e envolve a inclusão na equação do efeito principal e do produto dos termos.

Um exemplo do uso da RM na identificação de relacionamentos indiretos entre variáveis é o teste para análise do efeito de moderadores (também conhecido como efeito não-aditivo, multiplicativo ou de interação) que, normalmente, é feito por meio de uma regressão hierárquica. Neste caso, observam-se as diferenças entre o R² do modelo aditivo e o do modelo não-aditivo. Kromrey e Foster-Johnson (1999) acreditam que não há evidências que refutem a adequação deste teste de efeito de moderadores. Contudo, existem dificuldades na área para a identificação de variáveis moderadoras. Segundo Kromrey e Foster-Johnson, essas dificuldades se devem, por exemplo, a erros de medida, multicolinearidade.

Existe, ainda, um problema com relação à diferenciação entre o efeito da interação e as relações não-lineares. Neste caso, muitos pesquisadores (e.g., Bee-Hua, 1999) fazem uso da regressão hierárquica e inferem que um aumento significativo no R², quando o moderador é adicionado à equação, é indicativo de que o melhor modelo representativo da população em questão é o modelo multiplicativo ou moderador. Mudanças não-significativas no R² sugeririam que o melhor modelo seria o aditivo (ou linear). O problema dessa inferência relaciona-se às dificuldades de identificação de variáveis moderadoras (Lubinski & Humphreys, 1990). Os efeitos do moderador em uma regressão podem não ser significativos (mesmo na presença de um modelo multiplicativo) devido aos erros de medida e de amostragem ou, ainda, a regressão hierárquica pode indicar um efeito significativo do moderador, quando, na verdade, o melhor modelo explicativo é o quadrático ou o cúbico não-linear.

Se houver evidência de que o modelo de regressão não é linear, o pesquisador não saberá identificar com certeza um modelo (multiplicativo, quadrático ou cúbico) que melhor descreve a relação entre os preditores e o critério (Lubinski & Humphreys, 1990). Além disso, esse modelo poderá ainda ser representado por uma relação não-linear entre qualquer um dos preditores e o critério, entre dois preditores e o critério ou por uma combinação de não-linearidade e moderação. O equívoco na escolha do melhor modelo poderá ocasionar erros do Tipo I, Tipo II ou ambos.

Com o objetivo de solucionar esse problema, Lubinski e Humphreys (1990) propõem o uso de uma regressão stepwise para diferenciar um moderador de um modelo não-linear. Esta proposição é conhecida como "método de comparação da magnitude do efeito - ME" (Kromrey & Foster-Johnson, 1999). Este método envolve duas etapas, que permitem que o pesquisador diferencie o efeito de um multiplicativo do quadrático. Em primeiro lugar (passo 1), a equação da regressão linear ou aditiva (y = a + bx + bz + Î) é obtida. Em seguida (passo 2), o produto e o produto cruzado dos termos (xz; x²; z²) entram como preditores da equação obtida no passo 1. Estes termos entram na equação como qualquer variável preditora na regressão stepwise, ou seja, por meio do uso do algoritmo para selecionar em qual seqüência os termos entrarão na equação. Logo, esses três termos competem entre si estatisticamente para determinar qual deles (o moderador - xz, ou os termos quadráticos - x² e z²) melhor caracteriza a relação preditor-critério.

Segundo Kromrey e Foster-Johnson (1999), as limitações do procedimento sugerido por Lubinski e Humphreys (1990) referem-se basicamente às limitações da própria regressão stepwise. Utilizando esse método baseado em regressão stepwise, o pesquisador terá maiores chances de cometer um erro do Tipo I, principalmente quando o modelo que melhor caracteriza a população em estudo é o aditivo. Nesses casos, a regressão pode produzir resultados que não são generalizáveis para outras amostras.

Para testar o método ME, Kromrey e Foster-Johnson (1999) realizaram estudos de Monte Carlo, gerando aleatoriamente dados que caracterizavam amostras de uma população cujos relacionamentos entre variáveis eram linear, não-linear e multiplicativo. O método de Lubinski e Humphreys foi utilizado para auxiliar o pesquisador na escolha do modelo (e.g., linear, quadrático e moderador) que melhor descreveria a relação entre variáveis.

Nessas simulações, Kromrey e Foster-Johnson observaram alguns problemas provocados pelo uso da regressão stepwise. Como esperado, consistentemente e em todas as condições examinadas, o procedimento mostrou pouco controle sobre a ocorrência do erro Tipo I. Porém, seus resultados mais surpreendentes foram os que indicaram erros Tipo II. Para populações com características moderadoras (não-aditivas), houve uma grande ocorrência de erros Tipo II, uma vez que o método não distinguiu os modelos multiplicativos dos aditivos. A maior parte dos erros levou o pesquisador a selecionar erradamente o modelo não-linear. No caso de populações com características quadráticas (não-lineares), o método falhou em detectar diferenças entre estes modelos e o linear, o que também caracterizou a ocorrência de erros Tipo II. Para essas populações, o modelo moderador foi indevidamente escolhido.

Kromrey e Foster-Johnson (1999) notaram ainda que as ocorrências dos erros Tipo I e II resultantes do uso da regressão stepwise podem ser evitadas ou reduzidas quando alguns fatores são controlados. Os casos de erro Tipo I não parecem estar relacionados nem com o tamanho da amostra, nem com a magnitude do R². Contudo, houve um certo aumento do controle da regressão stepwise sobre a ocorrência de erros Tipo I, quando havia menos redundância no modelo e aumento na consistência interna das medidas. Como era esperado, observou-se um grande decréscimo de erros Tipo II quando houve um aumento na magnitude do efeito e um aumento no tamanho da amostra. Houve também uma redução dos erros Tipo II com o aumento na confiabilidade dos preditores. Finalmente, observou-se um pequeno, ainda que consistente, aumento na ocorrência de erros Tipo II quando a correlação entre os preditores aumentava.

Também foi observado por outros autores (MacCallum & Mar, 1995, conforme citado por Kromrey & Foster-Johnson, 1999) que o sucesso do uso da regressão stepwise decresce na medida em que a multicolinearidade aumenta e que a confiabilidade e a magnitude do efeito diminuem. Para esses autores, esse tipo de relação é ainda mais severo para o efeito quadrático que para o efeito do moderador. As dificuldades advindas do uso da regressão stepwise podem ainda ser reduzidas se o pesquisador utilizar um alfa mais conservador para corrigir o b, o qual pode estar artificialmente aumentado na regressão stepwise. Contudo, tal procedimento poderá acarretar em mais problemas do que soluções. Embora o uso de um alfa mais conservador possa reduzir a ocorrência do erro Tipo I, isto aumentará a chance de erro do Tipo II, além de ser uma estratégia recomendada apenas para grandes amostras, nas quais o poder estatístico deixa de ser uma preocupação.

Em resumo, a regressão stepwise no método ME parece ser uma estratégia muito adequada para selecionar o modelo explicativo que mais se ajusta aos seus dados, desde que sejam evitados altos níveis de multicolinearidade, usando preditores pouco correlacionados, que irão manter o poder estatístico da pesquisa. Todavia, quando o uso de preditores não-correlacionados entre si não é uma opção, pode-se ainda obter resultados válidos quando se tem uma alta confiabilidade nas medidas e, conseqüentemente, preditores também confiáveis (MacCallum & Mar, 1995, conforme citado por Kromrey & Foster-Johnson, 1999). Aliás, o uso de preditores confiáveis é fundamental em qualquer regressão e especialmente na stepwise. Isto porque, neste caso, o erro de medida é transmitido diretamente para o produto e para o produto cruzado dos termos da equação, causando uma séria redução no poder estatístico. O uso de medidas confiáveis ajuda a aumentar o baixo controle que a regressão stepwise tem sobre a ocorrência de erro Tipo I, mesmo na presença de multicolinearidade e baixa magnitude de efeito. Finalmente, o pesquisador deve ainda se lembrar de que o tamanho da amostra é um aspecto importante no uso da stepwise. Kromrey e Foster-Johnson (1999) observaram que o poder estatístico é drasticamente reduzido quando amostras menores que 175 participantes são utilizadas, mesmo quando são encontrados efeitos de grande magnitude e medidas altamente confiáveis.

Conclusões e recomendações

Nas últimas décadas, nota-se uma tendência dos pesquisadores da área de Psicologia Organizacional em utilizar técnicas estatísticas mais sofisticadas que a análise de regressão múltipla. Contudo, o uso de técnicas mais refinadas, como a Equação Estrutural, não deveria significar o abandono de procedimentos estatísticos mais simples, como a RM. Análises de Regressão Múltipla têm seus usos e limitações bem conhecidos pelos pesquisadores, o que torna a sua utilização mais segura e confiável.

Entre os cuidados a serem tomados pelo pesquisador ao utilizar RM para análise de dados, está o de selecionar cuidadosamente o tipo de regressão, respeitando a natureza do estudo, exploratória ou confirmatória (Tukey, 1980). Em pesquisas exploratórias, nas quais o pesquisador não conta com uma teoria consistente sobre os fenômenos investigados, a estratégia recomendável é a regressão múltipla stepwise, enquanto, em pesquisas de caráter confirmatório, o procedimento mais adequado é a regressão múltipla hierárquica.

A interpretação dos resultados da RM, seja ela hierárquica ou stepwise, especialmente em pesquisas exploratórias, deve ser feita com muito cuidado, levando-se em conta as recomendações da literatura. No entanto, a obtenção de resultados confiáveis de RM não depende apenas do uso adequado dos procedimentos estatísticos, mas do quanto a investigação empírica que originou os dados se baseou em um quadro teórico bem estruturado. Modelos teóricos de investigação devem ser desenvolvidos, mesmo em linhas de pesquisa exploratória nas quais o corpo de conhecimentos ainda está disperso e as abordagens teóricas são pouco abrangentes. Nesses casos, o pesquisador deveria escolher preferencialmente a regressão stepwise, tomando alguns cuidados para evitar os erros Tipo I e II, entre os quais: (1) adequar o tamanho da amostra às variáveis incluídas no modelo; (2) construir medidas confiáveis e válidas baseadas em análise cuidadosa dos conceitos utilizados para expressar os relacionamentos entre os fenômenos estudados; (3) explorar os resultados da RM, identificando fenômenos estatísticos (e.g., complementaridade, supressão, redundância) que podem ter sido produzidos por viés metodológico e/ou teórico; (4) testar a adaptação do modelo linear aditivo para explicar o relacionamento entre as variáveis, antes de concluir que o modelo teórico não foi confirmado pelos resultados; bem como (5) controlar os níveis de redundância nos modelos exploratórios e, quando isso não for possível, pela natureza das medidas, utilizar estratégias estatísticas de evitação dos graves erros de exclusão e inclusão indevida de variáveis na equação.

Ambas as técnicas de RM discutidas neste artigo têm potencialidades inexploradas e problemas bem conhecidos pelos pesquisadores, o que possibilita o seu uso de forma eficaz. Ambas as estratégias analíticas são úteis tanto em pesquisa exploratória como em pesquisa confirmatória. Por exemplo, RM stepwise pode auxiliar no teste preliminar de hipóteses, enquanto que a RM hierárquica pode ser utilizada para testar o efeito de moderadores em pesquisas confirmatórias.

Em termos práticos, as técnicas de RM, extremamente úteis na elaboração de diagnósticos organizacionais, são de fácil utilização. Vale notar que no processo de diagnóstico e resolução de problemas organizacionais, como, por exemplo, no levantamento de necessidade de treinamento, de clima e cultura organizacionais, o mais grave é a ocorrência do erro Tipo II. Erros deste tipo podem comprometer drasticamente a qualidade do diagnóstico e a eficácia das intervenções. Neste contexto, o erro Tipo I, tão discutido nas pesquisas acadêmicas, oferece menos riscos para o trabalho do consultor do que o erro Tipo II. O erro advindo da entrada de variáveis espúrias nos modelos de predição produz um impacto menor na intervenção do que a exclusão de variáveis relevantes. Nesses caos, talvez seja preferível errar por excesso de zelo do que por falta dele.

Apesar de necessário à obtenção de dados empíricos confiáveis, o conhecimento dos riscos, limitações e desafios associados ao uso de regressão múltipla não é suficiente para garantir qualidade às análises e aos resultados de pesquisa. A confiabilidade dos resultados empíricos não é produto apenas do uso adequado de técnicas estatísticas de análise de dados. Seguramente, as análises estatísticas não constituem as melhores nem as únicas respostas aos problemas de confiabilidade enfrentados pelo pesquisador em seus trabalhos. Para Kromrey e Foster-Johnson (1999), "talvez a melhor resposta não esteja em estatísticas melhores, mas em um melhor pensamento ou elaboração sobre a natureza do problema" (p. 413) investigado.

Agradecimentos

Os autores agradecem a contribuição de Renata Silveira Carvalho, que forneceu valorosos comentários, sugestões e correções nas versões anteriores desse artigo.

Gardênia Abbad, doutora em Psicologia Social e do Trabalho pela Universidade de Brasília, DF, é professora do Departamento de Psicologia Social e do Trabalho, Instituto de Psicologia da Universidade de Brasília, Brasília, DF.

Cláudio Vaz Torres, doutor em Psicologia Social e do Trabalho pela Califórnia School of Professional Psychology, EUA, é professor do Departamento de Psicologia Social e do Trabalho, Instituto de Psicologia da Universidade de Brasília, Brasília, DF.

Endereço para correspondência: (GA) SQN 205, Bloco C, ap. 201, Asa Norte, 70.843-030, Brasília, DF. Telefone residencial: (61) 272.0043. Telefone UnB: (61) 307.2625, Ramal 222. Fax IP/UnB: (61) 273.8259. E-mails: (GA) [e-mail] e (CVT) [e-mail].

Recebido em 06.01.01

Revisado em 09.04.01

Aceito em 25.07.01

• Abbad, G. (1999). Um modelo de avaliação do impacto do treinamento no trabalho IMPACT Tese de doutorado não-publicada, Universidade de Brasília, Brasília.
• Adler, N. J. (1991). International dimensions of organizational behavior (3Ş ed.). Boston: Kent.
• Bastos, A.V.B. (1994a). Comprometimento no trabalho: a estrutura dos vínculos do trabalhador com a organização, a carreira e o sindicato Tese de doutorado não-publicada, Universidade de Brasília, Brasília.
• Bastos, A.V. B. (1994b). Comprometimento no trabalho: seus antecedentes em distintos setores da administração e grupos ocupacionais. Temas em Psicologia, 1, 73-90.
• Bee-Hua, G. (1999). An evaluation of the accuracy of the multiple regression approach in forecasting sectoral construction demand in Singapore. Construction Management and Economics, 17(2), 231-241.
• Borges-Andrade, J. E. (1994). Comprometimento organizacional na administração pública e em seus segmentos meio e fim. Temas em Psicologia, 1, 49-62.
• Borges-Andrade, J. E., & Abbad, G. (1996). Treinamento no Brasil: reflexões sobre suas pesquisas. Revista de Administração, 31(2), 112-125.
• Borges-Andrade, J. E., & Lima, S. M.V. (1983). Avaliação de necessidades de treinamento: um método de análise de papel ocupacional. Tecnologia Educacional, 12(54), 6-22.
• Boyacigiller, N., & Adler, N. J. (1991). The parochial dinosaur: Organizational science in global context. Academy of Management Review, 16, 262-290.
• Brislin, R. W. (1980). Translation and content analysis of oral and written materials. In H. C. Triandis & J. W. Berry (Orgs.), Handbook of cross-cultural psychology (Volume 4, pp. 398-444). Boston: Allyn & Bacon.
• Cohen, J., & Cohen, P. (1975). Applied multiple regression/correlation analysis for the behavioral sciences Hillsdale: Lawrence Erlbaum Associates.
• Cox, T. H., Lobel, S. A., & McLeod, P. L. (1991). Effects of ethnic group culture differences on cooperative and competitive behavior on group task. Academy of Management Journal, 34, 827-847.
• Dias, J. M. G., & Moraes, L. F. R. (1994). Preditores do comprometimento organizacional na EMATER-MG. Temas em Psicologia, 1, 91-102.
• Dorfman, P. (1996). International and cross-cultural leadership. In B. J. Punnett & O. Shenkar (Orgs.), Handbook for international management research (pp. 267-349). Cambridge: Blackwell.
• Dunlap, W. P., & Landis, R. S. (1998). Interpretations of multiple regression borrowed from factor analysis and canonical correlation. The Journal of General Psychology, 125(4), 397-407.
• Gomide Jr., S. (1999). Antecedentes e conseqüentes das percepções de justiça no trabalho Tese de doutorado não-publicada, Universidade de Brasília, Brasília.
• Gordon, R. S. (2000). Racial identity attitudes, workplace African American representation and perceived success among African Americans Tese de doutorado não-publicada, Faculty of the California School of Professional Psychology, San Diego.
• Keppel, G. (1991). Design and analysis: A researcher's handbook, (3Ş ed). Englewood Cliffs: Prentice-Hall.
• Krishnan, H. A., & Park, D. (1998). Effects of top management team change on performance in downsized US companies. Management International Review, 38(4), 303-319.
• Kromrey, J. D., & Foster-Johnson, L. (1999). Statistically differentiating between interaction and nonlinearity in multiple regression analysis: A Monte Carlo investigation of a recommended strategy. Educational and Psychological Measurement, 59(3), 392-413.
• Leitão, J. S. S. (1994). Relações entre clima organizacional e transferência de treinamento Dissertação de mestrado não-publicada, Universidade de Brasília, Brasília.
• Lubinski, D., & Humphreys, L.G. (1990). Assessing spurious "moderator effects:" Illustrated substantively with the hypothesized ("synergistic") relation between spatial and mathematical ability. Psychological Bulletin, 107, 385-393.
• Magalhães, M. L. (1996). Auto e hetero avaliação no diagnóstico de necessidades de treinamento Dissertação de mestrado não-publicada, Universidade de Brasília, Brasília.
• O'Connor, B. P. (1998). Simple: All-in-one programs for exploring interactions in moderated multiple regression. Educational and Psychological Measurement, 58(5), 836-840.
• Paula, S. M. A. (1992). Variáveis preditoras de impacto de treinamento no trabalho: análise da percepção dos treinandos de duas organizações Dissertação de Mestrado, Universidade de Brasília, Brasília.
• Pedhazur, E. J. (1982). Multiple regression in behavioral research: Explanation and prediction (2Ş ed.). New York: Holt, Rinehard & Wisnton.
• Sbraglia, R. (1983). Um estudo empírico sobre clima organizacional em instituições de pesquisa. Revista de Pesquisa em Organização, 18(2), 30-39.
• Schwarzwald, J., Koslowsky, M., & Mager-Bibi, T. (1999). Peer rating versus peer nominations during training as predictors of actual performance criteria. The Journal of Applied Behavioral Science, 35(3), 360-372.
• Shadur, M. A., Kienzle, R., & Rodwell, J.J. (1999). The relationship between organizational climate and employee perceptions of involvement. Group and Organization Management, 24(4), 479-503.
• Singelis, T. M., Triandis, H. C., Bhawuk, D. P. S., & Gelfand, M. J. (1995). Horizontal and vertical dimensions of individualism and collectivism: A theoretical and measurement refinement. Journal of Cross-Cultural Research, 29, 240-275.
• Siqueira, M. M. M. (1995). Antecedentes do comportamento de cidadania organizacional: a análise de um modelo pós-cognitivo Tese de doutorado não-publicada. Universidade de Brasília, Brasília.
• Tabachnick, B., & Fidell, L. S. (1996). Using multivariate statistics (3Ş ed.). New York: Harper Collins.
• Torres, C. V. (1999). Leadership style norms among Americans and Brazilians: Assessing differences using Jackson's return potential model Tese de doutorado não-publicada, California School of Professional Psychology, San Diego.
• Tukey, J. W. (1980). We need both exploratory and confirmatory. American Statistician, 34, 23-25.

Datas de Publicação

• Publicação nesta coleção
  10 Set 2002
• Data do Fascículo
  2002

Histórico

• Aceito
  25 Jul 2001
• Recebido
  06 Jan 2001
• Revisado
  09 Abr 2001