Manejo de estresse ocupacional na perspectiva da área de avaliação de programas

Occupational stress management from the perspective of the area of program evaluation

ARTIGOS

Manejo de estresse ocupacional na perspectiva da área de avaliação de programas

Occupational stress management from the perspective of the area of program evaluation

Sheila Giardini Murta^I; Jacob Arie Laros^II; Bartholomeu Torres Tróccoli^II

^IUniversidade Católica de Goiás

^IIUniversidade de Brasília

^{Endereço para correspondência}

RESUMO

O objetivo deste artigo é apresentar procedimentos para implementar e avaliar programas de manejo de estresse ocupacional focados no indivíduo, fundamentando-se na literatura das áreas de psicologia da saúde ocupacional e de avaliação de programas. São abordados o planejamento da intervenção, sua implementação e avaliação, com base no ciclo da pesquisa em ciências sociais, cujas etapas compreendem a avaliação de necessidades, busca de base teórica, definição de objetivos, variáveis, instrumentos, delineamento, participantes, procedimentos, implementação do programa e coleta de dados, análise e interpretação de resultados, divulgação dos resultados e formulação de novas questões. São discutidas perspectivas futuras para a área de avaliação de programas e possíveis ganhos resultantes de alianças entre este campo e o campo de intervenções em manejo de estresse ocupacional.

Palavras-chave: avaliação de programas; estresse ocupacional; intervenção

ABSTRACT

The aim of this article is to present procedures to implement and evaluate individual focused occupational stress management interventions, based on literature of the area of occupational health psychology and program evaluation. Intervention, implementation and evaluation planning are discussed, based on the social science research cycle, which stages include needs evaluation, search of theoretical basis, definition of goals, variables, instruments, design, participants, procedures, program implementation and data collection, analysis and results interpretation, publishing results and formulation of new questions. Future perspectives for program evaluation and possible gains resulted from the alliance between this area and occupational stress management interventions are discussed.

Keywords: program evaluation; occupational stress; intervention

Estima-se que as empresas brasileiras gastem anual mente 12,5 bilhões de reais com despesas decorrentes de acidentes e doenças relacionadas ao trabalho e que os contribuintes gastem mais de 20 bilhões de reais anuais com estes tipos de despesas (Pastore, 1999, citado pelo Ministério da Saúde do Brasil, 2001). Tais custos salientam a necessidade de programas de prevenção às doenças ocupacionais; programas estes que devem abranger múltiplos fatores causais, dentre os quais o estresse ocupacional, considerado fator de risco para várias doenças ligadas ao trabalho (Carayon, Smith, & Haims, 1999).

Diversas áreas de conhecimento fundamentam tais programas, incluindo a psicologia da saúde ocupacional. Esta agrega conhecimentos da psicologia clínica, psicologia da saúde, saúde pública e medicina preventiva voltados para o contexto organizacional a fim de otimizar a saúde, a segurança e o bem-estar do trabalhador (Adkins, 1999; Quick, 1999; Sauter & Hurrell, 1999). As contribuições da psicologia da saúde ocupacional para a promoção da saúde no trabalho incluem intervenções em manejo de estresse ocupacional focadas na organização de trabalho, no trabalhador e intervenções combinadas (Murphy, 1996; Rey & Bousquet, 1995). As primeiras visam intervir sobre estressores situacionais presentes no ambiente de trabalho e podem incluir mudanças na estrutura organizacional, condições de segurança, treinamento e desenvolvimento, participação e autonomia e relações interpessoais (Schurman & Israel, 1996). Intervenções do segundo tipo almejam modificar comportamentos individuais tais como avaliações cognitivas dos estressores e estratégias de enfrentamento (Ivancevich, Matteson, Freedman, & Phillips, 1990). Intervenções combinadas consistem na junção dos dois tipos de intervenção. Em comparação com intervenções organizacionais e combinadas, as intervenções individuais parecem ser de implementação mais viável. Isto por serem menos intrusivas na rotina de uma organização, por não entrarem em conflito direto com a resistência à mudança em práticas organizacionais e por terem custos menores com delineamento e implementação (Bellarosa & Chen, 1997).

Se, por um lado, intervenções individuais são mais vantajosas do ponto de vista da viabilidade, por outro, há controvérsias sobre sua efetividade e, até mesmo, adequação ética. Do ponto de vista da efetividade, alguns autores (Cartwright & Cooper, 1996; Israel, Baker, Goldenhar, Heaney, & Schurman, 1996) argumentam que intervenções organizacionais ou intervenções combinadas seriam as mais indicadas para o ambiente ocupacional, por serem mais preventivas e com efeitos mais duradouros. Do ponto de vista ético, questiona-se se seria eticamente aceitável ensinar o indivíduo a lidar com características organizacionais nocivas à sua saúde, quando estas poderiam ser modificadas em intervenções preventivas (Gangster, Mayes, Sime, & Tharp, 1982).

Na face oposta desta controvérsia, há evidências de que intervenções individuais produzem mais benefícios para a saúde do trabalhador do que intervenções organizacionais (Briner & Reynolds, 1999; Reynolds, 2000). Em uma meta-análise recente, Van der Klink, Blonk, Schene e van Dijk (2001) compararam efeitos de 48 estudos experimentais, incluindo intervenções focadas em coping individual (cognitivo-comportamentais, técnicas de relaxamento e multimodais ou multicomponentes) e intervenções organizacionais. Os resultados mostraram um efeito moderado para intervenções cognitivo-comportamentais e intervenções multimodais, um efeito pequeno para intervenções baseadas em técnicas de relaxamento e efeito não-significativo para intervenções organizacionais. Variáveis dependentes mais positivamente afetadas foram queixas de saúde, respostas e recursos psicológicos e qualidade de vida no trabalho. Os autores argumentam que intervenções individuais parecem ser mais efetivas em ambientes de trabalho que permitam algum controle e decisão por parte do trabalhador. Estes contextos permitiriam maior escolha quanto ao uso e variação em estratégias de coping. Já em contextos com baixo controle e decisão por parte do trabalhador, intervenções organizacionais seriam as mais indicadas, juntamente com intervenções cognitivo-comportamentais. As conclusões de Van der Klink et al. (2001) indicam que a efetividade de intervenções para manejo de estresse ocupacional parece intimamente associada ao tipo de ambiente organizacional em que são implementadas e que os efeitos benéficos são restritos a variáveis em nível individual. Neste sentido, não haveria um tipo de intervenção a priori mais indicado, do ponto de vista da efetividade e da ética, e tampouco intervenções individuais seriam a panacéia recomendada para afetar qualquer variável. Estes achados sugerem, por extensão, que é crucial a avaliação de necessidades antes de se implementar uma intervenção.

Conforme divulgado pela mídia, existem algumas organizações brasileiras que têm conduzido ações destinadas ao controle do estresse ocupacional. No entanto, são ausentes na literatura nacional avaliações sistemáticas de efeitos destas intervenções. Sua eficácia e efetividade na prevenção de doenças ocupacionais são, portanto, desconhecidas em amostras brasileiras. Seria relevante que tais iniciativas de controle de estresse ocupacional fossem acompanhadas de procedimentos de avaliação de efeitos. Avaliações rigorosas poderiam evidenciar os efeitos resultantes para o trabalhador, para a empresa e para o sistema de saúde, tais como resultados sobre qualidade de vida, depressão, ansiedade, satisfação no trabalho, absenteísmo, custos com aposentadoria precoce por problemas de saúde, entre outros. Logo, informações derivadas de avaliações deste tipo podem ser de interesse de profissionais de saúde, administradores de empresas, gestores em saúde pública, sindicatos e trabalhadores em geral.

O presente artigo pretende contribuir para suprir esta lacuna em nosso meio com a apresentação e a discussão de procedimentos para implementar e avaliar programas de manejo de estresse ocupacional, focados no indivíduo, estabelecendo de modo inovador um diálogo entre a literatura das áreas de psicologia da saúde ocupacional e de avaliação de programas. Após conceituação da área de avaliação de programas, serão apresentados procedimentos relativos às três principais etapas deste empreendimento: o planejamento da intervenção, sua implementação e sua avaliação.

Avaliação de programas

Programa se refere a uma intervenção sistemática, dirigida a um grupo amplo de pessoas, planejada para promover mudanças sociais, educacionais ou em saúde (Cano, 2002; Rossi & Freeman, 1993). Programas para diminuição do uso de drogas entre adolescentes, diminuição da repetência e evasão escolar, diminuição do número de pessoas contaminadas pelo vírus HIV, são exemplos de programas sociais, educacionais e em saúde, respectivamente. Avaliar um programa é julgar seu mérito ou valor, medido por meio da extensão em que os objetivos planejados foram alcançados (Aguilar & Ander-Egg, 1994).

A avaliação de programas serve como instrumento de controle público por avaliar a efetividade da intervenção planejada e prover informações para tomada de decisão por parte dos gestores no que diz respeito à manutenção à modificação ou ao término do programa. Seu objetivo final é a solução de um problema social (Cotta, 1998), embora nem sempre os resultados da avaliação sejam usados de modo a alterar políticas públicas (Cook & Shadish, 1986; Oskamp, 1984). Além do uso instrumental, programas podem ser conduzidos como um exercício teórico e conceitual, de análise da viabilidade e efetividade de um modelo de intervenção qualquer. Por fim, mas não menos freqüente, a avaliação de programas pode também servir a disputas e legitimação de interesses políticos, o que fomenta uma ampla discussão ética (Weiss, 1998). Países como Estados Unidos, Canadá, Dinamarca e Holanda têm tradição na condução de avaliação de programas públicos (Rist, 1990), ao passo que no Brasil a avaliação de programas públicos vem se tornando uma prática crescente, principalmente a partir da segunda metade da década de 1990.

Os programas ou projetos podem ser avaliados por consultores externos ou pela própria equipe que conduz o programa. Espera-se que a avaliação por consultores externos seja feita com mais imparcialidade e liberdade para relatar resultados e que a avaliação pela própria equipe seja feita com menos intrusividade e maior acesso a todas as etapas do programa (Cohen & Franco, 1994). Embora uma avaliação interna possa ser desvantajosa em algum aspecto, é razoável supor que um profissional psicólogo dotado de habilidades para implementar e também avaliar um programa de manejo de estresse possa estar mais preparado para responder às necessidades de uma atuação interdisciplinar em saúde ocupacional. Visando trazer contribuições neste sentido, este artigo irá se centrar na implantação e avaliação de programas locais (em oposição a programas federais, por exemplo), avaliados pela mesma equipe realizadora do programa.

Idealmente, a avaliação de programas compreende a coleta de dados antes, durante e após o programa (Posavac & Carey, 2003), podendo incluir as seguintes fases:

(1) Pré-avaliação: é feita antes da implementação do programa. Pode consistir na avaliação de necessidades a partir das quais se fará o planejamento do programa ou se obterão os parâmetros para comparar com os resultados obtidos após a intervenção. Tais parâmetros podem ser um pré-teste por meio de medida única ou medidas repetidas.

(2) Avaliação intermediária: conduzida ao longo do programa, também chamada de avaliação formativa, avaliação de processo e monitoramento do programa. Destina-se à verificação do alcance ou não de metas intermediárias, cuja consecução se prevê necessária para que ocorram os resultados finais.

(3) Pós-avaliação: realizada após a implementação do programa, também chamada de avaliação somativa. Almeja a avaliação de resultados e impactos. Os dados coletados nesta fase podem ou não ser comparados com os obtidos na pré-avaliação para se constatar a ocorrência de mudanças entre o pré e o pós-teste.

Infelizmente, nem sempre as avaliações de programas de estresse ocupacional incluem todas estas etapas. A literatura internacional em psicologia da saúde ocupacional revela que são pouco freqüentes as avaliações de necessidades e de processo (Bond & Bunce, 2000; Ivancevich et al., 1990; Murphy, 1996; Reynolds & Shapiro, 1991), sendo mais comum a avaliação de resultados (p. ex., Heaney, Price, & Rafferty, 1995).

Planejamento da intervenção

A avaliação de programas se baseia no modelo de pesquisa das ciências sociais e, por isto, economistas, sociólogos, antropólogos e psicólogos, dentre outros, são profissionais envolvidos nesta tarefa. A participação da psicologia na área se justifica tanto por suas contribuições teóricas quanto por suas contribuições metodológicas (Fernández-Ballesteros, Vedung, & Seyfried, 1998). Tomando por fundamento o modelo de pesquisa em ciências sociais, a avaliação de programas comumente segue um ciclo, desde o levantamento de necessidades até a formulação de novas questões.

Avaliação de necessidades

Conduzir um programa de manejo de estresse ocupacional sem uma adequada avaliação de necessidades é correr o risco de intervir sobre aspectos irrelevantes e minimizar as chances de obter os resultados pretendidos, com perda de recursos e trabalho. Identificar as necessidades para intervenção constitui, portanto, o procedimento inicial para implantação de um programa de manejo de estresse ocupacional. Esta é a etapa de familiarização com as demandas da instituição, quando serão levantados os estressores presentes na organização, seus efeitos na saúde do trabalhador e da organização e estratégias de enfrentamento usadas.

É recomendável que múltiplas fontes de informação sejam consultadas (Posavac & Carey, 2003) para favorecer a obtenção de dados mais representativos do universo da organização. Alguns autores (Cook & Shadish, 1986; Nichols, 2002) consideram condição necessária para o sucesso do programa que haja ampla participação dos participantes do programa e outros agentes envolvidos no programa (stakeholders) em todas as fases de planejamento do programa, a começar pela avaliação de necessidades. Deste modo, administradores, especialistas do setor de segurança e medicina do trabalho, funcionários integrantes da Comissão Interna para Prevenção de Acidentes no Trabalho (CIPA), chefias intermediárias e funcionários em geral poderiam ser alguns dos convidados a participar da avaliação de necessidades.

É igualmente desejável que múltiplas técnicas para coleta de dados sejam empregadas, uma vez que os limites de uma técnica podem ser sanados pela vantagem de outra. Uma recomendação comum na literatura é o uso conjugado de técnicas quantitativas e qualitativas (Lipsey & Cordray, 2000; Sechrest & Figueredo, 1993). Algumas possibilidades de técnicas para levantamento de necessidades incluem: (a) análise documental, com consulta a registros do setor de segurança e medicina do trabalho acerca da incidência de acidentes e doenças do trabalho, número de funcionários em licença para tratamento de saúde, número de funcionários recolocados no trabalho após licença para tratamento e setores da organização e funções com maior número de acidentes e licenças; (b) entrevistas com administradores especialistas do setor de medicina e segurança do trabalho para investigar fontes de estresse e custos para a saúde; (c) escalas ou questionários aplicados nos funcionários para identificação de estressores percebidos no trabalho e impacto sobre a saúde e qualidade de vida e outras variáveis relevantes; e (d) grupo focal (Afonso et al., 2003; Seal, Bogart, & Ehrhardt, 1998) com integrantes da CIPA para investigar fontes de estresse e sugestões para intervenção, dentre outros. Há de se salientar que instrumentos como escalas e questionários devem oferecer pouco custo de resposta e devem ser adequados ao nível de instrução dos participantes (Borges & Pinheiro, 2002) e que uma mesma variável pode e deve ser medida por meio de técnicas diferentes.

Os dados obtidos acerca da qualidade, variedade e intensidade dos estressores bem como seus efeitos para a organização e seus funcionários indicarão qual o tipo de intervenção necessária, se focada na organização (p. ex., Bond & Bunce, 2001), no trabalhador (p. ex., Bunce & West, 1996) ou em ambos (p. ex., Munz, Kohler, & Greenberg, 2001). Os dados obtidos deverão ser claros o suficiente para indicar possíveis alvos para prevenção primária (atuando neste caso sobre os fatores de risco ambientais), prevenção secundária (atuando sobre as estratégias de enfrentamento individuais de pessoas já expostas a um ambiente estressor) ou prevenção terciária (atuando em reabilitação de pessoas já acometidas por doenças ocupacionais que estão sendo reintegradas no trabalho) (Hurrell & Murphy, 1996; Reynolds & Shapiro, 1991). Os resultados da avaliação de necessidades indicarão também déficits presentes no repertório de enfrentamento dos trabalhadores, a partir dos quais serão planejados os componentes da intervenção voltada para o enfrentamento individual.

Base teórica

Tanto os dados empiricamente obtidos na etapa anterior quanto informações provenientes da literatura e teorias em saúde serão úteis no planejamento do programa. A teoria adotada servirá para explicitar as conexões entre estressores, procedimentos de intervenção, comportamentos de saúde (Dela Coleta, 2004) e resultados pretendidos.

Consideremos, por exemplo, a adoção da teoria de enfrentamento de Lazarus e Folkman (1984). Enfrentamento se refere ao uso de recursos cognitivos ou comportamentais usados para dominar, reduzir ou tolerar demandas internas ou externas resultantes de eventos estressores. Diante destes eventos o trabalhador pode usar estratégias para minimizar efeitos das condições que estejam ocasionando o estresse (ou enfrentamento focado no problema) ou estratégias para reduzir o desconforto emocional resultante de tais eventos (ou enfrentamento focado na emoção).

Conforme esta teoria, a intervenção deve ser planejada de modo a prover as condições para que os participantes identifiquem estressores a que estão expostos, sintomas de estresse e as estratégias de enfrentamento usadas; percebam ganhos e perdas resultantes de seu estilo pessoal de enfrentamento e aprendam novas estratégias de enfrentamento, comportamentais e cognitivas. O enfrentamento pode atuar como moderador dos efeitos de estressores, interferindo na gravidade dos sintomas de estresse resultantes. Considerando-se esta cadeia causal entre estressores, enfrentamento e sintomas de estresse, poderão ser estabelecidas as metas intermediárias e finais do programa bem como escolhidos os temas a serem discutidos ao longo da intervenção, de modo que haja coerência entre a teoria, o conteúdo da intervenção e os resultados pretendidos.

Formulação de objetivos

Além da teoria, há que se considerar o que a organização necessita, deseja e autoriza para estabelecimento dos resultados esperados ou objetivos. Nesta etapa, a "melhoria na saúde dos funcionários" será transformada em indicadores objetivos e mensuráveis. É recomendável que sejam estabelecidas metas de implementação, metas intermediárias e metas finais (Cone, 2002).

Metas de implementação se referem a eventos que, se ocorridos, indicarão que o programa de fato aconteceu, isto é, os participantes receberam os serviços planejados. Se a implementação de um programa é comprometida, conseqüentemente os resultados também o serão. Metas intermediárias dizem respeito a resultados cuja ocorrência ao longo da intervenção se supõe necessária para que as metas finais sejam alcançadas. Por exemplo, dificilmente uma intervenção para manejo de estresse em grupo seria bem sucedida em seus objetivos finais se os participantes não se sentirem à vontade para expor seus problemas e sentimentos, se não adquirirem habilidades de auto-observação relativas às estratégias de enfrentamento usadas e se não se ajudarem dentro do grupo. Estas podem ser variáveis moderadoras (Baron & Kenny, 1986; Bunce, 1997) dos resultados finais, cujo registro durante as sessões pode ser relevante para explicar o alcance ou não das metas finais (Lipsey & Cordray, 2000). A avaliação das metas intermediárias corresponde à avaliação formativa ou de processo. Por fim, as metas finais são aquelas para as quais o programa foi planejado. Sua ocorrência poderá se dar imediatamente após a intervenção (como o aumento em habilidades sociais), ou meses ou anos depois (como a redução da incidência de doenças ocupacionais) e sua avaliação corresponde à avaliação de resultados ou avaliação somativa (Afonso et al., 2003; Fernández-Ballesteros et.al., 1998; Posavac & Carey, 2003).

Identificação de variáveis

As variáveis a serem mensuradas derivam dos objetivos estabelecidos. Uma análise dos objetivos indicará quais serão as variáveis a serem mensuradas, se verbais (como satisfação do consumidor), fisiológicas (como imunidade), comportamentais (como o comparecimento à sessão) ou organizacionais (como produtividade).

A conjugação de variáveis individuais e organizacionais é recomendável para avaliar de modo mais amplo os efeitos de programas de manejo de estresse ocupacional. Aquelas mais comumente citadas na literatura especializada (Cooper & Marshall, 1976; Ivancevich et al., 1990; Murphy, 1996) em nível individual são qualidade de vida, sintomas psicossomáticos, ansiedade, depressão, pressão arterial e problemas metabólicos de compostos encontrados nos terminais nervosos; em nível organizacional encontram-se produtividade, rotatividade, absenteísmo, acidentes e custos de cuidados com a saúde. Desempenho no trabalho, satisfação no trabalho, síndrome de burnout e uso de serviços de saúde situam-se na interface indivíduo/organização e têm sido também citadas como variáveis de escolha na avaliação destas intervenções.

Na última década, alguns estudiosos têm chamado a atenção para o papel exercido por variáveis mediadoras e moderadoras dos resultados das intervenções em estresse ocupacional (Briner & Reynolds, 1999), incluindo variáveis individuais tais como personalidade tipo A, locus de controle, enfrentamento e auto-eficácia, e variáveis do contexto da intervenção tais como o senso de segurança, aliança terapêutica e suporte social. Tal atenção recebe apoio de estudos comparativos da eficácia de intervenções distintas para manejo de estresse focadas no indivíduo, cuja avaliação aponta uma tendência para resultados similares entre tratamentos diferentes (Bunce, 1997). Por isto, torna-se relevante conduzir avaliações de processo para identificar qual a contribuição de variáveis individuais ou contextuais como possíveis moderadores e mediadores dos efeitos dos programas de estresse.

A avaliação de efeitos colaterais do programa é também recomendável para a correção futura de erros na implantação da intervenção; opositores do programa podem ser boas fontes de idéias sobre seus possíveis efeitos colaterais.

Seleção de instrumentos

Para cada variável estabelecida, seguir-se-á a escolha ou construção de um ou mais instrumentos e técnicas de avaliação. Escalas, questionários e inventários são escolhas comuns para uso no pré e no pós-teste para avaliação de resultados (Posavac & Carey, 2003; Taschereau, 1998). Alguns dos instrumentos já validados para avaliação de estresse ocupacional no Brasil incluem o OSI – Occupational Stress Indicator (Swan, Moraes, & Cooper, 1993), o Questionário de Estresse, Saúde Mental e Trabalho (Guimarães & Mac Fadden, 1999) e a Escala de Estresse no Trabalho (Paschoal & Tamayo, 2004). Outros instrumentos para avaliação de variáveis de interesse incluem inventários para avaliação de sintomas de estresse (Lipp, 1998), habilidades sociais (Del Prette & Del Prette, 2001), raiva (Spielberger, 2000), ansiedade e depressão (Cunha, 2001); escala para avaliação de qualidade de vida (Fleck et al., 2000) e enfrentamento a problemas no trabalho (Pinheiro, Tamayo, & Tróccoli, 2003). Outros instrumentos ainda não validados para o Brasil, destinados à avaliação de estresse ocupacional, podem ser acessados em uma revisão feita por Hurrel, Nelson e Simmons (1998).

Para avaliação do processo da intervenção, medidas quantitativas podem se aliar a instrumentos qualitativos, como listas para observação de comportamentos e roteiros de entrevista. Consultas à literatura, aos participantes em potencial do programa e a especialistas na área poderão prover as questões ou categorias para composição de roteiros de entrevista e de listas de observação do comportamento. Dentre as técnicas observacionais, listas para observação de comportamentos são uma das técnicas menos intrusivas em um contexto de intervenção, por se concentrarem apenas na ocorrência do comportamento e não fazer uso obrigatório da filmagem das situações (Dessen & Murta, 1999), minimizando assim a reatividade à medida e vieses decorrentes.

De fato, preferencialmente devem ser escolhidas medidas não reativas (Popham, 1977), como a análise documental. Registros acerca de atestados médicos e licenças para tratamento de saúde, provenientes do setor de segurança e medicina do trabalho e departamento pessoal, são exemplos de medidas não-reativas, apropriadas para avaliação de impacto. Um outro tipo de medida não reativa é o uso de técnicas de grupo para avaliação de cada sessão da intervenção (Afonso et al., 2003; Silva, 2002). É provável que estas técnicas, por se encaixarem naturalmente durante a intervenção, sejam mais bem aceitas pelos participantes do programa e menos intrusivas.

Delineamento

Avaliadores de programa podem estar interessados em responder a questões como: Qual o nível de satisfação dos participantes com o programa? Existe relação entre características demográficas dos participantes e sintomas de estresse? Quais os efeitos do programa sobre sintomas de estresse dos participantes? Cada pergunta pode ser mais adequadamente respondida por tipos específicos de delineamento. A primeira pergunta requer delineamentos descritivos, a segunda requer delineamentos correlacionais e a terceira requer delineamentos experimentais (Cone, 2002). Delineamentos descritivos são os menos intrusivos e que exigem menor sofisticação para análise estatística dos dados, mas não respondem a perguntas sobre causas. Delineamentos correlacionais podem oferecer mais informação do que os descritivos, por indicarem a força da relação entre variáveis (p. ex., função exercida e estresse) ou a predição de um evento a partir de um conjunto de variáveis (p. ex., carga horária de trabalho, suporte social e assiduidade na intervenção predizem estresse?). Este delineamento requer o uso de estatística multivariada e amostras grandes. Delineamentos utilizados para responder a perguntas sobre efeitos podem ser experimentais, quase-experimentais, pré-experimentais e longitudinais, cada qual com maior ou menor poder para controlar ameaças à validade interna e externa (Campbell & Stanley, 1963/1979; Cook & Shadish, 1994).

A área de avaliação de programas tem, tradicionalmente, defendido a superioridade de delineamentos experimentais sobre os demais (Lipsey & Cordray, 2000), por proporcionarem as condições ideais para se controlar explicações alternativas para os efeitos da intervenção (Campbell & Stanley, 1963/1979). Para que haja experimentação, é necessário que exista distribuição aleatória dos participantes, grupo controle e homogeneidade na aplicação do programa (Lipsey & Cordray, 2000). Estas condições nem sempre são possíveis na prática, de modo que, segundo Cook & Shadish (1986), a experimentação perdeu a sua hegemonia em avaliação de programas. Dentre os principais obstáculos para a realização de intervenções com delineamentos experimentais estão a dificuldade de seleção aleatória dos participantes e de se implementar um grupo controle. Tais obstáculos derivam de razões éticas (Cone, 2002; Posavac & Carey, 2003): se todos os trabalhadores precisam da intervenção, é ético sortear parte deles para receber o tratamento? Se todos os funcionários precisam da intervenção, é ético ter uma condição em que é oferecido tratamento nulo?

Por outro lado, pode-se perguntar se é ético não incluir um grupo controle e oferecer um tratamento sem informações seguras sobre sua eficácia. Caso seja de interesse da organização comparar tratamentos e identificar o mais eficaz, ao invés de ter grupo controle com tratamento nulo, pode-se ter um ou mais grupos de comparação, que consistiriam na oferta de um tratamento distinto daquele da condição experimental e potencialmente relevante para os participantes. Isto poderia minimizar os problemas éticos acerca do grupo controle.

Na adoção de um delineamento que inclua a comparação entre grupo experimental e controle ou entre um tipo de intervenção e outro, o profissional deverá estar atento para evitar que ocorra difusão de informações entre os grupos, ou reações dos participantes para compensar o fator de não terem recebido o mesmo tratamento que o outro grupo, ou ainda reações de apatia e desistência de participar por se julgarem menos favorecidos do que os participantes da condição experimental ou do outro tipo de tratamento (Cook & Shadish, 1994). Dentre as possibilidades de minimizar estes últimos efeitos indesejáveis encontram-se a oferta de tratamentos distintos que sejam igualmente relevantes para os participantes e cuidados para reduzir as chances de troca entre participantes de uma condição e da outra (para aprofundamento em procedimentos para fortalecer validade interna e externa, consultar Cano, 2002; Cook & Shadish, 1994; Lipsey & Cordray, 2000; Sechrest & Figueredo, 1993).

Em um contexto que inviabilize o uso de delineamentos experimental e quase-experimental, pode-se optar pela adoção de delineamentos pré-experimentais (como ter um grupo único com pré e pós-teste) e longitudinais. Com um planejamento anterior adequado juntamente com uma avaliação de processo somada à avaliação de resultados, com o uso de indicadores qualitativos e quantitativos e com o uso de indicadores individuais e organizacionais, é de se esperar que dados suficientes sejam obtidos para se responder à pergunta sobre a efetividade da intervenção.

Seleção de participantes

Nesta etapa, a decisão a ser tomada é se todos ou apenas parte dos funcionários irão participar do programa. Os critérios para inclusão ou exclusão na amostra são adotados a partir das necessidades e conveniências do contexto. Por exemplo, podem ser convidados a participar os funcionários dos setores em que o nível de estresse está mais alto ou todos podem ser convidados, participando efetivamente aqueles que aderirem ao convite.

Cabe ressaltar que a participação obrigatória pode gerar reações de hostilidade e rejeição ao programa, aumentando as chances de desistência e abandono. Por outro lado, realizar o programa só com voluntários pode inviabilizar a generalização dos resultados, dadas as diferenças existentes entre voluntários e não-voluntários (p. ex., quanto à motivação para a mudança) (Cone, 2002). A seleção aleatória também pode produzir efeitos colaterais considerando o princípio que todos os funcionários precisam da intervenção. Em qualquer tipo de seleção, é necessário que a organização ofereça as condições para facilitar a participação dos funcionários, de modo a reduzir a mortalidade experimental.

Implementação da intervenção

Procedimentos para coleta de dados

As principais tarefas nesta etapa incluem a adoção de procedimentos para: (a) obter a colaboração das chefias para que os funcionários possam participar da intervenção durante seu período de trabalho; (b) sensibilizar os participantes em potencial para que se tornem participantes efetivos; (c) distribuir os funcionários por subgrupos, montando um quadro geral de horários; (d) organizar o ambiente físico e o material a ser usado na primeira sessão, como os instrumentos a serem aplicados no pré-teste (a depender do delineamento escolhido) e o cronograma da intervenção a ser distribuído aos participantes e (e) prever a ordem em que as medidas serão inseridas ao longo da intervenção.

A inclusão de funcionários e chefias, na etapa anterior de avaliação de necessidades, contribuirá para sua sensibilização e engajamento no programa. Contatos pessoais entre o psicólogo e as chefias, bem como visitas a cada setor de trabalho poderão ser feitas para fazer o convite para participação, combinar horários e esclarecer dúvidas. Cartazes poderão ser afixados em cada posto de trabalho para funcionarem como lembretes.

Devem ser planejadas as informações que constarão no contrato com o grupo a ser feito na primeira sessão (Afonso, 2002), tais como objetivos do trabalho, cuidados éticos (p. ex., uso a ser feito das informações coletadas, análise agregada dos dados, não identificação dos questionários), modo de funcionamento do grupo, número e duração das sessões. Estas informações são fundamentais para se criar um clima de segurança e confiança no grupo. Confiança é possivelmente uma variável moderadora dos resultados (Bunce, 1997), sem a qual seriam aumentadas as chances de desistência e minimizadas as chances de sucesso da intervenção.

Devem ser previstos procedimentos para inserir as medidas naturalmente no contexto da intervenção sem que elas pareçam entediantes, intrusivas ou inúteis. Isto pode ser alcançado, por exemplo, com o fornecimento de instruções adequadas previamente à aplicação de qualquer instrumento de avaliação e o registro de presença de cada participante. Cuidados para aplicar a intervenção do modo mais homogêneo possível entre subgrupos da mesma condição experimental (Lipsey & Cordray, 2000) devem ser planejados, como a adoção de um roteiro para guiar a ação do facilitador do grupo.

Implementação da intervenção e coleta de dados

Feito todo o planejamento mencionado anteriormente, segue-se a aplicação do programa e dos instrumentos e técnicas para avaliá-lo, conforme previsto no delineamento. Na implementação do programa, uma primeira decisão é quanto ao tipo de grupo (se psicoeducacional ou operativo, por exemplo). Grupos psicoeducacionais são focados no fornecimento de informações e estímulo à aprendizagem de novas habilidades de enfrentamento (Afonso, 2002; Afonso et al., 2003) e são os mais usados em intervenção para manejo de estresse ocupacional (Murphy, 1996).

Uma segunda decisão diz respeito ao tipo de abordagem teórico-técnica para fundamentar a intervenção. Os programas de manejo de estresse ocupacional focados no indivíduo têm se baseado em diversas abordagens, incluindo o enfoque educativo voltado para o fornecimento de informação sobre causas, manifestações do estresse e temas afins; o enfoque cognitivo-comportamental empregando técnicas como inoculação de estresse, reestruturação cognitiva, manejo de tempo e assertividade; o enfoque psicofisiológico, com o uso de relaxamento, biofeedback e meditação e, por fim, o enfoque multicomponentes que combina abordagens e técnicas diferentes (Bunce, 1997; Murphy, 1996; Reynolds, Taylor, & Shapiro, 1993). É comum na literatura a adoção de técnicas combinadas, com uso de relaxamento e técnicas cognitivo-comportamentais, implementadas em pequenos grupos, em sessões semanais (Murphy, 1996).

Como procedimento prático para escolha dos componentes de uma intervenção em manejo de estresse, pode-se recorrer à avaliação de necessidades para se identificar o repertório de enfrentamento e os maiores déficits. Ou, ainda, o limite de tempo para se realizar a intervenção pode apontar a adequação de uma intervenção focada exclusivamente em um componente ou em vários componentes.

Além dos temas alvo de cada sessão, Silva (2002) sugere que o planejamento da intervenção deve incluir a duração da sessão, a ordem dos procedimentos em cada sessão, número total de sessões, intervalo de tempo entre uma sessão e outra, número mínimo e máximo de componentes por grupo, composição dos grupos (p. ex., considerar nível de heterogeneidade quanto à função e escolaridade) e a escolha do facilitador do grupo e de co-terapeutas para auxílio em registros e observações.

Embora incomum em estudos na área, é desejável que a intervenção inclua procedimentos para prevenção de recaída (Ivancevich et al., 1990) e para generalização entre contextos, a fim de maximizar os efeitos da intervenção.

Avaliação da efetividade

Não se pode esperar a finalização de um programa para então se pensar em como avaliar seus efeitos. Portanto, a avaliação da efetividade perpassa todas as etapas do planejamento do programa e está apresentada no presente artigo após a implementação da intervenção apenas por uma razão didática.

Análise dos dados

A organização durante a aplicação dos instrumentos de avaliação e armazenamento dos dados (p. ex., verificar se há itens não-respondidos e solicitar ao participante que responda, quando for o caso; solicitar que escrevam um código em cada questionário no pré e pós-teste para junção posterior dos dados do mesmo respondente; organizar espaços para guardar cada tipo de instrumento) é de grande importância para minimizar a perda de informação e tornar menos árdua a tarefa de analisar os dados (Taschereau, 1998).

A análise dos dados pode ser feita por tipo de grupo ocupacional dentro da mesma organização, já que cada grupo ocupacional poderá estar exposto a estressores diferentes e se beneficiar de modo distinto do programa implementado. Tal análise por grupo poderá reduzir o número de participantes e ter implicações para a generalização dos resultados, desejável na pesquisa acadêmica, mas não prioritária na pesquisa aplicada em uma dada organização. Outra implicação da redução da amostra é a escolha da técnica de análise. Amostras pequenas podem resultar em restrições no uso de técnicas estatísticas. Análises estatísticas poderão ser usadas para análise de dados quantitativos, incluindo (Taschereau, 1998) análises descritivas, cujo foco são medidas de tendência central (média, mediana e moda) e dispersão (amplitude e desvio-padrão); análises para associação, que consistem na estimativa de relações entre variáveis (p. ex., correlação); análises inferenciais, voltadas para o uso de dados referentes a uma amostra para estimar os valores da população da qual a amostra foi retirada (p. ex., análise de regressão) e análises causais, utilizadas para testar se o programa de fato produziu algum efeito. Análises descritivas tipicamente integram qualquer análise estatística. Os gráficos resultantes destas análises são facilmente compreendidos, inclusive por leigos no assunto. Dependendo dos objetivos do programa, análise de dados pode ser finalizada na inspeção visual dos gráficos e tabelas (Cone, 2002), ou pode avançar para os outros tipos de análises descritas acima. Técnicas estatísticas para análises de associação, inferenciais ou causais podem ter pressupostos específicos, como o tamanho da amostra, os quais devem ser verificados antes de se levar adiante a análise, sob pena de se obter resultados errôneos (Tabachinick & Fidell, 2001). O domínio da teoria que embasa o programa é necessário para a adequada interpretação dos resultados destas análises estatísticas, para atribuir significado aos números, para explicar padrões e tendências e estabelecer ligação entre os resultados (Taschereau, 1998).

Dentre as possibilidades de análise de dados qualitativos, encontra-se o uso de análise de conteúdo (Bardin, 1977/1988). Os dados verbais obtidos de entrevistas, observações e técnicas de grupo poderão ser agrupados em categorias de significado. Esta técnica de análise de dados inclui a leitura e releitura dos dados, a separação de dados com significados comuns em categorias distintas, a identificação de subcategorias em cada categoria e a nomeação de cada categoria e subcategoria. Para geração das categorias, sistemas classificatórios disponíveis na literatura especializada podem ser úteis. A teoria guia o profissional para discriminar unidades de significado distintas no amontoado de dados. Cada categoria e subcategoria podem ter o número de relatos nela inclusos quantificados, de modo a revelar padrões entre os dados. A identificação de que relatos pertencem a uma categoria ou outra pode ser feita por um ou mais profissionais. Este último caso é chamado de análise por juízes, conduzida de modo independente, e teria a vantagem de minimizar erros de julgamento e prover maior objetividade ao processo (Taschereau, 1998).

Divulgação dos resultados e formulação de novas questões

O objetivo básico da divulgação dos resultados é estimular a organização a usar os resultados para aprimoramento do programa, de modo a atingir os objetivos finais referentes à promoção da saúde no trabalho. Por isto, é necessário que a apresentação seja feita com clareza e objetividade e inclua, além de um resumo dos procedimentos e resultados, recomendações para o aprimoramento do programa. Esta etapa deve ser personalizada e cada stakeholder deverá receber o tipo de informação de que precisa, no formato que entende (Posavac & Carey, 2003). Assim, deverão ser preparados reuniões e relatórios distintos para a divulgação dos resultados para a administração, a CIPA, os participantes da intervenção, entre outros.

Os resultados devem ser divulgados como dados preliminares ao invés de dados fechados, para cuja interpretação a audiência pode contribuir. Neste sentido, Posavac e Carey (2003) sugerem que sejam levados gráficos incompletos para que a audiência os complete conforme suas expectativas de resultados. Assim como as etapas anteriores do planejamento do programa, esta etapa também deve ser assentada nos princípios da colaboração e participação de todos os atores do programa (Nichols, 2002). A divulgação e discussão ampla dos resultados levarão ao aprimoramento de procedimentos mal sucedidos e à formulação de novas questões para investigação em etapas futuras do programa ou em novos programas.

Considerações finais

Discutidas as etapas da implementação e avaliação de programas em manejo de estresse ocupacional focados no indivíduo, há que se enfatizar que a escolha metodológica deverá ser aliada aos recursos e limites do contexto de pesquisa, sejam eles de natureza material, temporal ou outros, bem como aos aspectos éticos e políticos inerentes à organização aonde o programa será implementado (Cano, 2002). Não há, a priori, uma escolha metodológica melhor do que outra, mas sim escolhas mais ou menos viáveis para determinados contextos concretos.

As perspectivas futuras em avaliação de programas tendem para uma crescente integração de estratégias qualitativas e quantitativas de pesquisa, à triangulação de técnicas para coleta de dados, à condução de avaliação de processo como complemento à avaliação de resultados e à maior participação dos stakeholders durante seu planejamento (Fernández-Ballesteros et al., 1998; Lipsey & Cordray, 2000; Nichols, 2002; Posavac & Carey, 2003). Estas tendências, se incorporadas na avaliação de programas de manejo de estresse ocupacional, poderão esclarecer a questão fundamental dos limites e possibilidades de efeitos destes programas sobre a saúde do trabalhador e da organização. Sendo a psicologia da saúde ocupacional uma área relativamente jovem de aplicação da psicologia, sua consolidação irá requerer um número crescente de evidências empíricas acerca dos efeitos de programas de manejo de estresse ocupacional e suas variáveis moderadoras e mediadoras. Portanto, uma aliança entre os campos de avaliação de programas e psicologia da saúde ocupacional parece notadamente promissora, tanto do ponto de vista acadêmico, quanto prático.

Recebido em 19.maio.04

Revisado em 02.ago.05

Aceito em 15.ago.05

Sheila Giardini Murta, doutora em Psicologia pela Universidade de Brasília, é professora no Departamento de Psicologia, Universidade Católica de Goiás.

Jacob Arie Laros, doutor em Psicologia pela Rijksuniversiteit Groningen (Holanda), é professor no Departamento de Psicologia Social e do Trabalho, Instituto de Psicologia, Universidade de Brasília. E-mail: [e-mail]

Bartholomeu Tôrres Tróccoli, doutor em Psicologia Social e da Personalidade pela University of Winsconsin (EUA), é professor no Departamento de Psicologia Social e do Trabalho, Instituto de Psicologia, Universidade de Brasília. E-mail: [e-mail]

• Adkins, J. A. (1999). Promoting organizational health: the evolving practice of occupational health psychology. Professional Psychology: Research and Practice, 30, 129-137.
• Afonso, L. A. (2002). Oficinas em dinâmica de grupo: um método de intervenção psicossocial. Belo Horizonte: Campo Social.
• Afonso, L., Abade, F. L., Akerman, D., Coelho, C. M. S., Medrado, K. S., Paulino, J. R., & Pimenta, S. D. C. (2003). Oficinas em dinâmica de grupo na área da saúde. Belo Horizonte: Campo Social.
• Aguilar, M. J., & Ander-Egg, E. (1994). Avaliação de serviços e programas sociais Petrópolis: Vozes.
• Bardin, L. (1988). Análise de conteúdo (L. A. Reto & A. Pinheiro, Trad.). Lisboa: Edições 70 (Trabalho original publicado em 1977).
• Baron, R. B., & Kenny, D. A. (1986). The moderator-mediator variable distinction in social psychological research: conceptual, strategic, and statistical considerations. Journal of Personality and Social Psychology, 51, 1173-1182.
• Bellarosa, C., & Chen, P. Y. (1997). The effectiveness and practicality of occupational stress management interventions. A survey of subject matter expert opinions. Journal of Occupational Health Psychology, 2, 247-262.
• Bond, F. W., & Bunce, D. (2000). Mediators of change in emotion-focused and problem-focused worksite stress management interventions. Journal of Occupational Health Psychology, 5, 156-163.
• Bond, F. W., & Bunce, D. (2001). Job control mediates change in a work reorganization intervention for stress reduction. Journal of Occupational Health Psychology, 6, 290-302.
• Borges, L. O., & Pinheiro, J. Q. (2002). Estratégias de coleta de dados com trabalhadores de baixa escolaridade. Estudos de Psicologia, 7, 53-63.
• Briner, R. B., & Reynolds, S. (1999). The costs, benefits, and limitations of organizational level stress interventions. Journal of Organizational Behavior, 20, 647-664.
• Bunce, D. (1997). What factors are associated with the outcome of individual-focused worksite stress management interventions? Journal of Occupational and Organizational Psychology, 70, 1-17.
• Bunce, D., & West, A. (1996). Stress management and innovation intervention at work. Human Relations, 49, 209-232.
• Campbell, D. T., & Stanley, J. C. (1979). Delineamentos experimentais e quase-experimentais de pesquisa (R. A. T. Di Dio, Trad.). São Paulo: EPU e EDUSP (Trabalho original publicado em 1963)
• Cano, I. (2002). Introdução à avaliação de programas sociais. Rio de Janeiro: Fundação Getúlio Vargas.
• Carayon, P., Smith, M. J., & Haims, M. C. (1999). Work organization, job stress, and work-related musculoskeletal disorders. Human Factors, 41, 644-663.
• Cartwright, S., & Cooper, A. L. (1996). Public policy and occupational health psychology in Europe. Journal of Occupational Health Psychology, 1, 349-361.
• Cohen, E., & Franco, R. (1994). Avaliação de projetos sociais Petrópolis: Vozes.
• Cone, J. D. (2002). Evaluating outcomes: empirical tools for effective practice. Washington: American Psychological Association.
• Cook, T. D., & Shadish, W. R. (1986). Program evaluation: the worldly science. Annual Review of Psychology, 37, 193-232.
• Cook, T. D., & Shadish, W. R. (1994). Social experiments: some developments over the past fifteen years. Annual Review of Psychology, 45, 545-580.
• Cooper, C. L., & Marshall, J. (1976). Occupational sources of stress: a review of the literature relating to coronary heart disease and mental ill health. Journal of Occupational Psychology, 49, 11-28.
• Cotta, T. C. (1998). Metodologias de avaliação de programas e projetos sociais: análise de resultados e de impacto. Revista do Serviço Público, 49(2), 105-125.
• Cunha, J. A. (2001). Manual da versão em português das escalas Beck São Paulo: Casa do Psicólogo.
• Del Prette, Z. A P., & Del Prette, A (2001). Inventário de Habilidades Sociais (IHS-Del-Prette). São Paulo: Casa do Psicólogo.
• Dela Coleta, M. F. (Org.). (2004). Modelos para pesquisa e modificação de comportamentos de saúde: teorias, estudos, instrumentos. Taubaté, SP: Cabral.
• Dessen, M. A., & Murta, S. G. (1997). A metodologia observacional na pesquisa em psicologia: uma visão crítica. Cadernos de Psicologia (Ribeirão Preto), 3(1), 47-60.
• Fernández-Ballesteros, R., Vedung, E., & Seyfried, E. (1998). Psychology in program evaluation. European Psychologist, 3, 143-154.
• Fleck, M. P. A., Louzada, S., Xavier, M., Chachamovich, E., Vieira, G., Santos, L., & Pinzon, V. (2000). Aplicação da versão em português do instrumento abreviado de avaliação da qualidade de vida "WHOQOL-bref". Revista de Saúde Pública, 34, 178-183.
• Gangster, D. C., Mayes, B. T., Sime, W., & Tharp, G. D. (1982). Managing organizational stress: a field experiment. Journal of Applied Psychology, 67, 533-542.
• Guimarães, L. A. M., & Mac Fadden, M. A. J. (1999). Validação para o Brasil do SWS Survey Questionário sobre Estresse, Saúde Mental e Trabalho. In L. A. M. Guimarães & S. Grubits (Orgs.), Série saúde mental e trabalho (vol. 1, pp. 153-168). São Paulo: Casa do Psicólogo.
• Heaney, C. A, Price, R. H., & Rafferty, J. (1995). The Caregiver Support Program: an intervention to increase employee coping resources and enhance mental health. In L. R. Murphy, J. J., Hurrell Jr., S. L., Sauter, & C. P. Keita (Orgs.), Job stress interventions (pp. 93-108). Washington: American Psychological Association.
• Hurrell, J. J., & Murphy, L. A. (1996). Occupational stress intervention. American Journal of Industrial Medicine, 29, 338-341.
• Hurrell, J. J., Nelson, D. L., & Simmons, B. L. (1998). Measuring job stress and strains: where we have been, where we are, and where we need to go. Journal of Occupational Health Psychology, 3, 368-389.
• Israel, B. A., Baker, E. A., Goldenhar, L. M., Heaney, C. A., & Schurman, S. J. (1996). Occupational stress, safety, and health. Conceptual framework and principles for effective prevention interventions. Journal of Occupational Health Psychology, 1, 261-286.
• Ivancevich, M. J., Matteson, T. M., Freedman, M. S., & Phillips, S. J. (1990). Worksite stress management interventions. American Psychologist, 45, 252-261.
• Lazarus, R. S., & Folkman, S. (1984). Stress, appraisal and coping. Nova York: Springer.
• Lipp, M. E. N. (1998). Inventário de Sintomas de Stress para Adultos (ISSL) São Paulo: Casa do Psicólogo.
• Lipsey, M. W., & Cordray, D. S. (2000). Evaluation methods for social intervention. Annual Review of Psychology, 51, 345-375.
• Ministério da Saúde do Brasil. Representação no Brasil da OPAS/OMS (2001). Doenças relacionadas ao trabalho: manual de procedimentos para os serviços de saúde. Brasília: Autor.
• Munz, D. C., Kohler, J. M., & Greenberg, C. I. (2001). Effectiveness of a comprehensive worksite stress management program: combining organizational and individual interventions. International Journal of Stress Management, 8, 49-62.
• Murphy, R. L. (1996). Stress management in work settings: a critical review of the health effects. Stress Management, 11, 112-135.
• Nichols, L. (2002). Participatory program planning: including program participants and evaluators. Evaluation and Program Planning, 25, 1-14.
• Oskamp, S. (1984). Applied social psychology. Upper Saddle River, New Jersey: Prentice-Hall.
• Paschoal, T., & Tamayo, A. (2004). Validação da escala de estresse no trabalho. Estudos de Psicologia (Natal), 9, 45-52.
• Pinheiro, F. A, Tamayo, M. R., & Tróccoli, B. T. (2003). Mensuração de coping no ambiente ocupacional. Psicologia: Teoria e Pesquisa, 19, 153-158.
• Popham, W. J. (1977). Manual de avaliação. Regras práticas para o avaliador educacional. Petrópolis: Vozes.
• Posavac, E. J., & Carey, R. G. (2003). Program Evaluation. Methods and case studies (6Ş ed.). Upper Saddle River, New Jersey: Prentice-Hall.
• Quick, J. C. (1999). Occupational health psychology: the convergence of health and clinical psychology with public health and preventive medicine in an organizational context. Professional Psychology: Research and Practice, 30, 123-128.
• Rey, P., & Bousquet, A. (1995). Compensation for occupational injuries and diseases: its effect upon prevention at the workplace. Ergonomics, 38, 475-486.
• Reynolds, S. (2000). Interventions: what works, what doesn't? Occupational Medicine, 50, 315-319.
• Reynolds, S., & Shapiro, S. A. (1991). Stress reduction in transition: conceptual problems in the design, implementation, and evaluation of worksite stress management interventions. Human Relations, 44, 717-733.
• Reynolds, S., Taylor, E., & Shapiro, A. A. (1993). Session impact in stress management training. Journal of Occupational and Organizational Psychology, 66, 99-113.
• Rist, R. C. (Org.). (1990). Program evaluation and the management of government. Patterns & prospects across eight nations. Londres: Transaction.
• Rossi, P. H., & Freeman, H. E. (1993). Evaluation: a systematic approach Newbury Park, California: Sage.
• Sauter, S. L., & Hurrell, J. J. (1999). Occupational health psychology: origins, content, and direction. Professional Psychology: Research and Practice, 30, 117-122.
• Schurman, S. J., & Israel, B. A (1996). Redesigning work systems to reduce stress: a participatory action research approach to creating change. In L. R. Murphy, J. J. Hurrell Jr., S. L. Sauter, & C. P. Keita (Orgs.), Job stress interventions (pp. 235-263). Washington: American Psychological Association.
• Seal, D. W., Bogart, L. M., & Ehrhardt, A. A. (1998). Small group dynamics: the utility of focus group discussions as a research method. Small Group Dynamics: Theory, Research, and Practice, 2, 253-266.
• Sechrest, L., & Figueredo, A. J. (1993). Program evaluation. Annual Review of Psychology, 44, 645-674.
• Silva, R. C. (2002). Metodologias participativas para trabalhos de promoção de saúde e cidadania. São Paulo: Vetor.
• Spielberger, C. D. (2000). Inventário de Expressão de Raiva. São Paulo: Vetor.
• Swan, J. A., Moraes, L. F. R., & Cooper, C. L. (1993). Developing the occupational stress indicator (OSI) for use in Brazil: a report on the reliability and validity of the translated OSI. Stress Medicine, 9, 247-453.
• Tabachinick, B. G., & Fidell, L. S. (2001). Using multivariate statistics. Boston: Allyn & Bacon.
• Taschereau, S. (1998). Evaluating the impact of training and institutional development programs: a collaborative approach. Washington: The World Bank.
• Van der Klink, J. J. L., Blonk, R. W. B., Schene, A. H., & van Dijk, J. H. (2001). The benefits of interventions for work-related stress. American Journal of Health Promotion, 91, 270-276.
• Weiss, C. (1998). Have we learned anything new about use of evaluation? The American Journal of Evaluation, 19, 21-33.

Datas de Publicação

• Publicação nesta coleção
  22 Set 2006
• Data do Fascículo
  Ago 2005

Histórico

• Aceito
  15 Ago 2005
• Recebido
  19 Maio 2004
• Revisado
  02 Ago 2005