Influência do recrutamento de participantes em sítios temáticos e comunidades virtuais nos resultados de medidas psicológicas aplicadas pela Internet

Influence of participant recruitment in thematic sites and virtual communities on the results of psychological measures applied through the Internet

Influência do recrutamento de participantes em sítios temáticos e comunidades virtuais nos resultados de medidas psicológicas aplicadas pela Internet

Influence of participant recruitment in thematic sites and virtual communities on the results of psychological measures applied through the Internet

João Fernando Rech Wachelke^I,1; Alexsandro Luiz de Andrade^II,2

^IUniversità degli studi di Padova

^IIUniversidade Federal do Espírito Santo

RESUMO

Foram comparados os resultados de medidas psicológicas obtidos após recrutamento opt-in em sítios da Internet com os resultados de aplicações de questionários impressos. Em um primeiro estudo, 545 participantes de comunidades online completaram a Escala Fatorial de Satisfação em Relacionamento de Casal, a Escala Rusbult de Satisfação no Relacionamento e uma versão reduzida das Escalas de Bem-Estar Psicológico. Em um segundo estudo, 1.197 participantes de sítios sobre futebol responderam à Escala de Identificação do Torcedor com o Time e a Escala de Fanatismo em Torcedores de Futebol. Os resultados de estrutura fatorial e confiabilidade são semelhantes em ambas as versões. Porém, no segundo estudo, houve diferenças devidas a um viés da amostra propiciado pelo tipo de coleta, indicando limitações da estratégia opt-in.

Palavras-chave: recrutamento de participantes; Internet; levantamentos de dados na web; metodologia de pesquisa; amostragem opt-in.

ABSTRACT

Data of psychological measures, obtained after opt-in recruitment through Internet sites, were compared to those from the administration of print questionnaires. In the first study, 545 participants from online communities completed the Factorial Scale of Satisfaction in Couple Relationship, the Rusbult Scale of Relationship Satisfaction and the reduced version of the Psychological Well-Being Scales. In the second study, 1,197 participants of websites about soccer answered the Soccer Supporter Team Identification Scale and the Soccer Supporter Fanatism Scale. Factorial structure and reliability results are similar in both versions. However, in the second study, there were differences due to a bias in the sample, pointing out the opt-in strategies limitations.

Keywords: participant recruitment; Internet; web surveys; research methodology; opt-in sampling.

O desenvolvimento de ciência e tecnologia está fundamentado numa relação de mútua interdependência. Se, por um lado, a formulação de teorias científicas de base propicia o desenvolvimento de novas tecnologias, por outro, os avanços tecnológicos provocam alterações no modo de fazer pesquisa e viabilizam o progresso científico. No que diz respeito à pesquisa, a adoção de tecnologias de comunicação historicamente representaram progressos significativos, como no caso dos levantamentos feitos por telefone, que possibilitaram acesso a uma vasta população com grande redução de custos.

Em meados da década de 1990, com inovações na área de comunicação em computadores formando redes, popularizou-se a Internet, uma rede mundial de computadores desenvolvida por pesquisadores financiados por órgãos militares e aprimorada por hackers (Castells, 2001/2003). A Internet é hoje um recurso mundialmente difundido que permite a comunicação entre quaisquer indivíduos ligados à rede, a custos baixos e alta velocidade. A rede mais difundida da Internet é a World-Wide-Web (WWW), que permite o acesso a documentos multimídia interligados por hipertexto. Estimativas apontam que mais de um bilhão e meio de pessoas, ou 23,8% da população mundial, tenham acesso à Internet, representando um crescimento de 2000 até 2008 de cerca de 342 %³. No Brasil, a Pesquisa Nacional por Amostra de Domicílios, referente ao ano de 2005, trouxe uma seção especial referente ao acesso à Internet, apresentando como estimativa que mais de 32 milhões de brasileiros com mais de 10 anos de idade, ou 21% da população brasileira nessa faixa etária, usaram a Internet no período dos três meses anteriores à coleta de dados (Instituto Brasileiro de Geografia e Estatística - IBGE, 2006).

A Internet e a WWW também possibilitaram novas formas de fazer pesquisa e, especificamente, pesquisa em Psicologia. Algumas dessas oportunidades incluem viabilizar um recrutamento facilitado de participantes, possibilitar que pesquisadores com acesso limitado a recursos financeiros produzam contribuições científicas relevantes, permitir a observação de fenômenos comportamentais em ambientes novos e pertinentes - como, por exemplo, fóruns e listas de discussão -, ampliar o grau de automação na condução de experimentos e agilizar a codificação de dados em bancos estatísticos. Em termos de validação da Internet como recurso de pesquisa, há estudos que demonstram a equivalência das propriedades psicométricas e dos comportamentos envolvidos ao responder instrumentos por meios convencionais e pela Internet (Best, Krueger, Hubbard & Smith, 2001; Davis, 1999; Mertler & Earley, 2003; Meyerson & Tryon, 2003). No entanto, há ainda alguns desafios a serem superados quanto a vieses da amostra, ao controle na entrada de dados, e à necessidade de configuração de um trabalho de dessensibilização junto a participantes ao fim da pesquisa, como ocorre em pesquisas realizadas pessoalmente (Kraut & cols., 2004).

Como destacam Naglieri e cols. (2004), entre os benefícios de testes e medidas aplicados via Internet encontram-se a diminuição dos custos, a velocidade de aplicação e, por fim, o aspecto da conveniência. Provavelmente, as maiores vantagens do uso da Internet em pesquisas referem-se a aspectos ligados ao acesso a participantes de pesquisa. É possível planejar e difundir questionários e experimentos pela rede, atingindo um contingente elevado de pessoas, de composição diversificada em termos demográficos, por um custo inferior às despesas dos meios convencionais. No caso, o custo de pesquisas via Internet restringe-se a programação de sítios na Web e gastos com hospedagem eletrônica. Segundo pesquisa de Kaplowitz, Hadlock e Levine (2004), obter uma resposta de um participante em uma pesquisa realizada pela Internet pode ser oito vezes mais barato que obter uma resposta a um questionário enviado pelo correio comum. Musch e Reips (2000) relatam que a grande quantidade de participantes de estudos pela Internet, o alto poder estatístico dos experimentos com essas grandes amostras e os baixos custos de execução são os principais motivos apontados por pioneiros de pesquisas em Psicologia Experimental pela Web para realizar esses estudos.

Apesar da preocupação de que o ambiente da Internet possa ser incapaz de gerar dados confiáveis, dado que os participantes a princípio não estariam submetidos ao mesmo controle de uma situação de coleta de dados convencional, de modo geral observa-se correspondência entre os resultados de levantamentos (surveys), estudos correlacionais e experimentos realizados de maneira convencional e pela Internet (Krantz & Dalal, 2000; McGraw, Tew & Williams, 2000). Segundo Best e cols. (2001), a pesquisa pela Internet torna-se viável a partir da pressuposição de que os processos psicológicos funcionam de modo semelhante em pessoas que estejam usando a Internet e pessoas que não a estejam usando - o que é confirmado, embora apenas para um fenômeno específico (escolhas relacionadas a política) em sua pesquisa. Além disso, também é fundamental a suposição de que seja possível obter amostras diversificadas das populações em estudo.

Entretanto, pesquisas pela Internet não conseguem atingir uma população representativa em termos gerais. A esse problema dá-se o nome de erro de cobertura (Couper, 2000). Há grande variabilidade acerca das estimativas da proporção da população que possui Internet, e sabe-se que a população com acesso à rede possui níveis de educação superiores aos da população em geral (Fricker, Galesic, Tourangeau & Yan, 2005). No Brasil, há proporcionalmente mais pessoas com acesso à Internet nas regiões Centro-Oeste, Sul e Sudeste que nas regiões Nordeste e Norte. O acesso à Internet tende a ser maior para pessoas com maior renda familiar, escolaridade mais alta e faixa etária entre 15 e 24 anos (IBGE, 2006). Uma outra limitação consiste na impossibilidade de transpor as técnicas estatísticas que garantem aleatoriedade à amostra para a realidade da pesquisa pela Web, pelo simples fato de que não existem listas disponíveis com todos os usuários de Internet (Best & cols., 2001). Esse problema possui menos importância quando se usam telefones para chegar aos participantes, já que a proporção de pessoas com telefones é substancialmente maior que a proporção de pessoas com acesso à Internet (Fricker & cols., 2005). Outras questões associadas à pesquisa realizada por meio da Internet incluem a menor taxa de respostas de levantamentos realizados pela Internet, se comparados a pesquisas por telefone (Fricker & cols., 2005) ou questionários enviados pelo correio (Hayslett & Wildemuth, 2004; Huang & Liaw, 2005), problemas de não-resposta e desistência, erros de mensuração (Couper, 2000; Reips, 2000), níveis inferiores de controle quanto à participação e variância gerada por diferenças de equipamentos de informática e programas de computador disponíveis para os usuários (Reips, 2000).

Apesar das limitações supracitadas, o advento do computador e sua funcionalidade em redes de comunicação, como destacam Joly e Noronha (2006), trazem uma riqueza considerável à atividade de fazer pesquisa em Psicologia. Os recursos de programação permitem a implementação de componentes multimídia avançados que de certo modo possibilitam a mensuração de habilidades cognitivas não acessadas por métodos convencionais. E, de todo modo, vários dos problemas podem ser solucionados ou pelo menos atenuados. Em relação ao erro de cobertura, torna-se necessário definir a população de referência como pessoas com acesso à Internet, em vez da população em geral (Couper, 2000) ou então pesquisar populações que tenham parâmetros similares à população com acesso à Internet (Hayslett & Wildemuth, 2004). Para controlar a participação de usuários, recomenda-se utilizar senhas individuais e obter informações sobre o número de IP (endereço de protocolo de Internet) dos respondentes, um número de identificação de cada computador ligado na rede (Kaye & Johnson, 1999; Reips, 2000). Técnicas de programação voltada para a validação automática de respostas, se utilizadas sem abuso, podem reduzir erros de preenchimento de campos de entrada de dados (Peytchev & Crawford, 2005). Em relação à taxa de respostas, é possível enviar avisos aos participantes alguns dias antes de lhes enviar a pesquisa pela Internet (Crawford, Couper & Lamias, 2001).

Vários recursos podem reduzir a ocorrência de desistências, como informar o tempo que será necessário para fazer a pesquisa (Crawford, Couper & Lamias, 2001), não utilizar tabelas complexas (O'Neil, Penrod & Bornstein, 2003) e escolher com cuidado os tipos de campos de preenchimento de informação, como botões de rádio ou caixas de escolha (Heerwegh & Lossveldt, 2002). Existe também certa ambiguidade: há quem sugira que, para reduzir a taxa de desistência, é útil a concessão de incentivos financeiros aos participantes (Kaye & Johnson, 1999), seja na forma de retribuição direta ou inclusão em sorteio; há, contudo, quem apresente dados que apontam maior desistência quando recompensas são oferecidas (O'Neil & Penrod, 2001). No caso do Brasil, o oferecimento de compensações, brindes, ou benefícios a participantes de pesquisas científicas é vetado pelo artigo II.10 da Resolução n° 196/96 do Conselho Nacional de Saúde, que regula a pesquisa envolvendo seres humanos. Já para reduzir a taxa de desistência, sugere-se a inclusão de questões demográficas no início das pesquisas (Reips, 2002), mas há estudos que apontam que a desistência pode aumentar nesses casos (O'Neil, Penrod & Bornstein, 2003).

Quanto à grande diversidade de equipamentos disponíveis para respondentes, trata-se de uma realidade que, se bem aproveitada, pode nem mesmo representar um problema, já que adicionaria uma maior diversidade à amostra (Reips, 2000). Outros aspectos, como, por exemplo, o efeito do consentimento esclarecido, aparentam ser semelhantes em pesquisas pela Internet ou convencionais (Varnhagen & cols., 2005).

Mesmo com algumas limitações, a pesquisa pela Internet difunde-se rapidamente, crescendo em popularidade desde seu surgimento como método de pesquisa. Já há um corpo de pesquisas voltadas para questões metodológicas, visando entender melhor as peculiaridades de conduzir pesquisas pela rede mundial de computadores. Assim, por exemplo, estuda-se a influência do tipo de mecanismo usado por participantes de pesquisa (botões de rádio ou caixas de escolha) nas respostas emitidas (Couper, Tourangeau, Conrad & Crawford, 2004). Reconhece-se também a utilidade de usar experimentos na Internet com fins didáticos (Stevenson, Francis & Kim, 1999; Yip, 2003).

Em revisão recente, Skitka e Sargis (2006) classificaram as pesquisas em Psicologia realizadas pela Internet, publicadas em periódicos da APA em 2003 e 2004, em três modalidades. A mais frequente refere-se a adaptações para o meio online de técnicas e experimentos comumente utilizados em ambientes convencionais. Uma segunda modalidade refere-se a estudos que visam a investigar especificamente a influência da Internet e da atividade de navegação realizada pelos usuários em seu comportamento. Por fim, uma última modalidade, francamente minoritária, busca aproveitar-se de características singulares da Internet para realizar novas pesquisas. Os autores também sintetizam a produção psicológica que faz uso de delineamentos de pesquisa pela Internet: a maior parte consiste de estudos experimentais e correlacionais, e não há campos psicológicos que se destaquem especialmente pelo recurso a essa estratégia. Pouco mais de um terço das pesquisas dirige-se a grupos específicos da população, de diferente alcance, e proporção quase idêntica faz uso de pesquisas com recrutamento opt-in (opção por entrar). Trata-se de uma modalidade de recrutamento em que os convites de participação são realizados em sítios gerais, acessados por navegadores ocasionais que, ao se deparar com esses convites públicos, interessam-se pela pesquisa e escolhem responder aos formulários espontaneamente.

No entanto, a revolução da pesquisa pela Internet aparenta não ter chegado em grau extensivo à realidade da Psicologia brasileira. Buscas em bases de dados que indexam periódicos nacionais (IndexPsi, PePsic e SciELO) e periódicos não contidos nessas bases avaliados em 2004 com conceito Nacional A pela CAPES, revelam poucos estudos realizados pela Internet com a estratégia de recrutamento opt-in, que é o interesse do presente estudo. D'Ávila e Soares (2003), por exemplo, realizaram um estudo sobre ansiedade no vestibular. Com o auxílio de um órgão universitário, enviaram uma mensagem a vestibulandos, convidando-os a responder um questionário online um mês antes da prova; foram obtidos cerca de 400 formulários respondidos. Já Pereira, Silva e Silva (2006) conduziram um estudo sobre adesão a crenças ufológicas, disponibilizando um formulário com itens no formato Likert em um sítio de Internet. A divulgação da pesquisa e convite para participação foi realizada de modo geral, incluindo matérias divulgadas em meios de comunicação de massa, listas de discussão da Internet e convites realizados individualmente por programas como ICQ e MSN Messenger. Após pouco mais de dois anos de coleta, foram obtidos 618 questionários.

Entretanto, já se observa em fóruns de comunidades online como o Orkut e Facebook⁴ a existência de convites a internautas para participação em pesquisas em Psicologia e outras ciências sociais, do tipo experimental ou de levantamento de dados, com frequência crescente. Para controlar a participação e recrutamento dos participantes, os pesquisadores responsáveis empregam estratégias diversas, como por exemplo, o oferecimento de compensações ou possibilidades de participar de sorteios de brindes e a designação de uma senha aos participantes, ou abdicam de controlar a participação, utilizando apenas um convite simples direcionado para algum segmento da população.

É compreensível a popularização desse delineamento de coleta, pois de fato poupa-se muito trabalho para atingir os participantes e também para tabulação de dados, em comparação com os procedimentos convencionais. Mas será que o recurso ao delineamento opt-in, realizado por convite em sítios de relacionamento e de troca de mensagens, é uma alternativa que fornece resultados válidos em relação à correspondência da realidade da população a que se destina a coleta? Quais as consequências de se optar por uma estratégia de aplicação pela Internet voltada para convites realizados a membros de comunidades online?

A presente pesquisa refere-se a aplicações de versões online de instrumentos psicométricos cujas características já estão documentadas em termos de apresentação impressa e procedimentos de coleta presenciais. Foram realizados dois estudos. O primeiro refere-se à aplicação na WWW de uma medida de satisfação com aspectos específicos do relacionamento de casal (Wachelke, De Andrade, Cruz, Faggiani & Natividade, 2004), uma medida breve de satisfação global no relacionamento (Rusbult, 1983; Wachelke, De Andrade, Souza & Cruz, 2007) e uma medida de bem-estar psicológico (De Andrade & cols., 2005). Já o segundo estudo buscou estabelecer a dimensionalidade e cálculo da fidedignidade das versões online de duas medidas de identificação grupal, no caso, de torcedores de times brasileiros de futebol (Wachelke, De Andrade, Tavares & Neves, 2008).

O objetivo desta pesquisa é comparar os resultados de dimensionalidade e fidedignidade dessas cinco medidas no ambiente da Web, aplicadas por meio de convites realizados individualmente ou coletivamente no sítio de relacionamentos Orkut, isto é, por meio da estratégia de pesquisa pela Internet de tipo opt-in, com os obtidos em coletas de dados presenciais (De Andrade & cols., 2005; Wachelke & cols., 2004, 2007, 2008).

Conforme assinalado anteriormente, na presente pesquisa foram realizados dois estudos: um sobre medidas de satisfação com relacionamentos de casal e bem-estar psicológico junto a pessoas que tomavam parte de relacionamentos estáveis (Estudo 1), e outro envolvendo mensuração de identificação grupal e fanatismo de torcedores de times de futebol brasileiro (Estudo 2). Além das diferenças nas temáticas, foram adotados procedimentos diferentes na aplicação por recrutamento opt-in: enquanto no Estudo 1 foram realizados convites individuais de participação com base na pertença a comunidades do Orkut, no Estudo 2 os convites foram efetuados nos fóruns coletivos das comunidades de interesse do Orkut e também em sítios dedicados a times de futebol, organizados por torcedores. Assim, foram observados os efeitos de duas variantes de aplicação pouco controlada pela Internet.

Estudo 1

O primeiro estudo teve por objetivo comparar os resultados de dimensionalidade e fidedignidade de medidas de satisfação no relacionamento de casal aplicadas com recrutamento opt-in em um sítio de relacionamentos da Internet com os resultados publicados em estudos realizados com questionários convencionais.

Método

Participantes

Ambos os estudos fazem parte de um projeto avaliado e aprovado pelo Comitê de Ética em Pesquisa com Seres Humanos da Universidade Federal de Santa Catarina, sob o número de protocolo 46/2006. A amostra foi composta por 545 participantes, sendo 349 do sexo feminino (64%). As idades dos participantes variaram de 13 a 84 anos, com média de idade de 24,3 anos (desvio padrão de 6,5 anos) e mediana de idade de 23 anos. Todos os participantes namoravam ou eram casados na época da pesquisa. Desses, 18,5% tomavam parte em um desses dois tipos de relacionamento de casal há até seis meses. Trinta e oito por cento namoravam ou eram casados por um período de sete meses a dois anos, 24% por um período entre dois e cinco anos, e 19,4% por um período de mais de cinco anos.

Em termos de profissões, a amostra mostrou-se diversificada. A maioria da amostra foi composta por estudantes universitários ou secundaristas (224, ou 41,1%). Os demais tinham grande variedade de ocupações profissionais, incluindo assistentes administrativos (4,8%), professores (4,4%), analistas de sistemas (4,2%), designers (3,7%), advogados (3,5%), publicitários e engenheiros (3,3% cada). Os 31,7% restantes de participantes tinham outras profissões, cada uma com proporções inferiores a 3%.

A maior proporção de participantes residia em cidades da região sudeste do Brasil: 45,5%. Em seguida, 30,5% dos participantes residiam em cidades da região Sul; 11,2%, da região Nordeste; 10,5%, da região Centro-Oeste; 1,3%, da região Norte; e 1,1%, em países estrangeiros.

Instrumento

O instrumento foi um formulário de Internet, equivalente a um questionário impresso, adequado para ser respondido por meio de um programa navegador da World Wide Web. Numa primeira página da Internet, havia no topo um logotipo referente à Universidade Federal de Santa Catarina, à qual os autores encontravam-se vinculados, e identificação dos autores e do curso de pós-graduação. Abaixo havia um pequeno texto apresentando em termos gerais o tema da pesquisa e esclarecendo aos participantes que se tratava de um estudo científico, e não de uma enquete comum veiculada pela Internet. Nessa primeira página estava expresso que só poderiam participar do estudo pessoas que estivessem envolvidas em uma relação de namoro ou casamento à época, sendo solicitado a quem não estivesse nessa situação que não respondesse ao instrumento.

Na sequência, clicando em um botão para avançar nas instruções, surgia uma página com instruções esclarecendo que a participação no estudo era voluntária, bastando ao participante sair do sítio de Internet para que seus dados não fossem incluídos. Mencionava-se também que a participação seria anônima e os dados divulgados apenas em conjunto.

Após mais um clique do participante para avançar, apresentava-se o formulário propriamente dito. Além de dados de caracterização tais como sexo, idade, profissão e residência, foi incluído um item perguntando se o participante estava namorando ou casado à época, de modo a posteriormente filtrar e excluir indivíduos que tivessem participado indevidamente. O núcleo do instrumento constituiu-se de três medidas: a versão reduzida das Escalas de Bem-Estar Psicológico de Ryff (Gruenert, 2003), traduzida para o português (De Andrade & cols., 2005); a Escala de Satisfação no Relacionamento de Casal de Rusbult (Rusbult, 1983), também traduzida para o português (Wachelke & cols., 2007); e a Escala Fatorial de Satisfação em Relacionamento de Casal - EFS-RC (Wachelke & cols., 2004).

As três medidas são escalas psicométricas do tipo Likert, em que o respondente é orientado a assinalar sua concordância com os enunciados propostos numa gradação de 1 (discordo fortemente) a 5 (concordo fortemente). A primeira medida apresentada foi a versão proposta por Gruenert (2003) das Escalas de Bem-Estar Psicológico de Ryff (Ryff, 1989; Ryff & Keyes, 1995). Trata-se, originalmente, de uma medida composta de seis dimensões (Autonomia, Crescimento Pessoal, Relações Positivas com os Outros, Autoaceitação, Domínio Ambiental e Propósito na Vida), com seis itens cada. No entanto, no presente estudo dois itens foram equivocadamente suprimidos. Assim, os fatores Autonomia e Autoaceitação foram calculados por meio da média de cinco itens cada. Como a adaptação da escala de Gruenert não foi publicada em periódicos brasileiros, são apresentados três exemplos de itens de cada um de seus fatores em ^Apêndice.

Em seguida, foram apresentados de modo mesclado os itens da Escala de Satisfação no Relacionamento de Rusbult (Rusbult, 1983) e da EFS-RC (Wachelke & cols., 2004). A Escala de Satisfação no Relacionamento de Rusbult é uma medida de três itens gerais sobre o quanto o respondente se sente satisfeito com seu relacionamento e com seu parceiro. A EFS-RC é uma medida bifatorial de nove itens que mede a satisfação do respondente a respeito de aspectos referentes a atração física e sexualidade, afinidades de interesses e comportamentos no contexto de relacionamentos. O fator relacionado à atração física é medido por cinco itens, e o outro por quatro itens.

Procedimento

Os participantes foram recrutados em comunidades da rede de relacionamentos Orkut dedicadas a capitais do Brasil. Essa medida deveu-se à intenção de obter uma amostra diversificada em termos de abrangência no território nacional. Ao entrar na comunidade, os pesquisadores visualizavam uma lista dos indivíduos associados a ela e enviavam convites individuais de pesquisa por meio de recados do Orkut, distribuídos conforme a ordem de listagem dos membros das comunidades. Nesses convites, eram fornecidos instruções e o endereço (URL) de acesso ao formulário aos participantes que explicitavam, em seus perfis de usuários, estarem namorando ou casados. O período de coleta de dados foi de um mês e 10 dias.

Para garantir a validade dos dados, os participantes eram avisados na tela do monitor caso tentassem enviar o formulário incompleto, e solicitados a concluir o mesmo. Somente os formulários preenchidos de maneira completa foram enviados à base de dados.

Além disso, foram registrados os endereços de IP, data e hora de preenchimento de cada formulário, possibilitando a exclusão de dados enviados a partir de um mesmo computador, evitando assim fraudes e repetições. Foi incluída também no processo a verificação das respostas a uma pergunta em que se solicitava que o respondente indicasse se tomava parte ou não de um relacionamento de casal à época do inquérito; os dados dos participantes que responderam negativamente foram excluídos da pesquisa.

Análise de dados

O programa SPSS (Statistical Package for the Social Sciences), versão 11, foi utilizado para realizar as análises estatísticas. Apesar da dualidade envolvendo a questão das escalas de Likert , que em senso estrito são medidas ordinais, elas frequentemente são analisadas por meio de técnicas paramétricas (Gunther, 1999). Do mesmo modo, na análise dos dados desta pesquisa, tanto para o Estudo 1 quanto o Estudo 2, as escalas foram consideradas de maneira intervalar. Foram realizados análise fatorial e cálculo de estatística descritiva para os itens da EFS-RC, bem como determinados os índices de confiabilidade alfa de Cronbach para os itens da EFS-RC, escala de Rusbult e escalas de bem-estar psicológico de Ryff. Por fim, foi realizada uma análise de regressão múltipla tendo os fatores da EFS-RC como preditores e a escala de satisfação global de Rusbult como variável dependente.

Resultados

Primeiramente, procedeu-se à análise dos componentes principais dos itens das EFS-RC, para verificar adequação dos dados à análise fatorial. O KMO calculado foi de 0,81 e o teste de esfericidade de Bartlett foi significativo (p<0,001). Na sequência, executou-se uma análise fatorial com rotação ortogonal varimax e extração de dois fatores, tal como na versão validada da EFS-RC (Wachelke & cols., 2004). A Tabela 1 apresenta uma comparação da estrutura fatorial e índices de confiabilidade alfa de Cronbach da EFS-RC das aplicações via Internet e presencial, suprimindo as cargas fatoriais inferiores a 0,30.

As estruturas fatoriais obtidas por meio dos dois procedimentos são equivalentes, com algumas alterações em termos de cargas fatoriais. Os itens 2 e 7, ambos do SAFS, apresentam cargas fatoriais mais elevadas na aplicação convencional, enquanto os outros sete mostraram cargas maiores na aplicação pela Internet. Na aplicação pela Internet, houve maior proporção de variância explicada pelos dois fatores em conjunto, mas também uma redução na proporção de variância explicada pelo SAIC. Os índices alfa de Cronbach referentes aos dois fatores foram maiores na aplicação pela Internet, principalmente no que diz respeito ao SAIC (de 0,61 para 0,76). A média geral da amostra no SAFS foi de 4,48 (desvio padrão 0,72) e no SAIC foi de 3,73 (desvio padrão 0,95).

A Tabela 2 permite comparar os índices alfa de Cronbach da medida de satisfação no relacionamento de Rusbult e das versões reduzidas das escalas de bem-estar psicológico de Ryff, nas aplicações convencional e Internet. A versão de Internet da escala de Rusbult apresentou alfa ligeiramente inferior ao da versão impressa. Já as escalas de bem-estar psicológico tiveram índices de confiabilidade melhores na versão Internet, à exceção da sub-escala Autonomia.

Por fim, foi realizada uma análise de regressão linear múltipla com os dois fatores da EFS-RC como preditores e a medida de satisfação global no relacionamento de Rusbult como variável dependente para verificar se o padrão encontrado é semelhante ao observado com questionários tradicionais. O modelo 1, com o SAIC como preditor, apresentou R² no valor de 0,50 [F_{(1, 543)}=539,227; p<0,001], enquanto o segundo modelo, com o SAIC e o SAFS como preditores, teve R² com valor 0,56 [F_{(2, 542)}=339,084; p<0,001]. Assim, verifica-se que, conforme o segundo modelo da regressão realizada a partir de resultados de coleta de dados da Internet, os dois fatores explicam juntos 56% da variância da satisfação global com o relacionamento, sendo que o SAIC é o melhor preditor (explicando 50% da variância da satisfação global). É um modelo semelhante ao encontrado após a aplicação convencional (Wachelke & cols., 2007), mas com maior proporção de variância explicada.

Estudo 2

O segundo estudo teve por objetivo comparar os resultados de dimensionalidade e fidedignidade de medidas de identificação com times de futebol aplicadas com recrutamento opt-in em sítios temáticos da Internet com os resultados publicados em um estudo realizado com questionários convencionais.

Método

Participantes

A amostra do segundo estudo foi de 1.197 participantes, sendo 1.112 (92,9%) do sexo masculino. As idades dos participantes variaram de 11 a 66 anos, com média de 25,2 anos (desvio padrão 9 anos), e mediana de 23 anos. Dos participantes, 38,7% residiam em cidades da região Sul; 36,3%, da região Sudeste; 10,7%, da região Centro-Oeste; 9,8%, da região Nordeste; e 2,8%, da região Norte. Além desses, 1,8% morava no exterior.

Assim como no primeiro estudo, a maior parte da amostra foi formada por estudantes secundaristas ou universitários (41,5%). As profissões dos participantes com maiores percentuais foram as seguintes: profissões técnicas em geral (5,8%), analistas de sistemas (4,3%), administradores e engenheiros (3,8% cada), vendedores (3,5%), professores e advogados (3,3% cada). Os 30,7% restantes dos participantes relataram grande variedade de profissões, com proporções inferiores a 3%.

Ao todo, participaram torcedores de 50 clubes brasileiros de futebol. Seguem-se os clubes contemplados, acompanhados da proporção de participantes que disseram ser torcedores de cada um: Atlético Paranaense (18%), Flamengo (12,2%), São Paulo (10,1%), Fluminense (5,9%), Corinthians (5,3%), Goiás (3,8%), Cruzeiro (3,3%), Figueirense (3,2%), Grêmio Porto-Alegrense (3,2%), Palmeiras (3,2%), Juventude (3,1%), Avaí (2,8%), Vasco da Gama (2,7%), Ponte Preta (2,5%), Remo (2,4%), Sport Recife (2,3%), Coritiba (1,7%), Internacional (1,7%), Santos (1,5%), Botafogo (1,3%) e Guarani (1%). Os demais clubes tiveram proporções inferiores a 1%.

Instrumento

O instrumento foi um formulário de Internet tal como descrito no Estudo 1. Entretanto, em vez de instruções que diziam só ser permitida a participação de indivíduos namorando ou casados, havia um texto em que era esclarecido que todas as pessoas que torcessem ou simpatizassem com um time de futebol brasileiro das séries A, B ou C poderiam participar. Além de dados de caracterização tais como sexo, idade, profissão e local de residência, foi solicitado aos participantes que digitassem os nomes dos times para os quais torciam. Ao fim do instrumento, os participantes eram encorajados a divulgar o endereço de Internet da pesquisa para amigos ou conhecidos

As medidas empregadas neste estudo foram a Escala de Identificação do Torcedor com o Time - EITT e a Escala de Fanatismo em Torcedores de Futebol - EFTF (Wachelke & cols., 2008). Ambas são medidas de identificação grupal com equipes de futebol, sendo que a EFTF apresenta itens com conteúdo mais extremo que mensuravam níveis mais elevados de identificação com times. A EITT é formada por sete itens e a EFTF, por 11.

Procedimento

Os participantes foram recrutados em sítios de Internet dedicados a times de futebol brasileiros, mantidos por torcedores, e em comunidades da rede de relacionamentos Orkut dedicadas a times do futebol brasileiro. Os pesquisadores agiram de duas formas: (a) enviando e-mails aos responsáveis pelos sítios, explicando a pesquisa e solicitando auxílio para divulgação na página principal do sítio; e (b) inscrevendo-se em fóruns online de discussão e divulgando a pesquisa por meio de mensagens dirigidas ao conjunto de torcedores, convidando os interessados a participarem da pesquisa. O período de coleta de dados e os procedimentos de armazenamento e validação foram idênticos aos usados no primeiro estudo, exceto a verificação sobre participação em relacionamento de casal.

Análise de dados

O programa SPSS também foi utilizado para realizar as análises estatísticas. Foram realizados análises dos componentes principais, cálculo do alfa de Cronbach e cálculo de estatísticas descritivas, tanto para a EFTF como para a EITT.

Resultados

O KMO referente à EITT foi de 0,84, com teste de esfericidade de Bartlett significativo (p<0,001). Foi extraído um único fator, tal como na ocasião da aplicação presencial da EITT. Os resultados gerados pela aplicação de Internet explicam menos variância que os obtidos pela aplicação convencional: 43,6% contra 66%, respectivamente. Para a EFTF, o KMO foi de 0,90, e o teste de Bartlett também foi significativo (p<0,001). Foi extraído um fator que também explica menos variância que o que foi verificado após aplicação presencial (40,8% contra 55,8%, respectivamente).

A Tabela 3 apresenta as estruturas fatoriais da EITT e EFTF aplicadas pela Internet em comparação com as versões aplicadas por meios presenciais. Apesar da estrutura manter-se similar nos dois casos, observa-se um decréscimo nas versões Internet de ambas as escalas nas cargas fatoriais de todos os itens, ainda que apresentem valores aceitáveis. Houve também redução nos índices alfa de Cronbach nas aplicações pela Internet, redução que é menos acentuada para a EFTF. A média geral da amostra na EITT foi de 6,24 (desvio padrão 0,72) e na EFTF foi 5,08 (desvio padrão 1,21).

Discussão

O presente estudo situa-se, predominantemente, na classificação de Skitka e Sargis (2006), dentro do grupo de pesquisas voltadas para a transposição de procedimentos tradicionais para o ambiente da Internet. Porém, considerando-se que outros tipos de pesquisas identificados também possam se valer de estratégias de recrutamento opt-in, os resultados obtidos mostram-se relevantes também para esses contextos.

Em síntese, foram realizados dois estudos, com duas variedades de procedimentos de recrutamento do tipo opt-in para levantamentos de dados de pesquisa em Psicologia realizados em ambiente de Internet, cada um voltado para um fenômeno distinto. Os resultados referentes à dimensionalidade e confiabilidade das escalas pesquisadas, bem como, no caso do estudo sobre relações amorosas, à capacidade de predição das sub-escalas da EFS-RC em relação a uma medida de satisfação global foram comparados com os observados em coletas presenciais com instrumentos impressos. De modo geral, pode-se dizer que as estruturas fatoriais das escalas, sua confiabilidade e a relação de predição foram compatíveis nos ambientes de Internet e presencial. Porém, no Estudo 2, relacionado às escalas de identificação grupal de torcedores de futebol, foram verificados resultados menos satisfatórios em termos de confiabilidade e proporção de variância explicada, bem como menores cargas fatoriais, nas aplicações realizadas pela Internet.

Tais diferenças podem ser explicadas devido a características do perfil da amostra de participante de cada estudo, o que é propiciado pela estratégia de recrutamento escolhida. No Estudo 1, os resultados foram bastante próximos, dado que ambos os procedimentos, presenciais e online, permitiram acesso a amostras razoavelmente diversificadas. A coleta presencial da pesquisa de Wachelke e cols. (2004) destacou-se por realizar-se em locais públicos, em que os participantes em potencial foram abordados individualmente, abrangendo potencialmente um grande leque de profissões e classes sociais. Na coleta via Internet do Estudo 1, buscou-se uma variedade no nível da amostra por meio do recurso a listas de participantes ligados a cidades brasileiras de diferentes regiões. A diversificação realizada nos dois casos poderia explicar a semelhança dos resultados, apontando que quando se busca respeitar as condições realizadas na coleta presencial, ao menos visando uma aproximação dos procedimentos realizados, há convergência nos resultados obtidos. Já no estudo de Wachelke e cols. (2007), com amostra de universitários, observa-se que os resultados foram um pouco diferentes da versão de Internet; a coleta por recrutamento opt-in, nesse caso, explicou mais variância no modelo de regressão.

No caso da pesquisa sobre futebol, os resultados foram um pouco diferentes e isso pode ser explicado por dois pontos complementares. Em primeiro lugar, a comparação dos resultados de uma amostra de estudantes com outros obtidos em fóruns de futebol refere-se a grupos diferentes, e, no caso de certos temas de pesquisas, essa diferença pode levar a padrões de resultados diferentes. No caso do Estudo 2, isso se traduz por uma menor variabilidade nos resultados, que gera dados de dimensionalidade e fidedignidade menos positivos (Pasquali, 2003).

Considerando que pessoas que não se interessam por futebol não frequentam sítios dedicados a times de futebol, é de se esperar que somente torcedores com níveis mais altos de identificação com o clube o façam. Foi o que se observou nos escores médios das escalas, mais elevados e homogêneos, e na predominância de respondentes do sexo masculino. Enquanto o estudo de Wachelke e cols. (2008) teve por amostra indivíduos de ambos os sexos presentes a uma universidade e com ligações frágeis ou fortes com times de futebol, o Estudo 2 acessou basicamente uma amostra do sexo masculino de torcedores altamente identificados com seus times. Vieses desse tipo, ocasionados pelos diferentes níveis de motivação e envolvimento gerados pelo tema da pesquisa, podem interferir de modo prejudicial, dependendo das finalidades da investigação.

O segundo ponto para explicar as diferenças de resultados do Estudo 2, o qual também tem relação com o primeiro, diz respeito ao fato de que certos temas são mais ou menos envolventes para as pessoas. Nesse sentido, pode-se falar que há temas que afetam mais ou menos as pessoas, em termos de identificação, valorização do tema ou possibilidade percebida de ação em relação a ele (Gurrieri, Wolter & Sorribas, 2007; Rouquette, 1988). Convites na Internet para participar de uma pesquisa sobre futebol, provavelmente mobilizam um extrato específico da população que se sente implicada por esse assunto. Um exemplo disso é oferecido nos resultados de Pereira e cols. (2006): dos 618 participantes, cerca de 61% disseram ter muito interesse pelo tema da pesquisa.

Ao realizar uma aplicação coletiva em sala de aula, os potenciais respondentes geralmente têm menos razões para se opor à participação, pois já estão em sala de aula e o tempo que teriam em aula é frequentemente liberado pelo professor responsável. É precisamente para tornar as pesquisas mais atraentes e atrair potenciais participantes menos implicados que são empregadas algumas iniciativas realizadas em outros paises, como remunerações ou possibilidade de ganhar brindes.

Além desse aspecto, a diferença nos resultados aponta para um problema inerente à pesquisa pela Internet: o erro de cobertura (Couper, 2000). Ainda que as amostras empregadas tenham sido razoavelmente diversificadas, possibilitando alguma variabilidade que pode se mostrar interessante para diversos projetos de pesquisa, cabe observar que mais de 40% da amostra dos dois estudos foi formada por estudantes, seja de nível secundarista ou universitário. Dessa maneira, sair da amostra presencial de estudantes para uma amostra de conveniência da Internet, considerando-se que esse ambiente também não permite uma amostra verdadeiramente representativa, pode não ser mais que trocar um problema de amostragem por outro (Skitka & Sargis, 2006).

Por fim, cabe abordar mais um aspecto que também está intimamente relacionado com a questão da implicação. Trata-se da taxa de respostas dos questionários pela Internet. Na presente pesquisa, não foi realizado um controle de taxa de respostas, o que caracteriza uma limitação. No caso de convites efetuados para recrutamento opt-in, contudo, potencialmente pode haver tantos respondentes quanto for a quantidade de internautas que acessem o sítio ou página de Internet em que o convite está disponível. Ao considerar dados desse tipo, torna-se ainda mais claro que em casos de baixa taxa de respostas, os resultados podem se referir a grupos muito limitados de respondentes. Na pesquisa de D'Ávila e Soares (2003), houve pouco mais de 400 respostas de vestibulandos aos questionários. Considerando que para o concurso vestibular de 2002, que foi o contexto da pesquisa, houve 39.347 inscritos⁵, trata-se de uma taxa de respostas de pouco mais de 1%, o que é bastante inferior ao que se observa em estudos em que há resposta de questionários pelo correio. Mesmo sem dispor de números controlados, não temos razão para pensar que na presente pesquisa essa taxa tenha sido muito diferente. Ao deparar-se com essa relação, observa-se que uma quantidade grande de participantes não reflete uma amostragem bem feita; as coletas pela Internet que utilizam estratégias de recrutamento opt-in não deixam de ser amostras de conveniência, e estão sujeitas às mesmas limitações que estas últimas.

Em conclusão, a coleta de dados pela Internet e o recrutamento do tipo opt-in são recursos válidos de pesquisa, com diversas vantagens em termos de praticidade, mas cujas limitações e peculiaridades devem ser conhecidas, explicitadas e controladas o máximo possível para que possam ser úteis na produção de conhecimento científico confiável. Quanto à sua equivalência em relação a outros procedimentos, trata-se sobretudo de verificar em que extensão as condições de aplicação, abrangendo aspectos que vão desde a população participante até a apresentação dos instrumentos, configuram-se do mesmo modo segundo as estratégias presenciais e de recrutamento opt-in pela Internet. Assim, verificando-se um crescimento na popularidade desse tipo de recurso para a realização de pesquisas, cabe ter em conta detalhadamente o contexto em que é utilizado e o quanto isso interfere nos resultados dos estudos, de modo a poder melhor avaliá-los.

Recebido em 24.10.06

Primeira decisão editorial em 20.04.09

Versão final em 11.05.09

Aceito em 14.05.09

Exemplos de itens da adaptação para o português da versão reduzida das Escalas de Bem-Estar Psicológico de Ryff (Gruenert, 2003)

(todos os itens com âncoras variando de 1 - discordo fortemente a 5 - concordo fortemente).

Itens do fator Propósito na vida: 5. Vivo a vida um dia de cada vez e não penso muito sobre o futuro. 17. Às vezes sinto que já fiz tudo que há para fazer na vida. 29. Não tenho uma boa noção do que estou tentando realizar na vida.

Itens do fator Autonomia: 1. Tenho tendência a ser influenciado por pessoas com opiniões fortes. 13. Julgo a mim mesmo pelo que acho que é importante, não pelos valores que outros acham que são importantes. 25. Tenho tendência a me preocupar com o que as outras pessoas pensam de mim.

Itens do fator Autoaceitação: 18. De várias maneiras, sinto-me desapontado com minhas conquistas na vida. 30. O passado teve seus altos e baixos, mas em geral, eu não o mudaria. 36. Todos têm suas fraquezas, mas eu pareço ter mais que o comum.

Itens do fator Domínio ambiental: 2. Em geral, sinto que estou no controle da situação em que vivo. 8. As exigências do dia-a-dia frequentemente me desencorajam. 32. Tenho dificuldades para ajustar minha vida de uma maneira que seja satisfatória para mim.

Itens do fator Crescimento pessoal: 9. Para mim, a vida tem sido um processo contínuo de aprendizagem, mudança e crescimento. 15. Desisti de fazer grandes melhorias ou mudanças na minha vida há muito tempo. 21. Não estou interessado em atividades que vão expandir meus horizontes.

Itens do fator Relações com os outros: 10. As pessoas me descreveriam como uma pessoa doadora, com vontade de compartilhar meu tempo com outros. 28. Aprecio conversas pessoais com familiares e amigos. 34. Sinto que sou muito recompensado pelas minhas amizades.

• Best, S. J., Krueger, B., Hubbard, C., & Smith, A. (2001). An assessment of the generalizability of Internet surveys. Social Science Computer Review, 19, 131-145.
• Castells, M. (2003). A galáxia da Internet: reflexões sobre a Internet, os negócios e a sociedade (M. L. X. de A. Borges, Trad.). Rio de Janeiro: Jorge Zahar. (Trabalho original publicado em 2001)
• Couper, M. (2000). Web surveys: A review of issues and approaches. Public Opinion Quarterly, 64, 464-494.
• Couper, M. P., Tourangeau, R., Conrad, F. G., & Crawford, S. (2004). What they see is what we get: Response options for web surveys. Social Science Computer Review, 22, 111-127.
• Crawford, S. D., Couper, M. P., & Lamias, M. J. (2001). Web surveys: Perceptions of burden. Social Science Computer Review, 19, 146-162.
• D'Ávila, G. T., & Soares, D. H. P. (2003). Vestibular: fatores geradores de ansiedade na "cena da prova". Revista Brasileira de Orientação Profissional, 4, 105-116.
• Davis, R. N. (1999). Web-based administration of a personality questionnaire: Comparison with traditional methods. Behavior Research Methods, Instruments and Computers, 31, 572-577.
• De Andrade, A. L., Wachelke, J. F. R., Souza, A. M., Nicolau, M. E. B., Rodrigues, P. F. U., Cruz, R. M., & Bento, R. R. (2005). Relações entre satisfação com o relacionamento amoroso, aspectos específicos da interação e bem-estar psicológico [Resumo]. Em Instituto Brasileiro de Avaliação Psicológica (Org.), Resumos do II Congresso Brasileiro de Avaliação Psicológica Gramado: IBAP.
• Fricker, S., Galesic, M., Tourangeau, R., & Yan, T. (2005). An experimental comparison of web and telephone surveys. Public Opinion Quarterly, 69, 370-392.
• Gunther, H. (1999). Como elaborar um questionário. Em L. Pasquali (Org.), Instrumentos psicológicos: manual prático de elaboração (pp. 127-140). Brasília: LabPAM/IBAPP.
• Gruenert, S. M. (2003). Intimacy, fathers, best friends and the well-being of young adult males Tese de Doutorado, Swinburne University of Technology, Hawthorne.
• Gurrieri, C., Wolter, R. P., & Sorribas, E. (2007). L'implication personnelle: Un outil psychosocial pour comprendre le lien population-objet. Psicologia em Estudo, 12, 423-432.
• Hayslett, M. M., & Wildemuth, B. M. (2004). Pixels or pencils? The relative effectiveness of web-based versus paper surveys. Library & Information Science Research, 26, 73-93.
• Heerwegh, D., & Loosveldt, G. (2002). An evaluation of the effect of response formats on data quality in web surveys. Social Science Computer Review, 20, 471-484.
• Huang, H.-M., & Liaw, S.-S. (2005). Exploring users' attitudes and intentions toward the web as a survey tool. Computers in Human Behavior, 21, 729-743.
• Instituto Brasileiro de Geografia e Estatística - IBGE (2006). Pesquisa Nacional por Amostra de Domicílios 2005 Brasília: IBGE. Retirado em 17/04/2006, de http://www.ibge.gov.br
• Joly, M. C. R. A., & Noronha, A. P. P. (2006). Reflexões sobre a construção de instrumentos psicológicos informatizados. Em A. P. P. Noronha, A. A. A. Santos & F. F. Sisto. (Orgs.), Facetas do fazer em avaliação psicológica (pp. 95-105). São Paulo: Vetor.
• Kaplowitz, M. D., Hadlock, T. D., & Levine, R. (2004). A comparison of web and mail survey response rates. Public Opinion Quarterly, 68, 94-101.
• Kaye, B. K., & Johnson, T. J. (1999). Research methodology: Taming the cyber frontier. Social Science Computer Review, 17, 323-337.
• Krantz, J. H., & Dalal, R. (2000). Validity of web-based psychological research. Em M. H. Birnbaum (Org.), Psychological experiments on the Internet (pp. 35-60). San Diego: Academic Press.
• Kraut, R., Olson, J., Banaji, M, Bruckman, A., Cohen, J., & Couper, M. (2004). Psychological research online: Report of Board of Scientific Affairs' Advisory Group on the conduct of research on the internet. American Psychologist, 59, 105-117.
• McGraw, K. O., Tew, M. D., & Williams, J. E. (2000). The integrity of web-delivered experiments: Can you trust the data? Psychological Science, 11, 502-506.
• Mertler, C. A., & Earley, M. A. (2003, Abril). A comparison of the psychometric qualities of surveys administered by Web and traditional methods Trabalho apresentado no 30^th Annual Meeting of the American Educational Research Association, Chicago.
• Meyerson, P., & Tryon, W. W. (2003). Validating Internet research: A test of the psychometric equivalence of Internet and in-person samples. Behavior Research Methods, Instruments and Computers, 35, 614-620.
• Musch, J., & Reips, U.-D. (2000) A brief history of web experimenting. Em M. H. Birnbaum (Org.), Psychological experiments on the Internet (pp. 61-87). San Diego: Academic Press.
• Naglieri, J., Drasgow, F., Schmit, M., Handler, L., Prifitera, A., Margolis, A., & Velasquez, R. (2004). Psychological testing on the Internet: New problems, old issues. American Psychologist, 59, 150-162.
• O'Neil, K. M., & Penrod, S. D. (2001). Methodological variables in web-based research that may affect results: Sample type, monetary incentives, and personal information. Behavior Research Methods, Instruments and Computers, 33, 226-233.
• O'Neil, K. M., Penrod, S. D., & Bornstein, B. H. (2003). Web-based research: Methodological variables' effects on dropout and sample characteristics. Behavior Research Methods, Instruments and Computers, 35, 217-226.
• Pasquali, L. (2003). Psicometria: teoria dos testes na psicologia e na educação Petrópolis: Vozes.
• Pereira, M. E., Silva, J. F., & Silva, P. B. (2006). Investigações psicológicas no ciberespaço: o impacto do interesse, filiação grupal e conhecimento na adesão às crenças ufológicas. Interação em Psicologia, 10, 375-384.
• Peytchev, A., & Crawford, S. (2005). A typology of real-time validations in web-based surveys. Social Science Computer Review, 23, 235-249.
• Reips, U.-D. (2000) The web experiment method: Advantages, disadvantages, and solutions. Em M. H. Birnbaum (Org.), Psychological experiments on the Internet (pp. 89-117) San Diego: Academic Press.
• Reips, U. D. (2002). Internet-based psychological experimenting: Five dos and five don'ts. Social Science Computer Review, 20, 241-249.
• Rouquette, M.L. (1988). La psychologie politique. Paris: PUF.
• Rusbult, C. E. (1983). A longitudinal test of the investment model: The development (and deterioration) of satisfaction and commitment in heterosexual involvements. Journal of Personality and Social Psychology, 45, 101-117.
• Ryff, C. D. (1989). Happiness is everything, or is it? Explorations on the meaning of psychological well-being. Journal of Personality and Social Psychology, 57, 1069-1081.
• Ryff, C. D. & Keyes, C. L. M. (1995). The structure of psychological well-being revisited. Journal of Personality and Social Psychology, 69, 719-727.
• Skitka, L. J., & Sargis, E. G. (2006). The Internet as a psychological laboratory. Annual Review of Psychology, 57, 529-555.
• Stevenson, A. K., Francis, G., & Kim, H. (1999). Java experiments for introductory cognitive psychology courses. Behavior Research Methods, Instruments and Computers, 31, 99-106.
• Varnhagen, C. K., Gushta, M.; Daniels, J., Peters, T. C., Parmar, N., Law, D., Hirsch, R., Takach, B. S., & Johnson, T. (2005). How informed is online informed consent? Ethics and Behavior, 15, 37-48.
• Wachelke, J. F. R., De Andrade, A. L. de, Cruz, R. M., Faggiani, R. B., & Natividade, J. C. (2004). Medida da satisfação em relacionamento de casal. Psico-USF, 9, 11-18.
• Wachelke, J. F. R., De Andrade, A. L., Souza, A. M., & Cruz, R. M. (2007). Estudo complementar da validade fatorial da Escala Fatorial de Satisfação em Relacionamento e predição da satisfação global com a relação. Psico-USF, 12, 221-225.
• Wachelke, J. F. R., De Andrade, A. L., Tavares, L., & Neves, J. R. L. L. (2008). Mensuração da identificação com times de futebol: evidências de validade fatorial e consistência interna de duas escalas. Arquivos Brasileiros de Psicologia, 60, 96-111.
• Wann, D. L. & Branscombe, N. R. (1993). Sports fan: Measuring degree of identification with their team.. International Journal of Sport Psychology, 24, 1-17
• Yip, M. (2003). Doing experiments on the WWW? British Journal of Educational Technology, 34, 99-101.

Apêndice

3

Conforme dados publicados no sítio

Internet World Stats,

http://www.internetworldstats.com , em 31 de março de 2009, e acessados em 6/5/2009.

4

Endereços de Internet (URL):

http://www.orkut.com e

http://www.facebook.com, respectivamente.

5

Segundo dados da Comissão Permanente de Vestibular da Universidade Federal de Santa Catarina:

http://www.coperve.ufsc.br.

Datas de Publicação

• Publicação nesta coleção
  04 Dez 2009
• Data do Fascículo
  Set 2009

Histórico

• Aceito
  14 Maio 2009
• Recebido
  24 Out 2006
• Revisado
  11 Maio 2009