Tradução, adaptação transcultural e propriedades psicométricas da versão brasileira do Test of Performance Strategies

Translation, cultural adaptation and psychometric properties of the Brazilian Version of the Test of Performance Strategies

Resumos

Este estudo tem como objetivos proceder à tradução e adaptação transcultural (equivalência semântica/conceitual e validade de conteúdo) do Test of Performance Strategies (TOPS), assim como, verificar as suas propriedades psicométricas (confiabilidade e validade fatorial) em atletas brasileiros. A amostra foi constituída por 413 atletas (295 homens e 118 mulheres) com idades compreendidas entre os 16 e 69 anos (M = 25,87, DP = 7,82). As propriedades psicométricas foram avaliadas através do alpha de Cronbach e da análise factorial confirmatória (AFC). Na análise da confiabilidade dos fatores, foram obtidos valores entre 0,41 e 0,82. Os resultados das AFC dos modelos multidimensionais revelaram índices de adequação insatisfatórios tanto para a situação de treino (GFI = 0,832; CFI = 0,761 e RMSEA = 0,058), como de competição (GFI = 0,855; CFI = 0,843 e RMSEA = 0,054). Quando analisadas as dimensões individualmente, verificaram-se problemas de validade fatorial (GFI e CFI < 0,90; RMSEA > 0,06) em quatro dos dezesseis fatores (ativação em situação de treino e ativação, controle emocional e pensamentos negativos em situação de competição). Em conclusão, os resultados providenciam evidências relativamente às propriedades psicométricas do TOPS em atletas brasileiros, sugerindo-se, contudo, precaução na interpretação dos escores de certas dimensões.

Propriedades psicométricas; competências psicológicas; Test of Performance Strategies

This study aimed to provide the translation and cultural adaptation (semantic/conceptual equivalence and content validity) of the Test of Performance Strategies (TOPS) as well as to investigate its psychometric properties (reliability and factorial validity) in Brazilian athletes. The sample consisted of 413 athletes (295 men and 118 women) aged between 16 and 69 years (M = 25.87, SD = 7.82). The psychometric properties were assessed by means of reliability (Cronbach's alpha) and confirmatory factor analysis (CFA). The internal consistency of the factors ranged between .41 and .82. The results of the CFA of the multidimensional models showed unsatisfactory levels of adequacy for both training (GFI = .832, CFI = .761 and RMSEA = .058) and competition situations (GFI = .855, CFI = .843 and RMSEA = .054). At the individual level subscale, four of the sixteen subscales showed unacceptable fit (GFI and CFI < .90; RMSEA > .06) (training activation and activation, emotional control and negative thinking in competition situations). In conclusion, the results provide evidence of support for the psychometric properties of the TOPS in Brazilian athletes, although some caution is warranted particularly regarding the interpretation of some scales' scores.

Psychometric properties; psychological skills; Test of Performance Strategies

De acordo com Vealey (1988), emergiu nos EUA um significativo interesse na psicologia do esporte aplicada ao treinamento mental, a qual tem procurado promover o máximo do rendimento de atletas em situação de competição. Neste âmbito, foi sugerido o termo treinamento de competências psicológicas (TCP) que descreve o conjunto de técnicas e estratégias designadas para ensinar ou melhorar as competências psicológicas, as quais facilitam o desempenho e promovem uma abordagem positiva para a competição esportiva. Assim, nos últimos anos tem-se verificado um crescimento significativo do interesse no TCP, fazendo como que a preparação psicológica ocupe um lugar importante e reconhecido no processo de treinamento de atletas (Holliday et al., 2008).

Em linha com as evidências empíricas da importância do desenvolvimento das habilidades psicológicas para o desempenho esportivo, um dos aspetos fulcrais de um programa de intervenção em TCP é a avaliação e monitorização das competências psicológicas dos atletas. Segundo Beckmann e Kellmann (2003), a avaliação psicológica é necessária para identificar e selecionar intervenções na psicologia do esporte. De acordo com estes autores, o fator chave é saber qual a intervenção a ser selecionada e em que condições será implementada. Segundo Vealey e Garner-Holman (1998), 75% dos psicólogos do esporte consultados indicaram que utilizam inventários e questionários em suas intervenções junto de atletas. Dessa forma, psicólogos do esporte, geralmente, utilizam instrumentos psicométricos (testes que fazem uso da estatística para avaliar constructos) em suas avaliações psicológicas com o objetivo de planificar, organizar e avaliar o impacto das suas intervenções.

Com o objetivo de instrumentalizar a avaliação na psicologia do esporte e colmatar as limitações de instrumentos anteriormente desenvolvidos, Thomas, Murphy e Hard (1999) desenvolveram o Test of Performance Strategies (TOPS). No desenvolvimento do TOPS foram considerados os processos psicológicos que fundamentam o sucesso no desempenho atlético. Para identificar os processos psicológicos (ou habilidades psicológicas) mais relevantes, três instrumentos foram revistos, o Psychological Perfomance Inventory (Loehr, 1986), o Psychological Skills Inventory for Sport (Mahoney, Gabriel, & Perkins, 1987) e o Athletic Coping Skills Inventory (Smith, Schutz, Smoll, & Ptacek, 1995), juntamente com consulta de diversas publicações (e.g., Hardy, Jones, & Gould, 1996; Thomas & Over, 1994; Vealey, 1988). O resultado foi o desenvolvimento de um instrumento de avaliação psicológica que pretende verificar o uso de oito estratégias de desempenho (ou habilidades psicológicas) utilizadas por atletas em situação de competição (ativação, automatização, controle emocional, definição de objetivos, imagética, pensamentos negativos, relaxamento e diálogo interno) e oito usadas em situação de treino (as mesmas estratégias anteriores, exceto pensamento negativo e acrescentando a estratégia controle atencional).

Após o desenvolvimento do TOPS, Lane, Harwood, Terry e Karageorghis (2004) realizaram um estudo com os objetivos de verificar a sua validade fatorial em atletas adolescentes utilizando análise fatorial confirmatória (AFC) e examinar as diferenças de uso das habilidades psicológicas em situação de treino ou competição. A amostra foi constituída de 584 atletas, menores de 18 anos, participantes de competições nacionais. Os resultados não revelaram suporte para o modelo dos fatores psicológicos em situação de competição (TLI = 0,88, RCFI = 0,92 e RMSEA = 0,05) e para o modelo dos fatores psicológicos em situação de treino (TLI = 0,81, RCFI = 0,86 e RMSEA = 0,06). Quando aplicados os procedimentos de AFC separadamente nos fatores, os resultados revelaram que alguns fatores psicológicos em situação de competição (automatização, definição de objetivos, relaxamento e diálogo interno) apresentaram bons índices de ajustamento, enquanto outros (ativação, controle emocional, imagética e pensamentos negativos) revelaram problemas de ajustamento. Já no que se refere à situação de treino, os fatores psicológicos controle atencional, controle emocional, definição de objetivos, imagética e diálogo interno, apresentaram índices de ajustamento aceitáveis, enquanto a ativação, automatização e relaxamento não apresentaram bons índices de ajustamento. No que diz respeito à confiabilidade, os autores concluíram que foi suportada em todos os fatores psicológicos em situação de competição e na maioria dos fatores psicológicos, em situação de treino, com a exceção do fator psicológico ativação (α = 0,57). Já com relação ao efeito do contexto (treino ou competição) na utilização das habilidades psicológicas, os resultados revelaram que o efeito foi caracterizado pelo maior uso de estratégias psicológicas (ativação, automatização, controle emocional, definição de objetivos, imagética e relaxamento) nas competições do que nos treinos. Perante esses resultados, os autores concluíram que a validade fatorial do TOPS para uso com adolescentes era questionável, sendo necessários futuros estudos centrados nesta problemática.

Embora o TOPS seja um dos testes mais populares utilizados na psicologia do esporte (Weinberg & Gould, 2010) e contenha dimensões psicológicas promissoras e relevantes (Bond & Sargent, 2004), Lane et al. (2004) sugeriram a necessidade de outros estudos confirmarem a estrutura fatorial do TOPS através de AFC. Segundo Beckmann e Kellmann (2003), para serem efetivos, os instrumentos de avaliação psicológica na psicologia do esporte necessitam de confiabilidade e de validade para o atleta individualmente ou para o esporte em grupo em questão. Para além disto, no caso de instrumentos traduzidos de outras línguas, também é necessário assegurar uma equivalência semântica/conceitual entre as diferentes versões.

Diante das evidências empíricas apresentadas no que diz respeito à importância do TCP para a excelência desportiva e, adicionalmente, colmatar a lacuna na literatura com relação à inexistência de estudos com objetivo de validar o Test of Performance Strategies para a população de atletas brasileiros, o presente estudo têm como objetivos: (a) traduzir e adaptar transculturalmente (equivalência semântica/conceitual e validade de conteúdo) o TOPS; (b) verificar a sua validade de conteúdo; (c) analisar as suas propriedades psicométricas (confiabilidade e validade fatorial); e (d) examinar o efeito do contexto (treino vs competição) na utilização das habilidades psicológicas.

Método

Participantes

Os participantes do estudo foram compostos por 413 atletas amadores (295 do sexo masculino e 118 do sexo feminino) com idades compreendidas entre 16 e 69 anos (M = 25,87 ± 7,82). Os atletas tinham entre 1 e 36 anos de prática esportiva (M = 9,17 ± 6,85) e entre 1 e 30 anos de experiência competitiva (M = 6,77 ± 6,31). Quando analisada a modalidade desportiva praticada, obteve-se a seguinte distribuição: futebol de campo (n = 60), futebol de salão (n = 66), voleibol (n = 59), handebol (n = 35), basquetebol (n = 28), tênis de mesa (n = 11), judô (n = 16), jiu-jítsu(n = 73), surfe (n = 14), ciclismo (n = 1), ginástica rítmica (n = 1), canoagem (n = 2), futevôlei (n = 7), triátlon (n = 18) e natação (n = 22). De um modo geral, 156 atletas praticavam modalidades esportivas individuais, enquanto 257 atletas praticavam modalidades esportivas coletivas. Relativamente ao nível competitivo, 273 atletas afirmaram participar em competições de nível regional enquanto os restantes 140 atletas afirmaram participar em competições nacionais.

Instrumento

O Test of Performance Strategies foi desenvolvido por Thomas et al. (1999) e é constituído de 64 itens distribuídos igualmente em duas subescalas que verificam habilidades psicológicas na situação de treino e na situação de competição. Cada subescala é constituída de oito fatores com 4 itens cada um. A subescala habilidades psicológicas no treino é composta pelos fatores: definição de objetivos, controle emocional, automatização, relaxamento, diálogo interno, imagética, controle emocional e ativação. A subescala habilidades psicológicas na competição é composta pelos fatores: definição de objetivos, controle emocional, automatização, relaxamento, diálogo interno, imagética, pensamentos negativos e ativação. As afirmações foram respondidas de acordo com uma escala do tipo Likert de cinco pontos (1 = nunca a 5 = sempre). Os escores da cada fator são somados e divididos por quatro, resultando em um escore por fator que pode variar de 1 a 5. Antes da análise estatística propriamente dita, foi invertida a pontuação dos itens: 4, 20, 24, 31, 32, 38, 43, 44, 50, 58, 60, 61, 62, 63.

Procedimentos

O processo de tradução e adaptação transcultural do TOPS envolveu duas etapas, antes da análise das suas propriedades psicométricas.

Tradução e Adaptação Cultural. A primeira etapa consistiu na tradução/retrotradução (método de back-translation) do instrumento (Brislin, 1970). Este procedimento contou com a colaboração de dois psicólogos especialistas bilíngues português e inglês (Fernandes, Nunes, Vasconcelos-Raposo, Fernandes, & Brustad, 2013; Fernandes, Vasconcelos-Raposo, & Fernandes, 2012). Num primeiro momento, um especialista fluente em ambas as línguas traduziu o instrumento do inglês para português do Brasil posteriormente outro especialista traduziu o instrumento do português do Brasil para o inglês sem consultar a versão original. Os resultados foram duas versões do instrumento, uma em cada língua. Num segundo momento, os especialistas se reuniram para avaliar e realizar as modificações na versão preliminar. A versão em inglês foi comparada com a versão original, tendo-se verificado uma equivalência semântica e de conteúdo. A versão da língua portuguesa foi revisada em oito itens e correções foram realizadas com relação à especificidade de alguns termos técnicos, de modo a ser assegurado o consenso entre especialistas e não existirem incompatibilidades com a versão original. Esta consulta também serviu para se analisar a forma e conteú- do dos itens em termos de clareza, compreensibilidade e adequação (Almeida & Freire, 2003).

Validade de Conteúdo. Numa segunda etapa, a avaliação da validade de conteúdo foi verificada por um comitê constituído de três professores universitários, doutores em psicologia, com experiência em psicologia do esporte. Num primeiro momento, foi solicitado individualmente aos integrantes do comitê que indicassem a sua concordância ou não com relação à inclusão dos itens nos seus respectivos fatores. Num segundo momento foi calculada a porcentagem de pertinência e concordância dos itens nos seus respectivos fatores, tendo por base as avaliações do comitê numa escala de 10 pontos (1 = nada pertinente/importante a 10 = extremamente pertinente/importante). Este processo permitiu o cálculo do índice de validade de conteúdo (IVC; Waltz, Strickland, & Lenz, 1991), tendo-se obtido valores superiores a 80% (0,80) para todos os itens, o que suporta a adequação/inclusão dos itens nos seus respectivos fatores.

Administração do Questionário

Após a devida autorização dos organizadores das competições e dos técnicos para a coleta de dados, os atletas foram informados dos objetivos da investigação e assinaram um termo de consentimento livre e esclarecido (TCLE), sendo garantidos o anonimato e confidencialidade de todos os dados recolhidos. Aos atletas menores de 18 anos foi solicitado que um responsável maior de idade assinasse o TCLE.

O preenchimento do questionário decorreu em ambiente calmo e sereno e ocorreu aproximadamente uma hora antes do início das competições.

O presente estudo foi aprovado pelo Comitê de Ética em Pesquisa da Universidade Estadual de Santa Cruz (Protocolo 425/2010), de acordo com a Resolução CNS/MS n. 196/1996.

Análise Estatística

De início, foi verificada a estatística descritiva das variáveis através da média, desvio-padrão, mínimo e máximo. Para verificar a assimetria da distribuição das médias foram utilizados os coeficientes assimetria (skewness) e achatamento (kurtosis), sendo considerados valores aceitáveis para os verificados no intervalo de −1,96 e +1,96. Posteriormente, foi calculada a consistência interna dos fatores através do alfa de Cronbach. Estas análises foram efetuadas no SPSS 16.0.

A AFC (EQS 6.1) foi utilizada para testar os modelos propostos na literatura. Dada a existência de um valor elevado do coeficiente multivariado estandardizado de Mardia (40,23), procedeu-se à análise dos dados através do uso de um método robusto (Satorra-Bentler) de estimação da máxima verossimilhança. Após a especificação e estimação dos modelos, a sua adequação foi avaliada por um conjunto de índices de ajustamento/adequação, nomeadamente o valor de Satorra-Bentler χ² (S-B χ²), as estimativas robustas do Comparative Fit Index (CFI) e do Root Mean Square Error of Approximation (RMSEA) e respectivo intervalo de confiança (IC) de 90%, bem como, o Goodness Fit Index (GFI). O valor de χ² (Qui-quadrado) indica ajustamento quando o valor não é significativo (p > 0,05). No entanto, esse teste é sensível ao tamanho da amostra, ou seja, em amostras numerosas o valor tende a ser significativo, embora o modelo possa estar ajustado aos dados. Em razão desse fato, Jöreskog e Sörbom (1989) sugeriram uma razão do Qui-quadrado pelos graus de liberdade (gl), representado por χ²/gl, pelo que Ullman (2001) sugeriu valores abaixo de 2,0 como aceitáveis. Relativamente aos índices de ajustamento CFI e GFI, os seus valores podem variar entre 0 e 1, pelo que valores acima de 0,90 representam um ajuste adequado do modelo, segundo Bentler e Bonnet (1980). Mais recentemente, Hu e Bentler (1999) sugeriram um ponto de corte de 0,95 como indicativo de um bom ajustamento do modelo. No caso do RMSEA, valores menores que 0,08 indicam uma adequação aceitável (Browne & Cudeck, 1993), embora Hu e Bentler (1999) tenham sugerido um ponto de corte de 0,06 como representativo de uma melhor adequação.

Para examinar o efeito do contexto (treino vs competição) na utilização das habilidades psicológicas pelos atletas brasileiros foi utilizado o teste estatístico MANOVA para medidas repetidas. Esta análise foi efetuada no SPSS 16.0, sendo mantido o nível de significância em 5% (p < 0,05).

Resultados

Análise Descritiva

As médias dos valores das respostas dos itens situaram-se entre 1,65 ± 0,98 (item 9) e 3,93 ± 0,99 (item 35). Os valores de normalidade (skewness e kurtosis) tenderam a situar-se num intervalo associado a uma distribuição normal univariada, ou seja, não ultrapassaram o intervalo de −1,96 a +1,96.

Análise de Confiabilidade

A análise dos valores de alpha de Cronbach indicou que a consistência interna das dimensões do instrumento não foi suportada (α < 0,60) em cinco dos oitos fatores psicológicos em situação de treino e em dois dos oito fatores psicológicos em situação de competição (ver Tabela 1).

Tabela 1
Consistência Interna dos Fatores do TOPS

Fatores	Alpha de Cronbach
Treino
Ativação	0,41
Automatização	0,41
Controle emocional	0,55
Definição de objetivos	0,59
Diálogo interno	0,76
Imagética	0,62
Controle atencional	0,53
Relaxamento	0,74
Competição
Ativação	0,63
Automatização	0,52
Controle emocional	0,62
Definição de objetivos	0,82
Diálogo interno	0,81
Imagética	0,74
Pensamentos negativos	0,57
Relaxamento	0,67

Análise Fatorial Confirmatória

Três modelos de medida foram testados através de AFC. O primeiro modelo contemplou uma estrutura unidimensional para ambas as situações (treino e competição). No segundo modelo testado foi permitida a correlação entre os fatores (modelo oblíquo), enquanto no terceiro modelo a correlação entre automatização e os outros fatores foi fixada em 0 (modelo ortogonal).

Este ultimo modelo foi igualmente analisado devido a inconsistentes resultados de correlações entre a dimensão automatização e os outros fatores do TOPS. Thomas et al. (1999) reportaram correlações mínimas entre a automatização e os outros fatores, enquanto Thomas e Over (1994) verificaram que a automatização é uma dimensão usualmente associada a outras habilidades psicológicas. Diante do fato que essas correlações têm importância teórica e prática, foi decidido testar as duas possibilidades estruturais, de acordo com a sugestão de Lane et al. (2004).

Os índices de ajustamento resultantes da AFC são apresentados na Tabela 2. Os resultados demonstram que os modelos multifatoriais (original e o ortogonal) apresentaram melhores índices que os modelos unidimensionais. Quando comparados os modelos multifatoriais oblíquos com os respectivos modelos em que a correlação entre automatização e os outros fatores foi fixada em 0 (modelo ortogonal), os resultados indicaram um melhor ajustamento dos dados para a primeira condição, quer para a situação de treino [ΔS-B χ² (7) = 35,57, p < 0,001], quer para a situação de competição [ΔS-B χ² (7) = 59,42, p < 0,001].¹

Tabela 2
Índices de Ajustamento das AFC aos Diferentes Modelos (T - Treino e C - Competição)

Modelos	S-B χ²	gl	GFI	CFI	RMSEA (90% IC)
Unidimensional (T)	1564,91	464	0,732	0,571	0,076 (0,072−0,080)
Unidimensional (C)	1696,26	464	0,710	0,634	0,080 (0,076−0,084)
8 Fatores (T) – original	1048,17	436	0,832	0,761	0,058 (0,054−0,063)
8 Fatores (C) – original	963,79	436	0,855	0,843	0,054 (0,050−0,059)
8 Fatores (T) – ortogonal	1082,34	443	0,824	0,751	0,059 (0,055−0,064)
8 Fatores (C) – ortogonal	1022,18	443	0,846	0,828	0,056 (0,052−0,061)

• Nota. Todos os valores de ?² são signifi cativos (p < 0,01).

A análise dos coeficientes estandardizados das saturações fatoriais estão apresentados na Tabela 3. Para o modelo original (situação de treino) do TOPS revelou que as cargas dos itens variaram entre 0,109 (item 38) e 0,859 (item 61), sendo todos estes parâmetros significativos a p < 0,05. A correlação entre os fatores variou entre -0,117 (p < 0,05) para a automatização e a definição de objetivos, e 0,543 (p < 0,01) para a imagética e o diálogo interno. O fator automatização não se correlacionou significativamente com o controle emocional, o diálogo interno, o controle atencional e a ativação.

Tabela 3
Valores de Saturação Factorial e Respectivos Erros dos Itens Referentes às Escalas da Situação de Treino

Escalas	Saturação factorial	Erro de mensuração
Ativação
Item 35	0,633	0,775
Item 38	0,109	0,994
Item 44	0,166	0,986
Item 49	0,625	0,781
Automatização
Item 10	0,217	0,976
Item 23	0,331	0,944
Item 29	0,423	0,906
Item 48	0,599	0,801
Controle emocional
Item 20	0,330	0,944
Item 39	0,277	0,961
Item 60	0,557	0,831
Item 61	0,859	0,511
Definição de objetivos
Item 1	0,486	0,874
Item 37	0,739	0,674
Item 53	0,590	0,807
Item 58	0,327	0,945
Diálogo interno
Item 2	0,568	0,823
Item 16	0,543	0,840
Item 47	0,755	0,656
Item 51	0,821	0,571
Imagética
Item 3	0,539	0,842
Item 12	0,524	0,852
Item 42	0,614	0,789
Item 64	0,481	0,877
Controle atencional
Item 4	0,285	0,959
Item 19	0,561	0,828
Item 45	0,625	0,781
Item 50	0,361	0,932
Relaxamento
Item 5	0,627	0,779
Item 6	0,547	0,837
Item 15	0,767	0,642
Item 27	0,645	0,765

Para o modelo original (situação de competição), as saturações fatoriais, apresentados na Tabela 4, variaram entre 0,334 (item 43) e 0,811 (item 26), sendo todos estes parâmetros significativos a p < 0,01. A correlação entre os fatores variou entre -0,444 (p < 0,01) para o controle emocional e os pensamentos negativos, e 0,644 (p < 0,01) para a definição de objetivos e a imagética. O fator controle emocional não apresentou correlação significativa com o diálogo interno, a definição de objetivos e a imagética, enquanto o fator automatização não se correlacionou significativamente com a definição de objetivos, o diálogo interno e os pensamentos negativos.

Tabela 4
Valores de Saturação Factorial e Respectivos Erros dos Itens Referentes às Escalas da Situação de Competição

Escalas	Saturação factorial	Erro de mensuração
Ativação
Item 13	0,441	0,898
Item 28	0,596	0,803
Item 40	0,484	0,875
Item 52	0,693	0,721
Automatização
Item 11	0,437	0,900
Item 30	0,471	0,882
Item 41	0,457	0,890
Item 54	0,498	0,867
Controle emocional
Item 24	0,361	0,932
Item 31	0,503	0,864
Item 62	0,623	0,783
Item 63	0,680	0,733
Definição de objetivos
Item 7	0,661	0,750
Item 22	0,680	0,733
Item 26	0,811	0,586
Item 46	0,761	0,648
Diálogo interno
Item 21	0,704	0,710
Item 33	0,784	0,621
Item 36	0,631	0,776
Item 57	0,786	0,618
Imagética
Item 18	0,575	0,818
Item 34	0,656	0,755
Item 55	0,602	0,799
Item 59	0,759	0,651
Pensamentos negativos
Item 9	0,366	0,931
Item 14	0,470	0,898
Item 32	0,510	0,860
Item 56	0,596	0,803
Relaxamento
Item 8	0,631	0,776
Item 17	0,705	0,710
Item 25	0,685	0,728
Item 43	0,334	0,942

Como tal, parece notório existir a possibilidade de melhoria dos modelos originais, através da reespecificação de parâmetros (cargas fatoriais, covariâncias ou termos de erros residuais). Tendo em consideração esta evidência, procedeu-se a um conjunto de AFC separadamente em cada fator, de acordo com as sugestões de Lane et al. (2004).

A partir da análise da Tabela 5 é possível verificar que, de modo geral, os fatores do TOPS apresentam uma boa adequação fatorial quando analisados separadamente, com a exceção de um fator em situação de treino (ativação) e três em situação de competição (ativação, controle emocional e pensamentos negativos). Neste âmbito, os valores de RMSEA tenderam a serem os mais penalizantes.

Tabela 5
Índices de Ajustamento das AFC às Diferentes Escalas do TOPS

Escalas	S-B χ²	gl	GFI	CFI	RMSEA (90% IC)
Treino
Ativação	18,01	2	0,977	0,784	0,139 (0,085−0,201)
Automatização	3,21	2	0,996	0,980	0,035 (0,000−0,110)
Controle emocional	3,07	2	0,996	0,992	0,036 (0,000−0,111)
Definição de objetivos	0,10	2	1,000	1,000	0,000 (0,000−0,063)
Diálogo interno	4,51	2	0,994	0,993	0,055 (0,000−0,125)
Imagética	1,17	2	0,998	1,000	0,000 (0,000−0,083)
Controle atencional	4,82	2	0,993	0,968	0,058 (0,000−0,127)
Relaxamento	2,92	2	0,996	0,997	0,033 (0,000−0,109)
Competição
Ativação	6,55	2	0,988	0,970	0,074 (0,015−0,141)
Automatização	3,95	2	0,994	0,976	0,049 (0,000−0,120)
Controle emocional	8,30	2	0,988	0,959	0,087 (0,032−0,153)
Definição de objetivos	1,33	2	0,998	1,000	0,000 (0,000−0,087)
Diálogo interno	2,79	2	0,994	0,998	0,031 (0,000−0,108)
Imagética	2,30	2	0,996	0,999	0,019 (0,000−0,101)
Pensamentos negativos	5,60	2	0,991	0,965	0,066 (0,000−0,134)
Relaxamento	3,92	2	0,993	0,991	0,048 (0,000−0,119)

Análise do Efeito do Contexto

Os resultados da MANOVA por contexto (treino vs competição) são apresentados na Tabela 6. De um modo geral, verificou-se que esta variável exerce um efeito elevado [F (7,406) = 46,07, p < 0,001, Wilks' Lambda = 0,56, η _p ² = 0,44] na diferenciação dos fatores do TOPS.

Tabela 6
Análise Comparativa dos Fatores do TOPS em Função do Contexto (treino vs competição)

	Competição	Treino	F	η p ²
Ativação	3,60±0,74	3,57±0,62	0,56	0,01
Automatização	2,75±0,76	3,19±0,68	171,28*	0,29
Controle emocional	3,42±0,74	3,10±0,73	84,50*	0,17
Definição de objetivos	3,81±0,88	3,62±0,74	29,67*	0,07
Imagética	3,42±0,87	3,39±0,79	0,85	0,02
Diálogo interno	3,55±0,96	3,58±0,88	0,87	0,02
Relaxamento	3,24±0,75	2,84±0,90	72,72*	0,15
Controle atencional	―	3,35±0,67	―	―
Pensamentos negativos	2,02±0,69	―	―	―

• * p < 0,001.

A análise univariada subsequente permitiu verificar que esta influência ocorre ao nível de quatro das sete dimensões pareadas, verificando-se um maior uso da automatização em situações de treino, enquanto as restantes habilidades psicológicas (controle emocional, definição de objetivos e relaxamento) tendem a ser mais utilizadas em situação de competição.

Discussão

O presente estudo pretendeu efetuar a tradução e adaptação transcultural do Test of Performance Strategies, bem como, apresentar os índices de confiabilidade e validade fatorial obtidos para esta versão brasileira. Este instrumento avalia habilidades psicológicas utilizadas por atletas em situação de treino e de competição, pelo que esta avaliação propicia informações importantes a profissionais e pesquisadores para o treino e aperfeiçoamento das habilidades psicológicas de atletas. No entanto para que estas informações sejam fidedignas e robustas são necessários estudos que tenham como objetivo verificar as propriedades psicométricas dos inventários que avaliam habilidades psicológicas.

No que se refere aos processos de tradução e equivalência das versões do TOPS, constatou-se um satisfatório grau de equivalência entre as versões produzidas. Os resultados da quantificação da validade de conteúdo (IVC) relativa ao painel de especialistas superaram o ponto de corte de 0,80, tal como recomendado na literatura (Alexandre & Coluci, 2011; Waltz et al., 1991).

Os resultados da consistência interna da versão brasileira estão de acordo com o verificado em outros estudos (Katsikas, Argeitaki, & Smirniotou, 2009; Lane et al., 2004; Neil, Mellalieu, & Hanton, 2006; Thomas et al., 1999). Embora o critério de 0,70 seja o mais utilizado, outros autores (Loewenthal, 2001; Maroco & Garcia-Marques, 2006) sugerem que valores de 0,60 ou superiores são adequados para escalas com um reduzido número de itens por fator, como é o caso do TOPS, em que cada dimensão é unicamente constituída por quatro itens.

Relativamente à comparação entre os modelos originais (oito fatores correlacionados) e os modelos revistos (fator automatização com relações ortogonais), os resultados indicaram que a revisão dos modelos originais não produziu melhorias nos índices de ajustamento. Importa salientar que no estudo de Lane et al. (2004) somente se verificaram melhorias para os fatores da situação de treino, embora esse modelo revele menos graus de liberdade (gl = 360) que o equivalente modelo para a competição (gl = 443). Esta evidência empírica parece sugerir existirem alguns problemas de medição associados à relação entre itens e seus respectivos fatores, assim como, à associação entre as diversas dimensões do TOPS.

Como tal, procedemos à aplicação da AFC separadamente em cada fator do instrumento, conforme metodologia utilizada no estudo Lane et al. (2004), o que revelou que alguns fatores apresentaram bons índices de ajustamento, enquanto outros apresentaram índices de ajustamento insatisfatórios. De modo geral, os índices CFI e GFI apresentaram uma ótima adequação para todos os fatores (> 0,95), com exceção da dimensão ativação em situação de treino (CFI = 0,784). Por outro lado, os valores de RMSEA tenderam a ser mais penalizantes, ultrapassando o ponto de corte de 0,60 em quatro situações (ativação em situação de treino, e ativação, controle emocional e pensamentos negativos em situação de competição). Na medida em que este índice indica a fraqueza do ajustamento do modelo tendo em consideração um número particular de parâmetros (graus de liberdade), parece evidente existirem problemas específicos nestes fatores, o que já anteriormente tinha sido observado por Hardy, Roberts, Thomas, e Murphy (2010).

Relativamente à análise das cargas fatoriais dos itens foi observado que 92% dos itens do TOPS apresentaram bons índices de saturação (>0,30) no fator hipotético. Entretanto alguns itens demonstraram fraca saturação, em particular para os fatores anteriormente identificados. Isto pode indicar a necessidade destes itens serem reformulados com o objetivo de melhorar a sua clareza/compreensibilidade, ou seja, as baixas saturações fatoriais podem indicar que os atletas não entenderam o significado do item com relação ao seu fator hipotético (Hardy et al., 2010; Lane et al., 2004). Por exemplo, para o fator ativação, o item 38 (Eu tenho dificuldades para aumentar minha ativação nos treinos quando me sinto desmotivado) e o item 44 (Eu tenho dificuldade para aumentar meu nível de ativação na competição) apresentaram reduzidos valores de saturação, 0,105 e 0,169, respectivamente. Esse fato poder ser devido à tradução da palavra "activation" para "ativação" no português do Brasil. Os atletas podem não ter entendido o termo ativação como uma prontidão para a prática (readiness to perform) tal como presumido no estudo seminal de Thomas et al. (1999), mas sim como um aumento da ativação fisiológica e psicológica. Por outro lado, o fator automatização apresentou itens com correlações não significativas, como por exemplo, o item 48 (Durante os treinos, pareço estar no automático). É possível que os atletas não tenham entendido o sentido da expressão "pareço estar no automático". Esta dificuldade de entendimento pelos atletas do sentido do termo "automático" havido sido já anteriormente relatada por Lane et al. (2004).

Os resultados da análise multivariada de variância revelaram que o contexto de uso das habilidades exerce um efeito elevado (η _p ² = 0,44) na diferenciação das dimensões pareadas. À semelhança de estudos anteriores (Hardy et al., 2010; Lane et al., 2004) verificou-se um maior uso dos fatores controle emocional, definição de objetivos e relaxamento em situação de competição. No entanto, no presente estudo verificou-se um maior uso da automatização em situações de treino, o que vai de encontro ao reportado por Crust e Azadi (2010) para diferentes níveis competitivos e em estudos com amostras portuguesas (Lima, 2008; Soares, 2007). Estas diferenças, embora possam traduzir a heterogeneidade da presente amostra, constituem um importante contributo para a avaliação das necessidades e capacidades psicológicas dos atletas, bem como, para o desenvolvimento e implementação de programas de PST. Contudo, estes resultados devem ser interpretados com precaução, dadas as propriedades psicométricas do instrumento apresentadas anteriormente.

O presente estudo possui algumas limitações que merecem ser destacadas: (a) a amostra do estudo foi composta por diversas modalidades esportivas; e (b) a amostra do estudo foi composta da proporção mínima de sujeitos por item (5:1) para validação de instrumentos psicométricos. Dessa forma, é sugerido que em estudos futuros seja utilizado uma proporção de 10:1, como defendido por Tabachnick e Fidell (2001) para a validação de instrumentos psicométricos por AFC, permitindo assim outro tipo de investigações centradas no estudo da invariância factorial do questionário em relação a certas variáveis (ex., sexo, tipo de desportos, etc).

Conclusão

Em suma, numa primeira etapa do presente estudo verificou-se que os procedimentos de tradução e adaptação do TOPS originaram uma versão semelhante à original (inglesa) e com índices adequados de validade de conteúdo, o que demonstra a relevância dos itens/instrumento para a avaliação de habilidades/competências psicológicas no contexto esportivo. Relativamente às propriedades psicométricas do TOPS, os resultados revelaram valores de confiabilidade baixos a moderados e índices de validade fatorial insatisfatórios em algumas das dimensões do questionário, embora os modelos com melhor ajustamento fossem o modelo original oblíquo de oito fatores (situação de treino ou competição). As AFC feitas separadamente em cada fator permitiram identificar as dimensões mais problemáticas e que beneficiariam de alguma forma de reespecificação. Por fim, a análise comparativa revelou um maior uso dos fatores controle emocional, definição de objetivos e relaxamento em situação de competição, enquanto a dimensão automatização foi mais valorizada no contexto de treino. Destaca-se, assim, que a versão brasileira do TOPS não é um instrumento válido para ser utilizado em futuras investigações, sendo necessárias futuras pesquisas centradas na análise das dimensões problemáticas, dado que este processo é contínuo e em desenvolvimento. Além disso, é necessária a validação de instrumentos de avaliação psicológica no contexto esportivo, com especial destaque para a revisão deste questionário (i.e., o TOPS-2; (Hardy et al., 2010; Fernandes, Vasconcelos-Raposo & Fernandes, 2013)).

Referências

• Alexandre, N., & Coluci, M. (2011). Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas. Ciência & Saúde Coletiva, 16, 3061-3068. doi:10.1590/S1413-81232011000800006
  » https://doi.org/10.1590/S1413-81232011000800006
• Almeida, L., & Freire, T. (2003). Metodologia da investigação em Psicologia e Educação. Braga, Portugal: Psiquilíbrios.
• Beckmann, J., & Kellmann, M. (2003). Procedures and principles of sport psychological assessment. The Sport Psychologist, 17(3), 338-350.
• Bentler, P., & Bonnet, D. (1980). Significance tests and goodness of fit in the analysis of covariance structures. Psychological Bulletin, 88(3), 588-606. doi:10.1037/0033-2909.88.3.588
  » https://doi.org/10.1037/0033-2909.88.3.588
• Bond, J., & Sargent, G. (2004). Concentration skills in sport: An applied perspective. In T. Morris & J. Summers (Eds.), Sport psychology: Theory, applications and issues (2nd ed., pp. 388-422). Brisbane, Australia: John Wiley & Sons.
• Brislin, R. (1970). Back translation for cross-cultural research. Journal of Cross-Culture Psychology, 1(3), 185-216. doi:10.1177/135910457000100301
  » https://doi.org/10.1177/135910457000100301
• Browne, M. W., & Cudek, R. (1993). Alternate ways of assessing model fit. In K. A. Bollen & J. S. Long (Eds.), Testing structural equation models (pp. 136-162). Newbury Park, CA: Sage.
• Crawford, J. R., & Henry, J. D. (2003). The Depression Anxiety Stress Scales: Normative data and latent structure in a large non-clinical sample. British Journal of Clinical Psychology, 42, 111-131. doi:10.1348/014466503321903544
  » https://doi.org/10.1348/014466503321903544
• Crust, L., & Azadi, K. (2010). Mental toughness and athletes' use of psychological strategies. European Journal of Sport Science, 10(1), 43-51. doi:10.1080/17461390903049972
  » https://doi.org/10.1080/17461390903049972
• Fernandes, M. G., Nunes, S. A. N., Vasconcelos-Raposo, J., Fernandes, H. M., & Brustad, R. (2013). The CSAI-2: An examination of the instrument's factorial validity and reliability of the intensity, direction and frequency dimensions with Brazilian athletes. Journal of Applied Sport Psychology, 25(4), 377-391. doi:10.1080/10413200.2012.744780
  » https://doi.org/10.1080/10413200.2012.744780
• Fernandes, M. G., Vasconcelos-Raposo, J., & Fernandes, H. M. (2012). Propriedades psicométricas do CSAI-2 em atletas brasileiros. Psicologia: Reflexão e Crítica, 25(4), 679-687. doi:10.1590/S0102-79722012000400007
  » https://doi.org/10.1590/S0102-79722012000400007
• Fernandes, M. G., Vasconcelos-Raposo, J., & Fernandes, H. M. (2013). Propriedades Psicométricas do TOPS2 em atletas brasileiros. Revista Ibero-americana de Avaliação Psicológica, 36(2) , 71-98.
• Hardy, L., Jones, G., & Gould, D. (1996). Understanding psychological preparation for sport: Theory and practice of elite performers. Chichester, UK: Wiley.
• Hardy, L., Roberts, R., Thomas, P. R., & Murphy, S. M. (2010). Test of Performance Strategies (TOPS): Instrument refinement using confirmatory factor analysis. Psychology of Sport and Exercise, 11(1), 27-35. doi:10.1016/j.psychsport.2009.04.007
  » https://doi.org/10.1016/j.psychsport.2009.04.007
• Holliday, B., Burton, D., Sun, G., Hammermeister, J., Naylor, S., & Friegang, D. (2008). Building the better mental training mousetrap: Is periodization a more systematic approach to promoting performance excellence? Journal of Applied Sport Psychology, 20(2), 199-219. doi:10.1080/10413200701813889
  » https://doi.org/10.1080/10413200701813889
• Hu, L.-T., & Bentler, P. M. (1999). Cut-off criteria for fit indices in covariance structure analysis: Conventional criteria versus new alternatives. Structural Equation Modeling, 6(1), 1-55. doi:10.1080/10705519909540118
  » https://doi.org/10.1080/10705519909540118
• Jöreskog, K. G., & Sörbom, D. (1989). LISREL 7: User's reference guide. Mooresville, IN: Scientific Software.
• Katsikas, C., Argeitaki, P., & Smirniotou, A. (2009). Performance strategies of Greek track and field athletes: Gender and level differences. Biology of Exercise, 5.1, 29-38. doi:10.4127/jbe.2009.0023
  » https://doi.org/10.4127/jbe.2009.0023
• Lane, A. M., Harwood, C., Terry, P. C., & Karageorghis, C. I. (2004). Confirmatory factor analysis of the Test of Performance Strategies (TOPS) among adolescent athletes. Journal of Sports Sciences, 22(9), 803-812. doi:10.1080/02640410410001716689
  » https://doi.org/10.1080/02640410410001716689
• Lima, P. (2008). As competências psicológicas no desporto: Estudo com atletas de natação. Porto, Portugal: Faculdade de Desporto, Universidade do Porto.
• Loehr, J. E. (1986). Mental toughness training for sports: Achieving athletic excellence. Lexington, MA: Stephen Greene Press.
• Loewenthal, K. M. (2001). An introduction to psychological tests and scales (2nd ed.). London: University College London Press.
• Mahoney, M. J., Gabriel, T. J., & Perkins, T. S. (1987). Psychological skills and exceptional athletic performance. The Sport Psychologist, 1(3), 181-199.
• Maroco, J., & Garcia-Marques, T. (2006). Qual a fiabilidade do alfa de Cronbach? Questões antigas e soluções modernas. Laboratório de Psicologia, 4(1), 65-90.
• Neil, R., Mellalieu, S. D., & Hanton, S. (2006). Psychological skills usage and the competitive anxiety response as a function of skill level in rugby union. Journal of Sports Science and Medicine, 5, 415-423.
• Satorra, A., & Bentler, P. M. (2001). A scaled difference chi-square test statistic for moment structure analysis. Psychometrika, 66, 507-514. doi:10.1007/BF02296192
  » https://doi.org/10.1007/BF02296192
• Smith, R. E., Schutz, R. W., Smoll, F. L., & Ptacek, J. T. (1995). Development and validation of a multidimensional measure of sport-specific psychological skills: The Athletic Coping Skills Inventory-28. Journal of Sport and Exercise Psychology, 17(4), 379-398.
• Soares, A. (2007). A utilização das competências psicológicas pelos atletas de Boccia. Porto, Portugal: Faculdade de Desporto, Universidade do Porto.
• Tabachnick, B. G., & Fidell, L. S. (2001). Using multivariate statistics (4th ed.). New York: Harper & Row.
• Thomas, P. R., Murphy, S. M., & Hard, L. (1999). Test of performance strategies: Development and preliminary validation of a comprehensive measure of athletes psychological skills. Journal of Sports Sciences, 17(9), 697-711. doi:10.1080/026404199365560
  » https://doi.org/10.1080/026404199365560
• Thomas, P. R., & Over, R. (1994). Psychological and psychomotor skills associated with performance in golf. The Sport Psychologist, 8(1), 73-86.
• Ullman, J. B. (2001). Structural equation modeling. In B. G. Tabachnick & L. S. Fidell, Using multivariate statistics (4th ed., pp. 653-771). Needham Heights, MA: Allyn & Bacon.
• Vealey, R. S. (1988). Future directions in psychological skills training. The Sport Psychologist, 2(4), 318-336.
• Vealey, R. S., & Garner-Holman, M. (1998). Applied sport psychology: Measurement issues. In J. L. Duda (Ed.), Advances in sport and exercise psychology measurement (pp. 433-446). Champaign, IL: Human Kinetics.
• Waltz, C. F., Strickland, O. L., & Lenz, E. R. (1991). Measurement in nursing research (2nd ed.). Philadelphia, PA: Davis.
• Weinberg, R., & Gould, D. (2010). Psychological foundations in sport and exercise. Champaign, IL: Human Kinetics Press.

Datas de Publicação

• Publicação nesta coleção
  Jan-Mar 2015

Histórico

• Recebido
  10 Set 2013
• Revisado
  12 Dez 2013
• Aceito
  16 Jan 2014