A ordem dos atributos afeta a avaliação de qualidade ? Uma investigação empírica a partir da versão mais recente do modelo SERVQUAL

ARTIGOS

A ordem dos atributos afeta a avaliação de qualidade ? Uma investigação empírica a partir da versão mais recente do modelo SERVQUAL

Frederico A. de Carvalho; Valdecy Faria Leite

RESUMO

O objetivo do trabalho é examinar o efeito da ordem em pesquisas que utilizem escalas numéricas de avaliação de atributos em combinação com uma operação de classificação (ranking) de alguns desses atributos. O tratamento exposto deve merecer atenção dos praticantes de pesquisa de marketing, em particular de pesquisas de qualidade de serviços. A idéia é ilustrada por meio de um exemplo em que se aplica a versão mais recente da escala SERVQUAL à avaliação de um serviço de atendimento ao público (o atendimento postal dos correios do Brasil). Neste exemplo se avalia a influência da ordem em que as escalas aparecem no questionário sobre os resultados da ordenação dos atributos de qualidade do serviço de atendimento postal em termos do respectivo grau de importância. A aplicação da Análise de Correlação Bivariada a quatro tipos distintos de questionários utilizados na pesquisa (obtidos variando-se a ordenação das questões) sugere não terem sido significativamente diferentes as atribuições de importância aos atributos pesquisados nas diferentes versões do questionário.

Palavras-chaves: qualidade de serviços, atributos de qualidade, avaliação da qualidade de serviços, pesquisa de marketing.

ABSTRACT

The purpose of this paper is to investigate the effects of the order of presentation of attribute scales in Service Quality surveys that use the SERVQUAL instrument in combination to a ranking of the attributes. It is hoped that the paper will be of interest to quality research practitioners. The real case presented here applies the most recent, 3-columns version of SERVQUAL to evaluate service quality of Brazilian postal services from a convenience sample of 540 clients firms. To avoid having to rank 39 attributes, an intermediary procedure (based on a shorter list of attributes and weighting scheme) is proposed. Four different ways of placing the 39 quality attributes have been used to test for the existence of an order effect. The test of both Pearson and Spearman correlations coefficients (calculated for each pair select from those versions) has rejected the null hypothesis of inexistence of the order effect. One interesting implication is that the original list of 22 attributes may be then increased to take into account specific of a particular service.

Key words: service quality, quality attributes, service quality evaluation, marketing research.

INTRODUÇÃO

O principal objetivo deste trabalho é ilustrar como se pode examinar o efeito da ordem em que aparecem as escalas numéricas de avaliação de atributos em uma pesquisa. A proposta aqui oferecida pode ser especificamente útil para quem trabalha com pesquisas contendo escalas numéricas de avaliação de atributos combinadas com operação de classificação (ranking) de alguns desses atributos. Na verdade, o tratamento exposto parece ser suficientemente geral de modo que mereça a atenção dos praticantes de Pesquisa de Marketing, em particular de pesquisas de qualidade de serviços. A idéia é ilustrada por meio de exemplo em que se aplica a escala SERVQUAL, em sua versão mais recente, à avaliação de um serviço de atendimento com características particularmente originais (o atendimento postal dos correios do Brasil). Assim, a aplicação desenvolvida parece ter amplo interesse, seja em termos metodológicos, seja em termos práticos. Além disso se propõe um novo método de ponderação de atributos múltiplos em pesquisas de qualidade; o caso real relatado serve, igualmente, de ilustração desse método.

Após essa breve introdução delineiam-se alguns traços característicos da área de aplicação que vai ser tratada, a saber, Qualidade de Serviços, com o intuito básico de familiarizar o leitor com o modelo utilizado para mensurar a qualidade na presente pesquisa. A seguir, a segunda seção descreve os principais aspectos da metodologia empregada. Os resultados obtidos aparecem na terceira seção, depois da qual são apresentados os comentários conclusivos.

QUALIDADE DE SERVIÇOS: FUNDAMENTOS CONCEITUAIS

Nesta seção pretende-se motivar e, se necessário, familiarizar o leitor com o modelo utilizado para mensurar qualidade de serviços. Além de descrever o modelo teórico que serve de apoio ao trabalho, menciona-se brevemente a questão da ponderação dos atributos.

O Modelo dos Cinco Hiatos para Mensuração da Qualidade de Serviços ^{( 1 )}

A despeito das críticas e limitações apontadas até hoje, o modelo de medida SERVQUAL - associado ao Modelo dos Cinco Hiatos constitui importante contribuição à questão da mensuração da qualidade de serviços. O ponto de partida para efetuar medidas da qualidade de um serviço consiste em mensurar as percepções do consumidor quanto ao serviço recebido em confronto com suas expectativas anteriores à prestação do referido serviço. O conceito de qualidade de serviços derivado deste modelo corresponde, então, a uma avaliação global, realizada pelo consumidor, do serviço prestado por determinada empresa comparativamente com o desempenho esperado de empresas excelentes atuantes no mesmo setor ou com o que consideram excelente serviço. O modelo pressupõe, deste modo, a realização dessa avaliação global através da investigação de atributos determinantes da qualidade do serviço pesquisado, de acordo com escala construída para captar tanto as expectativas, quanto as percepções do consumidor em relação ao serviço prestado pela empresa.

Na versão mais recente do SERVQUAL, Parasuraman et al. (1994), ao descreverem uma investigação empírica em que foram testados três formatos diferentes de questionários para avaliar a qualidade dos serviços prestados por quatro diferentes empresas (fabricante de computadores, rede varejista, empresa de seguros de automóveis e empresa de seguros de vida), apresentam, de modo implícito, o conceito de valor de diagnóstico. Este valor de diagnóstico corresponderia, então, à capacidade de o instrumento de pesquisa fornecer informações relevantes para fins de atuação gerencial sobre as causas dos problemas de qualidade encontrados (p. 218). A partir dos resultados obtidos na pesquisa empírica realizada com amostras representativas de clientes das empresas participantes, os autores comparam o poder de diagnóstico dos instrumentos empregados, escolhido como um dos critérios para julgar os três formatos de questionários utilizados.

No caso em exame, os autores ressaltam que o formato introduzido nesta nova versão de 1994, ou seja, o questionário de três colunas (serviço desejado, serviço aceitável e serviço percebido) seria o mais relevante de acordo com o critério do valor de diagnóstico. Esta conclusão dos autores leva em conta a possibilidade de construção (com os dados coletados por meio desse formato de questionário) de faixas de tolerância correspondentes a uma faixa de expectativas (mínima e máxima) para o serviço prestado, possibilitando indicar, ao mesmo tempo, a posição relativa do nível do serviço percebido pelo cliente.

Essas características do modelo SERVQUAL, além de adequadas ao desenvolvimento de efetivas ações gerenciais para a melhoria da qualidade dos serviços, mostram-se ainda pouco exploradas empiricamente, e constituem estimulante campo de pesquisas futuras sobre o tema. O presente trabalho efetua um exercício de validação do modelo ZPB no que se refere à seqüência em que aparecem os atributos na versão de três colunas.

A Questão da Ponderação dos Atributos

Apesar de a literatura especializada destacar a relevância da ponderação dos atributos para fins de mensuração do constructo qualidade de serviços, continua em discussão qual seria um bom método para obtenção dos pesos relativos das características de serviço pesquisadas.

O método sugerido por Zeithaml et al. (1990, p.28) consiste em solicitar, inicialmente, que o respondente distribua 100 pontos entre as cinco dimensões (subjacentes à e) determinantes da qualidade do serviço. A partir daí, supõe-se que os atributos englobados por tais dimensões mereçam todos o mesmo peso. Considerando que a própria generalização das dimensões da qualidade do serviço recebe a crítica de outros autores, a questão da inferência dos pesos dos atributos a partir dessas dimensões subjacentes também se encontra em discussão. Por exemplo, Carman (1990, p.50) sugere que sejam apurados diretamente os escores relativos à importância dos atributos pesquisados conforme a percepção do respondente. Esta sugestão encontra, é claro, uma limitação de ordem prática, dado que não parece razoável esperar que um respondente consiga, facilmente, ordenar, em termos de importância, cerca de vinte ou trinta atributos referentes a determinado serviço.

Um novo método de ponderação dos atributos e exemplo completo de aplicação do método proposto ao serviço de atendimento postal serão mostrados a seguir.

METODOLOGIA DA PESQUISA

É bem sabido que o questionário é ferramenta das mais difundidas para coletar informações dos respondentes de uma população. Na verdade, atualmente já há bastante material para ajudar aqueles que precisam efetuar pesquisas no sentido de que não façam do questionário um simples amontoado de perguntas. Lembrando Marton-Williams (1986, p. 114), todo questionário precisa cumprir seis funções básicas para alcançar eficazmente seu propósito na coleta de informação:

• criar e manter o interesse, a cooperação e o envolvimento do respondente;

• comunicar-se bem com o respondente;

• ajudar o respondente a desenvolver suas respostas;

• evitar criar viés ou tendenciosidade de todo tipo;

• facilitar a tarefa do entrevistador; e

• viabilizar o processamento automático das respostas.

A questão de que trata o presente trabalho, a saber, o efeito da seqüência das escalas, está relacionada ao chamado erro de medida (measurement error) e sua ocorrência pode prejudicar qualquer um dos seis propósitos.⁽²⁾ Mais precisamente, o interesse, aqui, é focalizar a eventual introdução de tendenciosidade nas respostas, devido à forma de seqüenciar a apresentação das escalas numéricas dos atributos sobre as quais se pede a avaliação dos participantes da pesquisa.

Nos textos de inspiração didática, todos concordam que a cautela básica é evitar de colocar idéias na cabeça do respondente ou de sugerir-lhe determinado padrão ou atitude de resposta ou mesmo induzí-lo a isso. Também recebe ampla concordância o uso da técnica do funil (funnel approach), que recomenda: após empática apresentação da pesquisa e do entrevistador e apropriada qualificação do respondente, deve-se começar por questões bastante gerais e, pouco a pouco, ir estreitando o foco, até chegar a pontos bem específicos. Alguns autores costumam distinguir, nessa abordagem, entre a seqüência psicológica e a seqüência lógica adequadas às perguntas, ambas apontando para características nitidamente relevantes do processo de comunicação, para fins de coleta de informação, de que a aplicação do questionário faz parte.

Na literatura especializada, a referência mais freqüente trata da ordem de perguntas em sentido estrito. Em particular, as pesquisas eleitorais são, talvez, o exemplo mais antigo e mais óbvio no que se refere ao viés da ordem das perguntas e de suas alternativas (por exemplo, ver NORC [1946]). Na área das pesquisas gerais de opinião, em que também muito se produziu sobre o tema, um dos pioneiros é o trabalho de Rugg & Cantril (1942).

Pode-se atribuir a Ferber (1952) a primeira obra que trata da ordem no âmbito de pesquisas sócio-econômicas, eventualmente classificáveis como de Marketing, sem esquecer que o precursor do bem conhecido método das comparações pareadas, paired comparisons, é o muito anterior artigo de Ross (1934). Na verdade, a despeito da difusão desse método a partir da década de 50, a produção na área de pesquisa de Marketing parece mais restrita ao problema da ordem das perguntas, cuja indiscutível importância é ilustrada por dois clássicos: o artigo de Gross (1964) sobre o interesse em comparar um novo (conceito de) produto e a alegoria de Ramond (1977) sobre como as perguntas podem criar suas respostas.

Imaginemos, então, uma situação de pesquisa em que se queira solicitar de cada respondente que coloque em ordem de importância um certo número de escalas referentes aos atributos a pesquisar. É intuitivo perceber que, quanto mais longa a lista, mais difícil será a tarefa do respondente. No caso das escalas SERVQUAL, por exemplo, Parasuraman et al. (1994) sugerem uma escala básica relativa a 22 atributos, que pode ser considerada longa para aplicação em amostras de pessoas físicas com baixo e, talvez, até mesmo médio nível de escolaridade. Ao mesmo tempo, os autores reconhecem que a aplicação proveitosa do modelo de mensuração a casos específicos (em especial, a diferentes setores de prestação de serviços) pode requerer uma extensão daquela lista. Ora, um dos limites à tal extensão reside precisamente no fato de que listas mais longas são mais complicadas.

Uma saída para esta dificuldade seria solicitar que o respondente ordenasse apenas um subconjunto relativamente pequeno de atributos e que partisse dessa operação parcial para obter uma ordenação completa dos atributos. Assim posta, esta questão é manifestamente não-trivial: de fato, é bastante complexo o problema de encontrar um subconjunto ótimo que seja a solução para esse problema de ordenação total. Mais interessante, mesmo trabalhando com subconjuntos de proporções aceitáveis, é possível que a posição da escala no conjunto viesse a beneficiar alguns dos atributos (por exemplo, os iniciais) em detrimento de outros, quando o respondente estivesse percorrendo a lista (já reduzida) para escolher os mais importantes. Assim, mesmo no caso de precisar ordenar listas mais curtas, faz sentido investigar o efeito da ordem. Para executar uma aplicação real, foi necessário, aqui, resolver o problema do subconjunto reduzido. Apesar de a escolha por nós efetivada acerca do número reduzido de atributos ter apelo (tanto teórico, quanto empírico), nenhuma propriedade genérica deste novo método foi estudada.⁽³⁾

O que interessa especificamente ao presente trabalho, no entanto, é examinar o efeito da ordem em questionários que empreguem escalas numéricas de avaliação de atributos múltiplos e que solicitem ao respondente uma ordenação parcial da importância relativa de alguns desses atributos. A questão certamente não é nova (ver, por exemplo, Belson [1966], Quinn & Belson [1969], Payne [1972], e Jain & Pinson [1976]), mas tem recebido pouca atenção em comparação ao recente boom de pesquisas sobre qualidade, especialmente no setor de serviços, em que os questionários empregados são, em sua maioria, muito relacionados ao tipo aqui destacado. Além disso, duas observações, presentes até nos textos didáticos, são particularmente adequadas à pesquisa aqui relatada: a) quando o tema das questões é complexo ou pouco familiar ao respondente, a seqüência de apresentação pode influenciar as respectivas respostas (Aaker & Day, 1990, p. 252), e b) o tamanho do questionário influencia a qualidade das respostas (Herzog & Bachman, 1981).

Em resumo, a hipótese testada neste estudo pode ser enunciada como segue:

H₀ :

A avaliação da importância dos atributos se altera devido à seqüência em que as escalas de avaliação aparecem no questionário de pesquisa.

Descrição da Amostra e do Método de Coleta de Dados

A pesquisa original da qual foram extraídos os dados para este trabalho (Leite, 1996) propõe-se testar, no que diz respeito ao tema qualidade, se há diferenças significativas entre os níveis de qualidade dos serviços prestados pelas agências próprias da ECT e pelas agências franqueadas, conforme avaliação dos clientes organizacionais de ambas as categorias de unidades de atendimento postal. O referido estudo delimita a população que é estudada como sendo a de clientes pessoas jurídicas das agências de correio. A população-alvo que interessa ao presente trabalho compreende o conjunto de organizações que se utilizam dos serviços das agências dos correios no Brasil, tanto os clientes das unidades próprias da ECT, quanto os clientes das unidades franqueadas.

Daquela população-alvo optou-se por selecionar uma amostra de conveniência de 6.000 empresas localizadas nas diversas regiões do território brasileiro, utilizando como frame o banco de dados DUNS CONE SUL - GUIA DE NEGÓCIOS, organizado e comercializado pela DUN & BRADSTREET. Este banco de dados contém informações a respeito de cerca de 17.000 organizações integrantes da subregião denominada Cone Sul - Brasil, Argentina, Chile, Paraguai e Uruguai.(⁴⁾

Dessa amostra inicial foram eliminadas, de modo descricionário, 122 organizações julgadas pouco relevantes em termos de utilização de serviços postais (empresas de ônibus, por exemplo). A amostra final ficou constituída de 5.878 organizações para as quais se enviou uma carta de apoio institucional do COPPEAD/UFRJ, com informes a respeito do propósito do estudo, e o questionário da pesquisa.

Dado o propósito de o estudo abranger todo o território brasileiro, no que diz respeito à pesquisa da qualidade percebida do serviço postal, o método de coleta de dados primários através de mail survey foi considerado o mais adequado. Estudos de idêntica natureza empregando mail survey para a coleta de dados são encontrados na literatura revisada.⁽⁵⁾ Foram recebidas 540 respostas consideradas válidas para os fins do estudo.

O instrumento utilizado para a coleta de dados primários foi o questionário, cuja construção obedeceu às seguintes etapas:

• levantamento de atributos genéricos de qualidade de serviços encontrados na literatura revisada;

• adaptação dos atributos genéricos levantados às características específicas do serviço de atendimento postal;

• entrevistas pessoais (com executivos da ECT, proprietários de agências franqueadas, gerentes de agências próprias da empresa, empregados da ECT considerados especialistas em serviços de atendimento postal e clientes pessoa-jurídica dos serviços de correios) visando a investigar atributos importantes para os usuários dos correios (pessoas jurídicas) e específicos para a situação brasileira;

• seleção de dados demográficos das organizações respondentes que seriam incluídos no questionário, bem como escolha de outras informações pertinentes ao escopo do estudo;

• escolha do questionário no formato de três colunas(⁶⁾ para apresentação dos atributos do serviço postal, correspondentes aos três níveis de prestação do serviço investigados: desejado, percebido e aceitável (ou mínimo tolerável);

• estudo e exame de lay-outs alternativos de questionários, procurando encontrar a melhor apresentação visando a compatibilizar extensão mínima do instrumento e máxima clareza de redação, de modo que se facilitasse o trabalho do respondente e se aumentasse a confiabilidade das respostas obtidas;

• teste da versão inicial do questionário junto a clientes organizacionais da ECT e solicitação da opinião de experientes pesquisadores quanto à versão em teste;

• elaboração da versão definitiva do questionário da pesquisa, com incorporação das sugestões e críticas apresentadas na etapa anterior e julgadas pertinentes.

Com o duplo propósito de atenuar e de investigar a ocorrência de possíveis tendenciosidades decorrentes da ordem de apresentação dos atributos, foram elaboradas quatro versões do questionário definitivo, com diferentes ordenações das características do serviço postal. Essas quatro versões foram assim definidas:

Versão 1 - trinta e nove atributos apresentados em ordem alfabética crescente, conforme consta da Tabela 1;

Versão 2 - trinta e nove atributos apresentados em ordem alfabética decrescente;

Versão 3 - vinte e quatro atributos da página de frente do questionário versão 1 colocados em ordem alfabética decrescente e mantida a ordem dos quinze outros atributos colocados na página de verso do questionário versão 1;

Versão 4 - quinze atributos da página de verso do questionário versão 1 colocados em ordem alfabética decrescente e mantida a ordem dos vinte e quatro outros atributos colocados na página de frente do questionário versão 1.

Comentam-se, a seguir, os principais aspectos da estrutura do questionário da pesquisa relacionados à avaliação dos atributos do serviço de atendimento postal e à coleta de dados a respeito do grau de importância relativa dos atributos.

Atributos do serviço de atendimento postal

Conforme já descrito anteriormente nesta mesma seção, adotou-se o questionário no formato de três colunas para obtenção das expectativas e das percepções dos respondentes quanto a cada um dos atributos listados.

Manteve-se a escala de respostas de nove pontos apresentada no instrumento SERVQUAL revisado, que objetiva, conforme Parasuraman et al (1994, p.205), oferecer ao respondente maior amplitude de possibilidades de avaliação, dado o interesse de captar, nesse caso, dois diferentes níveis de expectativas. Acrescentou-se, também seguindo sugestão apresentada por esses autores (p. 205), a alternativa N, para o caso em que o respondente julgue não ter como opinar, após os nove pontos da coluna referente ao nível percebido do serviço.

Julgou-se conveniente, por fim, fazer preceder a apresentação dos trinta e nove atributos pesquisados de um exemplo ilustrativo do preenchimento, como forma de orientação ao respondente quanto ao modo correto de assinalar suas respostas. Mostra-se, a seguir, um exemplo de uma das características do serviço postal, constante do questionário, acompanhada das respectivas escalas para melhor compreensão do procedimento adotado.

Deste modo, a faixa compreendida entre o escore atribuído pelo respondente ao nível de serviço mínimo aceitável e aquele correspondente ao nível de serviço desejado representa a operacionalização do conceito de faixa de tolerância das expectativas do usuário do serviço postal. A localização do ponto correspondente ao escore atribuído ao nível percebido do serviço, dentro da faixa de tolerância, possibilita obter-se a operacionalização do constructo qualidade percebida do serviço.

Importância dos atributos

Para possibilitar a ponderação dos atributos pelo grau de importância relativa, solicitou-se, no questionário, que o respondente indicasse, de acordo com sua opinião, os seis atributos mais importantes dentre os 39 apresentados. A forma de tratar os resultados encontrados serão discutidas posteriormente neste trabalho. Mostra-se, a seguir, a forma com que tal questão foi introduzida na pesquisa:

• Usando os números das 39 características listadas acima, indique, abaixo, as seis mais importantes, na sua opinião, por ordem de importância:

Mais Importante [__] [__] [__] [__] [__] [__] Menos Importante

Tratamento e Análise dos Dados

Diante das lacunas apontadas na literatura metodológica e das dificuldades relatadas nas aplicações práticas, utilizou-se, no presente estudo, um novo método de obtenção dos pesos (dos atributos pesquisados) capaz de atenuar as dificuldades apontadas anteriormente (Leite, 1996). Esse novo método procura evitar (a) a inferência de pesos dos atributos a partir dos pesos das dimensões (subjacentes) da qualidade (Parasuraman et al. , 1990, p. 43) e (b) exigir do respondente a ordenação, em termos de importância, dos 39 atributos do serviço postal pesquisado; essa quantidade de atributos é, sem dúvida, segundo qualquer critério razoável, um número muito elevado de alternativas a ordenar.

O método consistiu em solicitar ao respondente, como se mostrou anteriormente, que ordenasse, por ordem decrescente de importância, conforme sua opinião, os seis atributos mais importantes dentre os 39 apresentados no questionário da pesquisa.⁽⁷⁾ Para cada um dos atributos, foram então computados os votos obtidos do conjunto dos respondentes em que aquele atributo foi considerado como o mais importante, depois como o 2º mais importante, como o 3º mais importante, e assim por diante, até chegar à quantidade de votos que obteve como 6º atributo mais importante. A quantidade de votos que o atributo obteve, então, como o mais importante foi ponderada com peso 6, o número de votos que obteve como o 2º mais importante recebeu peso 5, e assim por diante, até ponderar-se com peso 1 o total de votos que o atributo recebeu na condição de 6º mais importante no julgamento dos respondentes.

Para cada um dos atributos, chegou-se então ao somatório das quantidades de votos ponderados pelos pesos anteriormente descritos. Fazendo o somatório ponderado dos 39 atributos, chegou-se a um valor global que foi associado ao número 100. Tomando-se, então, um a um, o somatório ponderado de cada atributo, chegou-se ao peso do atributo proporcionalmente ao peso total 100.

Assim, a ordenação desses pesos relativos dos atributos, originada em rankings parciais com apenas seis posições, possibilitou a obtenção da ordem total segundo a importância dos 39 atributos. Apenas um empate no somatório ponderado de votos ocorreu, envolvendo os atributos classificados em 17º e 18º lugar. O critério adotado para desempatar foi o de verificar o maior número de votos obtidos pelo atributo na maior gradação de importância. Assim, foi verificada, inicialmente, a quantidade de votos que cada um desses atributos recebeu na condição de atributo mais importante. Novamente ocorreu o empate nesse total parcial de votos. Verificou-se, então, a quantidade de votos que cada um desses dois atributos recebeu na condição de 2º atributo mais importante. Nesse total parcial de votos, obteve-se, então, o desempate entre os dois atributos em questão.

Para ilustrar o método adotado para estabelecimento dos pesos dos 39 atributos, apresenta-se, na Tabela 1, como exemplo, os totais de votos obtidos pelo atributo Segurança nas Transações, considerado pelos respondentes, de acordo com o critério de ponderação utilizado, como sendo o mais importante dentre todos os pesquisados.

De posse do total geral de votos ponderados para os 39 atributos - 11.025⁽⁸⁾ - chega-se ao peso do atributo Segurança nas Transações como sendo igual a 10,68 (1178/11025). Deste modo o somatório dos pesos dos 39 atributos totaliza 100 pontos e cada peso representa a importância relativa do atributo no conjunto de características pesquisadas conforme a percepção dos respondentes. No caso do atributo Segurança nas Transações, o peso atribuído foi de 10,68%. Os demais pesos podem ser obtidos de forma análoga. Esses pesos podem ser utilizados, conforme sugerem diversos autores, para a obtenção do constructo qualidade percebida ponderada de serviços.

Apresenta-se na Tabela 2, a ordem de importância dos 39 atributos, juntamente com os respectivos pesos, obtidos pela aplicação do método anteriormente descrito.

Teste da Hipótese

O objetivo básico deste trabalho consiste, então, em testar a hipótese enunciada na introdução desta seção a respeito da possibilidade de existência de diferentes avaliações dos respondentes quanto à importância relativa dos atributos pesquisados em função do uso de diferentes questionários com ordenações distintas dos atributos. Este objetivo poderia ser cumprido através de pelo menos três caminhos ⁽⁹⁾ :

1) com a aplicação de testes estatísticos, de preferência multivariados, das diferenças das médias dos atributos entre os quatro tipos distintos de questionário;

2) com a aplicação de testes da estrutura fatorial, investigando se os diferentes tipos de questionários engendram a mesma agregação das dimensões implícitas à percepção da qualidade do serviço; ou

3) com a aplicação de testes de correlação entre números de votos (Pearson), ou entre ordenações (Spearman, Kendall), correspondentes às distintas versões das seqüências de atributos.

Optou-se, no presente trabalho, pela aplicação dos testes (mais simples) do terceiro tipo, ou seja, analisar o efeito da ordem mediante o teste de coeficientes de correlação bivariada.⁽¹⁰⁾

RESULTADOS

Para aplicação dos Testes de Correlação Bivariada foram utilizados os totais ponderados de votos recebidos por cada atributo, em cada versão do questionário, que são mostrados na Tabela 3.⁽¹¹⁾ Estes totais foram usados não apenas diretamente, mas também para colocar em ordem os 39 atributos. Como se sabe, a ordenação é um procedimento mais resistente a erros (de amostragem ou de mensuração) do que os totais que lhe servem de base; além disso, o teste para o coeficiente de correlação ordinal independe de hipóteses sobre a distribuição das duas variáveis envolvidas, sendo preferível para pequenas amostras (o que não é o caso, aqui).

Mostram-se nas Tabelas 4 e 5 os coeficientes de correlação de Pearson e de Spearman calculados para as quatro distintas versões de questionários, que abrangem os 39 atributos pesquisados do serviço de atendimento postal. Todos os coeficientes encontrados mostramse significativamente diferentes de zero em nível menor que 0,01%. Os resultados encontrados levam, portanto, à rejeição da hipótese nula da pesquisa. Em outras palavras, os resultados indicam que a ordem das questões não implica alteração na ordenação dos atributos, quando se leva em conta o número total ponderado de votos recebidos por cada atributo na condição de um dos seis atributos mais importantes.

RESUMO E CONCLUSÕES

O presente trabalho teve como principal objetivo investigar o efeito de ordem em pesquisa de qualidade de serviços, contendo escalas numéricas para avaliação dos atributos. A aplicação empírica tomou por base uma pesquisa conduzida em âmbito nacional junto a uma amostra de organizações usuárias dos serviços de correios. A investigação do efeito de ordem foi realizada com a aplicação de quatro distintas versões de questionários da pesquisa em cada uma das quais estava propositalmente alterada a ordem de apresentação dos atributos do serviço estudado. Procurou-se obter, então, a avaliação dos respondentes quanto ao grau de importância das características do serviço postal investigadas; esta classificação (ranking) dos atributos pesquisados foi empregada para testar o efeito de ordem.

Tendo como base o número de votos dados pelos respondentes a cada um dos 39 atributos, aplicaram-se testes da correlação bivariada, que apresentaram coeficientes positivos e significantes. Portanto, não foi possível verificar, no presente estudo, a existência do denominado efeito de ordem, rejeitando-se a hipótese de que o julgamento da importância (ranking) dos atributos se altere devido à seqüência em que as escalas de avaliação aparecem no questionário da pesquisa.

Um objetivo secundário do presente estudo foi o de apresentar um novo método de ponderação das características da qualidade de determinado serviço que procurasse contornar as críticas encontradas na literatura a respeito dos métodos existentes de atribuição de pesos relativos (importância). Este novo método foi ilustrado com a pesquisa relativa ao serviço de atendimento postal citada anteriormente.

O estudo tem várias limitações. Primeiro, trata-se de um tipo bem específico de serviço; apesar da existência de unidades franqueadas, o serviço é prestado sob a égide do setor público, do que podem decorrer particularidades no atendimento e na produtividade, por exemplo. Por outro lado, a cobertura nacional e a importância do serviço sustentam assim mesmo o interesse de analisá-lo. Segundo, os respondentes são empresas, o que, em certo sentido, autoriza a supor que o processo de comunicação via questionário (e, claro, os eventuais erros que possam ocorrer neste processo) deve diferir - seja no que se refere ao interesse em responder, seja na lista de atributos - do caso em que os clientes são indivíduos. Terceiro, na composição da amostra não se procurou qualquer consistência em termos de distribuição geográfica, por tamanho ou por setor de atuação. Quarto, a pesquisa pressupõe que os 39 atributos representam exatamente tudo que se precisa sobre a percepção dos atributos determinantes da qualidade, e que seis deles bastam para, através de um particular esquema de ponderação, obter a ordenação completa sem precisar pedir uma ordenação simultânea de todos os atributos. Quinto, foram somente quatro as (diferentes) maneiras de posicionar as escalas no questionário, sem preocupação com a utilização de diversificar e/ou aleatorizar tais escolhas. Finalmente, apenas os testes mais fáceis foram efetuados.

A despeito de tantas limitações, o presente estudo permite propor algumas conclusões sugestivas. Sob a condição de que os 39 atributos constituam representação adequada da qualidade dos serviços postais, o trabalho mostrou que a ordem de importância dos atributos - calculada a partir do esquema de ponderação aqui definido - não depende da localização das respectivas escalas no questionário de pesquisa. Por conseguinte, é possível estender a lista básica de 22 atributos, na versão de três colunas das escalas Servqual, de modo a adequar sua aplicação a contextos específicos, e fazer uma escolha robusta dos atributos mais importantes, sem temer a complexidade (de comunicação) decorrente do aumento da lista. Do ponto de vista empírico, sempre será prudente, é claro, distribuir diferentes versões de um questionário; para tais casos, este estudo oferece uma forma de preparar a seleção dos atributos mais importantes e um procedimento para controlar ex post o efeito da ordem. O que é mais interessante, enfim, é poder idealmente administrar o mesmo formato para todos os respondentes, desde que se cumpram as condições aqui alertadas.

NOTAS

Frederico A. de Carvalho, é Professor Adjunto do COPPEAD da Universidade Federal do Rio de Janeiro. Doutor pela Universidade Católica de Louvain e Mestre pela Universidade Real de Antuérpia. Atua nas áreas de Marketing de Serviços e Pesquisa de Marketing, desenvolvendo estudos e orientando dissertações e teses.

Endereço: Rua Moura Brasil, 31, apt. 401, Laranjeiras, 22231-200, Rio de Janeiro-RJ, Brasil. e-mail: [e-mail]

Valdecy Faria Leite, é Professor Adjunto da Faculdade IBMEC do Rio de Janeiro-RJ. Doutor e Mestre pela Universidade Federal do Rio de Janeiro. Seu interesse geral é em Marketing, focalizando suas pesquisas nas áreas de serviços, seguros, comportamento do consumidor e Marketing pela internet.

Endereço: não fornecido.

• AAKER, D. A., DAY, G. S. Marketing research 4.ed. New York: John Wiley & Sons, 1990.
• BELSON,W.A. The effets of reversing the presentation order of verbal rating scales. Journal of Advertising Research, v.30, p.30-37, 1966.
• CARMAN, J. M. Consumer perceptions of service quality: an assessment of the SERVQUAL dimensions. Journal of Retailing, v.66, n.1, p.33-55, 1990.
• CARVALHO, F. A. de, LEITE, V. F. A ótica do cliente na administração da qualidade de serviços: o modelo dos cinco hiatos revisitado. In: XXX Assembléia do CLADEA, São Paulo, 1995. Anais ... São Paulo: CLADEA, 1995, p. 640-648.
• CARVALHO, F. A. de, LEITE, V. F. Pesquisa de marketing : a ordem das questões altera o resultado? In: XX Encontro Anual da ANPAD, Angra dos Reis, 1996. Anais ... Rio de Janeiro: ANPAD, 1996, v.8.
• FERBER, R. Order bias in a mail survey. Journal of Marketing, v.17, p.171-178, 1952.
• GROSS, E. J. The effect of question sequence on measuring of buying interest. Journal of Advertising Research, v.4, p.40-41, 1964.
• HERZOG, A. R., BACHMAN, J. G. Effects of questionnaire length on response quality. Public Opinion Quarterly, v.45, p.549-559, 1981.
• JAIN, A. K., PINSON, C. The effect of order of presentation of similaritiy judgments on multidimensional scaling results: an empirical examination. Journal of Marketing Research, v.XII, p.435-439, 1976.
• KOTLER, P., LILIEN, G. L., MOORTHY, K. S. Marketing models Englewood Cliffs: Prentice-Hall, 1992.
• LEITE, V. F. A adoção do sistema de franquia nos Correios do Brasil - um estudo sobre qualidade e produtividade no setor público. Rio de Janeiro, 1996. Tese de Doutorado - COPPEAD/Universidade Federal do Rio de Janeiro.
• MANLY, B. F. J. Multivariate statistical methods - a primer. London: Chapman & Hall, 1986.
• MARTON-WILLIAMS, J. Questionnaire design. In: WORCESTER, R., DOWNHAM, J. (orgs.). Consumer market research handbook 3.ed. London: McGraw-Hill, 1986.
• MARTON-WILLIAMS, J. NORC (National Opinion Research Center). Placement of questions on the ballot Denver: University of Denver, 1946.
• PARASURAMAN, A., ZEITHAML, V. A., BERRY, L. L. Alternative scales for measuring service quality: a comparative assessment based on psychometric and diagnostic criteria. Journal of Retailing, v.70, n.3, p.201-230, 1994.
• PAYNE, J. D. The effects of reversing the order of verbal rating scales in a postal survey. Journal of the Marketing Research Society, v.14, p. 30-44, 1972.
• QUINN, S. B., BELSON, W. A. The effects of reversing the order of presentation of verbal rating scales in survey interviews London: Survey Research Centre/ LSE, 1969.
• RAMOND, C. When questions create answers. In: AAKER, DAY,1990.
• ROSS, R. T. Optimum orders for the presentation of pairs in the method of paired comparison. Journal of Educational Psychology, v.25, p.375-382, 1934.
• RUGG, D., CANTRIL, H. The wording of questions in public opinion polls. Journal of Abnormal and Social Psychology, v.37, p.469-495, 1942.
• ZEITHAML, V. A., PARASURAMAN, A., BERRY, L. L. Delivering quality service: balancing customer perceptions and expectations. New York: Free Press, 1990.

1

Esta seção baseia-se em Carvalho & Leite (1995).

2

Por exemplo, um questionário longo pode desanimar o respondente, dificultar suas respostas ou criar viés de posição (favorecendo as respostas mais

cômodas).

3

No momento os autores estão investigando diversos aspectos associados ao fato de escolher

apenas k ( 1

<

k

< p - 2) dentre os

p atributos a ordenar.

4

Tais organizações são consideradas pelos responsáveis pela compilação das informações como sendo as principais empresas líderes em seus respectivos ramos de negócio. A publicação não explicita os critérios adotados pelo editor para qualificar as empresas como sendo "

principais e líderes em seu ramo de negócios". Para o propósito do estudo desenvolvido em Leite (1996) considerou-se, no entanto, tal informação pouco relevante dado que mais importante do que dados sobre o

faturamento da empresa, por exemplo, seria o

volume de postagem ou de

despesas com o correio, o que foi levantado diretamente por meio do questionário da pesquisa.

5

Ver, como exemplo, o estudo de Parasuraman

et al. (1994) a respeito de escalas alternativas para mensuração da

qualidade percebida do serviço.

6

Conforme recomendação contida em Parasuraman

et al. (1990), visando a operacionalização do conceito de

faixa de tolerância de expectativas.

7

Segundo Kotler

et al. (1992, p.79-80)

cinco parece ser o tamanho mediano do conjunto de alternativas que um consumidor consegue analisar na maioria dos testes com produtos. Por analogia, optou-se, neste trabalho, pela ordenação dos seis atributos mais importantes dentre os 39 pesquisados.

8

A tabela que possibilita visualizar este somatório geral de votos ponderados para todos os 39 atributos pesquisados não é apresentada neste trabalho, mas está disponível em Leite (1996).

9

Na verdade, como existe tendenciosidade esperada no sentido de que o atributo que aparece antes deva ser mais

votado, é possível que o teste de Van Valen (Manly, 1986, cap. 3) seja particularmente adequado no contexto aqui examinado.

10

As outras duas classes de testes estão sendo desenvolvidas no momento da redação deste trabalho.

11

Em trabalho anterior (Carvalho & Leite, 1996) haviam sido utilizados os totais de votos recebidos por cada um dos atributos na condição de atributo mais importante (ou seja, como

primeiro na lista de seis).

Datas de Publicação

• Publicação nesta coleção
  24 Abr 2009
• Data do Fascículo
  Abr 1997