A Teoria da Resposta ao Item: possíveis contribuições aos estudos em marketing

The Item Response Theory: possible contributions to marketing studies

A Teoria da Resposta ao Item: possíveis contribuições aos estudos em marketing

The Item Response Theory: possible contributions to marketing studies

Danielle Ramos de Miranda Pereira^I; Marcelo de Rezende Pinto^II

^IFundação João Pinheiro – FJP, Minas Gerais, Alameda das Acácias, 70, São Luiz, Belo Horizonte, MG, e-mail: [e-mail]

^IIDepartamento de Administração, Pontifícia Universidade Católica de Minas Gerais – PUC-Minas, Av. Afonso Vaz de Melo, 1200, Barreiro, Belo Horizonte, MG, e-mail: [e-mail]

RESUMO

A constatação da ampla utilização de escalas multidimensionais por parte dos pesquisadores da área de marketing motivou a elaboração de um artigo com o propósito de discutir a aplicação da Teoria da Resposta ao Item (TRI), bem como apresentar a essa área um método que tem se mostrado bastante eficaz na estimação de construtos comportamentais. Sendo assim, o artigo apresenta uma discussão sobre a TRI, ressaltando seus avanços em relação à Teoria Clássica do Teste (TCT) e suas aplicações tradicionais no campo da psicometria e da avaliação educacional. Para verificar sua aplicabilidade nos estudos de marketing, julgou-se adequado conduzir uma aplicação prática da TRI em um estudo envolvendo uma escala já bastante utilizada pelos pesquisadores – a de orientação de mercado (Escala MkTor) proposta por Narver e Slater (1990). Os resultados da aplicação demonstraram que, embora o modelo da TRI proposto possa ser considerado satisfatório para a aplicação no contexto da Orientação para o Mercado, existem muitos desafios a serem enfrentados por novos estudos como a construção de uma escala com interpretação prática, indicando o que significa para uma empresa possuir um nível de maturidade associado a um determinado construto. As considerações finais ressaltam que a grande contribuição do artigo aos estudos em marketing é a apresentação de um método alternativo para estimar de forma mais apurada os construtos e avaliar a qualidade dos itens das escalas.

Palavras-chave: Teoria da Resposta ao Item. Análise de traço latente. Medição e escalonamento. Métodos quantitativos em marketing. Orientação para o mercado.

ABSTRACT

The widespread utilization of multidimensional scales by researchers in field of marketing have motivated the conduction of a study to discuss the application of the Item Response Theory (IRT) as well as presenting a method that has proved very effective in the estimation of behavioral constructs. Therefore, this article presents a discussion about IRT highlighting its advances regarding the Classical Theory of Tests (CTT) and its traditional applications in the fields of psychometrics and educational evaluation. To verify its applicability in marketing studies, the IRT modeling was applied in a study involving a scale that has been widely used by researchers – Market Orientation (MkTor Scale) – proposed by Narver and Slater (1990). The results of the application demonstrated that even though the IRT model proposed can be satisfactorily applied in the Market Orientation context there are many challenges to be faced, such as the construction of a scale with practical interpretation, indicating the significance of having the level of maturity associated with a specific construct. The final consideration emphasizes that the great contribution of this article to marketing studies is the presentation of an alternative method to estimate the constructs in a more detailed way and to evaluate the quality of the items in the scale.

Keywords: The Item Response Theory. Latent trait analysis. Measurement and scaling. Quantitative methods in marketing. Market orientation.

1 Introdução

Ainda que se perceba um expressivo uso de técnicas quantitativas nos estudos do campo do marketing nas últimas décadas, é interessante enfatizar que a área foi uma das últimas da atividade de gerenciamento a ser tratada com métodos e técnicas quantitativas de um modo sistemático. Este relativo atraso no progresso dos métodos quantitativos no marketing pode ser atribuído aos seguintes fatores: complexidade dos fenômenos de marketing; efeitos de interação entre as variáveis; problemas de predição e instabilidade das relações de marketing (MOUTINHO; MEIDAN, 2005).

Na visão destes autores, os métodos multivariados de marketing são as técnicas predominantes, não somente por causa da vasta variedade de técnicas flexíveis que estão disponíveis, mas principalmente porque elas atendem, de forma relativamente satisfatória, às necessidades mais importantes da pesquisa de marketing, que é adquirir a capacidade de analisar dados complexos, muitas vezes inter-relacionadas e interdependentes.

Também é amplamente sabido que boa parte dos pesquisadores em marketing, quase sempre, lança mão, como instrumento de coleta de dados de seus estudos, de escalas multidimensionais para mensurar algum tipo de construto como satisfação dos clientes, grau de orientação para o mercado, entre diversos outros. A grande questão que esta constatação suscita é a confiabilidade das conclusões desses estudos que está diretamente associada à validação do instrumento de medição, ou seja, do questionário ou da escala utilizada. De acordo com autores "clássicos" como Cronbach (1951) e Nunnally (1967), a validação do instrumento de medição envolve a análise da consistência interna das escalas (confiabilidade), da correlação de cada item com cada escala (análise detalhada do item) e da capacidade do item em medir aquilo que pretende (validade).

Vale ressaltar que muito do que hoje se utiliza no marketing em termos de medição dos construtos teve sua origem na Psicometria Clássica e mais precisamente baseada na Teoria Clássica dos Testes (TCT). Esta teoria leva em consideração o instrumento como um todo (escores totais), o qual depende intrinsecamente do objeto medido, ou seja, os testes são dependentes dos itens que os compõem. É daí que vem a ideia amplamente difundida entre os pesquisadores de marketing de utilizar a chamada "escala somada" ou o escore do construto que é simplesmente a soma das medidas dos itens que compõem a escala, sem se preocupar em estabelecer que os itens possam ter "pesos" diferentes e contribuir de forma diferenciada para a estimação do construto.

Nesse contexto, a Teoria da Resposta ao Item (TRI), baseada nos estudos de diversos autores como Richardson (1936), Lawley (1944), Tucker (1946) e Lazarfeld (1950) e tradicionalmente aplicada a testes de inteligência em Psicologia e a testes de desempenho educacional (PASQUALI; PRIMI, 2003), pode representar um avanço na estimação dos construtos de interesse na área de marketing. Isso porque, diferentemente da Teoria Clássica do Teste (TCT), a estimação dos construtos na perspectiva da TRI leva em conta não somente a quantidade de itens, mas também as características (ou parâmetros) desses itens. Dessa forma, é possível obter estimativas mais apuradas do construto de interesse, avaliar a qualidade dos itens que compõem a escala e, consequentemente, a qualidade da escala adotada na mediação do construto.

Sendo assim, surgiu o interesse em elaborar um artigo com o propósito de discutir a aplicação da TRI nos estudos em marketing, a fim de estabelecer uma contribuição no sentido de estimar de forma mais apurada os construtos utilizados neste campo. Para isso, tornou-se necessária a elaboração de uma discussão relevante sobre a TRI, ressaltando seu surgimento e suas aplicações tradicionais no campo da avaliação educacional. A fim de verificar sua aplicabilidade nos estudos de marketing, julgou-se adequado conduzir uma aplicação prática da metodologia em um estudo envolvendo a utilização de uma escala já bastante utilizada pelos pesquisadores de marketing – a de orientação de mercado (Escala MkTor) proposta por Narver e Slater (1990).

Esta escala busca mensurar, por meio de uma série de 15 questões, a orientação para o mercado da empresa entendida como uma cultura empresarial que estimula comportamentos necessários à criação de valor superior ao cliente. Assim, a orientação para o mercado é constituída de três componentes comportamentais: 1) orientação para o cliente – envolve a compreensão das necessidades e expectativas presentes e futuras do mercado-alvo; 2) orientação para os concorrentes – pressupõe que a empresa conheça as forças e fraquezas de curto prazo, bem como as capacidades e estratégias de longo prazo, dos seus concorrentes atuais e potenciais; e 3) coordenação interfuncional – compreende a utilização coordenada dos recursos da empresa para gerar valor superior para os consumidores-alvo.

Não obstante o desafio de discutir um assunto altamente complexo, vale destacar o caráter pioneiro deste trabalho, uma vez que o presente trabalho pode contribuir para o preenchimento desta lacuna nos estudos em marketing, bem como fomentar novas discussões no tocante a uma melhor estimação dos construtos nesse campo.

2 A Teoria da Resposta ao Item: surgimento e aplicações tradicionais

A Teoria da Resposta ao Item (TRI), que teve início com os trabalhos de Lord (1952) e de Rasch (1960), vem complementar a Teoria Clássica do Teste (TCT) à medida que supera suas principais limitações. Essas teorias são tradicionalmente aplicadas a testes de inteligência em psicologia e a testes de desempenho educacional.

As principais limitações da TCT estão associadas à dependência do construto (traço latente, isto é, variável hipotética não observável ou aptidão) em relação aos itens do teste (test-dependent) e à dependência das estatísticas dos itens em relação ao grupo de respondentes (subject-dependent), diferentemente da TRI cujas principais vantagens foram sintetizadas por Fletcher (1994, p. 24):

[...] talvez o aspecto mais importante da nova teoria é a promessa de fornecer medidas invariantes do desempenho cognitivo, que não dependem dos itens que compõem a prova ou das pessoas investigadas na amostra. [...] A calibração fornece a cada item parâmetros que caracterizam suas qualidades técnicas, independentes da população investigada. [...] Sendo invariantes, eles não dependem da amostra selecionada para fins de calibração. Sendo invariantes, podem ser aplicados a qualquer outra população, proporcionando resultados na mesma escala de habilidade.

Ademais, enquanto na TCT o escore da aptidão é simplesmente a soma dos itens que o respondente acertou, a TRI considera na estimação do construto não somente os itens que foram respondidos corretamente, mas também as características (ou parâmetros) desses itens, estimando de forma mais apurada o traço latente, ou seja, a variável hipotética não observável.

Embora as propriedades dos itens (ou questões), especificamente a confiabilidade (consistência interna da escala), a análise do item e a validade do construto sejam avaliadas na TCT, nessa teoria a análise do construto enfatiza o teste como um todo. Por sua vez, a TRI enfatiza os itens como elementos centrais da análise, o que constitui uma das principais vantagens em sua utilização (ANDRADE; TAVARES; VALLE, 2000).

Diferentemente do que ocorre na TRI, o fato de a TCT não enfatizar o item como elemento central da análise leva a um grave problema na interpretação da discriminação do item. Na teoria clássica, a interpretação da discriminação do item é realizada por intermédio de coeficientes de correlação, sendo, portanto, baseada no escore total do teste. Conforme alertam Pasquali e Primi (2003, p. 100):

Tal procedimento incorre numa incongruência lógica, pois a discriminação de cada item é testada contra o escore total que é constituído por todos os itens do teste, inclusive o item que se está analisando. Isto supõe que os outros itens, pelo menos, sejam adequados. Mas se o são, então por que se fazer a análise? E se não o são, então a análise está simplesmente falha, errada.

Na apresentação da TRI, vale destacar os tipos de análise fatorial ilustrada no Quadro 1, classificada como uma análise fatorial do tipo Análise de Traço Latente. Este tipo de análise fatorial busca estimar um fator latente (por exemplo, comportamento, aptidão ou habilidade), ou seja, uma característica não observável diretamente por meio de um conjunto de variáveis categóricas observadas (itens de um teste). Em outras palavras, nos modelos de traço latente, os itens de um teste constituem o comportamento que o indivíduo expressa em suas respostas.

Dessa forma, a TRI pode ser definida como um conjunto de modelos matemáticos que procuram representar a probabilidade de um indivíduo "acertar" um item em função das características (ou parâmetros) desse item e do seu nível de aptidão. Esses modelos são baseados em dois axiomas preliminares:

1) o desempenho do indivíduo numa tarefa (item de um teste) é função de um conjunto de traços latentes ou aptidões;

2) a relação entre o desempenho e os traços latentes pode ser descrita por uma equação matemática monotônica crescente, chamada de Curva Característica do Item (CCI).

Vale considerar, ainda, os pressupostos da unidimensionalidade e da independência local. A unidimensionalidade consiste em admitir a existência de uma aptidão dominante responsável pela realização de um conjunto de tarefas (itens de um teste). Essa aptidão é o fator dominante supostamente medido pelo teste. Embora qualquer desempenho humano pareça sempre multideterminado, uma vez que mais de um traço latente entra na execução de qualquer tarefa, para satisfazer o postulado da unidimensionalidade é suficiente admitir a existência de uma aptidão dominante (um fator ou traço dominante) responsável pelo desempenho num conjunto de itens de um teste.

Por sua vez, o pressuposto da independência local permite afirmar que, para um respondente com uma dada aptidão, a probabilidade de um padrão de respostas a um conjunto de itens é igual ao produto das probabilidades desse indivíduo responder da mesma forma a cada um dos itens individualmente. Em outras palavras, as respostas de um indivíduo são independentes. Isso significa que, de acordo com a independência local, o desempenho do indivíduo num item não afeta o seu desempenho nos demais itens, porque cada um deles é respondido exclusivamente em função do fator dominante.

Matematicamente, essa propriedade é descrita da seguinte forma: Para o j-ésimo respondente, seja x_i = 1 a resposta correta ao i-ésimo item e x_i = 0 a resposta incorreta. Seja P_j(X_i = x_i| q_j ) a probabilidade de ocorrência da resposta x_i dada pelo j-ésimo respondente com aptidão q_j e P_j (X₁ = x₁, X₂ = x₂,..., X_p = x_p |q,) a probabilidade da resposta conjunta x₁,x₂,...,x_p aos p itens do teste. A hipótese de independência local consiste em:

para todo respondente j.

Embora pareça inesperado que as respostas de um mesmo indivíduo não estejam correlacionadas, a independência local significa que a existência de qualquer correlação é devida à influência de outros fatores que não são o dominante. Se esses outros fatores forem controlados (mantidos constantes), o fator dominante será a única fonte de variação e as respostas do indivíduo serão independentes, porque ele responde exclusivamente em função do nível da aptidão dominante medida pelo teste. Assim, a independência local implica em unidimensionalidade, já que a única causa da resposta do indivíduo é o fator dominante supostamente medido pelo teste (LORD, 1980; LORD; NOVICK, 1968).

Pode-se afirmar que a TRI vem sendo muito utilizada na avaliação da qualidade da educação que pode ser medida a partir do desempenho dos alunos nas determinadas áreas do conhecimento. Outras áreas também têm demonstrado grande interesse na aplicação dessa teoria, culminando no surgimento de trabalhos na área de administração como, por exemplo, a investigação do nível de satisfação dos clientes de uma empresa pública (BAYLEY, 2001). No Brasil, ainda que sua utilização possa ser amplamente verificada em estudos na área de educação, em outros campos, como na administração, o uso da TRI pode ser considerado modesto. Cabe citar alguns poucos trabalhos, como, por exemplo, a estimação do nível de satisfação dos alunos dos cursos de tecnologia (BORTOLOTTI; ANDRADE, 2007) e o estudo do nível de maturidade das organizações quanto à adoção de práticas de gestão pela qualidade (CARNEIRO ALEXANDRE et al., 2002). Nos estudos de marketing, contudo, a TRI ainda permanece desconhecida, visto que, conforme já comentado na introdução deste artigo, não foi encontrado nenhum trabalho que sequer faça menção a esta temática nos principais veículos de divulgação do conhecimento em marketing em nosso país.

2.1 O modelo logístico de três parâmetros

Inicialmente, os modelos da TRI foram baseados na distribuição normal acumulada (ogiva normal), sendo mais tarde substituídos pela função logística, matematicamente mais conveniente para trabalhar. Os modelos logísticos para itens dicotômicos são os mais comuns, podendo variar em função do número de parâmetros de item considerados:

• 1) Modelo logístico de três parâmetros (a dificuldade, a discriminação e o acerto casual);

• 2) Modelo logístico de dois parâmetros (a dificuldade e a discriminação); e

• 3) Modelo logístico de um parâmetro (a dificuldade).

O modelo logístico de três parâmetros, que é bastante utilizado em avaliação educacional, pode ser definido de acordo com a seguinte Equação 2 (HAMBLETON, 1993):

em que:

i representa a i-ésima questão (ou item) da prova (ou teste) no conjunto das p questões que medem o constructo da habilidade (ou proficiência);

j representa o j-ésimo aluno no conjunto dos n alunos;

Xij é uma variável dicotômica que assume o valor 1 (um) quando o j-ésimo aluno responde corretamente a i-ésima questão da prova, ou assume 0 (zero) quando o j-ésimo aluno responde corretamente a i-ésima questão da prova;

θj representa o nível da habilidade (ou proficiência) do j-ésimo aluno quanto ao seu conhecimento em uma determinada área, não sendo diretamente observável;

P(Xij = 1|θj) é a probabilidade de o j-ésimo aluno com nível de habilidade θ responder corretamente a i-ésima questão da prova; também chamada de Curva Característica do Item (CCI) ou de Função de Resposta ao Item (FRI);

a_i é o parâmetro que representa o poder de discriminação da i-ésima questão em relação à habilidade dos alunos, com valor proporcional à inclinação da Curva Característica do Item no ponto b_i. Essa inclinação equivale a 0,425 a_i (1+c_i,) e, portanto, o valor proporcional a ela é de 1/(0,425(1+c_i,)). Estando a habilidade normalmente distribuída, com média zero e desvio padrão igual a um, os valores do parâmetro a geralmente variam entre 0 e 2;

b_i é o parâmetro que representa a dificuldade de responder corretamente a i-ésima questão da prova, medido na mesma escala da habilidade. Em outras palavras, é o ponto na escala da habilidade em que o aluno tem (1+c_i)/2 de probabilidade de responder corretamente a i-ésima questão da prova. Dessa forma, quanto maior a habilidade necessária para responder corretamente a i-ésima questão, maior será a dificuldade de responder corretamente essa questão;

c_i é o parâmetro que representa a probabilidade de um aluno com baixo nível de habilidade responder corretamente a i-ésima questão da prova. Esse parâmetro é também conhecido como parâmetro do acerto casual;

D é um fator de escala que assume o valor 1,7, para que a função logística forneça resultados semelhantes aos da função de ogiva normal.

A Figura 1 ilustra a curva característica da questão i para um modelo logístico de três parâmetros. Nesse exemplo, essa questão tem probabilidade 0,20 de ser respondida corretamente ao acaso. A dificuldade de responder corretamente a questão i é medida por b_i, correspondendo ao ponto na escala da habilidade em que o aluno tem (1+c_i)/2 de probabilidade de responder corretamente essa questão. Em b_i a inclinação da curva é máxima e igual a 0,425a_i(1+c_i), sendo o valor do parâmetro de discriminação proporcional à essa inclinação.

Na Teoria da Resposta ao Item, o processo de estimação dos parâmetros dos itens é conhecido como "calibração". Os parâmetros dos itens e o traço latente podem ser estimados simultaneamente, quando eles não forem conhecidos. Em geral, essa estimação é realizada com a adoção do Método da Máxima Verossimilhança (EMV), por meio da aplicação de algum processo iterativo, como o algoritmo de Newton-Raphson ou Scoring de Fisher. Métodos bayesianos como o Expected a posteriori (EAP) também são bastante utilizados na estimação dos escores do traço latente (MISLEVY; BOCK, 1990).

O software BILOG, que é um programa computacional específico para ajustar modelos da TRI com itens dicotômicos, foi utilizado para estimar os parâmetros das práticas de Orientação para o mercado e o grau de maturidade das empresas no que tange à adoção dessas práticas. Quando o estudo envolver mais de uma população (ou grupo), o software BILOG-MG permite a estimação conjunta dos itens de todas as populações, considerando o traço latente de todas essas populações numa mesma escala, de forma que as estimativas dos escores de todos os respondentes possam ser diretamente comparadas (TOIT, 2003).

3 A Teoria da Resposta ao Item aplicada ao construto de orientação para o mercado

Para se atingir os objetivos propostos para o trabalho, esta seção tem o escopo de apresentar os resultados da aplicação da Teoria da Resposta ao Item em um estudo envolvendo a utilização de uma escala utilizada pelos pesquisadores de marketing – a de orientação para o mercado (escala Mktor) proposta por Narver e Slater (1990). Esta seção está estruturada da seguinte forma. Inicialmente se apresentam informações acerca dos dados coletados para a pesquisa, incluindo o trabalho de campo realizado. Em seguida, é apresentado o modelo logístico de dois parâmetros da TRI aplicado aos dados da pesquisa, cujo objetivo é investigar as práticas de orientação para o mercado em pequenas empresas varejistas de Belo Horizonte. Por fim, os resultados são devidamente analisados.

3.1 Metodologia da pesquisa

Conforme apresentado na introdução deste trabalho, julgou-se adequado relatar uma aplicação da TRI em um construto bastante utilizado pelos pesquisadores de marketing, representado pela escala de orientação para o mercado proposta por Narver e Slater (1990). Essa escala, composta por 15 itens, define a orientação para o mercado como uma cultura empresarial que estimula comportamentos necessários à criação continuada de valor superior ao cliente, proporcionando, com isso, vantagem competitiva para a empresa. Para os autores, a orientação para o mercado é um construto unidimensional composto por três componentes comportamentais: 1) orientação para o cliente – envolve a compreensão das necessidades e expectativas presentes e futuras do mercado-alvo; 2) orientação para os concorrentes – pressupõe que a empresa conheça as forças e fraquezas de curto prazo, bem como as capacidades e estratégias de longo prazo, dos seus concorrentes atuais e potenciais; e 3) coordenação interfuncional – compreende a utilização coordenada dos recursos da empresa para gerar valor superior para os consumidores-alvo.

O modelo logístico de dois parâmetros da TRI foi aplicado aos dados de uma pesquisa, cujo objetivo era investigar as práticas de Orientação de Mercado em pequenas empresas varejistas de Belo Horizonte. A pesquisa, desenvolvida pode ser caracterizada como descritiva, pois tem como objetivo principal descrever algo e relatar como ocorrem certos fenômenos ou como se comportam certas variáveis em determinada situação, sendo orientada por hipóteses teóricas pré-estabelecidas sobre o fenômeno estudado (MALHOTRA, 2001). Como desenho mais apropriado, optou-se pelo survey interseccional, visto que seu escopo constituiu-se numa descrição de tempo único e na determinação de relação entre variáveis.

A amostra pesquisada pode ser caracterizada como não probabilística, uma vez que foi obtida por julgamento e acessibilidade (nem todas as empresas previamente "selecionadas" por meio de uma lista disponibilizada pela CDL-BH (Câmara dos Dirigentes Lojistas de Belo Horizonte) se dispuseram a responder o questionário. A coleta dos dados foi realizada entre os meses de fevereiro e março de 2008 e foram obtidos 170 (cento e setenta) questionários "válidos", excluindo-se aqueles que apresentaram erros de preenchimento e questões faltantes. Esse número foi considerado satisfatório quando se esgotaram as possibilidades de novos respondentes que corresponderiam a um perfil de empresa adequado para a pesquisa, que era: ser do comércio varejista, estar localizada na cidade de Belo Horizonte e ter entre 8 e 50 funcionários.

As unidades de análise do estudo foram as empresas do ramo varejista localizadas em Belo Horizonte e as unidades de observação, os proprietários, diretores ou algum funcionário com uma função estratégica nessas empresas.

Os dirigentes das empresas pesquisadas responderam um conjunto de 15 (quinze) itens a fim de mensurar os três componentes comportamentais da orientação para o mercado – orientação para os clientes, orientação para os concorrentes e coordenação interfuncional. As questões foram apresentadas no formato de sentenças afirmativas. As opções de respostas para esses itens foram apresentadas em escala Likert com categorias variando de 1 (discordo totalmente) a 5 (concordo totalmente). No ^{Anexo 1}, é possível visualizar a parte do questionário que continha os itens relacionados, os três componentes da orientação para o mercado.

A Tabela 1 mostra os itens de referência adotados neste estudo para medir o construto. Para a aplicação do modelo logístico de dois parâmetros descrito anteriormente, as categorias da escala de Likert foram recodificadas em: aplica satisfatoriamente a prática da Orientação para o Mercado (categorias > 4) e não aplica satisfatoriamente a prática da Orientação para o Mercado (categorias < 3).

3.2 O modelo logístico de dois parâmetros no contexto da orientação para o mercado

De início, é importante ressaltar que o modelo de dois parâmetros foi considerado mais adequado, visto que não há probabilidade de adoção de práticas associada ao acaso (c_i = 0). A opção é justificativa também pelo fato de que uma das premissas básicas de uma organização orientada para o mercado é seu enfoque sistêmico, ou seja, as estratégias de marketing direcionadas para o mercado devem envolver ações alinhadas em suas três dimensões – orientação para o cliente, orientação para os concorrentes e coordenação interfuncional. Em outras palavras, de acordo com o modelo de dois parâmetros, a probabilidade de uma empresa com baixa maturidade adotar práticas de Orientação para mercado é zero.

O modelo logístico de dois parâmetros, que será adotado para o contexto da Orientação para o Mercado, pode ser definido de acordo com a Equação 3 (HAMBLETON, 1993):

em que:

i representa a i-ésima prática de Orientação para o Mercado no conjunto das p práticas que medem o constructo;

j representa a j-ésima empresa no conjunto das n empresas pesquisadas;

Xij é uma variável dicotômica que assume o valor 1 (um) quando a j-ésima empresa adota satisfatoriamente a i-ésima prática de Orientação para o Mercado, ou assume 0 (zero) quando a j-ésima empresa não tem adotado satisfatoriamente a i-ésima prática de Orientação para o Mercado;

θj representa o grau de maturidade da j-ésima empresa quanto à Orientação para o Mercado, não sendo diretamente observável;

P(Xij = 1|θj) é a probabilidade da j-ésima empresa com grau de maturidade θ adotar satisfatoriamente a i-ésima prática de Orientação para o Mercado; também chamada de Curva Característica do Item (CCI) ou de Função de Resposta ao Item (FRI);

a_i é o parâmetro que representa o poder de discriminação da i-ésima prática quanto à maturidade das empresas em OM, com valor proporcional à inclinação da CCI no ponto b_i. Essa inclinação equivale a 0,425 a_i. Estando a maturidade normalmente distribuída, com média zero e desvio padrão igual a um, os valores do parâmetro a geralmente variam entre 0 e 2;

b_i é o parâmetro que representa a dificuldade de adoção satisfatória da i-ésima prática, medido na mesma escala da maturidade. Em outras palavras, é o ponto na escala da maturidade em que há 0,50 de probabilidade da empresa adotar a i-ésima prática. Dessa forma, quanto maior a maturidade necessária para adotar a prática i (b_i), maior será a dificuldade de adoção dessa prática;

D é um fator de escala que assume o valor 1,7, para que a função logística forneça resultados semelhantes aos da função de ogiva normal.

Esse modelo, em que não há probabilidade de adoção de práticas associada ao acaso (c_i = 0), foi escolhido para a aplicação no contexto de Orientação para o Mercado, já que uma das premissas básicas de uma organização orientada para o mercado é seu enfoque sistêmico, ou seja, as estratégias de marketing direcionadas para o mercado devem envolver todos os funcionários da empresa em ações sincronizadas, tanto no que se refere à orientação para o cliente e para os concorrentes quanto à coordenação interfuncional que deve ser promovida em todos os níveis da organização.

3.3 A discriminação e a dificuldade das práticas de orientação para o mercado

No contexto da Orientação para o Mercado, o parâmetro a representa a discriminação das empresas quanto ao grau de maturidade na adoção das práticas. Valores negativos de a significam que, à medida que uma empresa aumenta sua maturidade, diminui a probabilidade de ter a prática de Orientação para o Mercado adotada. Dessa forma, não se espera encontrar valores negativos para esse parâmetro, uma vez que as empresas com uma "cultura" mais voltada à adoção de práticas de Orientação para o Mercado têm um ambiente mais adequado à implantação dessas práticas. Valores positivos e altos do parâmetro a proporcionam uma curva mais "inclinada" e, consequentemente, uma maior diferença nas probabilidades de adoção das práticas entre as empresas com diferentes níveis de maturidade. Por outro lado, à medida que a discriminação tende a zero, o formato da curva fica mais achatado, indicando que as empresas com diferentes níveis de maturidade têm, aproximadamente, a mesma probabilidade de ter a prática adotada.

O parâmetro de discriminação (a) também permite investigar a qualidade das práticas. Quanto maiores forem as discriminações das práticas, mais apropriada é a escala elaborada para medir o construto. Considerando um modelo em que D = 1, itens (ou práticas) com a > 1 foram classificados como de boa qualidade na mediação do construto (HAMBLETON; SWAMINATHAN, 1985). Entretanto, na prática, existe uma certa "flexibilidade" nos critérios de investigação da qualidade dos itens, tanto que Carneiro Alexandre et al. (2002) e Bortolotti e Andrade (2007) adotaram, respectivamente, os limites a > 0,7 e a > 0,65 na definição dos itens de boa qualidade. Neste artigo, como a escala possui somente 15 práticas e foram pesquisadas apenas 170 empresas, uma prática será de boa qualidade, quando a > 0,65. Práticas com discriminação inferior a 0,65 foram consideradas inadequadas para medir o construto de interesse e, portanto, foram excluídas do ajuste do modelo final.

O parâmetro de dificuldade (b) está associado ao grau de dificuldade de uma empresa na adoção das práticas de Orientação para mercado. Quanto maior o valor b, maior o grau de dificuldade de adoção das práticas. Práticas com altos valores para esse parâmetro tendem a ser implementadas em um menor número de empresas. Nos modelos da TRI, o parâmetro de dificuldade é medido na mesma escala da maturidade, permitindo afirmar que as empresas, cuja gestão não é efetiva na adoção de práticas de Orientação para o Mercado (empresas com pouca maturidade), terão maiores dificuldades na adoção dessas práticas.

Nesse ponto, torna-se relevante discutir o que significa uma empresa ter pouca ou alta maturidade no tocante às práticas de orientação para o mercado. Conforme o modelo desenvolvido por Narver e Slater (1990), uma empresa orientada para o mercado seria aquela que conseguiria articular estratégias relacionadas à compreensão das necessidades e expectativas presentes e futuras dos clientes, ao conhecimento das forças e das fraquezas de curto prazo, bem como das estratégias de longo prazo dos seus concorrentes atuais e potenciais e, por fim, coordenar os recursos da empresa para gerar valor superior para seus consumidores. Porém, algumas destas estratégias são consideradas mais "simples", portanto, seriam aquelas que qualquer empresa conseguiria implementar (empresas com baixa maturidade). Por outro lado, outras estratégias seriam mais complexas e envolveriam um esforço maior. Dessa forma, somente empresas com maior maturidade teriam condições de colocar estas estratégias em prática.

3.4 A maturidade das empresas na adoção de práticas de orientação para o mercado

O parâmetro ϑ representa a maturidade das empresas quanto à adoção das práticas de Orientação para o Mercado. A maturidade é uma variável latente, cujos valores não são observados diretamente. Esse parâmetro pode assumir, teoricamente, valores de –∞ a +∞. Dessa forma, é necessário estabelecer uma origem e uma unidade de medida para a definição da escala de maturidade. Frequentemente, a origem adotada é o zero, representando a maturidade média das empresas e a unidade de medida é igual a um, representando o desvio padrão da maturidade. Apesar da adoção da escala (50,10) tender a tornar mais clara a interpretação do parâmetro b, pois elimina seus valores negativos, em geral outros estudos envolvendo a TRI (Carneiro Alexandre et al., 2002; BORTOLOTTI; ANDRADE, 2007) utilizam a escala (0,1). Sendo assim, a escala (0,1), que é geralmente a mais utilizada, também foi adotada neste artigo.

Embora essa escala seja a mais utilizada, na prática, não existe diferença se outra escala for estabelecida, pois o que importa é a igualdade das probabilidades especificadas pelo modelo-P(Xi = 1|q) = P(Xi = 1|q*). Desta forma, é possível mostrar que transformações lineares de q são aceitáveis, fornecendo ajustes lineares correspondentes aos parâmetros das práticas na Equação 4:

em que:

(µ, σ) representa a escala anteriormente utilizada;

*indica valores de acordo com a nova escala.

Por exemplo, na escala (0,1) uma empresa com maturidade 1,5 está a 1,5 desvios padrão acima da média. Se a escala adotada fosse (50,10), a empresa teria um grau de maturidade de 65 e, consequentemente, também estaria a 1,5 desvios padrão acima da média. Para um determinada prática estimada na escala (0,1) com o parâmetro a = 0,8 e o parâmetro b = –0,2, os valores dos parâmetros a e b correspondentes na escala (50,10) são, respectivamente, 0,08 = 0,8/10 e 48 = 10(–0,2)+50. Se a empresa tiver maturidade igual a um, medida na escala (0,1), sua maturidade será transformada em 60 = 10(1)+50, quando a escala adotada mudar para (50,10).

Perante essas considerações, o desafio que se coloca com relação à escala da maturidade de Orientação para o Mercado é a elaboração de uma interpretação prática, possibilitando "inferir" o que significaria para uma empresa possuir um determinado grau de maturidade.

3.5 Análise dos resultados

Os valores dos parâmetros de discriminação e de dificuldade referentes às práticas de Orientação para o Mercado nas empresas constam na Tabela 1.

De acordo com os limites adotados neste artigo, parâmetros de discriminação inferiores a 0,65 indicam a baixa qualidade da prática na mediação do construto. Duas práticas (11 e 15), dentre as quinze constantes no questionário de referência, têm valores inferiores a 0,65 e não foram consideradas no ajuste do modelo final, uma vez que apresentam baixa qualidade na mediação da maturidade das pequenas empresas varejistas no tocante à implementação de práticas de Orientação para o Mercado. Contudo, os valores referentes aos parâmetros dessas duas práticas, na primeira "rodada" do modelo, foram mantidos nessa Tabela. De acordo com o modelo final ajustado, os valores das estimativas dos parâmetros de discriminação variaram entre 0,65 e 1,36. Vale ressaltar ainda que menores valores para os erros-padrão das estimativas dos itens e do grau de maturidade poderiam ser obtidos, se, respectivamente, um maior número de empresas fosse pesquisado e se um maior número de itens fosse aplicado.

A Figura 2 ilustra a comparação entre as práticas 1 e 5, cujos parâmetros de discriminação são iguais (a₁ = a₅ = 0,77). Por meio dessa comparação, é possível observar que a prática 5, com maior valor de b (b₅ = –0,46 > b₁ = –1,16), exige maior maturidade para uma mesma probabilidade de adoção. Exemplificando, a maturidade requerida para uma probabilidade de implantação 0,45 é igual a –1,3 para a prática 1 e igual a –0,6 para a prática 5, significando que a prática 5 é mais difícil de ser adotada do que a prática 1.

De acordo com a Figura 3, comparando agora as práticas 9 e 13 , cujos parâmetros de dificuldade são iguais (b₉ = b₁₃ = –0,97), nota-se que a diferença nas probabilidades de adoção de prática em empresas com graus de maturidade diferentes é maior para a prática 13, aquela com maior valor para o parâmetro a (a₁₃ = 1,01 > a₉ = 0,72). Como exemplo, considere duas empresas com maturidades q₁ = –0,5 e q₂ = –1, para as quais essa diferença em relação à prática 9 é de 0,15 (= 0,639 – 0,490) e em relação à prática 13 é de 0,20 (= 0,693 – 0,489). Assim sendo, pode-se dizer que a prática 13 é mais apropriada para discriminar essas duas empresas do que a prática 9. Nesse sentido, o parâmetro a é denominado de parâmetro de discriminação.

A média das estimativas da maturidade das empresas foi 0,01 e o desvio padrão, 0,50. Os valores mínimo e máximo dessas estimativas foram, respectivamente, –2,38 e 1, 09. Embora não seja o objetivo deste artigo fornecer uma interpretação prática para a escala da maturidade, foi realizada uma análise dos maiores e menores valores estimados para a maturidade no intuito de verificar se quanto maior o valor de θ, maior a adoção das práticas voltadas para a Orientação para o Mercado. Dezessete empresas pesquisadas implementam as treze práticas consideradas no ajuste do modelo final e apresentaram o maior grau de maturidade estimado (θ = 1,09). Por outro lado, os menores valores estimados para a maturidade (–2,38 <= θ < –2) foram encontrados em quatro empresas que não adotavam as práticas (3, 5, 6 e 10 a 12), geralmente consideradas entre as mais elaboradas (ou seja, mais difíceis de serem implementadas), de Orientação para o Mercado no contexto no qual a pesquisa foi realizada, que é o comércio varejista.

Essas práticas, conforme a Tabela 1, estão relacionadas à habilidade da empresa em responder às ações da concorrência, criar sistematicamente um canal de relacionamento com os clientes atuais e potenciais, além de medir periodicamente a satisfação dos clientes, incluindo o pós-venda. Elas também estão relacionadas com a troca de informações sobre as experiências de sucesso e de insucesso ocorridas com os clientes. Pode-se perceber, portanto, que estas práticas são consideradas mais complexas e elaboradas, quando se leva em consideração o contexto no qual a pesquisa foi realizada – o pequeno varejo. Assim, parece que a preocupação com os concorrentes tem sido mais efetiva do que a preocupação com os clientes. Considerando o tipo de empresa pesquisada, não é difícil imaginar um cenário em que mais do que as necessidades dos clientes, são as ofertas dos concorrentes que balizam o jogo competitivo. O bom desempenho seria assim, não necessariamente uma recompensa por atender aos clientes, mas por fazer frente aos concorrentes. O foco, nesse caso, se desloca daquilo que os clientes necessitam ou desejam, e se volta para aquilo que os concorrentes estão fazendo. Assim sendo, os resultados mostram que, quanto maior o valor da θ, maior a maturidade empresarial na filosofia da Orientação para o Mercado. Contudo, grandes valores de θ, além do número de práticas implementadas, estão associados especialmente às práticas mais difíceis de serem colocadas em ação. Dessa forma, pode-se afirmar que o modelo da Teoria da Resposta ao Item mostrou-se adequado para estimar as maturidades das empresas quanto à sua Orientação para o Mercado.

Ainda que o modelo da TRI proposto possa ser considerado satisfatório para a aplicação no contexto da Orientação para o Mercado, existem muitos desafios a serem enfrentados por novos estudos como a construção de uma escala de maturidade desse construto. Um exemplo prático de uma escala de habilidade no contexto da avaliação educacional é a Escala Nacional de Habilidade construída pelo Instituto Nacional de Estudos e Pesquisas Educacionais do Ministério da Educação (INEP/MEC) a partir dos resultados do Sistema Nacional de Avaliação do Ensino Básico (SAEB). Essa escala, que é cumulativa, permite relacionar o valor da habilidade de um estudante com o seu conhecimento em determinada disciplina. Exemplificando, o valor de habilidade θ₁ pode significar que o estudante tem conhecimento em adição e subtração; e o valor de habilidade θ₂ (θ₂> θ₁) indica que, além de adição e subtração, o estudante tem conhecimento de divisão e multiplicação. Na Orientação para o Mercado, o valor de maturidade θ₁ pode significar que as empresas têm implantado somente algumas práticas básicas, enquanto o valor de maturidade θ₂ pode indicar que as empresas têm implantado as práticas mais elaboradas de Orientação para o Mercado. Dessa forma, a escala representa uma maturidade acumulativa das empresas quanto à Orientação para o Mercado.

4 Considerações finais

Como este trabalho tem o propósito de discutir a aplicação da TRI nos estudos em marketing a fim de contribuir com a estimação mais apurada dos construtos utilizados nesse campo do conhecimento, é essencial destacar alguns pontos fundamentais. Primeiramente, cabe ressaltar que a TRI veio complementar a TCT à medida que supera as limitações da teoria anteriormente adotada, sendo sua principal vantagem enfatizar os itens como elementos centrais da análise. Portanto, a abordagem apresentada não é exclusivista, mas sim um método alternativo que tem se revelado um instrumento poderoso na estimação de comportamentos e na avaliação da qualidade dos itens mediadores do construto. Apesar da aplicação da TRI ter sido considerada satisfatória no exemplo aqui verificado, uma vez que os resultados obtidos por meio da sua utilização vão ao encontro do que os autores propõem para uma organização orientada para o mercado, existem muitos desafios a serem enfrentados por novos estudos como, por exemplo, a construção de escalas com interpretação prática, possibilitando "inferir" o que significaria para uma empresa possuir um nível de maturidade relacionado a um determinado construto.

Em segundo lugar, embora a TRI seja muito adotada em estudos na área de avaliação educacional, como toda utilização inicial em um novo campo do conhecimento, outros estudos são necessários para corroborar a aplicação desse método em marketing, buscando melhores estimativas dos parâmetros, escalas mais confiáveis para mensurar a complexidade dos construtos envolvidos na pesquisa em marketing e a adoção de modelos mais complexos para representar a escala original de Likert. Nesse sentido, vale lembrar que estudos comparativos de resultados obtidos com a aplicação da TRI e da TCT podem ser importantes para confirmar a utilidade e o avanço da adoção da TRI nos estudos em marketing. Esse tipo de estudo comparativo é uma sugestão para futuros trabalhos que pretendam avaliar a estimação de construtos já bastante adotados na área de marketing, tanto em pesquisas do consumidor como em investigações com gerentes ou gestores das organizações.

Uma vez que os profissionais de marketing precisam constantemente de instrumentos para mensurar a percepção tanto dos consumidores quanto de gestores sobre uma organização, um produto, ou até mesmo o planejamento e a implementação de uma estratégia, torna-se essencial a utilização de metodologias que possam contribuir para a melhoria da qualidade das análises. Como a maior parte dos estudos em marketing adota escalas multidimensionais para mensurar algum tipo de construto, portanto há a promessa de uma infinidade de aplicações da TRI nessa área. Ainda que o presente estudo tenha focado na escala de orientação para o mercado, sua aplicação pode se estender a uma variedade de estudos quantitativos em marketing, nos quais são mensurados a percepção dos indivíduos no tocante à qualidade dos serviços, das formas de precificação ou das ações promocionais implementadas pelos estabelecimentos varejistas, da interpretação de um anúncio ou um comercial veiculado em diferentes mídias, da avaliação de uma marca ou uma organização, de comportamentos dos consumidores em diversas situações de compra e experiências de consumo e outras inúmeras aplicações. Vale ressaltar que a TRI também pode ser adotada conjuntamente com outras técnicas quantitativas já tradicionais em análise de dados, por exemplo, no caso de se utilizar o construto estimado para representar variáveis dependentes ou independentes em análises de regressão.

Por fim, é importante enfatizar que, em se tratando de uma disciplina como o marketing que ultimamente vem se tornando "aberta" a novas questões e discussões, tanto teóricas quanto metodológicas, o aporte metodológico de outras áreas de estudo tem se mostrado extremamente útil e revelador para o avanço da área. Com relação à utilização da TRI, essa constatação pode ser levada em consideração, visto que a aplicação dessa teoria, seja na Psicometria seja em outras áreas do conhecimento, parece estar em consonância com a preocupação dos pesquisadores do marketing que é medir o comportamento dos indivíduos expresso em suas respostas. Não obstante a complexidade, fica registrado aqui um convite aos pesquisadores do campo para enveredarem por esta seara de investigações. Talvez a grande contribuição deste artigo seja a apresentação ao marketing de um método que tem se revelado muito útil e eficaz na estimação de construtos, motivando discussões acerca do tema. Sendo assim, fica a certeza de que a temática é fértil para pesquisas e merecedora de maiores debates.

Recebido em 8/9/2010

Aceito em 20/8/2011

Suporte financeiro: parte da pesquisa foi financiada com recursos do FIP-PUC Minas (Fundo de Incentivo à Pesquisa - PUC-Minas)

^{Click to enlarge}

• ANDRADE, D. F.; TAVARES, H. R.; VALLE, R.C. Teoria da resposta ao item: conceitos e aplicações. Caxambu: Associação Brasileira de Estatística, 2000.
• BARTHOLOMEW, D. J. et al.The analysis and interpretation of multivariate data for social scientists Boca Raton: Chapman & Hall, 2002.
• BAYLEY, S. Measuring customer satisfaction.Evaluation Journal of Australasia, v. 1, n. 1, p. 8-16, 2001.
• BORTOLOTTI, S. L. V.; ANDRADE, D.F. Aplicação de um Modelo de Desdobramento Graduado Generalizado-GGUM da Teoria da Resposta ao Item. Estudo sem Avaliação Educacional, v. 18, n. 37, 2007.
• CARNEIRO ALEXANDRE, J. W. et al. Uma Proposta de Análise de um Construto para Medição dos Fatores Críticos da Gestão pela Qualidade por intermédio da Teoria da Resposta ao Item. Gestão & Produção, v.9, n.2, p.129-141, 2002.
• CRONBACH, L. J. Coefficient alpha and the internal structure of tests.Psychometrika, v. 16, p. 297- 334, 1951. http://dx.doi.org/10.1007/BF02310555
• FLETCHER, P. R. A Teoria da Resposta ao Item: medidas invariantes do desempenho escolar. Ensaio. Avaliação e Políticas Públicas em Educação, v. 2, p. 21-28, 1994.
• HAMBLETON, R. K. Principles and selected applications of item response theory. In: LINN, R. L. Educational Measurement 3th ed. Phoenix: American Council on Education, Oryx Press, 1993.p.147-200.
• HAMBLETON, R. K.; SWAMINATHAN, H. Item response theory: principles and applications.Boston: Kluwer-Nijhoff Publishing, 1985.
• LAWLEY, D.N. The factorial analysis of multiple item tests. Proceedings of the Royal Society of Edinburgh, 62-A, p. 74-82. 1944.
• LAZARFELD, P. F. The logical and mathematical foundation of latent structure analysis. In: STAUFFER, S. A. et al. (Eds.).Measurement and prediction Princeton: Princeton University Press, 1950.
• LORD, F. M. A theory of test scores.Psychometric Monograph, v. 7, 1952.
• LORD, F. M. Applications of item response theory to practical testing problems Hillsdale: Lawrence Erlbaum, 1980.
• LORD, F. M. & NOVICK, M.R. Statistical theories of mental test scores Reading: Addison-Wesley, 1968.
• MALHOTRA, N. Pesquisa de Marketing Porto Alegre: Bookman, 2001.
• MOUTINHO, L.; MEIDAN, A. Métodos quantitativos em marketing. In: BAKER, M. J. (Org.). Administração de marketing Rio de Janeiro: Elsevier, 2005.
• MISLEVY, R. J.; BOCK, R. D. BILOG: Item analysis and test scoring with binary logistic models. Chicago: Scientific Software, Inc., 1990.
• NARVER, J. C.; SLATER, S. F.The effect of a market orientation on business profitability. Journal of Marketing, v. 54, p. 20-35, 1990. http://dx.doi.org/10.2307/1251757
• NUNNALLY, J. Psychometric theory New York: McGraw-Hill, 1967.
• PASQUALI, L.; PRIMI, R. Fundamentos da Teoria da Resposta ao Item TRI. Avaliação Psicológica, v. 2, n. 2, p. 99-110, 2003.
• RASCH, G. Probabilistic models for some intelligence and attainment tests Copenhagen: Danish Institute for Educational Research, 1960.
• RICHARDSON, M. W. Notes on the rationale of item analysis. Psychometrika, v. 1, p. 69-76. 1936. http://dx.doi.org/10.1007/BF02287926
• TOIT, M. ITR from SSI: BILOG-MG, MULTILOG, PARSCALE, TESTFACT. Lincolnwood: SSI, 2003.
• TUCKER, L.R. Maximum validity of a test with equivalent items. Psychometrika, v. 11, p. 1-13, 1946. PMid:21018318. http://dx.doi.org/10.1007/BF02288894

Anexo 1

Datas de Publicação

• Publicação nesta coleção
  05 Abr 2012
• Data do Fascículo
  2011

Histórico

• Recebido
  08 Set 2010
• Aceito
  20 Ago 2011