Acessibilidade / Reportar erro

Indicadores quantitativos: reflexões que antecedem seu estabelecimento

Quantitative indicators: reflections before their establishment

Resumos

O trabalho indica alguns aspectos a serem considerados para a construção sistematizada de indicadores quantitativos referentes a processos de qualquer natureza, incluindo propriedades como relevância, gradação de intensidade, univocidade, padronização e rastreabilidade.

Indicadores; Metodologia


The paper points out some aspects to be considered for the systematized building of quantitative indicators relating to any kind of processes, and including attributes such as relevance, intensity, univocality, standardization and tracking.

Indicators; Methodology


Indicadores quantitativos: reflexões que antecedem seu estabelecimento* * Colaboração voluntária apresentada durante o Seminário sobre Avaliação da Produção Científica, realizado em São Paulo pelo Projeto SciELO, de 4 a 6 de março de 1998.

Piotr Trzesniak

Resumo

O trabalho indica alguns aspectos a serem considerados para a construção sistematizada de indicadores quantitativos referentes a processos de qualquer natureza, incluindo propriedades como relevância, gradação de intensidade, univocidade, padronização e rastreabilidade.

Palavras-chave

Indicadores – Metodologia.

INDICADORES QUANTITATIVOS, VIRTUDES E LIMITAÇÕES

Quantificação e modelagem

Uma das mais importantes metas da busca do conhecimento é a obtenção de modelos. Por modelo entende-se um procedimento de qualquer natureza (prático, matemático, gráfico, verbal...) capaz de, em todos os aspectos relevantes, reproduzir uma relação de antecedentes (causas) e conseqüentes (efeitos) de forma idêntica como essa relação ocorre no universo em que nos inserimos. Por concentrar-se nos aspectos relevantes, o modelo corresponderá a uma simplificação do evento real, e é justamente aí que residem sua força e suas vantagens: sem pagar o preço integral, sem necessitar da ocorrência do evento em si, pode-se prever como se comportará o universo (ciência), ou pode-se determinar como nele induzir uma determinada configuração final (tecnologia). Na quase totalidade dos casos, isso representa uma economia muito significativa (no mais amplo sentido possível).

As chamadas ciências exatas, mais especialmente as físicas e as engenharias, acumulam um acervo enorme de resultados de grande sucesso em favor do bem-estar do ser humano. Tal sucesso estrutura-se em modelos matemáticos que representam de maneira excelente os processos pertinentes e, sem dúvida, decorre decisivamente de uma quantificação muito bem elaborada. Já há mais de cem anos (cerca de 1860), dizia William Thomson (que posteriormente recebeu o título de Lord Kélvin)1:

Afirmo muitas vezes que, se você medir aquilo de que está falando e o expressar em números, você conhece alguma coisa sobre o assunto; mas, quando você não o pode exprimir em números, seu conhecimento é pobre e insatisfatório; pode ser o início do conhecimento, mas dificilmente seu espírito terá progredido até o estágio da Ciência, qualquer que seja o assunto.

Hoje em dia, talvez possamos considerar o entusiasmo de Kélvin um tanto exagerado, mas não é difícil compreendê-lo: os fenômenos das físicas e das engenharias prestam-se de maneira absolutamente perfeita à quantificação e à modelagem matemática. Aos aspectos relevantes dos processos naturais, foi possível associar grandezas, capazes de serem medidas em termos de unidades e instrumentos apropriados. Considere-se, por exemplo, a noção de quente e frio: através da grandeza física temperatura e do emprego de termômetros, essa noção pode ser transformada em números que fazem sentido para todos nós. O que acontece a um ser humano abandonado sem proteção num ambiente de temperatura -40° C? 24° C? 150° C?

Isso parece muito simples, considerando-se a dimensão dos resultados que mostrou propiciar. Por que, então, não é estendido a todas as áreas do conhecimento humano?

Esforços nesse sentido existem em muitas delas: econometria, para a economia; sociometria, para as ciências sociais; psicometria, relativa à personalidade e certas habilidades do ser humano. Veja-se, para ilustrar (e também para mostrar que o entusiasmo pela quantificação não esmoreceu nesses últimos cento e cinqüenta anos), o que preconiza o controle total da qualidade, uma área de interface exatas / sociais de grande prestígio na atualidade, cujo objeto é o gerenciamento otimizado do fornecimento de produtos e serviços2:

Os itens de controle de um processo são índices numéricos estabelecidos sobre os efeitos de cada processo para medir a sua qualidade total.

Os itens de verificação de um processo são índices numéricos estabelecidos sobre as principais causas que afetam determinado item de controle.

O sucesso alcançado nessas ciências, no entanto, não se compara ao obtido nas exatas. Qual, ou melhor, quais as razões para isso?

Não é fácil estabelecer grandezas

Em primeiro lugar, o exemplo da temperatura é de fato simples, mas não seria honesto tomá-lo como representativo para balizar o estabelecimento e refinamento de grandezas, nem mesmo dentro das ciências exatas. Embora outras haja com comparável popularidade, como o comprimento (usualmente dado em metros) e a massa (em geral referida ao quilograma), a maioria não apresenta um significado imediato, palpável, de fácil compreensão, mas corresponde a uma abstração que só faz (se é que) sentido para um especialista. E se assim é, especialistas, e muitos, são necessários para estabelecê-las, e somente o conseguem após reuniões e debates que podem estender-se por décadas.

Em física, existem duas combinações envolvendo a velocidade e a massa de um corpo em movimento. Numa delas, as duas grandezas são simplesmente multiplicadas; na outra, faz-se o produto da velocidade por ela mesma e pela massa, e divide-se o resultado por dois. O que cada uma dessas combinações significa? Qual a informação contida em cada caso? Esse tema foi discutido durante anos no século XIX, tendo-se concluído que ambas são importantes e

O determinístico e o estocástico

Um segundo aspecto relevante diz respeito à característica das relações de causa e efeito de serem determinísticas ou estocásticas. Pertencem à categoria das determinísticas aquelas em que causa e efeito estão ligadas diretamente: a presença (ou uma variação) da primeira necessariamente implica o surgimento (ou uma alteração) no último, freqüentemente obedecendo a uma lei matemática conhecida (pelo menos, essa é uma condição que contribui muito para o sucesso dos indicadores envolvidos). Já no caso das estocásticas, a vinculação entre causa e efeito torna-se indireta, a presença (ou uma variação) da primeira reflete-se não no efeito, mas na probabilidade dele surgir (ou se modificar).

Um exemplo simples de relação estocástica é a existente entre o fumo e certos tipos de câncer: tal relação existe, mas não é determinística, no sentido de que não está assegurado nem que todos os fumantes irão contrair a moléstia, nem que um não-fumante não a contrairá. Fumar não traz a doença como conseqüência necessária, mas seguramente aumenta a probabilidade de que ela apareça. Além disso, quanto maior a quantidade de fumo consumido, mais a probabilidade crescerá, podendo até, como no caso determinístico, existir uma lei matemática aplicável. Ela, porém, não estará relacionando a causa ao efeito, mas à probabilidade dele ocorrer.

É bastante comum, em certos meios, tentarem-se confundir opiniões e interlocutores, argumentando deterministicamente com relação a processos estocáticos. Adversários de cintos de segurança citam exemplos de situações em que os envolvidos em colisões morrem mesmo com o equipamento colocado, fumantes se justificam citando o avô com mais de noventa anos que desde os quinze consome dois maços por dia, enquanto o primo (que nunca pôs na boca qualquer cigarro ou similar) faleceu com menos de vinte. Essas situações somente derrubariam as relações entre uso do cinto e redução de mortes no trânsito, e entre fumo e doenças, caso tais relações fossem determinísticas. Elas são, no entanto, estocásticas, e, assim, os exemplos descritos estão absolutamente dentro da normalidade. Tratando-se de probabilidade, pouco peso ou sentido existe no evento isolado, a partir dele nada se pode provar ou invalidar. Conclusões exigem estudos e comparações em conjuntos representativos de situações de igual natureza.

Nesses termos, um indicador que se relacione apenas estocasticamente com a dimensão do processo que deseja medir é com certeza mais fraco, menos definitivo, do que um indicador determinístico. Da mesma forma, quando um determinado processo tiver natureza estocástica, também estocástico terá de ser o modelo que o irá descrever. Em outras palavras, os indicadores envolvidos estarão ligados entre si segundo uma lei estocástica, implicando que o grau de controle e o conhecimento que se tem do processo são muito menores e bastante mais fracos, se comparados a uma situação determinística.

Caso se tentem classificar os processos e as grandezas das ciências exatas em determinísticos, estocásticos e não-paramétricos (isto é, não representáveis numericamente), a primeira categoria certamente predominará; já repetindo o exercício nas áreas de ciências sociais e humanas, essa será seguramente a categoria de menor amplitude, configurando-se desse modo um ambiente menos amigável para os indicadores quantitativos.

Se estabelecer tais indicadores para as ciências exatas já se constitui em um desafio de considerável envergadura, maior ainda é o de desenvolvê-los para as ciências humanas e sociais. Isso não pode ser feito simplesmente transferindo a experiência nesse sentido acumulada nas primeira para as últimas: muita cautela é necessária para que tal transferência de fato se dê de maneira útil e proveitosa. Sem a menor dúvida, porém, esse é um esforço bem despendido e, uma vez harmoniosamente integrado aos métodos e técnicas tradicionais das áreas não-exatas do conhecimento, deverá contribuir significativamente para que essas áreas se desenvolvam e para que gerem modelos cada vez mais perfeitos dos processos por elas estudados.

A medição

Caso se concorde que ser de natureza estocástica é bastante comum nas áreas de humanas e sociais, surge um complicador a mais na quantificação dos aspectos relevantes de processos: a medição. Numa relação determinística, basta fazer uma observação e o valor correspondente fica disponível, isto é, interage-se uma vez com o processo (eventualmente com um instrumento de medição adequado) e já se obtém um resultado muitas vezes satisfatório. No caso estocástico, como acima discutido, observações isoladas nada permitem concluir ou deduzir: é preciso dispor-se de um conjunto representativo de observações da mesma espécie para poder fazer afirmativas fundamentadas.

Adicione-se a isso a questão, nada simples, de se identificarem e empregarem sensores e detectores (materiais) para os processos estudados pelas ciências humanas e sociais. Nas exatas, molas, colunas de mercúrio, imãs e outros dispositivos auxiliam na busca da informação. Nas não-exatas, a engenhosidade maior fica por conta de pessoas (no plural!) e da sua capacidade de observação e de questionamento direto.

Combine-se a necessidade de muitas pessoas por observação com a de fazer muitas observações, e o custo fica proibitivo. Sem mencionar o enorme esforço posterior de organização, estudo, análise e síntese das informações coletadas (uma ilustração desse complexo todo são os recenseamentos populacionais).

Essa situação, no entanto, está mudando decisivamente nos últimos anos. Máquinas com recursos espetaculares para guardar, compilar, organizar e reorganizar informações estão diariamente se tornando mais poderosas, mais disponíveis e mais acessíveis. Coisas que jamais se imaginariam possíveis tornam-se triviais, drasticamente reduzindo o ônus de se trabalhar intensivamente com enormes massas de dados.

O momento de quantificar é sem dúvida agora. Cabe aos cientistas e pesquisadores zelar para que isso ocorra de modo a maximizar a utilidade e a fidedignidade.

Neste trabalho, buscam-se indicar alguns aspectos a serem considerados para uma construção sistematizada de indicadores quantitativos referentes a processos de qualquer natureza.

A CONSTRUÇÃO DE INDICADORES QUANTITATIVOS

O abc dos indicadores

O diagrama da Figura 1 ilustra uma parte da metodologia da ciência estreitamente ligada ao desenvolvimento de indicadores. No centro de tudo, obviamente, encontra-se o processo de interesse. Observá-lo envolve, sob o ponto de vista do pesquisador, dirigir ao processo, ao Universo, uma ou mais perguntas no seguinte sentido: como você funciona? existe uma regra, uma organização ao alcance de minha lógica, em seu comportamento? A resposta (ou as respostas) surgirão das informações que for possível conseguir.

Figura 1

Diagrama para a extração de informações relativas a

processos ou sistemas de qualquer natureza

Conforme apresentado na seção anterior, a expressão de informações sob forma numérica apresenta inegáveis vantagens, mas não é facilmente realizada na prática. Ao se propor uma discussão a respeito da construção de indicadores quantitativos, consideram-se pelo menos duas metas da maior relevância:

  • quebrar a distância entre o topo (

    perguntas) e a base (

    informações) do diagrama em trechos menores, através do estabelecimento de critérios para análise dos indicadores em fases diversas

    do seu desenvolvimento;

  • que já no instante da concepção / proposição de um indicador, sejam observados os aspectos básicos necessários para que ele seja bom ou, pelo menos, promissor, bem como que se evitem vícios básicos que possam, futuramente, vir a limitar sua validade ou amplitude.

As duas metas podem ser contempladas considerando-se os quadros colocados no lado direito da Figura 1. A rota das perguntas até as informações passa, então, por:

a) Fase que precede a obtenção da informação:

  • proposição dos indicadores:

  • padronização da metodologia de obtenção:

b) Fase de obtenção da informação:

  • reelaboração dos dados brutos:

  • escondida Where is the information lost in the data?reelaborá-los
  • interpretação:

  • que resposta foi de fato obtidaque pergunta foi efetivamente respondida, a original ou outra qualquer? se outra, qual?

c) Fase de aperfeiçoamento da relação indicador - informação:

  • refinamento: freqüentemente, o estabelecimento da

    interpretação leva a algum tipo de refinamento em uma ou mais das etapas anteriores (enunciado das perguntas originais, metodologia de obtenção, reelaboração);

  • valores de referência:

As características a priori

Trata-se das propriedades indispensáveis, que qualquer indicador-candidato deve necessariamente exibirII:

(1) relevância (seletividade, segundo o IPEA3 e Tironi et al.4): o indicador deve retratar um aspecto importante, essencial, crítico do processo / sistema;

(2) gradação de intensidade: o indicador deve variar suficientemente no espaço dos processos / sistema de interesse;

(3) univocidade: o indicador deve retratar com total clareza um aspecto único e bem definido do processo / sistema;

(4) padronização (estabilidade, segundo o IPEA e Tironi et al.): a geração do indicador deve basear-se em uma norma, um procedimento único, bem definido e estável no tempo;

(5) rastreabilidade: os dados em que a obtenção do indicador é baseada, os cálculos efetuados e os nomes dos responsáveis pela apuração devem ser registrados e preservados (IPEA e Tironi et al.).

Mais ilustrativo do que exemplos de indicadores-candidatos que atendam a todos esses requisitos é a apresentação de contra-exemplos, em que pelo menos um esteja ausente. Considere-se o problema de medir o potencial de aprendizagem dos alunos ingressantes numa instituição de ensino superior (eles constituiriam, então, o sistema de interesse).

Tome-se como primeiro possível indicador a idade dos estudantes (em anos): certamente estão ou podem ser atendidos os critérios relevância, univocidade, padronização e rastreabilidade. A gradação de intensidade, no entanto, não seria suficiente para possibilitar qualquer conclusão: a grande maioria dos envolvidos teria praticamente a mesma idade.

Uma segunda tentativa seria o número do calçado. Trata-se de um indicador unívoco, suficientemente variável (presumivelmente entre 34 e 45) e sua obtenção pode ser padronizada e rastreada. Ele carece totalmente, no entanto, da relevância com respeito ao que se pretende estudar (a altura em centímetros seria outra instância do mesmo tipo).

Agora, como exemplo (não mais contra), poder-se-ia pensar nas notas obtidas pelos estudantes no vestibular. Com respeito a elas, restrições (aparentemente contornáveis) existiriam, talvez, na padronização e na rastreabilidade, mas os demais aspectos estariam todos contemplados, ao menos potencialmente. É claro que teria de haver ainda um importante trabalho de extração da informação desejada (indicador de potencial de aprendizagem) dos dados brutos disponíveis (notas das provas).

Mudando de contexto, mas ainda permanecendo nessa área (para a qual fica proposta a denominação educaciometria...), é possível ilustrar o aspecto univocidade. Estatísticas sobre o desempenho escolar freqüentemente se restringem a: aprovados, 67,2%; (portanto) reprovados, 32,8%. Esse segundo indicador não é unívoco, ele mistura vários efeitos e acontecimentos diferentes e tem muito pouca utilidade como fonte de informação acerca do processo. Apenas serve para registrar um resultado indesejável, mas não permite a definição de qualquer ação corretiva, uma vez que não encerra a natureza exata do que vai mal. Basta raciocinar em termos de casos limites: na sala A, houve muitas desistências durante o período letivo, mas todos os alunos (67,2%) que permaneceram até o final foram aprovados; já na sala B, nenhum estudante desistiu, todos participaram de todas as avaliações e atividades, mas apenas 67,2% deles apresentaram o desempenho mínimo necessário. Nos dois casos, o indicador simplista reprovados teria o mesmo valor, mas significados muito diferentes; as providências para sanar o problema teriam de ser igualmente distintas em cada caso.

As características desejáveis

Embora possam estar presentes (deliberadamente ou por acaso) já no momento da proposição, as propriedades desejáveis dos indicadores costumam resultar de aperfeiçoamentos em sua conceituação e obtenção. Muitas vezes, inclui-se aí até mesmo uma mudança maior ou menor no próprio significado, na interpretação do que os números encontrados representam.

São características desejáveis: a cobertura (segundo o IPEA3 e Tironi et al. 4) ou abrangência ou amplitude, a portabilidade ou transferabilidade e a invariância de escala. Essencialmente, os três dizem respeito a poder-se aplicar o indicador a processos / sistemas diversos daqueles para os quais ele foi inicialmente concebido, sem que seja perdida a sua validade, o seu significado, a sua fidedignidade relativamente à informação que retrata.

  • a

    amplitude aumenta quando a nova aplicação corresponde a processos / sistemas de

    natureza diferente, porém dentro da mesma (sub)área do conhecimento na qual o indicador é usualmente empregado;

  • a

    portabilidade, mais forte, significa que o uso do indicador pode ser estendido com sucesso para o estudo de sistemas / processos de outras (sub)áreas do conhecimento contíguas à alguma em que ele funciona adequadamente;

  • a

    invariância de escala está presente quando o indicador mantém sua validade e sua interpretação mesmo que as

    dimensões do processo ou sistema examinado sejam acentuadamente diferentes.

Dessa vez, bons exemplos podem ser dados em termos dos indicadores bibliométricos e dos relativos à informação, mais especificamente aqueles que buscam estabelecer alguma espécie de avaliação. No contexto, podem-se divisar diversas subáreas de interesse: pretende-se avaliar exatamente o quê?

  • Pesquisadores?

  • Publicações?

  • Instituições?

  • Progressos em determinadas áreas do conhecimento?

  • O grau de desenvolvimento de uma região (estado ou país)?

Parece razoável considerar três dessas categorias — pesquisadores, instituições e áreas do conhecimento — como relativas a sistemas / processos distintos em uma mesma subárea de interesse. Assim, um indicador que funcione bem nas três terá uma amplitude maior do que outro, aplicável a somente uma ou duas delas.

A categoria publicações, por sua vez, é diferente da anterior, mas não de todo afastada dela. Não é absurdo admitir que um indicador adequado à primeira possa também fazer sentido na última. Em caso positivo, tratar-se-ia de um indicador com boa portabilidade. O grau de desenvolvimento de uma região parece constituir uma terceira categoria, distinta das outras duas: de novo, a aplicação, a ela, de qualquer indicador eficaz nas outras duas, constitui-se em outro exemplo de portabilidade.

Cabe, neste ponto, um comentário cuja importância não poderia ser maior: o fato de um indicador ser excelente num determinado contexto não implica que possa ser automaticamente empregado em outros, mesmo que próximos. Eventualmente, ele nem ao menos chegará ao nível de ruim, sua interpretação costumeira poderá simplesmente não fazer qualquer sentido. A portabilidade não é óbvia, não é evidente, não é dada a priori. Tem que ser verificada e só deve ser aceita quando exaustivamente comprovada.

A tendência natural, especialmente quando se trata de um indicador de grande sucesso e credibilidade, é a portabilidade nem ser questionada. Isso implica a existência de um risco enorme de se tomarem decisões erradas, com sérios prejuízos morais e materiais para pessoas e instituições, em decorrência de um excesso de confiança em números de validade insuficientemente estabelecida, quando estendidos a novas situações.

Retome-se a questão de se avaliarem instituições e pesquisadores para ilustrar a invariância de escala, a última e mais sutil das características mencionadas. Por exemplo, a Faculdade R tem 150 docentes que publicam 75 artigos por ano em veículos de expressão internacional; a Universidade S, com 4 mil docentes, publica, 2 mil artigos desse tipo por ano. Ambas apresentam o mesmo índice de 0,5 artigos / (docentes.ano). Superficialmente, poder-se-ia dizer que os dois grupos de pesquisadores são igualmente produtivos. Mas isso é necessariamente verdade? Eventualmente, pode não ser: encargos administrativos em geral não crescem de forma proporcional quando se aumenta o número de docentes em uma instituição. Assim, na Universidade S, a carga administrativa por professor tende a ser menor, ele teria mais tempo para pesquisar, deveria publicar mais. Ou seja, 0,5 artigos / (docentes.ano) podem não ter o mesmo significado na escala 4 mil e na escala 150, o que implicaria que esse indicador não apresenta invariância de escala.

Existe, ainda, outro fator que pode contribuir para que a informação contida no indicador não seja exatamente a mesma nos dois casos: numa instituição pequena, um dado equipamento é usado por apenas um pesquisador, ficando ocioso boa parte do tempo; na grande, é comum haver até disputa por acesso a uma certa máquina. De novo, 0,5 artigos / (docentes.ano) não têm exatamente o mesmo significado num e noutro caso. Observe-se que essa consideração permite supor que o indicador número de artigos / recursos investidos em equipamento igualmente não satisfaça a invariância de escala.

Finalmente, um indicador de fato invariante de escala deveria manter sua interpretação mesmo quando aplicado a apenas um pesquisador. Embora interessante, a discussão desse ponto não será feita aqui.

Vantagens que podem se tornar riscos

a) É bastante favorável construir indicadores a partir de dados naturalmente disponíveis no sistema / processo em estudo.

A construção de indicadores não pode deixar de levar em conta o ônus que eles irão representar. Parte desse ônus pode ser o custo financeiro de sua determinação, mas nem sempre é esse o ponto de maior dificuldade. Muito pior e muito mais dificilmente contornável é uma necessidade de modificações no sistema ou processo para chegar aos dados brutos. Especialmente nas ciências sociais, é bastante complexo mudar hábitos, alterar procedimentos, introduzir inovações, ampliar a carga de tarefas: em princípio, o poder do pesquisador não é suficiente para issoIII. Numa investigação acerca deaproveitamento escolar, um exemplo seria exigir que provas fossem formuladas ou corrigidas pelos professores segundo um padrão específico, para que das notas se pudesse obter mais do que um simples aprovado / não-aprovado. O sucesso passaria a depender de uma cooperação onerosa para o sistema em estudo de que, ao menos num primeiro momento, não se poderia estar seguro. A conseqüência pode ser ou falha, ou fracasso de um excelente projeto, gerando desânimo e desconfiança relativamente a outras iniciativas similares.

b) Muito cuidado com a interpretação preconceituosa.

Obtido o indicador, tende-se a atribuir-lhe automaticamente o significado que se imaginou ao concebê-lo. Essa é uma atitude que tem que ser conscientemente evitada: a interpretação de indicadores deve ser examinada criticamente (com isenção) e amplamente discutida, até se chegar um consenso do exato conteúdo em termos de informação sobre o processo ou sistema que ele encerra de fato.

c) A verdade final está sempre com o sistema ou o processo.

Ao se elaborar indicadores, há uma questão fundamental que não pode ser perdida de vista: o mais importante é sempre a realidade, o processo ou sistema que os indicadores descrevem; se um indicador diz que o sistema vai mal, mas na verdade ele vai bem, acreditar que isso é possível e duvidar do primeiro, e não do último... Após um indicador ter sua obtenção padronizada, fica fácil obtê-lo, e torna-se cômodo basear nele muitas decisões, esquecendo que ele não é a realidade, mas uma expressão incompleta de uma parte dela.

CONCLUSÃO: DISPONIBILIZAR INDICADORES É UMA ENORME RESPONSABILIDADE

Ao longo deste trabalho, procurou-se mostrar que construir bons indicadores não é trivial, mas que pode e deve ser feito. A ampla disponibilidade de computadores reduziu drasticamente o custo do armazenamento e manipulação de grandes massas de dados, permitindo a padronização de procedimentos para extrair informações praticamente sem esforço (uma vez disponíveis os algoritmos pertinentes). Assim, facilmente serão obtidos indicadores variados, disponíveis nos próprios sistemas que guardam e disseminam informações em geral.

Ponha-se, de um lado, essa fácil acessibilidade e, de outro, o fato de que a elaboração de indicadores é uma tarefa difícil. O resultado é que os assim chamados indicadores automáticos tenderão fatalmente a se tornarem extremamente populares, e muitas pessoas e sistemas tentarão usá-los para apoiar tomadas de decisão. Se os indicadores não forem bem construídos, muitas más decisões poderão ser tomadas.

Mais ainda, deve-se ficar alerta com respeito a tentar extrair dos indicadores informações que eles não foram projetados para fornecer, especialmente a já discutida questão da portabilidade. Um indicador adequado para fornecer informações sobre revistas científicas pode ser empregado para avaliar pesquisadores ou instituições?

A comunidade de pesquisadores, desenvolvedores e usuários de indicadores quantitativos precisa constantemente revê-los, questioná-los e discuti-los, divulgando de forma clara esem ambigüidades tanto a informação eles contêm como a que eles não contêm com respeito ao processo a que estão associados.

Quantitative indicators: reflections before their establishment

Abstract

The paper points out some aspects to be considered for the systematized building of quantitative indicators relating to any kind of processes, and including attributes such as relevance, intensity, univocality, standardization and tracking.

Keywords

Indicators – Methodology.

Piotr Trzesniak

Professor da Escola Federal de Engenharia de Itajubá, MG

Ptrzesniak@uspif1.if.usp.br

  • 1
    RESNICK, R., HALLIDAY, D. Física 2. ed. Rio de Janeiro: Livros Técnicos e Científicos, 1974. v. 1.
  • 2
    CAMPOS, V. F. TQC - controle da qualidade total (no estilo japonês). Belo Horizonte: Christiano Ottoni, 1992.
  • 3
    INSTITUTO DE PESQUISA ECONÔMICA APLICADA. Critérios para a geração de indicadores da qualidade e produtividade no serviço público Brasília: IPEA/MEFP, 1991.
  • 4
    TIRONI, L. F., SILVA, L. C. E., VIANNA, S. M. et al. Critérios para a geração de indicadores de qualidade e produtividade no serviço público. Brasília: IPEA/MEFP, 1991. (Texto para discussão, 238).
  • aspectos distintos

    correspondem a do processo
    corpo em movimento. Estabeleceram-se, assim, os conceitos de
    momento linear (o primeiro) e
    energia cinética (o segundo)
    I I Uma idéia aproximada da diferença entre os dois conceitos pode ser dada em termos do que uma pessoa sentiria ao ser atingida por um corpo em movimento: a extinção do momento linear desse corpo corresponderia a uma força aplicada num intervalo de tempo muito curto, e geraria uma sensação de dor; já a energia cinética estaria associada ao deslocamento de tecido ocasionado pela força, sendo responsável por um arroxeado ou fratura. II As denominações apresentadas nesta e na próxima seção para as características dos indicadores não são consagradas, mas meramente sugestões do autor; para as aquelas que constam nos trabalhos citados (IPEA e Tironi et al.), indica-se também o nome lá empregado. III Aí estão mais algumas diferenças entre as ciências humanas e sociais e as exatas. Nestas últimas, trabalha-se com máquinas e materiais inanimados, amplamente dominados pelo experimentador no laboratório e razoavelmente controláveis em campo. Já nas primeiras, o laboratório é, em muitos casos, excessivamente distante da realidade para ser útil, e a própria realidade é impossível de ser submetida). .
  • *
    Colaboração voluntária apresentada durante o Seminário sobre Avaliação da Produção Científica, realizado em São Paulo pelo Projeto SciELO, de 4 a 6 de março de 1998.
  • Iaspectos distintoscorrespondem a do processo corpo em movimento. Estabeleceram-se, assim, os conceitos de momento linear (o primeiro) e energia cinética (o segundo)I. Uma idéia aproximada da diferença entre os dois conceitos pode ser dada em termos do que uma pessoa sentiria ao ser atingida por um corpo em movimento: a extinção do
    momento linear desse corpo corresponderia a uma força aplicada num intervalo de tempo muito curto, e geraria uma sensação de
    dor; já a
    energia cinética estaria associada ao deslocamento de tecido ocasionado pela força, sendo responsável por um
    arroxeado ou fratura.
    II As denominações apresentadas nesta e na próxima seção para as características dos indicadores não são consagradas, mas meramente sugestões do autor; para as aquelas que constam nos trabalhos citados (IPEA e Tironi et al.), indica-se também o nome lá empregado.
    III Aí estão mais algumas diferenças entre as ciências humanas e sociais e as exatas. Nestas últimas, trabalha-se com máquinas e materiais inanimados, amplamente dominados pelo experimentador no laboratório e razoavelmente controláveis em campo. Já nas primeiras, o laboratório é, em muitos casos, excessivamente distante da realidade para ser útil, e a própria realidade é impossível de ser submetida).
  • Datas de Publicação

    • Publicação nesta coleção
      20 Out 1998
    • Data do Fascículo
      1998
    IBICT SAS, Quadra 5, Lote 6, Bloco H, 70070-914 Brasília DF - Brazil, Tel.: (55 61) 3217-6360 / 3217-6350, Fax: (55 61) 321.6490 - Brasília - DF - Brazil
    E-mail: ciinf@ibict.br