Resumos
INTRODUÇÃO: A necessidade de gestão da produção científica e tecnológica em saúde está bem estabelecida no Brasil desde a realização da I Conferência Nacional de Ciência e Tecnologia (C&T) em Saúde, em 1994. O presente estudo apresenta uma estratégia metodológica para identificação de prioridades institucionais no planejamento dessa gestão. MATERIAL E MÉTODO: Questionário aplicado a uma amostra de pesquisadores dos Institutos de Pesquisa da Secretaria de Saúde do Estado de São Paulo recolheu impressões sobre dois cenários alternativos: situação atual e expectativa. Dezoito conceitos de gestão de C&T, compondo quatro temas distintos, foram medidos como percentagem média de aprovação ou reprovação em cada cenário. A contribuição de cada conceito nos quatro temas foi avaliada por exame de consistência interna através do coeficiente alfa de Cronbach e a composição final dos temas foi depurada de conceitos inconsistentes. As médias de aprovação/reprovação foram ainda calculadas como coordenadas de cada cenário tanto para os conceitos quanto para os institutos estudados, permitindo a construção de mapas de localização de prioridades de gestão por conceitos e por institutos. RESULTADOS: Observou-se que a situação atual, ainda que não expressivamente, merece reprovação, enquanto identificam-se altos níveis de expectativa, com destaque significativo para a gestão de infra-estrutura para pesquisa. As principais prioridades de gestão de C&T são identificadas como: reconhecimento de mérito, apoio à divulgação, planejamento de recursos por projetos e assessoria metodológica. CONCLUSÃO: A estratégia metodológica adotada no estudo provê as informações necessárias ao planejamento podendo ser aplicada a outras instituições de pesquisa através de adaptação do conteúdo temático e conceitual.
Academias e institutos; Pesquisadores; Controle da tecnologia
INTRODUCTION: An urgent need for the management of science and technology production in the health field has been recognised in Brazil since 1994, when the Federal Government called a National Conference on the subject. The present study presents a methodology for the identification of items of priority in planning such management. MATERIAL AND METHOD: A survey was conducted in the research institutes belonging to the S. Paulo State Health Department among a sample of research professionals with a view to collecting data on two different scenarios: present and expected situation. Eighteen concepts, assembled in four different groups, were assessed is terms of an average percentage approval or disapproval, for each scenario. Consistency for the measurement of each of these groups was examined by the use of Cronbach's alpha coefficient and inconsistent concepts were disregarded in the analysis. The average percentage of approval/disapproval was further calculated as scenario co-ordinates for each concept and institute entering the study so that priority maps for concepts and institutes could be constructed. RESULTS: Results suggest that the present situation meets with disapproval, though not strongly so, while a high degree of expectation is expressed with significant emphasis as regards research infrastructure management. The main priorities are given as: acknowledgement of performance, support for publication, resource allocation by research project and methodological advice for research analysis. CONCLUSION: It is concluded that the study methodology was helpful in eliciting management priorities and could be applied elsewhere with due adjustment of content regarding selection of concept and their grouping.
Academies and institutes; Research personel; Tecnology
Definindo prioridades de gestão de ciência e tecnologia em saúde
Defining priorities for the management of health science and technology
Júlio Cesar Rodrigues Pereira, Sueli Gonzales Saes e Maria Mercedes Loureiro Escuder
Laboratório de Epidemiologia e Estatística do Instituto Dante Pazzanese de Cardiologia. São Paulo, SP - Brasil (J.C.R.P.); Coordenação dos Institutos de Pesquisa da Secretaria de Saúde do Estado de São Paulo. São Paulo, SP - Brasil (S.G.S.); Instituto de Saúde da Secretaria de Saúde do Estado de São Paulo. São Paulo, SP - Brasil (M.M.L.E.)
INTRODUÇÃO
A necessidade de definição de políticas de ciência e tecnologia em saúde ficou formalmente estabelecida no Brasil com a realização da I Conferência Nacional de Ciência e Tecnologia em Saúde, entre os dias 24 e 28.10.94, em Brasília, D. F. No Estado de São Paulo, no mesmo ano uma estratégia de gestão foi implantada pela Coordenação dos Institutos de Pesquisa da Secretaria de Saúde (CIP)14, mas com a troca de governo no início de 1995 a experiência foi descontinuada.
Ao longo do ano de 1996 a matéria reconquistou a atenção da CIP e uma colaboração foi buscada com o Programa de Administração em Ciência e Tecnologia (PACTo) da Fundação Instituto de Administração (FIA) da Faculdade de Economia e Administração da Universidade de São Paulo (FEA-USP). Um técnico da CIP foi selecionado para o XXII Ciclo do Programa de Treinamento em Administração de Pesquisas Científicas e Tecnológicas (PROTAP) com a proposta de desenvolver estudos para definição de estratégias de gestão para os institutos de pesquisa da CIP, sob supervisão docente do PROTAP. O presente trabalho apresenta os resultados de uma parte desses estudos, um projeto de pesquisa planejado com o objetivo de conceber e aplicar experimentalmente uma metodologia para a definição de prioridades temáticas e conceituais para uma estratégia de gestão da produção científica de institutos de pesquisa no campo da saúde.
A área das ciências biológicas e da saúde tem sido identificada como uma das áreas de menor adesão à modernização da gestão de ciência e tecnologia (C&T). Estudo recente que reviu 20 anos de formação de gestores de C&T no PROTAP13 encontrou que apenas 2% de centenas de profissionais treinados pertenciam a esta área do conhecimento. Mais ainda, uma análise de discurso de formadores de opinião identificou os profissionais desta extração e a vinculação institucional a institutos de pesquisa, da administração direta, como ligados a uma corrente de opinião que rejeita a administração de C&T por temer interferência na autonomia do pesquisador. Morel10, já em 1979, reconhecia esta visão atávica da produção científica como trabalho artesanal centrado na personalidade do pesquisador, a qual tende a desconhecer a complexidade do processo de produção do conhecimento na ciência moderna. Esta complexidade, que se materializa na coletivização do processo de trabalho e na globalização da produção, inequivocamente solicita planejamento institucional e definição de política nacional de Estado9.
O planejamento institucional em ciência e tecnologia reconhece diferentes estratégias que podem ser sintetizados em planejamento normativo, extrapolativo e exploratório7. Na primeira técnica, normas exaradas pela autoridade definem o modelo gestor e orientam as atividades. Na segunda, projeções de séries passadas definem parâmetros para a estratégia de gestão, e na última, cenários alternativos são construídos a partir de impressões de atores definidos, sejam usuários, agentes da produção de C&T ou formadores de opinião no campo. Na CIP a experiência de 1994 teve caráter normativo e a experiência atualmente em curso preferiu uma estratégia exploratória que tem envolvido diferentes iniciativas, uma das quais a investigação da visão dos pesquisadores sobre a gestão de C&T, dado primário do estudo que aqui se apresenta.
O presente projeto foi concebido com vistas a contribuir com a busca de modelos de gestão de C&T em saúde através da criação e aplicação prática de uma metodologia para definição de prioridades de gestão. Por metodologia entenda-se a definição de medidas para o evento estudado e a identificação de rotinas de processamento para análise, ambos sob um referencial teórico dado.
Foge ao escopo do presente estudo tanto o objeto específico sobre o qual se planeja prioridades como a interpretação de resultados. Ambos escapam da reflexão acadêmica e pertencem ao arbítrio e responsabilidade do tomador de decisão. Assim a escolha
de temas e conceitos que instruem a definição de prioridades, bem como o julgamento da informação produzida é matéria de discricionaridade administrativa.
No presente estudo, temas e conceitos para planejamento são escolhidos aleatoriamente pelos pesquisadores para fins de aplicação experimental da metodologia concebida. Da mesma forma, um exemplo de interpretação de resultados é realizado com o objetivo único de validar experimentalmente a aplicação da metodologia.
MATERIAL E MÉTODO
Para identificar cenários através de opiniões sobre gestão de C&T na CIP arbitrou-se submeter um questionário padronizado a cerca de 5% do total de seus pesquisadores. Esta amostra foi estratificada por Instituto de Pesquisa de forma a garantir proporcionalidade de participação para cada instituto segundo seu contingente de pesquisadores. Com auxílio do pacote estatístico SPSS (Statistical Package for Social Sciences) foi feita seleção ao acaso dos pesquisadores por geração de identificadores aleatórios em bases de dados do tipo DBASE III-Plus, com registro dos pesquisadores de cada instituto.
O questionário foi concebido para verificar opiniões sobre diferentes conceitos de gestão de C&T, agrupados em 4 temas, na forma descrita na Tabela 1.
- Temas e conceitos de gestão de C & T investigados em inquérito a pesquisadores da CIP.
Table 1 - S & T management themes and concepts in an enquiry among research workers of the CIP.
No questionário cada conceito foi apresentado na forma de uma afirmação radicalmente positiva para a qual o pesquisador era convidado a manifestar sua opinião escolhendo uma de 5 alternativas de resposta, desde máxima discordância até máxima concordância com ponto médio na neutralidade. Por exemplo, no primeiro conceito citado (carteira de projetos, no tema gestão de projetos), expectativa e situação atual eram examinadas pelas afirmações:
Expectativa:
"Acho indispensável que o Instituto tenha uma carteira de projetos onde toda a atividade de pesquisa seja devidamente registrada."
Situação Atual
"Em nosso instituto nenhuma pesquisa é feita sem cadastramento e perfeito conhecimento da direção."
A resposta do respondente poderia ser uma das seguintes alternativas:
Discordo totalmente
Discordo
Neutro ou Indiferente
Concordo
Concordo totalmente
Este tipo de escala foi originalmente concebido por Likert8 e hoje tem larga aplicação nas ciências sociais. A manifestação de concordância/discordância é tratada como uma variável categórica ordinal e seus intervalos são assumidos como regulares. A combinação de vários itens de respostas permite a criação de indicadores cuja consistência deve ser examinada por testes de correlação entre os itens considerados para a composição de um indicador.
No presente estudo cada um dos conceitos de gestão foram enunciados de duas formas alternativas de modo a captar impressões para identificação de dois cenários: situação atual e situação desejada. A consistência da medida derivada de cada tema foi aferida pelo teste de confiabilidade de Cronbach que mede um coeficiente geral de correlação entre os itens considerados, o alfa, cujos valores podem variar num intervalo de correlação mínima (zero) até máxima (um)11. Com o auxílio do pacote estatístico SPSS, a participação de cada conceito na composição de cada tema foi investigada, e os conceitos que resultaram em prejuízo de consistência do tema por baixa correlação foram excluídos da composição temática.
Para análise dos resultados adaptou-se a teoria do diferencial semântico de Osgood e col.12 à escala de Likert8 de forma a permitir medidas de distâncias da neutralidade em direção aos dois valores opostos de concordância e discordância. As categorias de resposta foram codificadas de forma que o cálculo de sua média representasse uma proporção ponderada de aprovação ou reprovação máxima do tema ou conceito, atribuindo-se códigos -100%, -50%, 0, +50%, +100%, respectivamente às categorias Discordo totalmente, Discordo, Neutro, Concordo e Concordo totalmente.
Assim, uma média negativa deve representar proporção de máxima discordância ou reprovação de um conceito, ponderados os efeitos de neutralidade e concordância ou aprovação. Uma média positiva tem a mesma interpretação no sentido contrário, da concordância ou aprovação. A média de códigos com valores discretos ponderada por sua freqüência, dentro de uma dada amostra, é a melhor aproximação da expectativa, uma função matemática2 que soma os produtos de cada valor e sua probabilidade num universo infinito de observações (SxiPi). A técnica de edição de codificação de variáveis, embora possa não ser familiar ao ambiente das ciências da saúde, tem aplicação conhecida nas ciências da administração. Bussab3 aplica estratégia semelhante para dimensionar lucro, calculando a média de valores positivos e negativos para inferir expectativa.
Finalmente, as medidas de aprovação/reprovação para situação atual e para expectativa foram computadas como coordenadas para cada um dos conceitos de gestão e para cada um dos Institutos de Pesquisa permitindo assim a construção de um plano na forma de um mapa de localização de conceitos e institutos segundo a combinação do cenário esperado e do cenário desejado. Este processamento toma emprestado das técnicas de análise multivariada (Multidimensional Scaling5, Correspondence Analysis4) a estratégia de projeção plana de medidas múltiplas para o estudo de proximidades geométricas. No mapa, o reconhecimento de uma dimensão com sentido de maior expectativa e pior situação atual permite a identificação das prioridades de gestão para CIP, sugerindo uma ordem hierárquica para consideração tanto de conceitos de gestão quanto de institutos de pesquisa.
RESULTADOS
Pelos sete institutos da CIP foram distribuídos 105 questionários, tendo-se obtido uma taxa geral de resposta da ordem de 89,5%, com variações entre 75% e 100%. O sigilo imposto às informações coletadas não permitiu a identificação de não respondentes para apuração dos motivos de não-resposta.
Os quatro temas de gestão de C&T investigados delinearam cenários bastante homogêneos de situação atual e esperada sugerindo uma pequena reprovação da situação atual e uma grande expectativa por iniciativas de gestão (Figura 1). Esta homogeneidade só é rompida nas expectativas onde a gestão de infra-estrutura para pesquisa destaca-se significativamente dos outros temas, mostrando níveis mais elevados e menor variabilidade em torno da média. Os temas foram também analisados com estratificação por instituto, função do respondente e senioridade acadêmica do respondente, mas nenhuma destas abordagens revelou grupos com resposta significativamente distinta do coletivo.
- Gestão de C&T na CIP: médias gerais de aprovação.
Figure 1 - S & T managent in the CIP averages of approval.
A composição conceitual dos temas para cada cenário teve sua forma inicial (Tabela 1) devidamente ajustada através do exame de sua consistência pelo cálculo do coeficiente alfa de Cronbach, na forma que segue descrita na Tabela 2.
- Composição conceitual dos termos de gestão de C & T, segundo exame de consistência pelo coeficiente alfa de Cronbach.
Table 2 - Conceptual composition of the S & T management themes, according to the consistency examination by Cronbach's alpha coefficient.
A composição conceitual de cada tema em cada cenário é discriminada nas Figuras 2 a 5. Essa discriminação permite reconhecer que a despeito de uma tendência de reprovação da situação atual de gestão nos institutos de pesquisa, alguns conceitos merecem o reconhecimento dos pesquisadores: planejamento de pesquisa, infra-estrutura de biblioteca e reprografia, e ainda delegação de autoridade ao pesquisador para condução de seu projeto.
- Gestão de projetos: composição conceitual.
Figure 2 - Project management: conceptual composition.
Figura 3 - Gestão de recursos materiais e financeiros para pesquisa: composição conceitual.
Figure 3 - Management of material and financial resources for research: conceptual composition.
Figura 4 - Gestão de infra-estrutura para pesquisa: composição conceitual.
Figure 4 - Management of research infra-structure: conceptual composition.
Figura 5 - Gestão de recursos humanos para pesquisa: composição conceitual.
Figure 5 - Management of human resources for research: conceptual composition.
A combinação dos cenários de expectativa e situação atual permitiu a construção dos mapas de prioridade de gestão que são apresentados nas Figuras 6 e 7. Nesses mapas, conceitos e institutos podem ser hierarquizados em ordem de prioridade segundo um ou outro eixo, ou seja, segundo expectativas ou situação atual, ou podem ainda ser ordenados segundo a combinação de ambos os eixos através de uma projeção sobre a diagonal retroascendente, que representa expectativa crescente e situação atual decrescente.
- Mapa de definição de prioridades para conceitos de gestão de C&T.
Figure 6 - Map of the definition of priorities for S & T management concepts.
- Mapa de definição de prioridades por instituto de pesquisa.
Figure 7 - Map of the definition of priorities by research institute.
COMENTÁRIOS E CONCLUSÕES
A análise de cenários alternativos é uma estratégica típica do planejamento exploratório. A metodologia mais amplamente divulgada e aplicada é a técnica Delphi6, onde diferentes cenários são criados a partir da aplicação sucessiva de questionários a agentes envolvidos com o campo estudado. No presente estudo, uma metodologia alternativa foi concebida e testada experimentalmente. Dois cenários opostos foram criados a partir de um mesmo questionário e seu processamento conjunto na forma de mapas de localização de conceitos e unidades administrativas permitiu a conclusão de uma definição de prioridades de gestão com formidável redução no tempo que se empregaria com os métodos tradicionais. A utilização de questionários como fonte de dados em avaliação de C&T é bem estabelecida desde a experiência conduzida por Andrews1, em 1979, sob o patrocínio da UNESCO (United Nations Educational, Scientific and Cultural Organisation). Nesse estudo, que comparou o desempenho de unidades de pesquisa de seis diferentes países, questionários contendo afirmações buscavam respostas categóricas em escala de 5 pontos semelhantes a aqui aplicada (máxima aprovação, máxima reprovação e ponto médio de neutralidade) e os dados originais eram editados e processados para produção de informações na forma de mapas. Temas como gestão de recursos (humanos, materiais e financeiros) e de infra-estrutura são contemplados no citado estudo e muitos dos conceitos utilizados para concepção de variáveis encontram paralelo com o que aqui se apresentou.
No presente estudo, o processamento dado às medidas originais permitiu uma redução expressiva das informações a serem analisadas. De fato, mantida a forma tradicional de análise de variáveis categóricas, a cada conceito para cada cenário corresponderiam 5 medidas de freqüência de categorias, ou seja, 90 medidas em cada cenário. Qualquer análise que buscasse a síntese deste volume de informações acabaria contaminada por algum grau de subjetividade na seleção do que fosse importante para destaque. A estratégia utilizada não só permitiu uma avaliação objetiva da importância de cada tema e cada conceito, como deu oportunidade de comparação entre cada um deles levando em conta seus intervalos de confiança de 95%. Redução ainda maior foi alcançada com a elaboração dos mapas de prioridades.
Esses mapas, no entanto, não têm como escopo a redução de informações mas a composição daquelas disponíveis para ampliar o conhecimento oferecido pelo processamento inicial para cada cenário. Note-se, por exemplo, que embora a estratificação dos cenários de expectativa e situação atual não tenha identificado diferenças significativas entre os institutos, o mapa permitiu uma distinção de modo a indicar uma ordem hierárquica de prioridade entre eles. Mais ainda, os mapas permitem o reconhecimento de vizinhanças, o que no mapa dos conceitos identifica agrupamentos distintos daqueles concebidos na concepção dos temas de gestão: os conceitos "remuneração complementar do pesquisador segundo o projeto de pesquisa que realiza", "dotação de recursos segundo avaliação de andamento de projeto" e "monitoramento de projetos" são vizinhos e embora tenham origem em temas distintos têm características semelhantes e poderiam responder a uma iniciativa comum de gestão, por exemplo, "execução de despesas de recursos humanos e materiais por projetos monitorados".
Os resultados sugerem que os institutos Adolfo Lutz, Pasteur e Saúde mereceriam prioridade de atenção num planejamento de gestão de C&T na CIP e que os conceitos que mais se destacariam seriam reconhecimento de mérito, apoio à elaboração de material de divulgação, planejamento de recursos por projeto e assessoria metodológica. Pelo menos 2 destes 4 primeiros itens de gestão estariam atendidos se a experiência de 199414 não tivesse sido descontinuada: reconhecimento de mérito, através do convênio com a FUNDAP que oferecia bolsas aos pesquisadores, e assessoria metodológica, através do convênio com a USP, que criava o Centro de Epidemiologia e Estatística.
No entanto, os resultados obtidos interessam mais na forma do que no conteúdo. De fato, a identificação de prioridades de gestão é o passo precedente de uma ação administrativa cuja efetivação depende dos tomadores de decisão e não do investigador. Já a forma, ou seja, a estratégia metodológica, é de interesse acadêmico na medida que oferece resposta à demanda oficialmente enunciada de gestão de ciência e tecnologia em saúde. A utilização dos resultados do presente estudo pertence, portanto, à economia interna da CIP e a utilização de sua metodologia em outras instituições deverá considerar uma adaptação de conteúdo, com definição de temas e conceitos a serem investigados de acordo com as orientações políticas e programáticas de cada instituição.
No que interessa a forma, a investigação conduzida foi bem sucedida em seus objetivos de definir e testar uma metodologia para definição de prioridades de gestão em C&T. Tomando como referencial teórico as técnicas de psicometria (escala de Likert, diferencial semântico de Osgood e exame de consistência pelo a de Cronbach) e as análises de proximidades geométricas das técnicas de análise multivariada, o estudo concebeu e testou um modelo metodológico que define rotinas de medidas e processamento que, redefinidas em conteúdo para situações locais, pode ser aplicado como instrumento objetivo de planejamento em instituições de pesquisa em saúde.
O planejamento exploratório constitui-se numa abordagem alternativa ao planejamento normativo que obedece definições programáticas definidas por autoridade. Em saúde, essa abordagem corresponde ao modelo cepalino15 que exerceu forte influência sobre a cultura administrativa da saúde pública, particularmente nas décadas de sessenta e setenta. O planejamento exploratório permite a definição de prioridades administrativas através de consenso entre experts ou atores e por isso tem como vantagem uma maior chance de sucesso por maior aderência às diretrizes administrativas. É, por outro lado, uma abordagem essencialmente qualitativa onde a identificação de categorias de prioridade para o planejamento envolve considerável decurso de tempo entre concepção temática/conceitual e repetidos passos de aferição.
A metodologia desenvolvida, no presente estudo, preserva a natureza qualitativa do exercício exploratório mas, sem filiar-se às técnicas estritamente quantitativas do planejamento extrapolativo, introduz dimensionamento métrico que instrumentaliza uma prospecção objetiva dentro de uma abordagem exploratória. Tem como vantagem sobre as abordagens anteriores principalmente uma expressiva redução no tempo de identificação de prioridades com preservação do componente participativo no planejamento. Sua deficiência sobre outras alternativas exploratórias reside na definição prévia da composição temática e conceitual a ser explorada, o que preserva algum nível de arbitrariedade para a autoridade, com conseqüente possibilidade de erro por eventual exclusão de temas e conceitos que de outra forma emergiriam numa exploração de consultas sucessivas à comunidade interessada.
Correspondência para/Correspondence to: Júlio Cesar Rodrigues Pereira - Praça Com. Manoel de melo Pimenta, 12 - 05451-110 São Paulo, SP - Brasil. E-mail: julio@lee.dante.br
Edição subvencionada pela FAPESP (Processo 97/09815-2).
Recebido em 2.12.1996. Reapresentado em 11.3.1997. Aprovado em 12.6.1997.
- 1. ANDREWS, F. M. ed. Scientific productivity Cambridge, Cambridge University Press, 1979.
- 2. ARMITAGE, P. & BERRY, G. Statistical methods in medical research 3rd ed. London: Blackwell Science Ltd, 1994: 52-4.
- 3. BUSSAB, W. O. & MORETTIN, P. A. Estatística básica. Săo Paulo, Atual, 1987.
- 4. GREENACRE, M. J. Theory and application of correspondence analysis New York, Academic Press, 1984.
- 5. HAIR-JR, J. F.; ANDERSON, R. E.; TATHAM, R. L. Multivariate data analysis New York, Macmillan Publishing Co, 1987.
- 6. JOHNSON, B. B. A técnica Delphi. Săo Paulo, 1996. [Apresentado no 22ş Ciclo do PROTAP, FEA-USP, 1996].
- 7. JOHNSON, B. B. Técnicas prospectivas na avaliaçăo de P&D. Săo Paulo, 1996. [Apresentado no 8ş Seminário de Avaliaçăo de C&T, FEA-USP, 1996].
- 8. LIKERT, R. A technique for the measurement of attitudes. Arch. Psychol, 140:1-50, 1932.
- 9. MARQUES, M. B. Cięncia, tecnologia, saúde e desenvolvimento sustentado. Rio de Janeiro, FIOCRUZ, 1991.
- 10. MOREL, R. L. M. A pesquisa científica e seus condicionamentos sociais Rio de Janeiro, Achiamé, 1979. (Coleçăo Textos Paralelos).
- 11. NUNNALLY, J. C. Psychometric theory New York, McGraw-Hill, 1967.
- 12. OSGOOD, C. E. The measurement of meaning. In: Snider, J. G. & Osgood, C. E. Semantic differencial technique Chicago, Aldine Publishing Co., 1969. p. 3-41.
- 13. PEREIRA, J. C. R.; FISCHER, A. L.; DUTRA, J. S.; BAIĂO, M. S. Avaliaçăo de um programa de treinamento em gestăo de cięncia e tecnologia. Rev. Adm USP, 32: 89-103, 1997.
- 14. PEREIRA, J. C. R. & SAES, S. G. Avaliaçăo de estratégias de gestăo em cięncia e tecnologia: um estudo de caso. Rev. Saúde Pública, 29:308-17, 1995.
- 15. UNITED NATIONS. Economic Commission For Asia And The Far East. Pensamiento de La Cepal Santiago, Universitaria, 1969.
Datas de Publicação
-
Publicação nesta coleção
16 Ago 2001 -
Data do Fascículo
Dez 1997
Histórico
-
Aceito
12 Jun 1997 -
Recebido
02 Dez 1996 -
Revisado
11 Mar 1997
