Acessibilidade / Reportar erro

Características do inventário de raciocínio diagnóstico de Bordage, Grant e Marsden

Characteristics of the Bordage, Grant & Marsden diagnostic thinking inventory

Resumos

O propósito do estudo foi analisar as características do Inventário de Raciocínio Diagnóstico (IRD) em conexão com percepções sobre aprendizado e desempenho dos aprendizes ao início da formação profissional. O inventário foi aplicado a 423 estudantes de medicina, de ambos os sexos, por amostragem consecutiva. Foram também obtidas medidas diversas de percepção do aprendizado e de rendimento cognitivo. Várias análises foram efetuadas para configurar a validade interna e externa, incluindo análises de confiabilidade e de correlação. Os resultados confirmaram a consistência interna e estabilidade temporal do instrumento. Foram apuradas correlações positivas e significantes do escore do IRD com indicadores objetivos mas, principalmente com medidas subjetivas de percepção do aprendizado. Em conclusão, os achados sugerem que o IRD reflete, além de conhecimento e habilidades específicas, a percepção de eficácia pessoal no processo diagnóstico, que pode ser influenciada por diferentes fatores do contexto do aprendizado e de atitudes do aprendiz.

raciocínio diagnóstico; Inventário de Raciocínio Diagnóstico; estudantes de medicina; aprendizagem e desempenho


The purpose of this study was to analyze the properties of the Diagnostic Thinking Inventory (DTI) in relation to learners' perceptions and performance in the beginning of professional training. The inventory was applied by consecutive sampling to 423 medical students of both sexes. Different measures of learning perceptions and cognitive achievement were also obtained. Several analyses were undertaken to establish the internal and external validity of the instrument, including reliability and correlation studies. The results confirmed the internal consistency and temporal stability of the DTI. Positive and significant correlations of the DTI scores with objective knowledge indicators and mostly with subjective learning perceptions were also revealed. Overall, the findings suggest that DTI responses reflect, in addition to specific knowledge and skills, the perceptions of personal efficacy in the diagnostic process. Such perceptions can be influenced by many factors of the training context, as well as the learner attitudes to learning.

diagnostic thinking; Diagnostic Thinking Inventory; medical students; learning and performance


Características do Inventário de Raciocínio Diagnóstico de Bordage, Grant e Marsden1 1 O autor registra o apoio institucional e agradece a participação ativa e o interesse real dos aprendizes envolvidos. 2 Endereço: Universidade de Brasília, CP 04569 Medicina, 70919-970 Brasília, DF. E-mail: dtsobral@unb.br

Dejano T. Sobral2 1 O autor registra o apoio institucional e agradece a participação ativa e o interesse real dos aprendizes envolvidos. 2 Endereço: Universidade de Brasília, CP 04569 Medicina, 70919-970 Brasília, DF. E-mail: dtsobral@unb.br

Universidade de Brasília

RESUMO - O propósito do estudo foi analisar as características do Inventário de Raciocínio Diagnóstico (IRD) em conexão com percepções sobre aprendizado e desempenho dos aprendizes ao início da formação profissional. O inventário foi aplicado a 423 estudantes de medicina, de ambos os sexos, por amostragem consecutiva. Foram também obtidas medidas diversas de percepção do aprendizado e de rendimento cognitivo. Várias análises foram efetuadas para configurar a validade interna e externa, incluindo análises de confiabilidade e de correlação. Os resultados confirmaram a consistência interna e estabilidade temporal do instrumento. Foram apuradas correlações positivas e significantes do escore do IRD com indicadores objetivos mas, principalmente com medidas subjetivas de percepção do aprendizado. Em conclusão, os achados sugerem que o IRD reflete, além de conhecimento e habilidades específicas, a percepção de eficácia pessoal no processo diagnóstico, que pode ser influenciada por diferentes fatores do contexto do aprendizado e de atitudes do aprendiz.

Palavras-chave: raciocínio diagnóstico; Inventário de Raciocínio Diagnóstico; estudantes de medicina; aprendizagem e desempenho.

Characteristics of the Bordage, Grant & Marsden Diagnostic Thinking Inventory

ABSTRACT - The purpose of this study was to analyze the properties of the Diagnostic Thinking Inventory (DTI) in relation to learners' perceptions and performance in the beginning of professional training. The inventory was applied by consecutive sampling to 423 medical students of both sexes. Different measures of learning perceptions and cognitive achievement were also obtained. Several analyses were undertaken to establish the internal and external validity of the instrument, including reliability and correlation studies. The results confirmed the internal consistency and temporal stability of the DTI. Positive and significant correlations of the DTI scores with objective knowledge indicators and mostly with subjective learning perceptions were also revealed. Overall, the findings suggest that DTI responses reflect, in addition to specific knowledge and skills, the perceptions of personal efficacy in the diagnostic process. Such perceptions can be influenced by many factors of the training context, as well as the learner attitudes to learning.

Key words: diagnostic thinking; Diagnostic Thinking Inventory; medical students; learning and performance.

O processo diagnóstico é um componente importante da expertise em diferentes campos de atuação profissional, o que realça o interesse do estudo da diferenciação da capacidade de diagnóstico durante a formação. A medida direta do processo diagnóstico clínico é, contudo, complexa e demorada, circunstâncias que dificultam análises com propósitos educativos.

Bordage, Grant e Marsden (1990) desenvolveram um instrumento para aferir o raciocínio diagnóstico clínico que pode ser respondido em 15-20 minutos e vislumbraram a possibilidade de sua utilização no processo educativo. Os investigadores indicaram que o Inventário de Raciocínio Diagnóstico (IRD) media duas categorias de processo: grau de flexibilidade no raciocínio e grau de estrutura do conhecimento na memória, com base em numerosos elementos de pesquisa (Bordage & cols., 1990; Elstein & Bordage, 1988; Gale & Marsden, 1983; Grant & Marsden, 1987; Lemieux & Bordage, 1986). Os resultados do estudo original mostraram a consistência interna do instrumento e aspectos de sua sensibilidade discriminativa: em particular, foram observadas diferenças significantes entre médias de grupos representativos de fases distintas da educação médica.

Trabalhos subsequentes confirmaram, em conjunto, a validade de conteúdo do inventário e mostraram sua estabilidade temporal, bem como a utilidade potencial na apreciação do raciocínio diagnóstico em diferentes circunstâncias (Jones, 1997; Peterson, 1999; Round, 1999; Sobral, 1995).

Os estudos realizados na amostragem de estudantes brasileiros revelaram que características dos aprendizes e fatores do contexto educativo também influenciavam a resposta ao inventário, além da base de entendimento sobre a habilidade de diagnóstico em si (Sobral, 1995; 2000a). Foram observadas associações significativas entre o tipo e o grau de experiência prévia do aprendiz e as medidas de processo identificadas por Bordage e cols. (1990), confirmando a sensibilidade discriminativa do instrumento. Observaram-se ainda correlações positivas entre o escore do inventário e medidas de rendimento cognitivo. Em contraponto, aspectos de atitudes na aprendizagem ¾ tais como o nível de autoconfiança como aprendiz ¾ também apresentaram associações relevantes com o escore do inventário.

Os achados dos estudos anteriores levantaram a questão da extensão da validação do IRD, tendo em conta que os 41 itens do instrumento3 3 O instrumento original Diagnostic Thinking Inventory, é reproduzido em apêndice do artigo de Bordage e cols. (1990). derivam de um esboço ou modelo teórico do processo de raciocínio diagnóstico e que inexiste um padrão ouro que sirva como referência para testes de validade concorrente. Em acréscimo, a composição dos itens sugere que o instrumento pode refletir primordialmente características da pessoa e, não tanto, seu conhecimento clínico (Rust & Golombok, 1989). Dentre outras características, a percepção de autoconfiança no processo diagnóstico, segundo a noção de eficácia pessoal de Bandura (1986, 1993), poderia influenciar as respostas ao inventário (Sobral, 2000a).

O incentivo para o presente trabalho foi a possibilidade de explorar a validade de construto do instrumento de Bordage e cols. (1990), na situação real da aprendizagem profissional. Em que extensão diferentes fatores do contexto educativo antecedente à iniciação clínica influenciam as respostas ao Inventário de Raciocínio Diagnóstico e o potencial prognóstico do instrumento em relação a testes de resolução de problemas clínicos? Essa questão de pesquisa orientou o estudo, que foi realizado com amostra representativa de estudantes de medicina acompanhados em duas situações de aprendizagem. Os seguintes três objetivos de análise foram definidos para este trabalho.

1) Averiguar a relação entre os escores do IRD e medidas subjetivas e objetivas do aprendizado dos estudantes no curso.

2) Determinar o efeito, nos escores do inventário, do nível percebido de eficácia pessoal no raciocínio diagnóstico.

3) Descobrir se os escores do inventário contribuem de forma independente na predição do desempenho na resolução de problemas clínicos ou no rendimento cognitivo na iniciação clínica.

Metodologia

Sujeitos

A população alvo compreendia estudantes de medicina da Universidade de Brasília, que seguiam o acompanhamento curricular implantado a partir de 1988. O critério de inclusão, por amostragem consecutiva, foi a conclusão do sexto semestre do curso no período de 1993 a 1999. A amostra total de 423 sujeitos (53,9% masculinos) representa quase a totalidade dos egressos do curso no período do estudo.

Contexto

A coleta de dados do estudo foi realizada em duas partes, a primeira quando os participantes vivenciavam o ambiente da aprendizagem pré-clínica. A parte principal da coleta foi realizada no ambiente de aprendizagem do hospital universitário, quando os estudantes lidam diretamente com pacientes, realizam exames clínicos completos e são orientados a usar e desenvolver o raciocínio diagnóstico.

Medidas e Procedimentos

Os dados do estudo derivaram de três fontes principais de informação sobre os estudantes, a saber: (a) questionário de orientação, administrado na primeira semana do terceiro semestre do curso; (b) Inventário de Raciocínio Diagnóstico, aplicado entre a 10a e a 12a semana do sexto semestre; (c) avaliação do rendimento estudantil, registrada no terceiro, quinto e sexto semestres.

O questionário de orientação abrangia diferentes descritores do aprendiz no contexto do curso: o Inventário de Valorização do Aprendizado (Nehari & Bender, 1978); o Inventário de Estilo de Aprendizagem (Kolb, 1984); e duas escalas analógicas visuais: de autoconfiança como aprendiz e de motivação para aprender (Sobral, 1993). O Inventário de Valorização do Aprendizado é constituído de 36 itens que abrangem aspectos da apreciação estudantil dos desfechos de aprendizado de conteúdo e de desenvolvimento pessoal.

O Inventário de Raciocínio Diagnóstico (IRD) tem 41 itens, dentre os quais 20 com polaridade invertida. Cada item contém um enunciado seguido de uma escala de seis pontos do tipo diferencial semântica. Esse instrumento procura captar diversas facetas do processo diagnóstico clínico, entre as quais: aspectos salientes, reinterpretação de achados, modo de inquirir, mudança de percepção, julgamento reversível, relações abstratas e acesso à estrutura do conhecimento na memória.

No presente estudo, a versão em Português do inventário foi utilizada com referência ao modo geral de raciocínio diagnóstico, tendo em conta a natureza da experiência clínica dos participantes. Sua aplicação, no seguimento de várias discussões de casos clínicos, serviu como exercício e cada aprendiz recebeu um retorno comentado de suas respostas. Em sub-amostra de 176 sujeitos, o inventário incluiu, adicionalmente, uma questão expressa em escala global de quatro pontos para aferir a percepção de autodeterminação no raciocínio diagnóstico. A extensão de autodeterminação, na escala, se estendia de restrita (necessitando amadurecimento, incentivo, treinamento e feedback para desenvolvimento de raciocínio clínico eficaz), até máxima (capaz de raciocínio clínico eficaz mesmo em condições adversas de tempo e contexto de desempenho).4 4 A versão do instrumento que foi utilizada no estudo consta de anexo.

A avaliação de rendimento cognitivo incluiu um teste escrito de desempenho na resolução de problemas clínicos, bem como a apuração das médias das disciplinas cursadas respectivamenteno terceiro, no quinto e no sexto semestres.

O IRD foi aplicado antes do teste de resolução de problemas.

Análise

Os trabalhos de Andrew, Klem, Davidson, O' Malley e Rodgers (1981), Norman e Streiner (1994) e Streiner e Norman (1995), orientaram os procedimentos de análise. Três procedimentos estatísticos principais foram utilizados para caracterizar a estrutura interna do inventário e suas relações com sete medidas seletivas: (a) análise de confiabilidade; (b) coeficientes de correlação para medir a associação entre pares de variáveis; (c) testes t, ou análises de variância, para aferir diferenças entre médias de grupos; (d) análise de regressão múltipla para verificar a associação entre fatores explanatórios e a variável de desfecho, quando outros fatores são controlados.

Resultados

O coeficiente alfa de confiabilidade (Cronbach) na amostra total foi 0,83, quase idêntico ao valor relatado no estudo original e revela consistência interna adequada do instrumento. Os índices foram equivalentes em duas metades da amostra, ordenadas por ano de inclusão dos participantes no estudo. A estabilidade temporal foi 0,70, em medidas repetidas no intervalo de quatro semanas, valor aceitável considerando o contexto dinâmico de resposta.

A média do escore do IRD na amostra total foi 170,31 (desvio padrão 17,91) e corresponde a 69% da pontuação máxima. Não houve diferença significante entre médias de participantes agrupados por gênero.

As relações entre o IRD e as medidas de rendimento e de percepção do aprendizado foram analisadas por quatro tipos de procedimento, descritos a seguir.

Análise de Fatores. O escore do IRD e as sete outras medidas apuradas foram incluídas numa análise de fatores por componentes principais, que revelou dois fatores contribuindo para explicar 55,4% da variância. A Tabela 1 mostra a matriz de configuração após rotação varimax e revela que o primeiro fator constitui uma dimensão de medidas objetivas de verificação de aprendizado, enquanto o segundo constitui dimensão de medidas subjetivas de percepção do aprendizado. A medida do IRD se inclui na dimensão de medidas subjetivas do aprendizado estudantil.

Análise de Correlação. A Tabela 2 mostra as correlações entre o escore do IRD e as sete medidas apuradas. As três medidas subjetivas (valorização do aprendizado, autoconfiança como aprendiz e motivação para aprender) mostraram correlação positiva e significante com o escore do IRD.

Análise de Variância. A terceiro tipo de procedimento teve duas fases. Uma análise classificatória (K-Cluster) com todos os 41 itens do IRD identificou inicialmente quatro grupos de estudantes, na amostra total do estudo. Na seqüência, efetuou-se análise de variância (oneway) de cada medida apurada, subjetiva ou objetiva, segundo os grupos obtidos na análise classificatória. Foram observadas diferenças significantes entre as médias dos grupos no caso de cinco medidas: IRD, autoconfiança como aprendiz, valorização do aprendizado, teste de resolução de problemas e rendimento no 6o semestre. Os achados principais são resumidos na Tabela 3.

Análise de Regressão. O quarto tipo de procedimento inclui duas perspectivas. A primeira constitui uma análise de regressão múltipla em que o escore do IRD é a variável de desfecho e as variáveis preditoras são as diversas medidas ou fatores antecedentes: autoconfiança como aprendiz, motivação para aprender, valorização do aprendizado e rendimento no terceiro e no quinto semestre. Duas variáveis explanatórias, autoconfiança como aprendiz e valorização do aprendizado foram identificados na amostra total. Uma segunda análise, realizada em sub-amostra de 176 sujeitos, incluiu o nível de autodeterminação ou autonomia no raciocínio diagnóstico como variável adicional. Três fatores explanatórios, autoconfiança como aprendiz, valorização do aprendizado e nível de autodeterminação, foram identificados. O coeficiente R de correlação múltipla foi 0,55. Isso significa que os três fatores ou variáveis respondem por 30% da variância do escore do IRD. A Tabela 4 mostra os diferentes coeficientes da análise de regressão.

Na segunda perspectiva, a análise de regressão múltipla foi realizada procurando aferir a eventual contribuição do IRD para explicar a variância do rendimento cognitivo no sexto semestre, como variável de desfecho, controlando-se o efeito de todas as outras medidas antecedentes. O modelo de regressão múltipla (stepwise) identificou quatro fatores preditores, em ordem decrescente de contribuição: rendimento no terceiro semestre, teste de resolução de problemas, rendimento no quinto semestre e escore do IRD. O coeficiente R de correlação múltipla foi 0,79. A Tabela 5 mostra que o escore do IRD foi um fator preditor significante, embora fraco, do rendimento cognitivo.

Discussão

Os achados do estudo confirmam indicações prévias sobre a consistência interna e estabilidade temporal do inventário e revelam elementos da validade externa do instrumento que são comentados a seguir.

Um primeiro ponto de interesse foi a associação entre os escores do IRD e do Inventário de Valorização do Aprendizado, de Nehari e Bender (1978). Esse último instrumento retrata as percepções do aprendiz sobre os desfechos da aprendizagem (abrangendo tanto componentes de conteúdo quanto de desenvolvimento pessoal), em termos de valor e significado para o respondente. As respostas podem refletir as influências e limitações do contexto educativo na visão do aprendiz e estão associadas aos níveis de satisfação e prazer sentidos na aprendizagem.

A contribuição do índice de valorização do aprendizado, do grau de autoconfiança do aprendiz e de seu nível de autodeterminação no processo diagnóstico como fatores explicativos para os escores do IRD pode ser interpretada em termos do princípio da auto-eficácia exposto por Bandura (1986, 1997). A percepção da auto-eficácia se relaciona com as crenças pessoais do indivíduo na sua capacidade de organizar e efetuar os atos requeridos para conseguir uma realização. São fontes de informação para a percepção da auto-eficácia as experiências diretas ou vicariantes, a persuasão verbal e o estado afetivo ou fisiológico. Esses elementos são inerentes ao contexto de uso do processo diagnóstico nas condições de aprendizagem na iniciação clínica. Nesse sentido, um componente subjacente das respostas ao IRD pode ser a percepção mantida por cada participante quanto ao nível e à intensidade de sua eficácia pessoal na maturação e no uso do diagnóstico clínico. A indicação recente da associação entre escores do IRD e de reflexão na aprendizagem reforça essa inferência, na medida em que a auto-reflexão medeia a construção da percepção de eficácia pessoal a partir das informações de diferentes fontes obtidas pelo aprendiz (Sobral 1998; Sobral, 2000b).

A correlação positiva e significante observada entre o IRD e a pontuação do teste de resolução de problemas confirmou indicações anteriores e representa um indício da validade de critério do instrumento, tendo em conta a importância do processo diagnóstico no teste. Em acréscimo, os dados da análise de regressão múltipla sugerem que o escore do IRD é um fator explanatório independente, embora fraco, de rendimento cognitivo na iniciação clínica. Esse fator está possivelmente associado ao componente de percepção de eficácia pessoal nas diferentes facetas do processo diagnóstico captadas pelo instrumento.

No conjunto, as relações observadas permitem inferências sobre a validade de construto do IRD. A perspectiva do processo diagnóstico aferida na medida do IRD parece refletir, além de informações e habilidades adquiridas no treinamento prévio, a percepção de eficácia pessoal no processo diagnóstico e o perfil de conduta individual (em termos de interação interpessoal, motivação e processo decisório) no encontro clínico. Essa idéia implica a ocorrência de múltiplas fontes de variação nas respostas ao inventário, algumas das quais exemplificadas no estudo. Meyer e Cleary (1998), usando outro tipo de instrumento, identificaram 11 fontes de variação na noção e no engajamento de estudantes em relação ao diagnóstico clínico.

Os achados têm implicação para a interpretação dos escores do IRD, especialmente no seguimento longitudinal do processo de desenvolvimento da capacidade de diagnóstico. Uma alteração significativa, positiva ou negativa, no escore pode refletir mudança na percepção de eficácia pessoal associada a fatores do aprendiz ou do contexto de treinamento.A identificação de diferentes perfis de resposta nos subgrupos identificados pela análise classificatória sugere uma possibilidade para acompanhamento e orientação dos aprendizes.

Em suma, este estudo examinou as relações e distribuição de escores do Inventário de Raciocínio Diagnóstico numa amostra representativa de estudantes inseridos no contexto real de aprendizagem clínica. Os resultados parecem confirmar a utilidade do inventário para captar, de forma rápida, o modo de diagnóstico utilizado pelo respondente, em função de seu contexto atual e da experiência prévia. Os achados também sugerem a conveniência de explorar outros aspectos da validade de construto do instrumento para possibilitar intervenções educativas mais eficazes na maturação do diagnóstico clínico.

Recebido em 24.01.2000

Primeira decisão editorial em 13.06.2001

Versão final em 26.06.2001

Aceito em 02.07.2001

  • Andrew, F.M., Klem, L., Davidson, T.N., O' Malley, P.M. & Rodgers, W.L. (1981). A guide for selecting statistical techniques for analyzing social science data Ann Arbor: Institute for Social Science Research, University of Michigan.
  • Bandura, A. (1986). The explanatory and predictive scope of self-efficacy theory. Journal of Clinical and Social Psychology 4, 359-373.
  • Bandura, A. (1993). Perceived self-efficacy in cognitive development and functioning, Educational Psychologist 28, 117-148.
  • Bandura, A. (1997). Self-efficacy. The exercise of control New York: W.H. Freeman.
  • Bordage, G., Grant, J. & Marsden, P. (1990). Quantitative assessment of diagnostic ability. Medical Education 24, 413-425.
  • Elstein, G & Bordage, G. (1988). The psychology of clinical reasoning. Em J. Dowie & A. Elstein (eds.), Professional Judgment Cambridge: Cambridge University Press.
  • Gale, J, & Marsden, P. (1983). Medical diagnosis: From student to clinician. Oxford: Oxford University Press.
  • Grant, J. & Marsden, P. (1987). The structure of memorised knowledge in students and clinicians: an explanation for diagnostic expertise. Medical Education 21, 92-98.
  • Jones, U.F. (1997). The reliability and validity of the Bordage, Grant & Marsden inventory for use with physiotherapists. Medical Teacher 19, 133-140.
  • Kolb, D.A. (1984). Experiential learning. Englewood Cliffs: Prentice-Hall.
  • Lemieux, M. & Bordage, G. (1986). Structuralisme et pédagogie médicale: étude comparative des stratégies cognitives d'apprentis-cliniciens. Recherches Sémiotiques 6, 143-179.
  • Meyer, J.H.F. & Cleary, E.G. (1998). An exploratory student learning model of clinical diagnosis. Medical Education 32, 574-581.
  • Nehari, M. & Bender, H. (1978). Meaningfulness of a course experience: a measure for educational outcomes in higher education. Higher Education 7, 1-11.
  • Norman, G.R. & Streiner, D.I. (1994). Biostatistics: The bare essentials St. Louis: Mosby.
  • Peterson, C. (1999). Factors associated with success or failure in radiological interpretation: Diagnostic-thinking approaches. Medical Education 33, 251-259.
  • Round, A.P. (1999). Teaching clinical reasoning ž a preliminary controlled study. Medical Education 33, 480-483.
  • Rust, J. & Golombok, S. (1989). Modern psychometrics. The science of psychological assessment London: Routledge.
  • Sobral, D.T. (1993). Motivaçăo para aprender e resultados da aprendizagem baseada em problemas. Psicologia: Teoria e Pesquisa 9, 555-562.
  • Sobral, D.T. (1995). Diagnostic ability of medical students in relation to their characteristics and preclinical background. Medical Education 29, 278-282.
  • Sobral, D.T. (1998). Desenvolvimento e validaçăo de escala de reflexăo na aprendizagem. Psicologia: Teoria e Pesquisa 14, 173-177.
  • Sobral, D.T. (2000a). Appraisal of medical students' diagnostic ability in relation to their learning achievement and self-confidence as a learner. Medical Teacher 22, 59-63.
  • Sobral, D.T. (2000b). An appraisal of medical students' reflection-in-learning. Medical Education 34, 182-187.
  • Streiner, D.I. & Norman, G.R. (1995). Health measurement scales. A practical guide to their development and use Oxford: Oxford University Press.

anexo

  • 1
    O autor registra o apoio institucional e agradece a participação ativa e o interesse real dos aprendizes envolvidos.
    2
    Endereço: Universidade de Brasília, CP 04569 Medicina, 70919-970 Brasília, DF. E-mail:
  • 3
    O instrumento original
    Diagnostic Thinking Inventory, é reproduzido em apêndice do artigo de Bordage e cols. (1990).
  • 4
    A versão do instrumento que foi utilizada no estudo consta de
    anexo anexo .
  • Datas de Publicação

    • Publicação nesta coleção
      27 Nov 2001
    • Data do Fascículo
      Abr 2001

    Histórico

    • Recebido
      24 Jan 2000
    • Revisado
      26 Jun 2001
    • Aceito
      02 Jul 2001
    Instituto de Psicologia, Universidade de Brasília Instituto de Psicologia, Universidade de Brasília, 70910-900 - Brasília - DF - Brazil, Tel./Fax: (061) 274-6455 - Brasília - DF - Brazil
    E-mail: revistaptp@gmail.com