Acessibilidade / Reportar erro

Percepções e Sentimentos de Professores de Medicina frente à Avaliação dos Estudantes – um Processo Solitário

Medical Teachers’ Perceptions and Feelings about Student Assessment – a Lonely Process

Resumos

Introdução

O processo de avaliação formativa nas escolas médicas envolve o professor na observação direta do desempenho do estudante. Esta avaliação gera desconforto e angústia para alguns professores, na tentativa de serem justos e imparciais. Este trabalho tem por objetivos identificar as dificuldades na avaliação dos estudantes de Medicina, conhecer os sentimentos, conceitos e crenças dos professores frente ao processo e identificar os fatores que dificultam e facilitam esta avaliação.

Método

Foram conduzidos três Grupos Focais com professores do Departamento de Pediatria da Faculdade de Medicina da Universidade Federal de Minas Gerais estratificados por tempo de docência e classificados quanto a gênero, titulação e categoria funcional. As reuniões tiveram uma moderadora auxiliada pelo pesquisador, duraram entre 90 e 120 minutos e terminaram quando ocorreu a saturação do tema. Toda a discussão foi transcrita e rendeu 118 páginas, que foram submetidas à análise de conteúdo.

Resultados

O discurso foi categorizado em cinco grandes temas: dificuldade da avaliação de habilidade clínica e atitudes; relação professor-aluno; sentimentos vivenciados pelos docentes durante a avaliação; fatores facilitadores; necessidade de mudanças.

Conclusões

Os docentes sentem falta de objetivos bem definidos e instrumentos avaliativos específicos. Reconhecem a necessidade de melhores conhecimentos pedagógicos e considera a avaliação formativa uma situação solitária, com pouco respaldo da instituição.

Avaliação de Desempenho; Profissional; Competência Clínica; Emoções; Professores; Estudantes; Escolas Médicas


Introduction

The student assessment process in medical schools involves the teacher’s direct observation of student performance. This evaluation causes distress and discomfort to some teachers in their attempt to be fair and impartial during feedback. This study aims to understand the feelings, concepts, and teachers’ beliefs regarding the process of subjective assessment of students and to identify the factors that both hinder and facilitate this evaluation.

Method

Three focus groups were formed with teachers from the Federal University of Minas Gerais School of Medicine, Department of Pediatrics, stratified by years of teaching and classified by gender, title, and functional category. The meetings had a moderator helped by the researcher, lasted between 90 and 120 minutes and finished when themes were exhausted. All discussions were transcribed, yielding 118 pages that were subjected to content analysis.

Results

Discourse was categorized into five major themes: the difficulty of assessing clinical skills and attitudes, the teacher/student relationship, feelings experienced by teachers during assessment, facilitating factors and need for change.

Conclusions

Teachers lack well-defined objectives and specific assessment tools. They recognize the need for better pedagogical knowledge and consider the act of evaluating an isolated task with very little support from the institution.

Performance Assessment; Professional; Clinical Competence; Emotions; Teachers; Students; Medical Schools


INTRODUÇÃO

Nos últimos anos, vários estudos se dedicaram a examinar o processo de avaliação de habilidade clínica e atitudes dos estudantes de Medicina1Baernstein A, Oelschlager AMEA, Chang TA. Learning professionalism: perspective of preclinical medical students. Academic Medicine 2009; 84(5):574-581.,2Bryden P, Ginsburg S, Kurabi B, Ahmed N. Professing professionalism: are we our own worst enemy? Faculty member’s experiences of teaching and evaluating professionalism in medical education at one school. Academic Medicine 2010; 85 (6):1025-1034.,3Chitsabesan P, Corbett S, Walker L, Spencer J, Barton JR. Describing clinical teacher’s characteristics and behaviours using critical incidents and repertory grids. Medical Education 2006; 40:645-653.. A maioria desses trabalhos tem pesquisado a avaliação sob o ponto de vista do desempenho do aluno, ressaltando as competências necessárias ao bom profissional e os instrumentos utilizados para sua adequada avaliação.

Poucos estudos têm se dedicado a compreender os sentimentos vivenciados pelo professor durante a avaliação do estudante, o que significa trilhar o caminho dos afetos ambivalentes que permeiam a relação professor-aluno4Freud S. Conferência XXVII – Transferência (1917b). In:___ Obras Psicológicas Completas de Sigmund Freud. Vol XVI. Rio de Janeiro: ed. Imago; 1969.. Avaliar é emitir juízo de valor e, por isso, há sempre um componente subjetivo envolvido, que não deve ser negado ou subestimado, mas, sim, controlado.

Durante o curso médico, além de adquirir um conjunto de conhecimentos teóricos, o estudante deve, também, desenvolver habilidade clínica, habilidade de comunicação, atitude reflexiva e valores morais e éticos, nem sempre passíveis de avaliação teórica5Epstein RM, Hundert EM. Defining and assessing professional competence. JAMA 2010; 287(2):226-235..

A observação direta ou avaliação em serviço feita pelo professor quando supervisiona o estudante no atendimento ao paciente real e em ambiente de trabalho é considerada pela literatura como o método mais adequado e eficaz, tanto para o processo de aprendizado quanto para a certificação de desempenho do estudante. Observar o aprendiz nestas condições oferece a oportunidade de avaliar não apenas o que ele sabe fazer, mas principalmente o que ele faz em situação real de atendimento, o que é essencial para sua capacitação e avaliação de seu desempenho6Ponnamperuma GG, Karunathilake IM, McAller S, Davis MH. The long case and its modification: a literature review. Medical Education 2009; 43: 936-941.,7Kogan JR, Holmboe ES, Hauer KE. Tools for direct observation and assessment of clinical skills of medical trainees. JAMA 2009; 302:1316-1326.,8Fromme HB, Karani R, Downing SM. Direct observation in medical education: review of the literature and evidence of validity. Mount Sinai Journal of Medicine 2009;76: 365-371..

A literatura mostra que essa avaliação é tradicionalmente feita de maneira informal e individual por meio de nota de conceito, sem critérios ou padrões bem estabelecidos e, muitas vezes, influenciada pelo relacionamento que se formou entre professor e aluno durante a convivência no estágio8Fromme HB, Karani R, Downing SM. Direct observation in medical education: review of the literature and evidence of validity. Mount Sinai Journal of Medicine 2009;76: 365-371.,9Norcini J, Burch V. Workplace-based assessment as an educational tool: AMEE Guide No. 31. Medical Teacher 2007; 29:855-871.,1010 Chang A, Boscardin C, Chou CL, Loeser H, Hauer KE. Predicting failing performance on a standardized patient clinical performance examination: the importance of communication and professionalism skills deficits. Academic Medicine 2009;84(10) suppl: 101-104..

Embora na última década tenham se desenvolvido várias teorias e pesquisas sobre avaliação de habilidade clínica e atitudes, ainda não existe um instrumento pedagógico que substitua a observação contínua do professor em ambiente de trabalho para a avaliação do desempenho do estudante.

Tendo como pressuposto que a avaliação do estudante de Medicina é influenciada pela relação professor-aluno e em parte pelos sentimentos, crenças e valores de juízo dos docentes envolvidos, este trabalho visa identificar esses sentimentos e crenças, analisando sua interferência no processo avaliativo.

MÉTODO

Participantes

Foi definida uma amostra de conveniência composta por 23 professores do Departamento de Pediatria. Os participantes foram previamente divididos em grupos por tempo de docência, ficando um grupo composto por professores com mais de 20 anos de docência, um grupo entre 10 e 20 anos, e outro com menos de 10 anos.

Do primeiro grupo participaram nove professores, cinco homens e quatro mulheres. A média de docência foi de 29,8 anos, e o grupo foi formado por dois professores titulares, quatro associados, um adjunto e dois assistentes. Quanto à titulação, havia sete doutores, um mestre e um especialista.

O segundo grupo foi organizado com sete mulheres e um homem. A média de anos de docência foi de 12,4 anos, e no grupo havia um professor associado, seis adjuntos e um assistente. Seis eram doutores e um mestre.

O terceiro grupo foi composto por seis professores, com média de 4,8 anos de exercício, sendo quatro mulheres e dois homens. Havia um professor associado, quatro adjuntos e uma docente substituta. Cinco eram doutores e um mestre (Quadro 1).

QUADRO 1
Distribuição dos professores nos grupos quanto a tempo de docência, gênero, capacitação funcional e titulação

Grupos Focais

Para melhor compreensão dos conceitos e sentimentos identificados na fala dos professores, optou-se pela metodologia qualitativa. Nesta linha de pensamento, o método de Grupo Focal foi considerado a técnica mais adequada para obter informações sobre o tema e aprofundar o conhecimento sobre o assunto.

Foram conduzidos três Grupos Focais durante os meses de junho, julho e agosto, com intervalo médio de 30 dias. O encontro de cada grupo durou cerca de 90 a 120 minutos. Uma professora especialista em metodologia qualitativa atuou como moderadora nos três encontros, e o pesquisador assistiu a todas as reuniões.

Os critérios utilizados para encerrar a discussão foram não aparecer nenhuma ideia nova no grupo e os participantes deixarem de solicitar a palavra.

Análise do discurso

Toda a fala foi registrada em gravador digital de voz DVR-576 Powerpavk e posteriormente transcrita por profissional especializado, resultando em 118 páginas. Durante a transcrição,observou-se que as discussões fluíram livremente, com poucas interrupções, pausas ou silêncios.

Para a análise do discurso, foram adotadas as orientações de Bardin1111 Bardin L. Análise de conteúdo. Lisboa: Ed. 70; 1977. 225 p. e Turato1212 Turato ER. Tratado da metodologia da pesquisa clínico-qualitativa. 2.ed. Petrópolis: Ed. Vozes; 2003., considerando-se as três etapas de análise: exploração do material, tratamento dos resultados e interpretação.

A pré-análise consistiu na leitura do material obtido e na organização do mesmo para definição das unidades de registro e de contexto, trechos significativos e categorias. Esta fase, que permitiu ao pesquisador ter contato com o texto, é chamada de leitura flutuante, que vai se tornando mais precisa em função das hipóteses emergentes e da projeção de teorias adaptadas sobre o material.

A exploração do material foi feita por meio de leitura exaustiva, codificação e transformação do mesmo em núcleos de compreensão. No decorrer da leitura, algumas palavras e frases sobressaíram, denotando como os participantes percebiam a realidade. A repetição da leitura permitiu a constituição dos núcleos temáticos por semelhança de sentido. Os dados foram agrupados por temas, possibilitando formar categorias que agrupavam elementos ou aspectos com características comuns ou que se relacionavam entre si1313 Minayo MCS. O desafio do conhecimento: pesquisa qualitativa em saúde. São Paulo: 6.ed. Hucitec; 1999. 269 p..

Aspectos éticos

A pesquisa foi aprovada pelo Comitê de Ética em Pesquisa (Coep) da Universidade Federal de Minas Gerais com o Parecer no ETIC 0037.0.203.000-10.

RESULTADOS E DISCUSSÃO

A característica da população nos três grupos reflete o grau de consolidação do Departamento de Pediatria da UFMG em relação à classificação funcional e titulação. Atualmente, o departamento conta com 64 professores efetivos, sendo: 6,3% titulares, 45,3% associados, 29,7% adjuntos e 18,7% assistentes. Destes, 79,8% são doutores, 14,0% mestres e 6,2% especialistas.

A análise do discurso permitiu a constituição dos núcleos temáticos por semelhança de sentido, que foram agrupados em cinco categorias(Quadro 2).

QUADRO 2
Temas emergentes e subtemas relacionados

O conceito da avaliação relacionado com habilidades clínicas e atitudes foi bem caracterizado pelos docentes.

“Quando se está numa área mais clínica,conhecemos os alunos quando eles iniciam o semestre e, progressivamente vamos construindo essa avaliação no observar, nas colocações, nas atitudes, nas ações e no próprio aprendizado no que diz respeito àquela matéria que está sendo ensinada naquele período”.(Professor do Grupo I)

Apesar de entenderem,quase todos relataram dificuldades na avaliação de atitudes e habilidade clínica, emergindo assim o primeiro tema da discussão.

Dificuldade na avaliação de habilidade clínica e atitudes

“[...] daquilo que a gente faz, eu acho que essa parte subjetiva da nossa avaliação é a pior de todas. Porque, na verdade, a gente acaba avaliando um pouco o dia a dia ali, e tudo, no qual se mistura um bocado de coisas e fica ainda mais subjetiva ainda do que ela necessitaria ser”. (Professor do Grupo 1)

Esta dificuldade na avaliação foi considerada um tema maior e esteve relacionada com vários outros fatores que compuseram os subtemas durante a categorização.

Falta de objetivos, de estruturação e de instrumentos de avaliação

“[...] eu acho que a grande dificuldade é que no momento em que eu estou trabalhando eu tenho um objetivo aonde eu quero chegar. Agora, eu não tenho uma avaliação, um instrumento de avaliação pra me falar se eu cheguei a esse objetivo, porque o que eu acho é que o instrumento de avaliação, também, ele é deficiente”. (Professora do Grupo 1)

A avaliação do estudante de Medicina é um processo de colheita de informações realizado por meio de atividades sistemáticas e formais que permite saber em dado momento o que o estudante conhece, sabe fazer e efetivamente faz1414 Troncon LEA. Avaliação do estudante de medicina. Medicina Ribeirão Preto 1996; 29:429-439..

No desenvolvimento do processo educacional, a avaliação do estudante pode ser efetuada em diferentes momentos, com finalidades distintas e por meio de instrumentos próprios. Existem vários instrumentos de avaliação já validados que utilizam metodologia bem definida, sendo a nota dada por preenchimento de checklist padronizado para todos os alunos. Estes instrumentos avaliam o estudante em situações estruturadas com atores fazendo o papel de pacientes simulados. São instrumentos que possuem alto grau de confiabilidade e podem ser usados para avaliar grande número de estudantes. São estruturados em estações, contendo tarefas relacionadas com coleta da história clínica e habilidade de comunicação, exame físico, raciocínio clínico e realização de procedimentos1515 Patricio M, Julião M, Fareleira F, Young M, Norman G, Carneiro AV. A comprehensive checklist for reporting the use of OSCEs. Medical Teacher 2009; 31:112-124.,1616 Troncon LEA. Utilização de pacientes simulados no ensino e na avaliação de habilidades clínicas. Medicina Ribeirão Preto 2007; 40(2):180-191..

Em seu clássico artigo, Miller1717 Miller GE. The assessment of clinical skills/competence/performance. Academic Medicine 1990; 65(9): suppl: 63-67. propôs um modelo hierárquico de avaliação da competência clínica que diferenciava o nível da ação (fazer) dos outros níveis considerados inferiores, como “saber”, “saber como faz” e “mostrar como faz”.

Os instrumentos de avaliação estruturada por estações são utilizados para avaliar o estudante “mostrando como faz”,situado no terceiro nível da pirâmide de Miller.

A avaliação do “fazer”(topo da pirâmide)acontece quando o estudante é avaliado no contato com paciente real em ambiente de trabalho, pela observação direta de sua interação com o paciente. Esta é uma função do professor, que deve praticar uma avaliação completa, incluindo a competência técnica, a emocional e a competência moral do estudante, valores estes que não podem ser avaliados por checklist. Entre as técnicas de avaliação direta de habilidades clínicas, duas são as mais usuais: a observação em serviço e o exame prático de caso longo. Na observação em serviço, durante o cumprimento de tarefas clínicas habituais, o avaliador observa e registra o comportamento do avaliando1414 Troncon LEA. Avaliação do estudante de medicina. Medicina Ribeirão Preto 1996; 29:429-439..

Ponnamperuma et al.6Ponnamperuma GG, Karunathilake IM, McAller S, Davis MH. The long case and its modification: a literature review. Medical Education 2009; 43: 936-941. escreveram um artigo de revisão sobre o caso longo, pesquisando a literatura de 2000 a 2008, e só encontraram 18 artigos na língua inglesa. O caso longo é um tradicional instrumento de avaliação no qual o estudante é avaliado em um único exame completo do paciente, o que gera escores diferentes entre os examinadores. Além disso, o desempenho com um exame não significa que esse mesmo desempenho se repetirá com outros pacientes. Estes dados de baixa fidedignidade e validade diminuíram a popularidade do caso longo.

Fromme et al.8Fromme HB, Karani R, Downing SM. Direct observation in medical education: review of the literature and evidence of validity. Mount Sinai Journal of Medicine 2009;76: 365-371., da Universidade de Chicago, em revisão bibliográfica, concluíram que a observação direta é a única ferramenta para avaliar os estudantes e residentes. Avaliar o estudante no local natural de trabalho oferece a oportunidade de ver o que ele sabe e o que ele realmente faz, o que é fundamental para a qualificação do futuro médico. No entanto, ressaltaram que, apesar de professores e estudantes trabalharem no mesmo local, geralmente com os mesmos pacientes, a observação direta é tradicionalmente informal e realizada de maneira inconstante em quase todas as especialidades.

Ginsburg et al.1818 Ginsburg S, Mcllroy J, Oulanova O, Eva K. Toward authentic clinical evaluation: pitfalls in the pursuit of competence. Academic Medicine 2010; 85(5):780-786. citam as tensões existentes entre os atuais esforços para criar instrumentos de avaliação de competências que sejam independentes das opiniões subjetivas dos avaliadores e o que realmente estes avaliadores consideram como um “bom médico”. Participaram da pesquisa 15 professores, membros dos Departamentos de Medicina Interna das universidades de Toronto e McMaster. A ética foi o tema mais frequente em todos os domínios, principalmente relacionada com o bom residente. Concluíram que a maioria dos instrumentos usados na atualidade tem como metodologia minimizar o julgamento que o avaliador faz do comportamento do interno ou residente; e que a busca deveria ser orientada para instrumentos que, em vez de minimizar estas impressões pessoais, as agregassem para melhorar a avaliação.

“Tinha dia em que a gente estava com o aluno,seja no ambulatório ou na enfermaria, que a gente vê o aluno avaliando paciente, ou então ele conta como foi a anamnese, como ele se coloca na conduta com o paciente, que a gente faz de forma intuitiva, mas eu acho que deveria estruturar mais a avaliação”.(Professora do Grupo 2)

Há realmente necessidade de estruturar a avaliação, mas esta estruturação deve ser na uniformização do método, e não na substituição da observação direta do desempenho do aluno com o paciente real em ambiente de trabalho. É imperioso reconhecer que os problemas da prática, no mundo real, não se apresentam como estruturas bem delineadas; ao contrário, os problemas se apresentam como cada vez mais complexos e indeterminados. Não obstante, o que mais se necessita é ensinar os estudantes a tomar decisões em condições de incerteza, a lidar com a ambiguidade, com a complexidade, com os conflitos de valores que quase sempre escapam à racionalidade técnica. É nessa interação com o paciente, seguida da discussão com o professor, que a avaliação se torna parte integrante do processo de ensino-aprendizagem1919 Lima VV. Avaliação de competência nos cursos médicos. In: Marins JJN, Rego S, Lampert JB, Araújo JGC. Educação médica em transformação. São Paulo: Editora Hucitec; 2004. p.123-140..

Despreparo para a avaliação

Outro tema muito abordado nas discussões foi o despreparo pedagógico dos docentes de maneira geral.

“[...] então, eu acho que a nossa prática é muito diferente da teoria. Eu acho que a maioria de nós é extremamente despreparada pra avaliar. Acho que muitos de nós têm os conceitos, o conhecimento teórico, mas assim, aplicar isso e fazer, mas eu acho que não temos o preparo necessário pra isso..”. (Professora do Grupo 2)

No ensino superior, a maioria dos professores não teve, em sua formação, o preparo da docência. Apenas aqueles oriundos das licenciaturas possuem em seus currículos disciplinas didático-pedagógicas2020 Candau VM, Ludke M, Mendonça AW, Wagner R, Wall Y. Novos rumos da licenciatura. Rio de janeiro: Pontifícia Universidade Católica Departamento de Educação; 1986.. O despreparo e o desconhecimento científico do que é o processo de ensino-aprendizagem entre os professores da maioria das instituições de ensino superior advêm do fato de serem formados como profissionais e pesquisadores de uma área específica, não relacionada à Educação, tendo a maioria iniciado suas atividades docentes sem o devido preparo para uma reflexão e atuação crítica nas relações interpessoais.Esta falta de preparação específica para a docência explica porque muitos professores demonstram insegurança na avaliação dos alunos, apesar de conhecerem bem o assunto que se propuseram ensinar. Os concursos de admissão para as faculdades de Medicina exigem profissionais com titulo acadêmico de doutor, com conhecimento profundo em alguma área da medicina, mas não exigem conhecimento na área de pedagogia. Os docentes iniciantes, muito preocupados com o domínio de conteúdo, nem sempre conseguem dar conta dos aspectos pedagógicos de seu trabalho.

No entanto, apesar de ser um processo de aprendizado longo e penoso, com o tempo os docentes vão adquirindo mais confiança em avaliar o estudante, como mostram os depoimentos de alguns docentes mais experientes.

“[...] eu pelo menos estou convicto disto: se você não fizer isso com os alunos, da Medicina em especial, eu acho que você não está sendo um professor que avalia. Ele tem obrigação de dizer por quê. Você pode chegar e falar assim: olhe eu gosto muito de você, eu gosto muito do seu jeito, mas você não está correto nisso”.(Professor do Grupo 1)

Dificuldade de reprovação

Em todos os grupos, os docentes reclamaram da falta de apoio institucional em relação à reprovação do aluno.

“Eu já tive aluno que eu quis reprovar por atitude. Eu achava que ele jamais poderia ser um médico. Não consegui. Não tinha porquê. Ele era brilhante nas notas...” (Professora do Grupo 2)

“[...] a orientação, na época, é que a escola não tinha um meio legal pra reprovar um aluno que nunca faltou à aula, que tirava notas excelentes na prova. Então, era uma percepção minha que ele tinha um problema sério psiquiátrico que poderia lesar seus pacientes, e eu não consegui reprovar”.(Professora do Grupo 3)

Estudantes de Medicina, de maneira geral, são reconhecidos como bons alunos e competentes para estudar quando precisam. Mas isto não significa que entre eles não existam alguns que não estejam aptos a exercer a medicina e, mesmo conseguindo memorizar o conteúdo teórico, apresentem falhas na coordenação psicomotora ou de raciocínio clínico ou, mais grave ainda,demonstrem falhas de caráter. A avaliação de competências identifica em um dado momento o desempenho do estudante para julgar se o nível requerido foi ou não alcançado. Para que esta avaliação tenha sucesso, é necessária a observação constante do estudante em serviço. Segundo a literatura, isto nem sempre tem acontecido.

Epstein e Hundert5Epstein RM, Hundert EM. Defining and assessing professional competence. JAMA 2010; 287(2):226-235., em trabalho de revisão, citam que a observação direta do interno pelo professor,além de pouco frequente,apresenta bias, como o “efeito halo”, decorrente da imagem que o estudante passa no relacionamento com o docente. Norcini et al.9Norcini J, Burch V. Workplace-based assessment as an educational tool: AMEE Guide No. 31. Medical Teacher 2007; 29:855-871. relatam que, nos Estados Unidos, estudantes do primeiro ano de internato não são observados pelos professores por mais de uma vez no encontro com o paciente e que sem esta observação não há oportunidade de avaliar sua habilidade clínica e, o que é mais grave, não há possibilidade de fornecer feedback.

Chang et al.1010 Chang A, Boscardin C, Chou CL, Loeser H, Hauer KE. Predicting failing performance on a standardized patient clinical performance examination: the importance of communication and professionalism skills deficits. Academic Medicine 2009;84(10) suppl: 101-104. citam que os estudantes recebem orientações insuficientes em suas habilidades de comunicação e clínica devido à inadequada observação de seu desempenho com o paciente e à relutância do professor em oferecer um feedback construtivo.

No entanto, esta avaliação é a única que mostra o estudante “fazendo” e reflete a imagem que o professor faz daquele aluno como futuro médico.

Quando o docente conclui que o estudante não atingiu a competência necessária para progredir no curso, a instituição precisa disponibilizar meios legais e envidar esforços para apoiar sua decisão. Comissões deverão ser formadas com outros professores para cada caso específico.

Concorrência entre alunos. O significado da “nota”

“Não é só passar. É porque os alunos, a concorrência que existe entre eles, etc. e tal. Nós temos que utilizar esse valor que eles dão pra eles, a favor deles, é claro. Ah, você quer? Então por isso é que você não vai tirar. A mensagem é esta: você tirou 89 e seu colega 97, esse 97 foi por causa disso...” (Professor do Grupo 1)

“Muitas vezes, pro aluno, pela própria imaturidade, o que talvez conte mais pra ele é a certificação: “ah, tirei A, tirei B”. Que é um absurdo tirar B, não é? Tem que tirar A”.(Professora do Grupo 3)

A avaliação somativa, correspondente à “nota” e ao conceito A, B ou C, é importante para o aluno e uma qualificação para o concurso de Residência. Mas na vida real não podemos dizer que o médico fez um procedimento com conceito A, B ou C. Podemos apenas dizer se ele é apto ou não para realizar determinado procedimento. Uma mudança conceitual da avaliação considerando o aluno apto ou não apto para determinada habilidade seria mais realista porque, quando se trata de competência, não podemos dizer que ele foi meio apto, mas, sim, se foi apto ou não.

Bloodgood et al.2121 Bloodgood RA, Short JG, Jackson JM, Martindale JR. A change to pass/fail grading in the first two years at one medical school results in improved psychological eell-being. Academic Medicine 2009; 84: 655-662.apresentaram o impacto da conversão do sistema de notas para o sistema apto/não apto na Universidade de Virgínia num estudo prospectivo com os resultados das médias desta mudança. Reconheceram que, apesar de a eliminação das notas ter diminuído o esforço, a frequência e um melhor desempenho dos estudantes, a mudança não demonstrou efeitos deletérios nas diversas medidas para avaliar o aprendizado. Anteciparam que a medida aumentou o bem-estar dos estudantes, diminuiu o estresse e aumentou a cooperação, estimulando a formação de pequenos grupos de estudo e de apoio entre eles.

Necessidade de avaliação bilateral

Alguns docentes relataram a importância da avaliação discente.

“[...] essa avaliação tende a ser unilateral, quando o processo não é unilateral. Então isso eu acho complicado... Quer dizer, se você vai ensinar atitudes, ensinar é muito forte, se você vai praticar atitudes, fazer atitudes, essas atitudes têm que ser avaliadas. Se eu falo alto demais na sala, tem que ser falado, já me falaram isto: “o senhor fala alto demais”. (Professor do Grupo 1)

“[...] para mim, a avaliação eu acho interessante porque avalia a gente também”.(Professora do Grupo 3)

Os estudantes devem avaliar o professor utilizando os instrumentos próprios de avaliação docente, muitos deles já validados, que preservam a identidade do aluno e fornecem uma real avaliação do docente. A necessidade de melhorar a qualidade didática nas escolas médicas é universalmente conhecida. Como acontece com professores de todas as profissões, os professores de Medicina recebem pouca ou nenhuma preparação na filosofia ou técnica de ensino.

Chitsabesan et al.3Chitsabesan P, Corbett S, Walker L, Spencer J, Barton JR. Describing clinical teacher’s characteristics and behaviours using critical incidents and repertory grids. Medical Education 2006; 40:645-653. sugerem que existem amplas justificativas para que os estudantes participem como avaliadores dos docentes. Eles ficam mais tempo com seus professores e, assim, têm mais oportunidades de observar as atitudes e habilidades do docente no trato com os pacientes, familiares, alunos e pessoal de enfermagem. Em seu artigo, aqueles autores fazem uma associação entre as características e o comportamento dos professores com suas relações interpessoais e estilo de interação em várias situações na prática, desde o fornecimento de feedback, até a tonalidade da voz. Reconhecem que a relação é muito complexa e que podem aparecer contradições, como um feedback negativo que pode ser tanto desmoralizante quanto motivador. Uma relação muito amigável com o estudante, muitas vezes,pode ajudar, mas pode também ser uma barreira para um feedback negativo.

Martens et al.2222 Matens MJC, Duvivier RJ, Dalen J, Verwijnen GM, Scherpbier AJJA, Van der Vleuten CPM. Students view on the effective teaching of physical examination skills: a qualitative study. Medical Education 2009; 43:184-191. relataram que os estudantes consideram as habilidades didáticas e de comunicação do professor como o principal facilitador para o aprendizado do exame físico. Percebem que o entusiasmo do professor estimula o aprendizado, principalmente quando tem atitudes amigáveis, explica e demonstra a técnica, utiliza outras fontes de informação além do livro-texto, fornece feedback positivo e dá exemplos da própria experiência.

Avaliação mais elaborada é a que corresponde a uma autoavaliação que o professor faz de seu trabalho. Denota uma noção de responsabilidade e envolvimento com o ato de ensinar e funciona também como um sinalizador de mudanças que devem ser implementadas.

Relacionamento professor-aluno

O relacionamento professor-aluno foi um tema constante em todos os grupos, sendo indicado como fator de interferência na avaliação, em função dos sentimentos vivenciados pelos professores.

“Eu acho que é igual a uma vida. Qualquer processo de avaliação das nossas atitudes seria um pouco complicado. E eu sinto que um aluno, na hora em que a gente avalia um aluno, eu penso que é igual a um filho: “Nó, meu filho estava indo tão bem”.(Professorado Grupo 2)

“[...] essa questão dos laços professor-aluno também e que são mais profundos, né? Eu vejo às vezes como é lá fora, o aluno não respeita mais o professor, o orientador. Eu acho que isso tudo tem a ver também com a valorização profissional. O professor é um profissional desvalorizado. Então, de certo modo, muitas vezes o aluno não te ouve. Ele prefere não aprender com você, mas vai lá numa palestra no Albert Einstein”. (Professor do Grupo 3)

“[...]o meu sentimento em relação ao Osce, ele foi desde, assim, uma alegria de ver um envolvimento dos professores, de ver uma prova tão bem elaborada, estruturada, e passando por um outro lado de extrema frustração frente à atitude de alguns alunos...” (Professor do Grupo 3)

Sentimentos ambivalentes

Para interpretar os aspectos emergentes nestas falas, buscou-se na Psicanálise o referencial teórico, tendo como base os ensinamentos de Freud4Freud S. Conferência XXVII – Transferência (1917b). In:___ Obras Psicológicas Completas de Sigmund Freud. Vol XVI. Rio de Janeiro: ed. Imago; 1969..Em seus estudos, ele destaca o fenômeno da transferência sempre presente na relação professor-aluno, reeditando, no presente, os impulsos e fantasias impressos nos primeiros anos de vida, a partir das relações parentais e fraternais que foram determinantes para o sujeito na sua constituição. É o estabelecimento da transferência, nessa relação, que torna possível a aprendizagem.

Apesar de Freud ter escrito poucos textos que abordam diretamente a transferência na questão educacional, ao longo de sua obra encontramos vestígios de como esse fenômeno se instala na relação entre professor e aluno. Em Algumas reflexões sobre a psicologia do escolar, ao testemunhar sobre a sua experiência como estudante, Freud2323 Freud S. Algumas reflexões sobre a psicologia do escolar (1914 a). In:____ Obras Psicológicas completas de Sigmund Freud. vol XIII. Rio de janeiro: Ed Imago; 1969. afirma:

[...] é difícil dizer se o que exerceu mais influência sobre nós e teve importância maior foi a nossa preocupação pelas ciências que nos eram ensinadas, ou a personalidade de nossos mestres.(p. 286)

Nós os cortejávamos ou lhes virávamos as costas; imaginávamos neles simpatias e antipatias que provavelmente não existiam; estudávamos seu caráter e sobre estes formávamos ou deformávamos o nosso. [...] Estávamos, desde o princípio, igualmente inclinados a amá-los e a odiá-los, a criticá-los e a respeitá-los.(p. 286)

A Psicanálise deu o nome de “ambivalência” a essa facilidade para atitudes contraditórias. O relacionamento professor-aluno é, portanto, atravessado por afetos de amor e de ódio (ambivalência).

Na educação infantil e no ensino fundamental, essas relações podem ser percebidas de maneira mais clara, já que para as crianças os professores ocupam o papel de “pais substitutos”, herdando os sentimentos que inicialmente foram endereçados a estes. No ensino superior, as transferências de afeto também acontecem, ainda que de maneira menos perceptível, e o professor ocupa “lugares” na psique do aluno que, na maioria das vezes, não correspondem ao seu lugar na vida real.

Na relação pedagógica, a transferência faz com que o aluno se volte para a figura do professor. O professor é, para o aluno, aquele que sabe como ensiná-lo.

Se há transferência por parte do aluno, o modo como o professor responde a isso gera a contratransferência. Este também é um processo inconsciente, e o ideal seria que todo professor se submetesse à análise. Como isto não é possível, o conhecimento de alguns pontos da teoria psicanalítica poderia adverti-lo sobre os elementos de sua subjetividade que interferem na relação com os alunos.

O professor-médico precisa conhecer a fundo a matéria que vai lecionar, mas também precisa conhecer bem o seu papel na relação com o aluno, pois ensinar sempre denota troca não só de conhecimentos e experiências, mas também de sentimentos. Quanto maior a percepção e o entendimento do professor sobre seus sentimentos, mais facilmente poderá lidar com eles e evitar reações que potencializem a angústia e coloquem em risco seu papel de educador.

O professor como modelo

Vários autores relatam a importância do professor como modelo para o estudante.

Murinson et al.2424 Murinson BB, Klick B, Haythornthwaite JA, Shochet R, Levine RB, Wrigth SM. Formative experiences of emerging physicians: gauging the impact of events that occur during medical school. Academic Medicine 2010; 85(8):1331-1337. estudaram o impacto de eventos formativos na faculdade entre 181 estudantes da Universidade John Hopkins. Concluíram que o desenvolvimento emocional, um importante componente da competência profissional, teve como principais eventos causadores de impacto a presença de um excepcional modelo na medicina e a descoberta da área médica que se adequava totalmente ao seu objetivo.

Sutkin et al.5Epstein RM, Hundert EM. Defining and assessing professional competence. JAMA 2010; 287(2):226-235. alertam que a transformação do estudante necessita de professores que não só supervisionem seu desenvolvimento,como também sirvam de modelos dos valores e atributos da profissão e da vida do profissional.

Sentimentos associados ao ato de avaliar

Angústia e solidão

“Eu estou falando isso, que até é uma coisa que a gente tem tentado fazer. Mas eu acho que ainda é muito solitário. Eu acho que é por isso que é tão sofrido. Porque, assim, você avalia aquele aluno, você não sabe se o que você está fazendo é adequado, o retorno que você está dando pra ele, que influência aquilo vai ter na vida dele, isso é muito sério”.(Professora do Grupo 3)

“[...] algumas coisas que estão ao alcance da gente, que a gente ainda pode ousar mais, é a história de a gente ser sozinha na avaliação. Então, assim, toda vez que eu dou 89 pra uma aluna que foi A até não sei que hora, até a hora em que eu estraguei a festa dela, eu fico pensando que alguém que não ficou preocupado com isso deu A pra outra pessoa que não era tão boa quanto aquela pra quem eu dei 89 e que eu prejudiquei”.(Professora do Grupo 2)

Senso de justiça

O senso de justiça veio sempre associado ou como fator predisponente à angústia do professor durante a avaliação.

“Se nós temos vários objetivos, nós temos que usar várias metodologias pra avaliar. Justamente pra tentar ser mais justo, porque completamente justos nós não vamos ser nunca, vai estar sempre em aberto, mas...” (Professora do Grupo 1)

“Nota de conceito, pra mim é terrível dar nota de conceito, porque eu sempre acho que estou sendo injusta”. (Professora do Grupo 1)

“Eu acho que é uma responsabilidade do professor garantir uma avaliação o mais justa possível, porque é uma forma de você dar ao aluno o retorno que ele precisa pra progredir. Progredir pessoalmente, progredir intelectualmente, na capacidade profissional, quer dizer, nós somos obrigados a fazer isso...”(Professora do Grupo 2)

Além do sentimento de justiça como gerador de angústia, outro sentimento muito comentado foi a frustração com relação aos colegas que fazem uma avaliação negligente.

“Então, eu acho que isso não sai da cabeça da gente e não sai na hora em que a gente dá uma nota ruim pra um aluno que merece uma nota ruim, e o colega que tem um aluno que é pior tem nota boa. Quer dizer, a gente sempre fica assim: o quão justa estou sendo quando estou sendo firme e rigorosa com esse menino, e o outro colega dele que é mais picareta, e o meu colega não está preocupado com isso. Meu colega deu nota boa”.(Professora do Grupo 3)

Segundo Troncon1414 Troncon LEA. Avaliação do estudante de medicina. Medicina Ribeirão Preto 1996; 29:429-439., o método de avaliação por observação direta do estudante em atividades de prática profissional constitui um juízo de valor sobre o desempenho do estudante, podendo abordar a avaliação de habilidade clínica e atitudes, sendo que muitas destas atitudes não são passíveis de receber pontuação em checklist.

A busca constante deste instrumento se origina na necessidade de o professor, por meio de uma avaliação objetiva, superar a angústia e responsabilidade da avaliação subjetiva, que depende inteiramente de sua percepção e sofre influência de toda a complexidade de sentimentos que permeiam a relação professor-aluno. O professor é a pessoa mais preparada e adequada para este tipo de avaliação e, mesmo considerando os sentimentos de dúvida, insegurança e solidão que o acometem, faz parte de sua trajetória decidir se o estudante está apto a exercer a medicina com toda a ética e habilidade clínica que a sociedade espera do médico. Esta é uma função que o cargo lhe delega.

Preocupação com o paciente: noções de profissionalismo

Na fala de alguns professores nota-se preocupação com o paciente e cobrança de competência profissional do estudante.

“Eu falo com eles: as faltas são objetivamente o que eu vou considerar, porque um médico não pode faltar ao compromisso médico. Você marca o menino, esse menino é um pobre coitado...” (Professor do Grupo 1)

“Poderia esse paciente nosso se internar, você chegaria na enfermaria, vocês são médicos, gente. Então, faltar, você não pode faltar com o paciente. Porque o paciente, ele larga as coisas...” (Professor do Grupo 2)

“[...]numa das últimas turmas eram umas cinco meninas muito boas, muito estudiosas. Fizeram um esquema e foram duas em cada dia para olhar os pacientes. Ao final, a avaliação pelo Osce: nota ótima, avaliação escrita: nota ótima, conceito: zero. Dei zero. Elas não demonstraram profissionalismo”. (Professor do Grupo 3)

Em recente pesquisa, Ginsburg et al.2626 Ginsburg S, Regehr G, Myloupolos M. From behaviours to attributions: further concerns regarding the evaluation of professionalism. Medical Education 2009; 43: 414-425. citam conhecimento, profissionalismo, interação com o paciente, amabilidade, disposição e honestidade como as principais competências que devem ser avaliadas nos alunos e residentes.

Baernstein et al.1Baernstein A, Oelschlager AMEA, Chang TA. Learning professionalism: perspective of preclinical medical students. Academic Medicine 2009; 84(5):574-581. relatam que os estudantes percebem que aprendem profissionalismo também com seus colegas e ficam decepcionados quando o professor não corrige e comenta algum ato de colegas em que houve falta de profissionalismo.

Este talvez seja o grande desafio da maioria das escolas médicas. Ao lado de professores sérios e preocupados com uma avaliação justa, existem aqueles que, protegidos pela subjetividade do processo, consideram que todos os alunos podem receber notas semelhantes.

Preocupação com o futuro do estudante

Alguns professores mais experientes foram além do curso e demonstraram preocupação com o futuro do estudante como profissional.

“Muitas vezes, a gente continua avaliando o aluno, é aquele aluno nosso que é um profissional bem-sucedido, então é difícil quando a gente vê falar quando um ex-aluno teve uma situação ruim ou desagradável, um comportamento não ético, mesmo que não tenha sido aluno da gente”. (Professor do Grupo 1)

“[...]de vez em quando, dá essas notícias no jornal, que felizmente nunca foram meus alunos, mas eu vejo que é uma questão de todos. Se a gente vê uma pessoa se comportando de maneira estranha, a gente vê que nós falhamos em algum momento nessa trajetória. Porque isso é um componente: um faz um pouquinho, outro faz outro pouquinho pra formar o indivíduo final...” (Professor do Grupo 2)

Fatores facilitadores

Dois fatores foram identificados pelos participantes do grupo como facilitadores da avaliação do desempenho do estudante: o pequeno número de alunos em sala e o tempo de docência.

“[...] no meu modo de entender, o número de alunos tem de ser pequeno, a gente conhece os alunos até o ponto em que eles iniciam o semestre” (Professor do Grupo 1)

“Agora, tem uns facilitadores na nossa avaliação, porque as turmas são pequenas”. (Professora do Grupo 2)

O depoimento dos professores mostra que a superação da angústia ocorreu mais entre os professores mais antigos e do sexo masculino.

“Eu já tive muita dúvida nessa avaliação subjetiva. Nós temos algumas coisas que o departamento nosso nos ensinou. É uma escola nossa. Essa angústia da subjetividade, eu trabalhei...”(Professor do Grupo 1)

“De maneira rápida aqui, vocês falaram angústia, eu acho que isso é muito relativo também. Eu confesso que eu não me vejo tão angustiado pra fazer essa avaliação, não. Inclusive eu estava pensando, uma vez um aluno chegou pra mim, ele tirou 89, e falou: “eu vou fazer Pediatria, o senhor me dá 90”. Falei: “Não, sua nota é essa”.(Professor do Grupo 1)

Alguns professores superaram a angústia da avaliação. Muitas vezes,dar um feedback que mostre ao aluno todos os pontos falhos, ressaltando a necessidade de esforços para melhorar o desempenho, pode ser difícil, pois o ambiente universitário é estimulado a produzir alta performance de resultados2727 Santos BS. Pela mão de Alice: o social e o político na pós-modernidade. São Paulo: Cortez; 1996.. O desapontamento causado ao estudante que manteve a expectativa de uma boa avaliação é inevitável. Os currículos têm dado pouca atenção à preparação do professor para situações em que terá que dizer ao aluno: “sinto muito, mas vou ter que desapontá-lo”.

O depoimento dos professores mostra que esta superação da angústia ocorreu mais entre os professores mais antigos e do sexo masculino. Os professores do Grupo 1 foram mais tranquilos ao avaliarem o aluno, o que mostra que os anos de docência os tornam menos vulneráveis à avaliação dos outros. Pode-se dizer que o nível de ambição e de investimento diminui, enquanto aumenta a sensação de confiança e de serenidade2828 Huberman M. O ciclo de vida profissional dos professores. In: Nóvoa A, org. Vidas de Professores. Porto: ed. Porto; 2000. p: 31 – 61..

CONCLUSÕES

Este trabalho apresenta limitações. A primeira reside na impossibilidade de generalizar as conclusões pelo fato de terem sido ouvidos professores de uma única Faculdade de Medicina no Brasil.

É possível também que os professores que aceitaram participar sejam mais comprometidos com o ensino, e, assim, seus sentimentos não expressariam os da maioria.

O trabalho, no entanto, apresenta informações sobre os sentimentos dos professores, e pode-se concluir do estudo que os professores estão inseguros e insatisfeitos com o atual processo de avaliação. Sentem falta de objetivos bem definidos, estruturação do processo e instrumentos avaliativos específicos.Reconhecem a necessidade de melhor preparo pedagógico. Os professores mais experientes se revelaram menos angustiados durante a avaliação. Muitos consideram alguns alunos muito imaturos e centrados na nota, mantendo um padrão escolar e demonstrando pouco profissionalismo.

A relação professor-aluno foi muito abordada em todos os grupos, e concluiu-se que os anos de docência agem a favor do professor. Os mais experientes mostraram maior capacidade de se manter neutros frente aos sentimentos envolvidos.

Alguns professores foram muito claros com relação a atitudes pouco profissionais dos alunos, e outros mostraram preocupação com o futuro dos alunos, mesmo após formados.

Desenvolvendo o consenso dos três grupos, conclui-se que a avaliação do estudante mobiliza nos professores sentimentos que podem ser trabalhados com o investimento da instituição na capacitação pedagógica de seus docentes.

REFERÊNCIAS

  • 1
    Baernstein A, Oelschlager AMEA, Chang TA. Learning professionalism: perspective of preclinical medical students. Academic Medicine 2009; 84(5):574-581.
  • 2
    Bryden P, Ginsburg S, Kurabi B, Ahmed N. Professing professionalism: are we our own worst enemy? Faculty member’s experiences of teaching and evaluating professionalism in medical education at one school. Academic Medicine 2010; 85 (6):1025-1034.
  • 3
    Chitsabesan P, Corbett S, Walker L, Spencer J, Barton JR. Describing clinical teacher’s characteristics and behaviours using critical incidents and repertory grids. Medical Education 2006; 40:645-653.
  • 4
    Freud S. Conferência XXVII – Transferência (1917b). In:___ Obras Psicológicas Completas de Sigmund Freud. Vol XVI. Rio de Janeiro: ed. Imago; 1969.
  • 5
    Epstein RM, Hundert EM. Defining and assessing professional competence. JAMA 2010; 287(2):226-235.
  • 6
    Ponnamperuma GG, Karunathilake IM, McAller S, Davis MH. The long case and its modification: a literature review. Medical Education 2009; 43: 936-941.
  • 7
    Kogan JR, Holmboe ES, Hauer KE. Tools for direct observation and assessment of clinical skills of medical trainees. JAMA 2009; 302:1316-1326.
  • 8
    Fromme HB, Karani R, Downing SM. Direct observation in medical education: review of the literature and evidence of validity. Mount Sinai Journal of Medicine 2009;76: 365-371.
  • 9
    Norcini J, Burch V. Workplace-based assessment as an educational tool: AMEE Guide No. 31. Medical Teacher 2007; 29:855-871.
  • 10
    Chang A, Boscardin C, Chou CL, Loeser H, Hauer KE. Predicting failing performance on a standardized patient clinical performance examination: the importance of communication and professionalism skills deficits. Academic Medicine 2009;84(10) suppl: 101-104.
  • 11
    Bardin L. Análise de conteúdo. Lisboa: Ed. 70; 1977. 225 p.
  • 12
    Turato ER. Tratado da metodologia da pesquisa clínico-qualitativa. 2.ed. Petrópolis: Ed. Vozes; 2003.
  • 13
    Minayo MCS. O desafio do conhecimento: pesquisa qualitativa em saúde. São Paulo: 6.ed. Hucitec; 1999. 269 p.
  • 14
    Troncon LEA. Avaliação do estudante de medicina. Medicina Ribeirão Preto 1996; 29:429-439.
  • 15
    Patricio M, Julião M, Fareleira F, Young M, Norman G, Carneiro AV. A comprehensive checklist for reporting the use of OSCEs. Medical Teacher 2009; 31:112-124.
  • 16
    Troncon LEA. Utilização de pacientes simulados no ensino e na avaliação de habilidades clínicas. Medicina Ribeirão Preto 2007; 40(2):180-191.
  • 17
    Miller GE. The assessment of clinical skills/competence/performance. Academic Medicine 1990; 65(9): suppl: 63-67.
  • 18
    Ginsburg S, Mcllroy J, Oulanova O, Eva K. Toward authentic clinical evaluation: pitfalls in the pursuit of competence. Academic Medicine 2010; 85(5):780-786.
  • 19
    Lima VV. Avaliação de competência nos cursos médicos. In: Marins JJN, Rego S, Lampert JB, Araújo JGC. Educação médica em transformação. São Paulo: Editora Hucitec; 2004. p.123-140.
  • 20
    Candau VM, Ludke M, Mendonça AW, Wagner R, Wall Y. Novos rumos da licenciatura. Rio de janeiro: Pontifícia Universidade Católica Departamento de Educação; 1986.
  • 21
    Bloodgood RA, Short JG, Jackson JM, Martindale JR. A change to pass/fail grading in the first two years at one medical school results in improved psychological eell-being. Academic Medicine 2009; 84: 655-662.
  • 22
    Matens MJC, Duvivier RJ, Dalen J, Verwijnen GM, Scherpbier AJJA, Van der Vleuten CPM. Students view on the effective teaching of physical examination skills: a qualitative study. Medical Education 2009; 43:184-191.
  • 23
    Freud S. Algumas reflexões sobre a psicologia do escolar (1914 a). In:____ Obras Psicológicas completas de Sigmund Freud. vol XIII. Rio de janeiro: Ed Imago; 1969.
  • 24
    Murinson BB, Klick B, Haythornthwaite JA, Shochet R, Levine RB, Wrigth SM. Formative experiences of emerging physicians: gauging the impact of events that occur during medical school. Academic Medicine 2010; 85(8):1331-1337.
  • 25
    Sutkin G, Wagner E, Harris I, Schiffer R. What makes a good clinical teacher in medicine? A review of literature. Academic Medicine 2008;83(5): 452-466.
  • 26
    Ginsburg S, Regehr G, Myloupolos M. From behaviours to attributions: further concerns regarding the evaluation of professionalism. Medical Education 2009; 43: 414-425.
  • 27
    Santos BS. Pela mão de Alice: o social e o político na pós-modernidade. São Paulo: Cortez; 1996.
  • 28
    Huberman M. O ciclo de vida profissional dos professores. In: Nóvoa A, org. Vidas de Professores. Porto: ed. Porto; 2000. p: 31 – 61.

Datas de Publicação

  • Publicação nesta coleção
    Jan-Mar 2015

Histórico

  • Recebido
    31 Jan 2014
  • Aceito
    07 Out 2014
Associação Brasileira de Educação Médica SCN - QD 02 - BL D - Torre A - Salas 1021 e 1023 | Asa Norte, Brasília | DF | CEP: 70712-903, Tel: (61) 3024-9978 / 3024-8013, Fax: +55 21 2260-6662 - Brasília - DF - Brazil
E-mail: rbem.abem@gmail.com