DESAFIOS DA AVALIAÇÃO DO APRENDIZADO: DIFICULDADES E OPORTUNIDADES

Resumo:

Uma visão construtiva da avaliação do aprendizado leva em conta a identificação de dificuldades e a busca de oportunidades de melhoria na condução do processo. O texto define a problemática e enfatiza dois aspectos do processo avaliador: quais são as facetas do aprendizado a serem aferidas e como medir as evidências pertinentes. Por fim examina-se a relação da avaliação do aprendizado com o desenvolvimento docente.

Palavras-Chave:
Educação médica; Avaliação do aprendizado

Summary:

A constructive vision of the assessment of learning in medical education entals both the identification of difficulties and the search for opportunities of improvement. The article defines the problem-frame of the evaluation process and emphasizes two main points: the features of learning to be assessed and how to assess the related evidence. Finally, the relationship of assessment of learning and teacher development is briefly dealt with.

Key Words:
Medical education; Evaluation and assessment

Introdução

A avaliação do processo de ensino-aprendizagem é um fenômeno complexo por duas fortes razões: abrange múltiplos objetos, relações e usos, bem como desperta sentimentos e atitudes potencialmente conflitantes entre as pessoas - estudantes, docentes e outros agentes significantes - com diferentes categorias de papéis na educação médica.

Para denotar os termos de referência desta apresentação, define-se a avaliação do processo de ensino aprendizagem como um procedimento sequencial de detecção e comparação ponderados, acerca de objetos e eventos pertinentes à formação médica; por consequência, são geradas informações que são interpretadas e usadas conforme juízos de valor dos agentes envolvidos.

Os objetos e eventos focaliza dos na avaliação podem estar centrados no estudante, no docente, no currículo, ou no próprio contexto imbricado na formação médica. A presente contribuição se encaixa na perspectivada avaliação do aprendizado estudantil.

O propósito global do artigo é estabelecer uma visão construtiva da avaliação do aprendizado, reconhecendo suas dificuldades e oportunidades. O autor baseia-se na reflexão sobre sua experiência pessoal¹⁵ e na revisão da literatura sobre aspectos de interesse clínico, especialmente em referência aos trabalhos de Cox & Ewam³⁾ , Gilbert⁵, Neufeld & Norman⁸, Stritter & Flair¹⁷ e Westberg & Jason¹⁸.

Procura-se sondar os desafios entranhados no processo avaliador, considerando quatro aspectos do assunto: (a) razões e problemática da avaliação do aprendizado; (b) facetas do aprendizado focalizadas na avaliação ; (c) aferiação das evidências de interesse e (d) função de avaliação , em termos de seu desenvolvimento.

O texto salienta, concluindo, a utilidade da inclusão de atribuições de condução da avaliação nas atividades de desenvolvimento e monitoração do trabalho docente.

Em que é Problemática a Avaliação d o Aprendizado?

A necessidade da avaliação do aprendizado na Escola Médica está vinculada a duas razões, ao menos:

Primeira: a noção de proteção contra riscos inerentes ao poder- expresso por atos médicos - que é facultado pela titulação profissional do concluinte;

Segunda, a promoção de iniciativas de cunho educativo, possibilitadas pelas informações geradas no processo avaliador.

Sendo necessária, em que a avaliação pode ser problemática? O processo de avaliação pode ser problemático devido a fatores ou situações extrínsecos, bem como à insuficiência de condições intrínsecas, conforme a perspectiva teórica delineada por Perkins¹¹.

O processo é extrinsecamente problemático na vigência de duas situações: (I) quando inexiste estruturação, isto é, definição de propósitos, objetos e operações da avaliação; (II) ou, alternativamente, quando aumenta a demanda por precisão. Esse último fator é ilustrado pela celeuma corrente acerca dos desafios - causas e soluções - do problema do "erro médico" e sua relação com a avaliação do desempenho do concluinte.

Outras características tomam o processo de avaliação do aprendizado intrinsecamente problemático, em decorrência da própria natureza do aprendizado e da sua relação com o preparo para o desempenho na prática médica. Nessa perspectiva, há insuficiência de condições relativas a três dimensões formais de um problema: estabilidade, transparência e simplicidade, nas acepções dadas por Perkins¹¹ Segue-se um exemplo de cada dimensão.

1. Mudanças na expressão visível do aprendizado não decorrem isoladamente das intervenções dos agentes (aprendiz ou avaliador).

2. Inexistem, na prática, informações completas (transparentes) sobre as circunstâncias do aprendizado médico.

3. A estrutura do processo avaliador não é simples, se o propósito é inferir o preparo geral para o desempenho em situações reais e não apenas a memorização de fatos em situações escolares restritas.

A estruturação do processo avaliador - em termos de caracterização dos eventos, regras de condução e verificação de resultados - é uma premissa do enfoque cooperativo e andragógico da atuação docente ^{(12),(17),(18}. As insuficiências correntes de estruturação se refletem amiúde nos efeitos adversos da avaliação - ansiedade excessiva e distorção de processos da aprendizagem, entre outras consequências referidas pelos estudantes - os quais podem afetar a qualidade do aprendizado¹⁴. Existe, sobretudo, um desafio implícito na busca de equilíbrio entre uma dezena de propósitos que podem coexistir na avaliação do aprendizado⁶ Três propósitos principais são identificados a seguir^4),(5.

1. Certificação da habilitação do aprendiz para o desempenho no domínio compreendido pela busca de informação. Esse domínio-alvo pode ser o currículo total do curso, ou qualquer de suas partes.

2. Orientação do aprendiz em relação às necessidades e ao progresso de sua aprendizagem em conexão com algum domínio-alvo, conforme referido acima.

3. Apropriação - pelos agentes docentes - de indicações dos resultados da avaliação que sirvam ao ajuste ou reorientação do ensino.

Que Facetas do Aprendizado são Focalizadas na Avaliação?

As facetas básicas do aprendizado em Medicina consistem em quatro elementos: memorização, entendimento, ação e atitude. Esses elementos são desenvolvidos pelos estudantes como respostas dinâmicas ao currículo total vivenciado na formação médica.

As respostas de memorização podem, em qualquer caso, ser mais facilmente apuradas. É mais simples, além disso, aferir o conteúdo cognitivo isoladamente, episodicamente e sob ótica exclusivamente disciplinar. Contudo, o potencial norteador da avaliação, na indução do preparo para o desempenho, é seguramente ampliado pela visão mais integrada dos diversos elementos dos componentes de competência.

Essa possibilidade nos remete à noção tridimensional de competência, a qual contempla funções e atividades, situações no âmbito da prática, e elementos de estrutura do aprendizado^1),(10),(13. Em particular, um molde de competência mais pormenorizado pode propiciar a identificação de objetivos de avaliação válidos e pertinentes para o ensino clínico.

Assim sendo, os eventos de aprendizado que são focos do processo avaliador devem reportar-se aos seguintes componentes da matriz de competência clínica¹:

1. explanação científica de conhecimentos biopsicossociais;

2. obtenção de evidências clínicas;

3. raciocínio diagnóstico, face à situações problemas;

4. uso de procedimentos diagnósticos e terapêuticos;

5. expressão de atitudes e valores constituintes do perfil profissional;

6. aconselhamento em medidas de prevenção de riscos e de promoção da saúde.

Na verdade, o uso do processo avaliador como instrumento norteador tem mais sentido e as situações de ensino-aprendizagem desenvolvidas ao longo da formação médica salientaram as estruturas de aprendizado que integram as funções, atividades e atribuições contidas no perfil profissional almejado para o concluinte.

Duas estratégias educativas - a aprendizagem baseada em problemas e o treinamento em serviço - propiciam oportunidades de inclusão dos vários componentes da matriz de competência clínica em situações de ensino-aprendizagem. Os objetivos e eventos de aprendizagem a serem aferidos corresponderão, nesse caso, aos indicadores da matriz de competência profissional engendrados por problemas de saúde, os quais foram selecionados pedagogicamente, ou oportunizados pelos ambientes e tarefas do treinamento em serviço.

Em síntese: o que medir, no processo avaliador, depende da própria concepção pedagógica. A avaliação do aprendizado centrado em estratégias educativas envolvendo problemas e ambientes reais da assistência médica poderá produzir evidências mais coerentes, abrangentes e significativas da habilitação progressiva do aprendiz.

Como Medir as Evidências de Interesse?

Três pontos são aqui considerados: os focos, a credibilidade e os tipos de medidas.

A busca de informação sobre as características do aprendiz - inerente ao processo avaliador - se faz em função de dois focos ou instâncias: medidas de resultados (ou produtos) da aprendizagem, e medidas de processos (ou meios) de aprendizagem.

Uma instância - a de produto - é caracterizada por evidência tangível produzida em forma escrita pelo aprendiz. São exemplos: a redação sobre temas, o relatório de trabalho prático e o preenchimento de prontuário médico, todos os quais servem de instrumento de medida.

Outra instância - a de processo - é caracterizada por evidências dinâmicas de eventos, apreendidos em observações planejadas, que podem ser registradas pelo avaliador. São exemplos a observação direta - segundo critérios especificados e anotados em fichas apropriadas - de entrevista com um paciente, ou de um procedimento técnico, efetuados pelo aprendiz^1(1).

Seja qual for o foco - produto ou processo - a credibilidade das medidas de aprendizado é essencial, se a avaliação importa. Dois tipos de fatores contribuem para imprimir a credibilidade.

Primeiro, a fidelidade das medidas aos objetivos explícitos de aprendizado e, especialmente, a correspondência desses objetivos com os componentes de competência já citados. A título de exemplo negativo: medidas de memorização de conhecimentos fragmentados em disciplinas são pouco preditivos do perfil de competência no desempenho do concluinte em situações de serviço.

Segundo, a credibilidade decorre, também, da natureza das medidas (exames, instrumentos, métodos, técnicas) utilizados para aferição de processos, ou produtos da aprendizagem. Numerosos tipos de medidas (e suas variantes) estão atualmente disponíveis: exame escrito (de múltipla escolha, ou não); exame oral; observação direta de processos; exame de resolução de problema (escrito ou em computador); revisão de prontuário médico; e escala de conceito ^2),(5),(8.

Tais tipos de medidas (método ou instrumento) diferem entre si em termos de propriedades gerais de mensuração: abrangência, precisão, validade e exequibilidade. A noção de adequação de um método ou instrumento de medidas reflete essas quatro propriedades. Além disso, o grau de adequação de um tipo de medida varia conforme o componente de competência visado na avaliação e o próprio propósito do processo. Para ilustrar, uma grade de adequação, entre componentes e métodos, pode ser montada com base nas evidências da literatura⁸

QUADRO 1
Grade de Adequação de tipos de Medidas / atributos de Competência

Atributos de competência	Conceito Global	Exame Escrito	Exame Oral	Observação Direta	Resolução de Problemas
. Explanação de conhecimentos	+	++	+	+	+
. Expressão de atitude e valor	+		+	+++
. Obtenção de evidências	+		+	+++	++
. Raciocínio e diagnóstico	+	+	++	+	++
. Aconselhamento pessoal	+	+	+	++

• Magnitude de adequação: + a+++

Em suma, uma apuração mais fidedigna das evidências pertinentes ao preparo para o desempenho leva em consideração os tipos de medidas ou exames, as propriedades de mensuração e o grau de adequação requerido. Isso pode ser procurado pela conjunção de três providências enumeradas a seguir:

1. Combinação de diferentes tipos de medidas, que permitam abarcar múltiplos componentes de competência, especialmente na etapa clínica do ensino de graduação.

2. Construção e aplicação cuidadosas de instrumentos apropriados, de acordo com as propriedades de mensuração.

3. Extensão temporal ou reiteração da aplicação das medidas para ampliar o grau de acurácia na conferição dos resultados da aprendizagem.

Função de Avaliação: Desenvolvimento e Monitoração

Três premissas orientam uma proposta de fortalecimento da função de avaliação do aprendizado em atividades de desenvolvimento docente:

1. a magnitude da problemática da avaliação varia, potencialmente, com a perícia docente na condução do processo;

2. a preparação docente nos repertórios de estruturação e de efetuação da avaliação do aprendizado reduz a margem de erro nas decisões sobre certificação do desempenho e contribui para o potencial educativo do processo avaliador;

3. o corpo docente da escola médica deve aceitar o desafio de estabelecer um sistema cooperativo de avaliação que seja acurado, pertinente e significativo para os participantes¹⁸.

Assim sendo, parece lógico que atividades de desenvolvimento docente devam, também, incorporar elementos de análise da condução da avaliação do aprendizado. Tais elementos, a serem desdobrados em critérios específicos e observáveis, podem ser contemplados em atividades de aprimoramento da qualidade da atuação docente, incluindo a própria auto -avaliação de desempenho por estudantes^{5),(12),(17),(18}. Cinco focos de interesse são realçados.

1. elaboração de exames que meçam o nível do aprendizado estudantil, em relação a componentes explícitos de competência;

2. uso da avaliação para guiar a aprendizagem, em termos de retomo de informação e de crítica construtiva;

3. uso da avaliação para obter evidências que permitam o reconhecimento de problemas na aprendizagem e o ajuste do ensino;

4. uso da avaliação para decidir a qualificação do aprendiz para o desempenho de atos médicos em situações de serviço;

5. encorajamento da auto- avaliação pelo estudante, mediante ajuda na definição de critérios e provisão de oportunidades de prática^6),(12),(18.

Vale realçar, no caso, o papel da avaliação do desempenho docente. A verificação da condução do processo avaliador, em tese, pode servir de estímulo para a definição mais clara das regras e dos valores da avaliação global do ensino-aprendizagem, e , talvez , de contra prova da verificação do aprendizado.

Esta apresentação, para terminar, procurou sondar alguns desafios importantes referentes á avaliação do aprendizado no ensino de graduação. Duas conclusões, ao menos, são pertinentes.

1. O processo avaliador pode abranger busca de informação e explicitação de valores que" beneficie o envolver do processo de ensino-aprendizagem ao longo do curso e dê credibilidade interna e externa ao preparo do concluinte para desempenhar suas funções na prática médica

2. Essa possibilidade é suficiente para justificar a inclusão prioritária de condução da avaliação em atividades de preparação e de monitoração do trabalho docente no ensino da Medicina.

Agradecimentos

O autor agradece ao Professor Ernesto Lima Gonçalves, então diretor do Centro de Desenvolvimento de Educação Médica da Faculdade de Medicina da Universidade de São Paulo, o convite para participar do seminário sobre o ensino médico e a saúde no Brasil.

Referências Bibliográficas

• ⁰¹
  BURG, F.D., LLOYD, J.S., TEMPLETON, B. Competence in medicine. Medical Teacher, v.4, p. 60-64, 1982.
• ⁰²
  CENTRE FOR MEDICAL EDUCATION. Trends in assessment: trends course in medical education. Dundee: University of Dundee, 1994.
• ⁰³
  COX, K. R., EWAN, C. E. The Medical teacher. Edinburgh: Churchill Livingstone, 1982.
• ⁰⁴
  FERRANTE, A., GALLI, A. Evaluacion educacional: conceptos básicos: programa de formacion docente pedagógica, módulo 5 (PALTEX). Washington: OPS, 1989.
• ⁰⁵
  GUILBERT, J. J. Educational handbook for health personnel. Geneva: World Health Oraganization, 1987.
• ⁰⁶
  HAMMOND, M., COLLINS, R. Self-directed learning. London: Kogan Page, 1991.
• ⁰⁷
  NEUFELD, V. R., NORMAN, G. R. Assessing clinical competence. New York: Springer, 1985.
• ⁰⁸
  NEUFELD, V. R. Implications for education. In: NEUFELD, V. R., NORMAN, G. R., ed. Assessing Clinical Competence. New York: Springer , 1985. p. 297-310.
• ⁰⁹
  NEWBLE, D., CANNON, R. A Handbook for clinical teachers. Lancaster: MTP Press, 1983.
• ¹⁰
  NORMAN, G.R. Defining competence: a methodological review. In: NEUFEL D, V. R., NORMAN, G. R., ed. Assessing Clinical Competence. New York: Springer , 1985, p. 15-35.
• ¹¹
  PERKINS, D.N. Problem theory. In: HOWARD, V.A., ed. Arieties of Thinking. New York: Routledge, 1990. p. 15-46.
• ¹²
  ROTEM, A., ABBATT, F. R. Self-assessment for teachers of health workers. Geneva; World health organizations. 1982.
• ¹³
  SOBRAL, D. T. Renovamento curricular e qualidade do processo educativo. In: XIX MESA REDONDA, PROCESSOS DE INOVAÇÃO CURRICULAR NAS ESCOLAS MÉDICAS, 1995, Botucatu :UNESP, 1995.
• ¹⁴
  SOBRAL, D.T. Significado e usos da avaliação para estudantes de medicina. P.E.M. Brasília: UnB, 1994. (Texto 5).
• ¹⁵
  SOBRAL, D.T. Avaliação do aprendizado: uma reflexão. In: O ENSINO MÉDICO E A SA ÚDE NO BRASIL. São Paulo: NUPES/USP, 1994.
• ¹⁶
  SOBRAL, D. T. Avaliação formativa e somativa dos estudantes de medicina: perspectiva docente. In: XI CONFERENCIA PANAMERICANA DE EDUCACIÓN MÉDICA. México: FEPAFEM. 1986.
• ¹⁷
  STRITTER. F. T., FLAIR, M. D. - Effective clinical teaching. Bethesda: National Medical Audiovisual Center, 1980.
• ¹⁸
  WESTBERG, J., JASON, H. Collaborative Clinical Education. New York: Springer . 1993.

• 1
  Um exemplo concreto é a ficha estruturada de avaliação prática, contida no Projeto de Avaliação das Escolas Médicas segunda fase (CINAEM,1994).

• **Este texto foi apresentado em versão preliminar no Seminário “O Ensino Médico e a Saúde ao Brasil”¹⁵. Promoção do NUPES e do CEDEM da Faculdade de Medicina, Universidade de São Paulo. São Paulo, SP - junho de 1992.

Datas de Publicação

• Publicação nesta coleção
  03 Fev 2021
• Data do Fascículo
  May-Dec 1996