Estruturação de Sistemas para Avaliação Programática do Estudante de Medicina

Structuring Systems for Programmatic Assessment of Medical Students

RESUMO

A avaliação do estudante compreende processos de obtenção de informações sobre o seu desempenho em diferentes domínios e cumpre três funções principais: fomentar o aprendizado (avaliação formativa), embasar decisões sobre o seu progresso (avaliação somativa) e contribuir para o controle da qualidade da sua formação (avaliação informativa). A avaliação programática constitui uma forma inovadora de praticar os procedimentos avaliativos para que cumpram bem suas funções. Neste ensaio, apresentam-se conceitos sobre: diferentes funções da avaliação do estudante, atributos que conferem qualidade aos métodos de avaliação, justificativas para a estruturação de sistemas de avaliação programática e metas e características desejáveis nestes sistemas (centralização, institucionalização, uniformização, abrangência, integração). Sugere-se um modo de configuração de um sistema de avaliação programática do estudante de Medicina e descrevem-se possíveis ações para cumprir suas finalidades. Discutem-se também as dificuldades previsíveis na sua implantação e como podem ser enfrentadas. Espera-se que os conteúdos discutidos neste ensaio contribuam para aumentar o conhecimento dos profissionais envolvidos na avaliação educacional e para influenciar as escolas médicas no sentido de estruturar sistemas efetivos de avaliação programática do estudante.

Avaliação Educacional; Estudantes de Medicina; Educação Médica

ABSTRACT

Medical student assessment consists of obtaining information on student performance in a range of domains aimed at fulfilling three main purposes: learning promotion (formative assessment), decision-making that affects student progress (summative assessment) and curriculum quality assurance (informative assessment). Programmatic assessment is an innovative way to practice student assessment, which aims at achieving its purposes at a high quality level. This essay elaborates on the various functions and purposes of student assessment and on the features that add quality to the assessment methods. Reasons for structuring systems for programmatic assessment and their aims and characteristics (centralization, institutionalization, standardization, comprehensiveness and integration) are commented on. A possible configuration mode for a system for medical student programmatic assessment is presented, possible program actions are described and the difficulties that may be encountered in its implementation and how they might be addressed are also discussed. This paper is expected to make some contribution to faculty development, particularly for those involved in student assessment, and may also influence medical schools to adopt and implement effective systems for medical student programmatic assessment.

Educational Assessment; Medical Students; Medical Education

INTRODUÇÃO

A avaliação do estudante de Medicina tem importância essencial na sua formação, interessando ao estudante e à escola médica, aos sistemas de saúde e à sociedade^1-3.

A avaliação do estudante compreende a obtenção de informações sobre diferentes domínios do seu desempenho para cumprir suas várias funções⁴. Recentemente, o foco dos estudiosos da avaliação do estudante de Medicina vem valorizando crescentemente os conceitos de avaliação programática e de sistemas de avaliação, como forma de melhor atender ao cumprimento das suas várias funções, com excelência⁵. Estes conceitos vêm ganhando aceitação por se adequarem a programas de formação e de aquisição de competências profissionais no ambiente de trabalho, como são os cursos de graduação das profissões da saúde^6-9.

Neste ensaio, procuro abordar os sistemas de avaliação programática do estudante de Medicina, tomando como base textos relevantes e também minha experiência pessoal recente de trabalho em uma escola médica britânica que adotou a avaliação programática. Minhas expectativas são: contribuir para o conhecimento dos profissionais envolvidos na avaliação do estudante e influenciar as escolas médicas no sentido de estruturar sistemas de avaliação programática.

Ainda que o título deste ensaio e os contextos apresentados se refiram ao estudante de Medicina, acredito que todo o conteúdo desenvolvido pode ser aplicado à avaliação dos estudantes de todas as profissões da saúde, dadas as semelhanças entre elas.

A AVALIAÇÃO DO ESTUDANTE

A avaliação do estudantede Medicina compreende a obtenção de informações sobre os domínios trabalhados na sua educação e treinamento para cumprir diferentes finalidades (Quadro 1). O perfeito entendimento deste conceito demanda considerar quais são estes domínios (“o quê”), a natureza, as indicações, as vantagens e as desvantagens dos diferentes métodos e técnicas existentes (“como”), o ambiente ou contexto em que se dá a avaliação (“onde”), as instâncias envolvidas (“quem”), os momentos específicos (“quando”) e as finalidades a que serve (“para quê”). Estas, por sua importância, serão consideradas mais adiante. É também importante que se atente para a variedade de elementos e características envolvida na avaliação do estudante (Quadro 1).

QUADRO 1
Conceitos básicos e considerações fundamentais sobre a avaliação do estudante de Medicina

AVALIAÇÃO DO ESTUDANTE: (obtenção de informações para cumprir determinadas finalidades)
ASPECTO	ELEMENTOS	CARACTERÍSTICAS
“O QUÊ?”	Conhecimentos, habilidades, competências, comportamento profissional	alinhamento com os processos de educação e treinamento e com os desfechos esperados
“COMO?”	Escolha dos melhores métodos	atributos de validade, fidedignidade, equivalência, viabilidade, aceitabilidade, equivalência, impacto educacional, efeito catalítico
“ONDE”	Considerar o ambiente e o contexto	“sala de aula”; “ambiente de simulação”; “ambiente de trabalho”
“QUEM?”	Diferentes instâncias envolvidas	estudantes, professores, coordenadores de unidades curriculares, escola, instâncias externas
“QUANDO?”	Em eventos específicos e a qualquer momento	continuidade, progresso, longitudinalidade
“PARA QUÊ?”	Finalidades e funções	somativa, formativa, informativa ou diagnóstica

A educação do estudante constitui um processo complexo, que caminha em paralelo ao seu treinamento para o exercício de uma profissão³. Demanda a realização de diferentes atividades discentes articuladas e planejadas em função de desfechos esperados, na aquisição de conhecimentos, habilidades e competências (“o currículo”). A educação e o treinamento do estudante de Medicina compõem um programa formativo, sendo assim também pertinente conceber a avaliação do estudante como tendo uma dimensão programática. Deste modo, pode-se conceituar a avaliação programática como um conjunto de ações diversificadas, mas coordenadas, que se desenvolvem em diferentes momentos, compondo um verdadeiro programa, visando ao cumprimento, da melhor forma possível, das várias funções da avaliação do estudante^5-11. Em outras palavras, pode-se entender a avaliação programática do estudante como uma forma inovadora de aplicar conceitos tradicionais, para que as funções da avaliação sejam cumpridas com eficácia (fitness-for-purpose).

Dada a complexidade da avaliação programática, sua implementação e execução demandam a configuração de um sistema de avaliação programática, que pode então ser conceituado como um conjunto de recursos materiais e humanos, instrumentais e operacionais, que permitam que a avaliação programática do estudante se desenvolva de forma satisfatória e no nível desejado de qualidade.

AS FUNÇÕES DA AVALIAÇÃO DO ESTUDANTE

A avaliação do estudante de Medicina serve a várias finalidades e deve cumprir diferentes funções³, entre as quais três adquirem maior importância¹¹: estimular o aprendizado (função formativa), embasar a tomada de decisões (função somativa) e prover elementos para o controle da qualidade do currículo (função informativa) (Quadro 2).

QUADRO 2
Principais funções da avaliação do estudante

FUNÇÃO	DEFINIÇÃO	EXEMPLOS
FORMATIVA	Os resultados da avaliação são utilizados para orientar a correção de deficiências e o reforço do aprendizado do estudante, bem como para estimular as capacidades de reflexão e de autoavaliação.	Eventos em que se observa o desempenho do estudante no cumprimento das suas atividades e tarefas, o que fornece elementos para discutir com ele os aspectos positivos e os que demandam aperfeiçoamento; caracterizada pela prática de comentários críticos construtivos (“devolutiva” ou “feedback”).
SOMATIVA	Os resultados dos procedimentos avaliativos são empregados para a tomada de decisões sobre o destino do estudante, em relação à sua progressão ao longo do curso.	Exames cujos resultados levam as instâncias competentes a decidir se o estudante concluiu satisfatoriamente uma determinada etapa da sua formação e se tem ou não condições de progredir para a etapa subsequente. Resultados de exames podem ser complementados por outras informações. Exames de seleção. Exames de licenciamento para o exercício de funções a prática de profissões.
INFORMATIVA	Os resultados das avaliações servem para prover informações importantes sobre os processos educacionais e permitem atuar no controle da sua qualidade.	Exames cujos resultados são analisados com enfoque não no desempenho dos estudantes, mas no domínio dos conteúdos e das competências, de modo a permitir inferências sobre o ensino e, deste modo, poder levar a mudanças de rumos, visando o seu aperfeiçoamento.

A mais tradicional delas é a somativa, que implica empregar os resultados da avaliação para informar a tomada de decisões sobre o destino do estudante. Com a avaliação somativa, o estudante deve superar etapas (“passar”), até atingir uma meta, como a obtenção do grau de médico ou a classificação para posição de treinamento mais avançado. A mais nobre das funções é a formativa, pela utilização da avaliação para orientar a correção de deficiências e o reforço do aprendizado. Nela, a avaliação serve à educação e ao desenvolvimento pessoal e profissional do estudante. A avaliação formativa é praticada no dia a dia, de maneira mais informal, mas contínua, na observação do desempenho do estudante no cumprimento das suas atividades, com a obtenção de informações empregadas como subsídio para discutir com o estudante (feedback) as fortalezas do seu desempenho e os aspectos que demandam aperfeiçoamento. A função informativa da avaliação do estudante é cumprida quando os seus resultados fornecem informações sobre a qualidade dos processos educacionais para a escola médica e os órgãos responsáveis pela regulação da educação e do exercício profissional. Esta função permite que a avaliação do estudante (assessment), junto com outras informações¹², sirva à avaliação do processo educacional (evaluation) e, eventualmente, conduza ao seu aperfeiçoamento.

OS ATRIBUTOS DOS MÉTODOS DE AVALIAÇÃO

A prática da avaliação implica a utilização de métodos específicos para a obtenção de informações, o que exige considerar os seus atributos de validade, fidedignidade, viabilidade, equivalência, aceitabilidade, impacto educacional e efeito catalítico^1,13. Uma vez que a avaliação programática visa cumprir as correspondentes funções com alta qualidade, é imperioso o emprego dos métodos em condições em que estes atributos estejam presentes. Porém, a conceituação destes atributos e a discussão do seu significado extrapolam o âmbito deste ensaio, razão pela qual são eles apenas sumarizados no Quadro 3.

QUADRO 3
Atributos dos métodos de avaliação do estudante

ATRIBUTO	DEFINIÇÃO
VALIDADE	Caracterizada quando há evidências de que o que está sendo avaliado é exatamente aquilo que se pretende avaliar. É determinada pelo uso do método mais adequado, pelo alinhamento entre o que deve ser aprendido e o que é avaliado e pela amostragem de conteúdos e tarefas.
FIDEDIGNIDADE (CONFIABILIDADE)	Característica relacionada à objetividade, precisão e acurácia, que indicam a reprodutibilidade dos resultados. É determinada pelo adequado controle das variáveis internas e externas capazes de influenciar os resultados da avaliação.
VIABILIDADE	Disponibilidade e boa utilização dos recursos materiais, humanos e de tempo existentes, necessários para que o emprego de um dado método de avaliação nas melhores condições seja bem sucedido.
ACEITABILIDADE	Reconhecimento da avaliação por todos os partícipes como sendo pertinente, adequada e justa.
EQUIVALÊNCIA	Alta semelhança dos resultados de exames, mesmo quando o mesmo procedimento é aplicado para grupos diversos de estudantes, simultaneamente ou em curto intervalo de tempo.
IMPACTO EDUCACIONAL	Potencial de um procedimento avaliativo, pela sua própria existência ou pelo modo como é empregado, influenciar positiva ou negativamente os processos de ensino e aprendizado.
EFEITO CATALÍTICO	Potencial de os procedimentos avaliativos produzirem transformações positivas nas instituições, principalmente associadas à introdução de métodos ou sistemas inovadores, que exigem novos recursos ou capacitação e desenvolvimento docente.

JUSTIFICATIVAS

A educação e o treinamento do estudante de Medicina constituem processos complexos e multifacetados, desenvolvidos em tempo considerável. Dada a multidimensionalidade dos elementos envolvidos na formação do estudante, nenhum método de avaliação pode, isoladamente, prover as informações necessárias sobre o aprendizado e o desempenho do estudante. Isto implica o emprego de vários métodos, em diferentes momentos, em condições de uniformidade, o que somente se consegue com um programa que garanta convergência das informações e coerência em sua análise⁵.

O longo tempo para a incorporação dos conhecimentos e competências torna difícil o acompanhamento longitudinal do desempenho do estudante. A avaliação programática, mediante a obtenção de informações continuadas ao longo do tempo e sua integração em sistemas informatizados, permite superar esta dificuldade.

A avaliação programática oferece, adicionalmente, oportunidades para a prevenção e correção de algumas distorções frequentes na avaliação do estudante, como o predomínio da avaliação somativa sobre a formativa, caracterizado pela escassez da prática do feedback ao estudante¹⁴. Igualmente, a formação do estudante de Medicina envolve a aquisição de competências multidimensionais, mas as práticas usuais de avaliação privilegiam fortemente o domínio cognitivo. Na avaliação programática do estudante, são exercidas com maior frequência e intensidade as práticas formativas, e há ampliação do foco dos procedimentos avaliativos para além do cognitivo.

A avaliação tradicional pode, também, implicar diferentes conflitos de interesse, como a ausência de anonimato do estudante na tomada de decisões próprias da função somativa e o envolvimento de coordenadores de unidades curriculares nos exames que vão indicar a eficácia dos processos formativos pelos quais são responsáveis. A avaliação programática do estudante com a aplicação de exames e a subsequente tomada de decisões por instâncias diferentes das envolvidas no ensino podem minimizar estes conflitos de interesse.

CARACTERÍSTICAS DESEJÁVEIS DA AVALIAÇÃO PROGRAMÁTICA DO ESTUDANTE

A avaliação programática do estudante de Medicina deve exibir algumas características fundamentais: centralização, institucionalização, uniformização, abrangência e integração.

Na avaliação tradicional, o estudante é examinado em cada unidade curricular (disciplina, módulo, estágio) e, frequentemente, a comunicação entre elas é precária. Um mesmo método de avaliação, não raramente, é empregado diferentemente por distintas unidades. As informações são analisadas por critérios diferentes, e a integração entre os dados das várias áreas é também escassa. Ao contrário, na avaliação programática, a responsabilidade pelas diferentes avaliações do estudante, em momentos variados, é da escola médica, como instituição, sendo planejada e executada por instância central, contando com a contribuição das várias unidades curriculares. Esta instância deve cuidar para que os vários métodos de avaliação do estudante sejam empregados de maneira uniforme, nas diferentes áreas de formação, nas melhores condições possíveis (Quadro 3). É esta instância institucional centralizada que integra as informações fornecidas pelos métodos, para que sejam utilizadas para cumprir as funções da avaliação do estudante (Quadro 2).

Estas características assemelham-se aos atributos dos sistemas integrados de avaliação do estudante, que visam a uma verdadeira integração das funções somativa e formativa da avaliação¹⁵: abrangência, coerência, continuidade e integração. A abrangência é dada pela inclusão de todos os tipos de avaliação nos vários momentos. A coerência caracteriza-se pelo alinhamento dos procedimentos avaliativos com o currículo. A continuidade caracteriza-se pela obtenção de informações ao longo do tempo, no progresso do estudante em sua formação. A integração configura-se na gestão institucional da avaliação, para que esta cumpra da melhor forma as suas funções.

A rigor, são pequenas as diferenças entre os conceitos de “avaliação programática”^6,9 e de “sistemas integrados de avaliação”¹⁵, que foram, ambos, propostos para que a avaliação do estudante desempenhe com eficácia as suas funções (fitness for purpose). Daí a pertinência da expressão “sistemas de avaliação programática do estudante”, que dá título a este ensaio.

METAS DA AVALIAÇÃO PROGRAMÁTICA DO ESTUDANTE

O cumprimento, com qualidade, das funções da avaliação do estudante requer que os programas atinjam metas bastante diversificadas e relevantes (Quadro 4). Parte delas visa satisfazer justificativas da própria adoção da avaliação programática, antes abordadas. Por sua importância, algumas metas merecem considerações adicionais, como a de a função formativa ter tanto ou mais realce do que a somativa. De fato, em muitas escolas médicas, é menos frequente a prática da avaliação formativa¹⁴ e, ademais, existem dificuldades para o exercício do feedback nos níveis desejados de qualidade¹⁶. Na avaliação programática do estudante, deve constituir meta principal o desenho de procedimentos de avaliação que exerçam de modo efetivo a função formativa. Os autores que primeiro se preocuparam com o delineamento de sistemas de avaliação programática do estudante de Medicina adotaram como mote a “avaliação para o aprendizado” (assessment for learning), em contraposição ao modelo predominante de “avaliação do aprendizado” (assessment of learning)⁶. Mais do que aumentar a frequência com que os estudantes recebem feedback, é preciso melhorar também a sua qualidade e efetividade. Deve, ainda, constituir meta da avaliação programática o desenvolvimento das competências de aprendizado permanente autodirigido (lifelong, self-directed learning) e o fomento à reflexão e à capacidade de autoavaliação, que possam regular continuamente este aprendizado^6,9.

QUADRO 4
Principais metas da avaliação programática

METAS
1. Reforçar a prática da avaliação formativa do estudante (“assessment for learning”): aumentar a frequência com que os estudantes recebem comentários construtivos de fontes externas; aumentar a qualidade do “feedback”; estimular o desenvolvimento das capacidades de reflexão e de autoavaliação
2. Otimizar o emprego dos métodos de avaliação, de modo a que detenham mais inteiramente os atributos associados à elevada qualidade, tanto para a avaliação somativa como para a formativa
3. Ampliar a avaliação de modo que abranja todas as dimensões do aprendizado e da incorporação de habilidades e competências, bem como o comportamento profissional
4. Incluir informações de natureza qualitativa no elenco de informações que subsidiam a tomada de decisões sobre o progresso do estudante (avaliação somativa)
5. Expandir as possibilidades de desfechos da avaliação somativa, contemplando a identificação de estudantes com maior potencial para a excelência
6. Detectar precocemente de dificuldades individuais dos estudantes, de modo a orientar possíveis intervenções, com oferta adequada de remediação
7. Acompanhar ao longo do tempo a aprendizagem e a aquisição de habilidades e competências, de modo a se obter dados da progressão longitudinal do estudante
8. Aprimorar o alinhamento entre a avaliação do estudante e o currículo, pautando as práticas avaliativas pelos desfechos esperados
9. Contribuir para o controle de qualidade do currículo com dados dos resultados revelados pelo desempenho do estudante
10. Implementar espírito de investigação e busca permanente da excelência (“scholarship”), de modo que o manejo do grande volume disponível de informações diversificadas possa propiciar a expansão do conhecimento da própria atividade de avaliar, bem como as de ensinar e aprender, visando o seu aperfeiçoamento.

Outra importante meta da avaliação programática é a inclusão de informações de natureza qualitativa no subsídio à tomada de decisões sobre o progresso do estudante (avaliação somativa). Exames válidos e fidedignos geram informações quantitativas que, após definição de pontos de corte (standard-setting), permitem a tomada segura de decisões de cunho somativo. Porém, estas serão sempre limitadas ao momento em que o estudante se submeteu ao exame se não incluírem informações de caráter mais contínuo e que são, frequentemente, de natureza qualitativa, dependentes do juízo de profissionais que supervisionam o estudante¹¹. Igualmente, a multidimensionalidade da formação do estudante, que deve ter correspondência na avaliação, implica reconhecer que nem todos os desfechos podem ser descritos em bases quantitativas, requerendo descritores qualitativos ou narrativos^17,18.

Mesmo sob o risco de ser confundida com a natureza classificatória de certos procedimentos de avaliação somativa (ex.: concursos seletivos), a avaliação programática pode ter caráter classificatório, contribuindo para identificar estudantes com diferentes demandas, que necessitariam de apoio diferenciado: remediar e reforçar o aprendizado daqueles com desempenho inferior e encorajar e estimular aqueles com resultados superiores à contínua busca da excelência.

A prática organizada e institucionalizada da avaliação programática do estudante implica a obtenção de inúmeras informações diversificadas sobre o corpo discente, cuja análise pode oferecer respostas para questões relevantes da área educacional. Pode, assim, propiciar a expansão do conhecimento sobre o significado da própria atividade de avaliar, bem como embasar medidas que levem ao aperfeiçoamento dos processos de ensino, aprendizagem e da própria avaliação. Porém, isto somente será conseguido se houver a inclusão, entre as metas da avaliação programática, do fomento ao espírito de investigação e à busca permanente da excelência acadêmica (scholarship).

CONFIGURAÇÃO DE UM SISTEMA DE AVALIAÇÃO PROGRAMÁTICA DO ESTUDANTE

A configuração e a execução da avaliação programática constituem incumbências da escola médica, devendo ser vistas como atribuições institucionais tão importantes como a definição da estrutura curricular, o desenvolvimento das atividades discentes formativas e a gestão do currículo.

Estabelecida a vontade política de adotar a avaliação programática, a primeira tarefa na sua estruturação é estabelecer uma instância centralizada e independente, que deverá responsabilizar-se por diferentes atribuições (Quadro 5), incluindo a definição do programa de avaliação, considerando o contexto institucional e os recursos existentes e, sobretudo, colocar em funcionamento e administrar o programa. Pode ser órgão colegiado, ou não, conforme melhor se adéque ao regime institucional. Para fins de simplificação, passo a chamar esta instância de Núcleo de Avaliação (NA). O NA deve ser próximo da coordenação do curso e com ela interagir (Figura 1), mas deve ser independente dela.

QUADRO 5
Principais atribuições da instância responsável pela coordenação e execução da avaliação programática, que no texto é denominada de “Núcleo de Avaliação (NA)”

ATRIBUIÇÕES
✓ Descrição do programa (estratégia e ações) de avaliação do estudante
✓ Supervisão dos procedimentos de avaliação formativa
✓ Organização e execução eventuais de exames com finalidade formativa
✓ Organização e execução de exames com finalidade somativa
• elaboração e manutenção de banco de questões *
• elaboração e manutenção de banco de estações **
• organização e execução de procedimentos de definição de “pontos de corte” (“standard setting”)
• análise de resultados de exames
✓ Compilação de:
• certificações de tutores e de coordenadores de unidades curriculares
• relatos sobre comportamento profissional do estudante***
• manifestações de estudantes sobre circunstâncias especiais
✓ Criação e manutenção de banco de informações sobre o desempenho do estudante ao longo do tempo
✓ Envio de resultados de exames e outros dados e informações à instância de tomada de decisões do âmbito da avaliação somativa****
✓ Execução de medidas de controle de qualidade da avaliação
✓ Comunicação e interação com instâncias responsáveis por:
• controle de qualidade das ações institucionais
• capacitação e desenvolvimento docente
✓ Comunicação e interação com:
• estudantes
• professores
• tutores
• coordenadores de unidades curriculares

• *Em muitas instituições, empregam-se testes de múltipla escolha, por preencherem adequadamente requisitos de validade e de fidedignidade para avaliação de conhecimentos; **Virtualmente todas as instituições que adotam a avaliação programática adotam modelos estruturados por estações para avaliação de habilidades e competências clínicas e de comunicação e interação com pacientes e familiares; ***Em muitas instituições, os relatos sobre falhas dos estudantes em relação ao comportamento profissional são recebidos e analisados por instância específica; ****A composição deste colegiado deve ser diversificada, com a participação de professores e de representante do NA e de elementos externos, como professores de outras instituições e representantes de membros da profissão e do público, o que confere transparência e neutralidade às suas ações.

FIGURA 1
Representação esquemática da configuração institucional da coordenação da avaliação programática do estudante, em posição de independência em relação a outras instâncias de coordenação, como as que cuidam do currículo e do controle de qualidade dos processos institucionais e do desenvolvimento docente. *(NA): a coordenação da avaliação programática é denotada no texto por “Núcleo de Avaliação”.

O NA deve, obviamente, dispor de recursos materiais e humanos, bem como ter autonomia e condições de exercer bem o seu papel como instância independente. É importante que o NA seja composto por profissionais com expertise específica em avaliação educacional, dispondo dos recursos computacionais necessários e efetivo apoio administrativo.

Entre as atribuições do NA (Quadro 5), assumem especial importância a definição e a descrição do programa de avaliação, que devem ser explícitas e transparentes, sob a forma de um texto que expresse a filosofia, a estratégia e os procedimentos e métodos empregados, bem como a maneira como os dados são analisados e as decisões tomadas. Estas informações devem ser acessíveis a todos os partícipes dos processos de ensino e aprendizado: estudantes, professores, coordenadores de unidades curriculares e o pessoal de apoio administrativo.

O caráter centralizado e institucionalizado do NA significa que será desta instância a responsabilidade pelo planejamento e execução dos procedimentos avaliativos, bem como pela análise dos dados por eles produzidos e o subsequente encaminhamento a outras instâncias, sobretudo para cumprir a função somativa. Assim sendo, o NA deve ter interação frequente com estudantes, professores e coordenadores de unidades curriculares, que são partícipes das ações da avaliação programática, como será descrito adiante. Deve, também, manter comunicação e interação com outras instâncias institucionais (Quadro 5), especialmente com o colegiado responsável pela tomada de decisões relativas aos estudantes (Figura 1). Esta instância específica (exam board ou decision-making board) participará fundamentalmente da avaliação somativa, analisando todos os dados disponíveis, fornecidos pelo NA, e tomará as decisões relativas à progressão dos estudantes e às recomendações a elas associadas. Dependendo do desenho do programa de avaliação, a instituição pode ter uma única ou várias instâncias de tomada de decisão – por exemplo, uma para cada série do curso ou para cada etapa deste. Como é previsível que decisões sobre a progressão dos estudantes podem ser questionáveis, é pertinente a criação de instância institucional responsável pelo julgamento de recursos (Figura 1). Tanto o colegiado responsável pelas tomadas de decisão como a instância responsável pelos eventuais recursos devem ter em sua composição professores de outras instituições formadoras¹⁹, como também representantes de entidades de representação profissional e pessoas leigas, como membros da comunidade²⁰.

AÇÕES INERENTES À AVALIAÇÃO PROGRAMÁTICA

A prática da avaliação programática do estudante pressupõe diferentes ações voltadas ao cumprimento das funções formativa, somativa e de controle de qualidade dos processos educativos.

Avaliação formativa

A Figura 2 representa esquematicamente seis diferentes ações que podem ser organizadas para a prática da avaliação formativa, que deve favorecer que o estudante tenha múltiplas oportunidades de receber comentários construtivos e possa também desenvolver suas capacidades de reflexão e autoavaliação. Isto pode ser facilitado pelo portfólio individual, no qual o estudante registra suas atividades e experiências e reflete sobre elas^21,22. O portfólio individual deve ser elaborado em interação com um professor que o oriente, desempenhando, assim, os papéis de tutor pessoal acadêmico e mentor²³.

FIGURA 2
Representação esquemática de eventos e procedimentos avaliativos que podem ser organizados ao longo do desenvolvimento de uma unidade curricular (UC), no âmbito da dimensão formativa da avaliação programática.

Reconhecem-se neste esquema, seis eventos distintos: (1) utilização do portfólio individual pelo estudante, em interação com o tutor; (2) emprego de métodos específicos de avaliação formativa periódica, como Chart-stimulated recall (CSR), Case-based discussion (CBD), Direct observation of procedural skills (Dops) e Mini-clinical exercise (Mini-CEX); (3) avaliação do desempenho e do comportamento do estudante no ambiente de trabalho prático por múltiplos partícipes (multisource feedback). Esta avaliação, bem como aquela feita com os métodos específicos antes mencionados, geram comentários (feedback) que devem ser registrados formalmente no portfólio (FdbR); (4) avaliação formativa informal pelos supervisores e coordenadores das UC; (5) exames finais eventuais, organizados no âmbito da UC, mas com finalidade essencialmente formativa (EFF); (6) exames formativos, mas com feição somativa, organizados e aplicados periodicamente pelo Núcleo de Avaliação (NA) para familiarizar os estudantes com os exames somativos reais, servem também como fonte de feedback individual ou coletivo aos estudantes.

A avaliação programática formativa deve prever que, ao longo do desenvolvimento das atividades curriculares, o estudante receba feedback frequente em eventos avaliativos estruturados. Isto pode ocorrer ao término de sessões práticas ou de discussões temáticas, situação em que os pares e os facilitadores emitem comentários construtivos sobre o desempenho de cada estudante e do grupo como um todo. No contexto das atividades clínicas formativas no ambiente de trabalho clínico, existem métodos variados e bem conhecidos, como Chart-stimulated recall, Case-based discussion, Mini-clinical examination e Direct observation of procedural skills^24,25. Os resultados destes procedimentos avaliativos e, em particular, o teor dos comentários construtivos, devem ser formalmente registrados nos portfólios individuais, para futura certificação pelos tutores e coordenadores de unidades curriculares no âmbito da avaliação somativa, como se descreverá adiante. No contexto da formação no ambiente de trabalho clínico, o portfólio deve receber o registro do feedback sobre o desempenho do estudante, provindo de diferentes partícipes dos processos formativos (multisource feedback)²⁶, entre estes os pares, os membros de outras profissões, os próprios pacientes e, sobretudo, os supervisores.

Os coordenadores das unidades curriculares podem organizar exames de conhecimentos ou de habilidades com finalidade formativa, ou seja, que tenham seus resultados discutidos com os estudantes de modo a contribuir para seu aprendizado. Exames com feição somativa, mas exclusivamente formativos (mock exams ou dry runs) também podem ser organizados pelo NA para familiarizar o estudante com os exames somativos, especialmente nas séries iniciais ou nas etapas em que métodos específicos sejam introduzidos. A boa prática em avaliação educacional recomenda não utilizar nenhum formato de exame para a finalidade somativa que não tenha sido usado antes em avaliações formativas. Além disso, a aplicação destes exames pode servir para que os estudantes se beneficiem do impacto educacional positivo que pode ser a eles associado, além de lhes oferecerem oportunidade adicional de receber feedback.

O exercício continuado e consistente da avaliação programática formativa, em que os estudantes recebem feedback frequente e de qualidade e são instados a refletir sobre seu aprendizado e desempenho, interagindo com outros partícipes da sua formação, contribuirá para o desenvolvimento pessoal e profissional do estudante e para a consolidação de cultura avaliativa institucional mais positiva.

Avaliação somativa

A avaliação somativa no contexto da avaliação programática do estudante baseia-se fortemente nos resultados de exames periódicos, mas apresenta a importante particularidade de incluir também outros elementos na tomada de decisões, muitos deles de natureza essencialmente qualitativa (Quadro 6). Outra particularidade é a possível dissociação temporal entre exames e momentos de decisões^9,11, com a definição das periodicidades dos exames somativos e dos momentos de decisão a juízo da instituição, que as descreve no programa previamente elaborado.

QUADRO 6
Principais componentes da prática da avaliação somativa que subsidiam a tomada de decisões sobre o progresso do estudante, no contexto da avaliação programática

COMPONENTES
1. Resultados de exames:
• conhecimentos
• habilidades clínicas e de comunicação
• outros exames (procedimentos, conhecimentos e competências específicas)
2. Certificações:
• do tutor
• dos coordenadores das unidades curriculares
3. Avaliação contínua do comportamento profissional
4. Eventual manifestação individual do próprio estudante
5. Informações sobre desempenho pregresso

Os exames somativos devem ter algumas características específicas, que são de importância fundamental: (a) elaboração e execução pelo NA, seguindo recomendações técnicas consagradas; (b) emprego de métodos que procurem preencher os requisitos de validade e de fidedignidade, produzindo, portanto, resultados confiáveis e generalizáveis; (c) inclusão de conteúdos e tarefas (blueprinting) perfeitamente alinhados com o currículo e seus desfechos previstos.

Na tomada de decisões sobre o destino do estudante, além dos resultados dos exames, contribuem também outros elementos de caráter mais contínuo e de natureza cumulativa e qualitativa, advindos da observação do estudante, sobretudo em eventos de avaliação formativa. Entre estes elementos, adquirem relevância especial as certificações que o tutor e o coordenador das unidades curriculares emitem sobre o aproveitamento e o desempenho do estudante. Estas consistem na apreciação pelo tutor sobre o trabalho documentado e refletido do estudante (portfólio) e na apreciação do coordenador de unidade curricular sobre o trabalho do estudante na respectiva unidade. Neste sentido, deve-se registrar a tendência internacional de a avaliação do estudante das profissões da saúde passar a se basear em informações qualitativas, descritivas e narrativas dadas por profissionais com conhecimento, experiência e competência que os autorizam a emitir juízos confiáveis^6,8,11,17. De fato, considera-se que muitas competências, como, por exemplo, capacidade de reflexão e cooperação inter- e multiprofissional não podem ser desdobradas em habilidades “mensuráveis” e devem ser avaliadas por métodos descritivos ou narrativos.

Outro elemento de extrema importância na avaliação somativa são as informações sobre o comportamento profissional do estudante. No Reino Unido, o órgão regulador das escolas médicas, o General Medical Council (GMC), recomenda programar atividades formativas que visem ao desenvolvimento do profissionalismo médico e avaliar o comportamento profissional do estudante ao longo do curso^19,21. As bases gerais do comportamento profissional são semelhantes às recomendadas aos médicos em atividade²⁷, mas o GMC tem recomendações específicas para o estudante²⁸, definidas em conjunto com a associação nacional de escolas médicas (UK Medical Schools Council). Esta avaliação deve ser feita continuamente, e a instância responsável pela tomada de decisões deve relatar e registrar incidentes que despertem preocupações sobre a adequação do estudante para o exercício da profissão médica (fitness-to-practice), seja em função de inadequações de conhecimento ou de domínio de habilidades, de comportamento geral ou de saúde física ou mental.

Na tomada de decisões atinente à avaliação somativa, o estudante pode também participar com eventuais manifestações referentes ao seu estado ou a circunstâncias adversas (extenuating circumstances), relacionadas a doença, problemas familiares ou financeiros, ou a questões de relacionamento com colegas ou supervisores, que, no seu juízo, afetaram negativamente seu desempenho. Da mesma forma, pode expressar críticas ou fazer relatos de eventos extraordinários ocorridos durante os exames. A manifestação do estudante pode, então, ser levada em consideração pela instância competente, na análise das informações sobre o aproveitamento do estudante e pode, eventualmente, modificar as decisões a serem tomadas.

Fazem parte do conjunto de elementos a serem analisados no âmbito da avaliação somativa as informações sobre o desempenho pregresso do estudante, desde o seu ingresso no curso até o momento presente, com ênfase nas decisões referentes a ele tomadas em ocasiões prévias. A provisão destas informações, devidamente analisadas e comentadas, faz parte das incumbências do NA. Isto adquire relevância especial por possibilitar o cumprimento da meta de avaliação longitudinal do estudante, com registro de informações contínuas sobre o seu aproveitamento e desempenho.

De modo a evitar vieses e minimizar eventuais conflitos de interesse, é importante que a análise de todos os elementos que vão embasar a tomada de decisões referentes aos estudantes seja feita em condições de anonimato. Para isto, compete ao NA fazer a codificação dos estudantes cujas informações serão providas ao colegiado responsável por sua análise e consequente tomada de decisões. Na mesma linha, é importante que professores de outras instituições participem como elementos externos das instâncias de tomada de decisões. No Reino Unido, é exigência inegociável do GMC que as escolas médicas organizem a participação de external examiners nos exames que compõem a avaliação somativa^19,21, para o que códigos específicos de atuação foram desenvolvidos²⁹. É, então, usual que os professores atuem como examinadores externos, sobretudo nas provas de habilidades, e também participem das instâncias de tomada de decisão sobre o progresso dos estudantes.

Avaliação informativa

O cumprimento da função informativa está ligado à análise aprofundada de todas as informações disponíveis sobre o aprendizado e o desempenho do conjunto de estudantes, oriundas de todos os procedimentos avaliativos, executados com finalidades formativa e somativa. Adquire importância especial no cumprimento desta função a análise dos resultados dos procedimentos avaliativos referentes a desfechos previstos, como domínio de conteúdos e aquisição de competências específicas, que poderão fornecer informações sobre a eficácia das atividades discentes e dos processos formativos.

Esta análise deve constituir incumbência própria do NA, mas o juízo sobre a qualidade das atividades e processos instrutivos deve caber a outra instância, que, em muitas instituições se denomina comitê de controle de qualidade. Trata-se de outro órgão, autônomo em seu funcionamento e independente das instâncias responsáveis pelo planejamento curricular e pela coordenação do programa de avaliação (Figura 1). Deve ter a função geral de monitorar a qualidade do ensino, do aprendizado e da avaliação, bem como de todos os procedimentos conducentes a estas finalidades. Para o adequado julgamento, esta instância deve também contar com informações provindas de outras fontes, como as opiniões de estudantes, professores e coordenadores de unidades curriculares e, eventualmente, de auditores externos. Esta instância será a responsável pela avaliação (evaluation) do currículo como programa formativo, utilizando para isto informações oriundas da avaliação do estudante (assessment) em todas as suas dimensões e executadas com as finalidades formativa e somativa.

DISCUSSÃO

A introdução de um sistema de avaliação programática do estudante deve ser o produto da reflexão de todos os partícipes dos processos formativos na escola. Implica mudanças profundas na cultura e na organização institucional, bem como nas práticas avaliativas e, sobretudo, nos papéis que estudantes e professores desempenham na avaliação. Traz desafios que devem ser enfrentados e dificuldades que devem ser superadas para que a avaliação do estudante atinja excelência.

Na implantação da avaliação programática em escolas mais tradicionais, serão encontradas dificuldades conceituais e políticas, relacionadas à institucionalização e à centralização. A avaliação do estudante é, na maior parte das instituições, descentralizada, sendo considerada atribuição dos professores e coordenadores de unidades curriculares, que poderão se sentir desprestigiados e, reativamente, criar dificuldades à implantação. Estas, porém, poderão ser superadas com o convencimento dos professores das vantagens da avaliação programática e de que desempenharão papéis importantes no novo esquema. Experiências concretas de introdução da avaliação programática do estudante mostram que os professores podem se sentir valorizados e, também, desonerados do trabalho de elaboração e aplicação de exames³⁰. Ademais, o envolvimento dos professores em tarefas como tutoria, avaliação formativa, produção e aprimoramento de questões e de estações e certificação das atividades do estudante pode lhes trazer gratificação adicional, além de contribuir para o seu desenvolvimento profissional.

Por outro lado, a avaliação programática pode encontrar dificuldades ligadas à escassez de recursos humanos e materiais e expertise para cumprir tarefas numerosas e diversificadas. Estas devem ser enfrentadas convencendo-se os responsáveis por sua provisão de que o investimento na avaliação programática é compensatório, pela elevação da qualidade das atividades educacionais institucionais, o que deve se refletir positivamente na imagem que os reguladores e o público têm da escola.

Os sistemas de avaliação programática do estudante de Medicina devem adequar-se às normas existentes nos níveis local (escola, universidade) e nacional (órgãos reguladores). É, também, importante que os programas atendam às recomendações para avaliação do estudante oriundas de organismos internacionais ligados à educação médica, como, por exemplo, a World Federation of Medical Education³¹ e de comitês de especialistas em avaliação educacional¹.

O bom funcionamento da avaliação programática depende criticamente da participação dos estudantes e dos professores, que devem estar convencidos das vantagens deste esquema. Os estudantes devem ser convencidos do acréscimo de qualidade à sua formação, associado ao seu engajamento na avaliação programática, visto que terão abundância de oportunidades de receber feedback sobre o seu desempenho, em vários formatos, vindo de várias fontes. Isto contribui reconhecidamente para o seu aprendizado e desenvolvimento^{1,2,6,14,16,30}. Além disso, a elaboração do portfólio individual e a interação com o tutor podem constituir oportunidades únicas de reflexão e crescimento pessoal e profissional^22,23.

Da mesma forma que se supõe que o estudante tenha autonomia e assuma responsabilidades e papel ativo em seu aprendizado, espera-se que demonstre engajamento efetivo na avaliação programática. O estudante deve documentar suas atividades curriculares e registrar suas reflexões sobre elas. A documentação é especialmente importante no caso de atividades práticas específicas de que tenha participado, registrando número e tipo da atividade. Em determinadas etapas do curso, pode ser importante que o estudante demonstre que realizou certos procedimentos ou teve contato com determinados tipos de pacientes ou situações específicas. É, também, importante que o estudante expresse sua reflexão sobre o efeito das principais atividades discentes em seu aprendizado, desenvolvimento pessoal e formação profissional. Ademais, é usual que seja o estudante quem organiza os seus eventos de avaliação formativa no ambiente de trabalho, solicitando aos avaliadores que a avaliação seja realizada e compartilhando com eles o registro dos resultados em seu portfólio individual.

O adequado funcionamento da avaliação programática do estudante depende também criticamente do engajamento e do compromisso dos professores, o que provavelmente constitui o principal determinante de sucesso. O envolvimento efetivo e qualificado dos professores pode ser conseguido com programas permanentes e consistentes de desenvolvimento docente, que devem preparar o professor para desempenhar com qualidade diferentes papéis na avaliação do estudante (Quadro 7).

QUADRO 7
Diferentes atribuições e papéis que devem ser assumidos pelos professores no âmbito da avaliação programática do estudante

ATRIBUIÇÕES E PAPÉIS DO PROFESSOR
✓ Conhecer os princípios e métodos usuais de avaliação de conhecimentos, habilidades e competências
✓ Atuar como avaliador, proferindo julgamentos corretos sobre o desempenho do estudante nos vários domínios e nas dimensões formativas e somativas
✓ Interagir positivamente com o estudante, provendo “feedback” efetivo e de boa qualidade, nas formas verbais e escritas
✓ Atuar como tutor e mentor do estudante
✓ Emitir certificações sobre a atuação do estudante para fins de avaliação somativa
✓ Elaborar questões relevantes e discriminativas para exames de conhecimentos
✓ Construir estações interessantes e de alto impacto educacional para exames estruturados de habilidades clínicas, procedimentais e de comunicação
✓ Rever e aprimorar questões e estações com inadequações
✓ Participar de instâncias colegiadas responsáveis por:
• tomada de decisões sobre o progresso dos estudantes
• julgamento de recursos sobre decisões tomadas
• análise da qualidade dos procedimentos avaliativos

No Reino Unido, a partir de 2009, as escolas médicas passaram a adotar a avaliação programática, porque as recomendações do GMC^19,21, órgão regulador da educação e treinamento em Medicina, superpõem-se às características gerais desta abordagem de avaliação do estudante. Recentemente, relatos de experiências nesse país^30,32 e em outros^33-36 ressaltam que, apesar das diferentes configurações e das distintas dificuldades detectadas, a adoção da avaliação programática em diferentes escolas médicas e programas de treinamento profissional é percebida como um avanço na avaliação do estudante e do profissional em treinamento.

Adotada a avaliação programática do estudante, torna-se imperioso atentar para as condições determinantes da excelência no seu funcionamento e da sua sustentabilidade institucional no longo prazo. Estas constam de um conjunto de recomendações de um painel de especialistas em avaliação do estudante³⁷ e incluem arranjos envolvendo participantes, mantenedores e demais partes interessadas (stakeholders), de modo a definir os objetivos e metas do programa em relação à infraestrutura disponível e aos recursos necessários (Figura 3). Uma vez em funcionamento, o programa deve ter regras claras para a coleta de informações e seu processamento na tomada de decisões. Deve, também, atentar para as medidas de apoio institucional político e legal, para a boa documentação de tudo o que é feito e para as medidas de aperfeiçoamento contínuo, além de dispor de meios de demonstrar aceitabilidade, efetividade e eficiência na consecução dos seus objetivos³⁷.

FIGURA 3
Representação esquemática do arcabouço de ações que devem conferir excelência ao funcionamento da avaliação programática do estudante e sua sustentabilidade institucional no longo prazo (adaptada de Dijkstra e colaboradores37)

CONCLUSÃO

A avaliação programática constitui uma forma inovadora de conceber e praticar a avaliação do estudante, para que esta cumpra da melhor forma suas funções formativa, somativa e informativa ou diagnóstica. Constitui incumbência da escola médica, que deve investir na estruturação de um programa coerente de avaliação, que apresente os atributos de centralização, institucionalização, uniformização, integração, abrangência e continuidade. A adoção da avaliação programática permite minimizar várias das distorções associadas às práticas tradicionais, dar destaque à avaliação para o aprendizado e valorizar variáveis de natureza qualitativa, como o juízo de supervisores qualificados, na tomada das decisões próprias da função somativa. Esta passa a incluir as noções de remediação e de estímulo à excelência para estudantes de diferentes perfis de desempenho. A implantação de sistemas de avaliação programática pode encontrar desafios e dificuldades previsíveis, mas traz reconhecido avanço nas práticas institucionais de avaliação do estudante.

REFERÊNCIAS

• ¹
  Norcini J, Anderson B, Bollela V, Burch V, Costa MJ, Duvivier R, Galbraith R, Hays R, Kent A, Perrott V, Roberts T.Criteria for good assessment: Consensus statement and recommendations from the Ottawa 2010 Conference. Med Teach 2011; 33 (3):206–14.
• ²
  Epstein RM. Assessment in Medical Education. N Engl J Med 2007; 356(4):387-96.
• ³
  McManus IC. Examining the educated and the trained. Lancet 1995; 345(8958):1151-53.
• ⁴
  Vianna HM. Introdução à avaliação educacional. São Paulo: IBRASA, 1989.
• ⁵
  Van der Vleuten CP, Schuwirth LW. Assessing professional competence: from methods to programmes. Med Educ 2005; 39 (3):309-17.
• ⁶
  Schuwirth LWT, Van der Vleuten CPM. Programmatic assessment: From assessment of learning to assessment for learning. Med Teach 2011; 33(6):478–485.
• ⁷
  Schuwirth LW, Van der Vleuten CP. Programmatic assessment and Kane’s validity perspective. Med Educ 2012; 46 (1):38–48.
• ⁸
  Schuwirth L, Ash J. Assessing tomorrow’s learner: In competency-based education only a radically different holistic method of assessment will work: Six things we could forget. Med Teach 2013; 35(7):555-60
• ⁹
  Van der Vleuten CP, Schuwirth LW, Driessen EW, Dijkstra J, Tigelaar D, Baartman LK, van Tartwijk J. A model for programmatic assessment fit for purpose. Med Teach 2012: 34(3) :205–214.
• ¹⁰
  Bok HG, Teunissen PW, Favier RP, Rietbroek NJ, Theyse LF, Brommer H, Haarhuis JC, van Beukelen P, van der Vleuten CP, Jaarsma DA. Programmatic assessment of competency-based workplace learning: When theory meets practice. BMC Med Educ 2013; 13:123.
• ¹¹
  Van der Vleuten CPM, Schuwirth LWT, Driessen EW, Govaerts MJB, Heeneman S. 12 tips for programmatic assessment. Med Teach 2014, 1–6. (Epub ahead of print).
• ¹²
  Musick D. A conceptual model for program evaluation in graduate medical education. Acad Med 2006; 81(8):759-65.
• ¹³
  Wass V, Van der Vleuten C, Shatzer J, Jones R. Assessment of clinical competence. Lancet 2001; 357(9260):945-49.
• ¹⁴
  Irby DM. Teaching and learning in ambulatory care settings: a thematic review of the literature. Acad Med 1995; 70(10):898-931.
• ¹⁵
  Norcini J, Troncon L. Foundations of assessment. FAIMER-Keele Master’s in Health Professions Education: Accreditation and Assessment. Module 1, Unit 1. 2nd edition 2014 (Ed. J Grant). FAIMER Centre for Distance Learning, CenMEDIC, London.
• ¹⁶
  Archer JC. State of the science in health professional education: effective feedback. Med Educ 2010; 44(1):101-8.
• ¹⁷
  Hodges B. Assessment in the post-psychometric era: learning to love the subjective and collective. Med Teach 2013; 35(7):564-568.
• ¹⁸
  Tekian A, Hodges BD, Roberts TE, Schuwirth L, Norcini J. Assessing competencies using milestones along the way. Med Teach 2015; 37(4):399-402.
• ¹⁹
  General Medical Council. Assessment in undergraduate medical education. Advice supplementary to “Tomorrow’s Doctors” (2009), Londres, Reino Unido: General Medical Council; 2011.
• ²⁰
  Hays RB, Hamlin G, Crane L. Twelve tips for increasing the defensibility of assessment decisions. Med Teach 2015; 37(5):433-436.
• ²¹
  General Medical Council. Tomorrow’s Doctors.Londres, Reino Unido: General Medical Council; 2009.
• ²²
  Buckley S, Coleman J, Davison I, Khan KS, Zamora J, Malick S, Morley D, Pollard D, Ashcroft T, Popovic C, Sayers J. The educational effects of portfolios on undergraduate student learning: a Best Evidence Medical Education (BEME) systematic review. BEME Guide No. 11. Med Teach2009;31(4):282-298.
• ²³
  Botti SHO, Rego S. Preceptor, supervisor, tutor e mentor: quais são seus papéis? Rev Bras Educ Med 2008; 32(3):363-373.
• ²⁴
  Norcini J, McKinley DW. Assessment methods in medical education. Teach Teacher Educ 2007; 23:239-50.
• ²⁵
  Boursicot K, Etheridge L, Setna Z, Sturrock A, Ker J, Smee S, Sambandam E. Performance in assessment: Consensus statement and recommendations from the Ottawa conference. Med Teach 2011; 33(5): 370–383.
• ²⁶
  Al Ansari A, Donnon T, Al Khalifa K, Darwish A, Violato C. The construct and criterion validity of the multi-source feedback process to assess physician performance: a meta-analysis. Adv Med Educ Pract 2014;5:39–51.
• ²⁷
  General Medical Council. Good Medical Practice. Londres, Reino Unido: General Medical Council; 2013.
• ²⁸
  General Medical Council. Medical students: professional values and fitness to practice. Londres, Reino Unido: General Medical Council and Medical Schools Council; 2013.
• ²⁹
  Hays R, Bashford L. Being an external examiner: what you need to know and do. Clin Teach 2009; 6 (3):160-163.
• ³⁰
  Troncon L, Sturrock A, Gill D, Dacre J. Experiences of students and teaching faculty members of a recently implemented system for programmatic assessment of medical students. Resumo de trabalho apresentado na AMEE 2015 Conference, Glasgow, Reino Unido; 2015.
• ³¹
  World Federation for Medical Education - Basic Medical Education. WFME Global Standards for Quality Improvement – The 2012 Revision, WFME Office, University of Copenhagen, Denmark, 2012.
• ³²
  Ricketts C, Bligh J. Developing a “frequent look and rapid remediation” assessment system for a new medical school. Acad Med. 2011; 86(1): 67-71.
• ³³
  Driessen EW, van Tartwijk J, Govaerts M, Teunissen P, van der Vleuten CP. The use of programmatic assessment in the clinical workplace: a Maastricht case report. Med Teach 2012; 34(3):226-31.
• ³⁴
  Dannefer EF. Beyond assessment of learning towards assessment for learning: Educating tomorrow’s physicians. Med Teach 2013; 35(7): 560-63.
• ³⁵
  Bok HG, Teunissen PW, Favier RP, Rietbroek NJ, Theyse LF, Brommer H, Haarhuis JC, van Beukelen P, van der Vleuten CP, Jaarsma DA. Programmatic assessment of competency-based workplace learning: When theory meets practice. BMC Med Educ 2013;123.
• ³⁶
  Heeneman S, Oudkerk Pool A, Schuwirth LW, van der Vleuten CP, Driessen EW. The impact of programmatic assessment on student learning: theory versus practice. Med Educ 2015; 49(5):487-98.
• ³⁷
  Dijkstra J, Galbraith R, Hodges BD, McAvoy PA, McCrorie P, Southgate LJ, Van der Vleuten CP, Wass V, Schuwirth LW. Expert validation of fit-for-purpose guidelines for designing programmes of assessment. BMC Med Educ 2012; 12:20.

Datas de Publicação

• Publicação nesta coleção
  Jan-Mar 2016

Histórico

• Recebido
  05 Jun 2015
• Aceito
  08 Jan 2016