Caminhos para a avaliação da formação em Odontologia: construção de modelo lógico e validação de critérios

Talitha Rodrigues Ribeiro Fernandes Pessoa Luiz Roberto Augusto Noro Sobre os autores

Resumo

A universalização do acesso à saúde e a falência do modelo pedagógico centrado na mera transmissão de conhecimento tem levado a mudanças na formação de profissionais de saúde. O objetivo deste estudo foi proporcionar uma nova alternativa para avaliação de cursos de Odontologia, com base nas Diretrizes Curriculares Nacionais (DCN) da área. Para isto, foi formulado um modelo lógico sobre o percurso necessário para a formação em saúde bucal, o que permitiu a construção de uma matriz de critérios, validada por meio da técnica de consenso Delfos, modificado com a participação de 33 “experts”. A matriz apresentou como dimensões a abordagem pedagógica, o perfil do egresso, a integração ensino-serviço e a orientação do cuidado em saúde. O detalhamento destas dimensões em subdimensões e critérios mensuráveis permitiu aprofundar elementos estruturantes das DCN, pouco explorados em outros estudos, sobre avaliação de cursos de graduação em Odontologia. O instrumento final proposto neste estudo representa alternativa diferenciada de avaliação da formação, tanto de cirurgiões-dentistas como de outros profissionais, considerando que as DCN de todos os cursos da área da saúde preveem a formação com foco nas necessidades de saúde da população, integrada ao SUS e baseada na aprendizagem centrada no estudante.

Palavras-chave
Educação em odontologia; Avaliação educacional; Recursos humanos em saúde

Abstract

The need for universal access to health care and the failure of the pedagogical model centered on only the transmission of knowledge has led to changes in the training of health professionals. The aim of this study was to provide a new alternative for evaluation of Dentistry courses based on the National Curriculum Guidelines (NCG) of the area. For this, a logical model was formulated on the need for training in the oral health pathway which allowed for the construction of a criteria matrix, validated by Delphi consensus technique and modified by the participation of 33 “experts.” The matrix dimensions presented as a pedagogical approach the profile of graduates, the teaching-service integration and orientation of health care. The detailing of these dimensions into sub-dimensions and of measurable criteria allowed for deepening structural elements of the NCG unexplored in other studies evaluating undergraduate courses in Dentistry. The final instrument proposed in this study is differentiated alternative assessment training, for both dentists and other professionals, considering that the NCG of all healthcare courses provide for the training focused on the health needs of the population, integrated to Unified Health System (SUS) and based on student-centered learning.

Keywords
Dental education; Educational assessment; Human resources in health

Introdução

Vários aspectos contribuem para a constatação atual, embora incipiente, de que há mudanças na formação de profissionais de saúde. Dentre eles podem ser citados o descrédito em um modelo puramente assistencialista e focado em procedimentos, a necessidade da universalização do acesso à saúde, assim como a constatação da falência do modelo pedagógico centrado na mera transmissão de conhecimentos.

Ao se discutir na atualidade as diferenças entre recursos humanos e trabalhadores na saúde, vários são os questionamentos relacionados a como a formação de profissionais em saúde tem superado as tensões em sua estrutura, envolvendo trabalho, trabalhador e sociedade a favor das evoluções no sistema de saúde, da flexibilização das relações de trabalho e do desenvolvimento das políticas sociais1Assunção AA, Belisário SA, Campos FE, D’Ávila LS. Recursos humanos e trabalho em saúde: os desafios de uma agenda de pesquisa. Cad Saude Publica 2007; 23(Supl. 2):S193-S201.. Frente a estas mudanças de paradigma, consequentes demandas por investigações têm sido propostas, com a perspectiva de elucidar fenômenos do emprego/trabalho e educação1Assunção AA, Belisário SA, Campos FE, D’Ávila LS. Recursos humanos e trabalho em saúde: os desafios de uma agenda de pesquisa. Cad Saude Publica 2007; 23(Supl. 2):S193-S201.. Em pesquisa com estudantes dos cursos de Odontologia, Medicina e Psicologia fica evidenciado um imaginário de atuação liberal-privatista, articulada à atuação na esfera pública simplesmente para maior experiência profissional2Ceccim RB, Armani TB, Oliveira DLLC, Bilibio LF, Moraes M, Santos ND. Imaginários da formação em saúde no Brasil e os horizontes da regulação em saúde suplementar. Cien Saude Colet 2008; 13(5):1567-1578..

O referencial que diverge deste movimento e incorpora uma dimensão ampliada na área da saúde vem traduzido nas Diretrizes Curriculares Nacionais (DCN), instituídas nos cursos de graduação a partir de 20013Brasil. Ministério da Educação (MS). Conselho Nacional de Educação. Câmara de Educação Superior. Parecer nº 583 de 04 de abril de 2001. Aprova a orientação para as diretrizes curriculares dos cursos de graduação. Diário Oficial União 2001; 29 out.. Ao analisar as dificuldades de cirurgiões-dentistas de serviços públicos de saúde, Costa e Araújo4Costa ICC, Araújo MNT. Definição do perfil de competências em saúde coletiva a partir da experiência de cirurgiões-dentistas atuantes no serviço público. Cien Saude Colet 2011; 16(Supl. 1):1181-1189. sugerem a necessidade de mudanças nos currículos, que formem profissionais de saúde que reflitam sobre sua prática e desenvolvam as competências de saber, saber fazer e saber ser.

As DCN reforçam a aproximação entre a Educação e a Saúde, com ênfase na promoção, prevenção, recuperação e reabilitação da saúde e na formação de profissionais capazes de atuar com qualidade, eficiência e resolutividade, coerentemente com o previsto na construção do SUS, a qual prevê este sistema como ordenador da formação de recursos humanos em saúde5Brasil. Constituição da República Federativa do Brasil de 1988. Diário Oficial da União 1988; 5 out.. Para tanto, apontam para o desafio de promover no estudante o desenvolvimento intelectual e profissional autônomo e permanente, competência essa que não se encerra com a conclusão do curso4Costa ICC, Araújo MNT. Definição do perfil de competências em saúde coletiva a partir da experiência de cirurgiões-dentistas atuantes no serviço público. Cien Saude Colet 2011; 16(Supl. 1):1181-1189..

Com o estabelecimento das DCN e com as mudanças curriculares em curso nas instituições de ensino superior, fez-se necessário o desenvolvimento de processos avaliativos os quais propõem uma análise do quanto as diretrizes foram atendidas, no que se refere à qualidade, à relevância e à adequação dos cursos às necessidades de desenvolvimento do país6Haddad AE, Pierantoni CR, Ristoff D, Xavier IM, Giolo J, Silva LB, organizadores. A trajetória dos cursos de graduação na área da saúde: 1991-2004. Brasília: Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira; 2006.. Esta avaliação é referencial básico na orientação dos processos de autorização e reconhecimento de cursos. Entretanto, além dos aspectos relacionados ao processo de regulação, são necessários estudos que aprofundem elementos essenciais no desenvolvimento cotidiano destas instituições.

Em 2006, o Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP) publicou estudo sobre a trajetória dos cursos de graduação na área da saúde, o qual buscou estimular a reflexão e discussão sobre a avaliação da formação dos cursos de nível superior em saúde a partir do Censo da Educação Superior, do Cadastro de Docentes, do Cadastro de Instituições e Cursos, do Exame Nacional de Desempenho dos Estudantes (ENADE) e Relatórios das Comissões Próprias de Avaliação (CPA)6Haddad AE, Pierantoni CR, Ristoff D, Xavier IM, Giolo J, Silva LB, organizadores. A trajetória dos cursos de graduação na área da saúde: 1991-2004. Brasília: Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira; 2006.. Constatou-se um aumento significativo da disponibilidade de cursos de Odontologia em todo país, principalmente no setor privado.

Ainda em 2006, o Ministério da Saúde e o da Educação investigaram, com base nos relatórios dos processos avaliativos dos Projetos Pedagógicos dos Cursos (PPC), conduzidos pelo INEP, no período de 2002 a 2006, a adoção das Diretrizes Curriculares Nacionais no contexto dos PPC desses cursos7Brasil. Ministério da Saúde (MS). Ministério da Educação (ME). A aderência dos cursos de graduação em enfermagem, medicina e odontologia às diretrizes curriculares nacionais. Brasília: MS; 2006.. Segundo esse estudo, as DCN para os cursos de Odontologia significaram um importante avanço por estabelecerem os princípios e fundamentos para a formação do cirurgião dentista.

Entretanto, mesmo com mais de dez anos da instituição das DCN e do início das mudanças curriculares nos cursos de graduação de Odontologia, mantêm-se diversos questionamentos sobre a verdadeira efetivação das diretrizes na formação de cirurgiões-dentistas.

Emerge, pois, a necessidade de se pensar critérios que possam verificar como a formação de profissionais de saúde tem respondido ao que foi preconizado nas DCN, mesmo frente às subjetividades e abrangência de fatores para uma formação adequada às necessidades de saúde da população brasileira. Coerente com esta necessidade, o objetivo deste estudo foi propor a construção de um modelo lógico da formação de cirurgiões-dentistas com base nas diretrizes curriculares nacionais e, a partir deste, a construção de uma matriz de critérios de avaliação e sua validação, proporcionando uma nova alternativa para avaliação de cursos de graduação em Odontologia.

Metodologia

Em estudos avaliativos, frente à complexidade do objeto, é necessário, sem prejuízo do rigor metodológico, usar de maleabilidade, triangulação de abordagens investigativas e complementaridade de técnicas quantitativas e qualitativas8Januzzi PM. Avaliação de programas sociais no Brasil: repensando práticas e metodologias das pesquisas avaliativas. Planejamento e políticas públicas 2011; (36):251-275..

Este estudo consistiu em uma pré-avaliação ou estudo de avaliabilidade, os quais surgem como uma possibilidade de se verificar em que medida uma intervenção pode ser avaliada9Bezerra LCA, Alves CKA, Reis YAC, Samico I, Felisberto E, Carvalho ALB, Silva GS. Identificação e caracterização dos elementos constituintes de uma intervenção: pré-avaliação da política Participa SUS. Cien Saude Colet 2012; 17(4):883-900.. Proporciona um ambiente favorável na medida em que constrói entendimentos entre os envolvidos sobre a natureza e os objetivos do objeto da avaliação, busca concordância entre os interesses da avaliação e os possíveis usuários do estudo, aumentando as possibilidades do uso dos resultados1010 Mendes MFM, Cazarin G, Bezerra LCA, Dubeux LS. Avaliabilidade ou pré-avaliação de um programa. In: Samico A, Felisberto E, Figueiró AC, Frias PG, organizadores. Avaliação em Saúde: bases conceituais e operacionais. Rio de Janeiro: MedBook; 2010. p. 57-64.. Para este estudo, a pré-avaliação consistiu nas seguintes etapas: construção do modelo lógico, elaboração da matriz de critérios de avaliação e validação da matriz de critérios.

Construção do Modelo Lógico

A representação do objeto de investigação, que no caso deste estudo é a formação de cirurgiões-dentistas baseada nas DCN, seus movimentos e suas relações, é passível de ser modelizada, tendo por referência uma construção teórica1111 Medina MG, Silva GAP, Aquino R, Hartz ZMA. Uso de modelos teóricos na avaliação em saúde: aspectos conceituais e operacionais. In: Hartz ZMA, Silva LMV, organizadores. Avaliação em saúde: dos modelos teóricos à prática na avaliação de programas e sistemas de saúde. Salvador, Rio de Janeiro: EDUFBA, Fiocruz; 2005. p. 65-102..

A construção do modelo teve início com a pesquisa e leitura de documentos relacionados ao objeto, a partir das DCN3Brasil. Ministério da Educação (MS). Conselho Nacional de Educação. Câmara de Educação Superior. Parecer nº 583 de 04 de abril de 2001. Aprova a orientação para as diretrizes curriculares dos cursos de graduação. Diário Oficial União 2001; 29 out.,4Costa ICC, Araújo MNT. Definição do perfil de competências em saúde coletiva a partir da experiência de cirurgiões-dentistas atuantes no serviço público. Cien Saude Colet 2011; 16(Supl. 1):1181-1189.,1212 Brasil. Ministério da Educação. Conselho Nacional de Educação. Câmara de Educação Superior. Resolução 3, de 19 de fevereiro de 2002. Institui Diretrizes Curriculares Nacionais do Curso de Graduação em Odontologia. Diário Oficial União 2002; 4 mar., de publicações dos Ministérios da Saúde e da Educação6Haddad AE, Pierantoni CR, Ristoff D, Xavier IM, Giolo J, Silva LB, organizadores. A trajetória dos cursos de graduação na área da saúde: 1991-2004. Brasília: Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira; 2006.,7Brasil. Ministério da Saúde (MS). Ministério da Educação (ME). A aderência dos cursos de graduação em enfermagem, medicina e odontologia às diretrizes curriculares nacionais. Brasília: MS; 2006.,1313 Brasil. Ministério da Educação. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira – Inep. Diretoria de Avaliação da Educação Superior – Daes. Sistema Nacional de Avaliação da Educação Superior – Sinaes. Instrumento de Avaliação de Cursos de Graduação presencial e a distância. Brasília: maio 2012. [acessado 2013 jun 13]. Disponível em: http://download.inep.gov.br/educacao_superior/avaliacao_cursos_graduacao/instrumentos/2012/instrumento_com_ alteracoes_maio_12.pdf
http://download.inep.gov.br/educacao_sup...
,1414 Brasil. Ministério da Educação. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. SINAES – Sistema Nacional de Avaliação da Educação Superior: da concepção à regulamentação. 5ª ed. revista e ampliada. Brasília: Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira; 2009., da Associação Brasileira de Ensino Odontológico1515 Morita MC, Kriger L, Carvalho ACP, Haddad AE. Implantação das diretrizes curriculares nacionais em odontologia. Maringá: Dental Press, Abeno, Opas, MS; 2007. e de outros estudos e publicações sobre avaliação de cursos de graduação e educação odontológica1616 Lampert JB. Avaliação institucional nos cursos de graduação da área da saúde: avaliar o quê e para quê? Cadernos ABEM 2009; 5:45-55.2222 Carvalho ACP, Kriger L. Educação Odontológica. São Paulo: Artes Médicas; 2006..

A construção de um modelo teórico/lógico deve ser convincente e apresentar plausibilidade das associações estabelecidas1111 Medina MG, Silva GAP, Aquino R, Hartz ZMA. Uso de modelos teóricos na avaliação em saúde: aspectos conceituais e operacionais. In: Hartz ZMA, Silva LMV, organizadores. Avaliação em saúde: dos modelos teóricos à prática na avaliação de programas e sistemas de saúde. Salvador, Rio de Janeiro: EDUFBA, Fiocruz; 2005. p. 65-102.. Nesta perspectiva, com base na literatura e objetivos da pesquisa, foram levantados vários possíveis elementos constituintes do modelo, a fim de que este pudesse se tornar uma “representação conceitual esquemática de uma coisa ou situação real ou suposta como tal”2323 Bunge M. Os conceitos de modelo. In: Bunge M. Teoria e realidade. São Paulo: Perspectiva; 1974. p. 11-40.. Neste caso, que ele pudesse representar, de forma mais próxima possível, a formação de cirurgiões-dentistas de acordo com o que é preconizado nas DCN.

O modelo lógico apresentou, pois, como elemento estruturante, a necessidade da formação vinculada à mudança de paradigma de saúde, voltado para as necessidades de saúde da população (Figura 1).

Figura 1
Modelo lógico da formação de cirurgiões dentistas com base nas DCN.

Elaboração da Matriz de Critérios

Com base no modelo lógico construído, foi elaborada uma matriz de critérios de avaliação contemplando, a partir dos referenciais teóricos, os principais aspectos a serem abordados, os quais foram considerados relevantes para a formação de uma “imagem-objetivo” da avaliação dos cursos de Odontologia com base nas DCN. Para a construção da matriz, cada elemento estruturante destacado no modelo lógico foi transformado em uma dimensão de avaliação. A matriz foi então construída em quatro dimensões: Perfil do Egresso, Orientação do Cuidado em Saúde, Integração Ensino-Serviço e Abordagem Pedagógica. Ainda com base no modelo lógico, para cada uma dessas dimensões, foram propostas subdimensões descritas em critérios de avaliação que expressam o padrão esperado na imagem-objetivo.

A matriz elaborada a partir do modelo lógico, com dimensões, subdimensões, critérios e respectivas pontuações propostas preliminarmente pelos pesquisadores está expressa no Quadro 1.

Quadro 1
Matriz de critérios e pontuação proposta para avaliação dos cursos de odontologia do nordeste brasileiro, a partir das dimensões e subdimensões, com base nas DCN, encaminhada aos “experts”.

Validação da matriz de critérios por consenso entre “experts” (Método Delfos Modificado)

Para a validação da matriz de critérios de avaliação de cursos de odontologia proposta pelos autores, foi utilizada uma adaptação da técnica de consenso entre “experts” (Método Delfos).

O método Delfos é uma técnica formal, para consenso entre “experts” em um tema específico, que utiliza o conhecimento teórico, a experiência e a criatividade destes, convertidos em informação científica por meio de uma aplicação metodologicamente estruturada2424 Esher A, Santos EM, Magarinos-Torres R, AzeredoTB. Construindo critérios de julgamento em avaliação: especialistas e satisfação dos usuários com a dispensação do tratamento do HIV/AIDS. Cien Saude Colet 2012; 17(1):203-214.,2525 Valdés MG, Marín MS. Empleo del método Delphi en investigaciones sobre salud publicadas en revistas científicas cubanas. Rev Cubana de Información en Ciencias de la Salud 2013; 24(2):133-144.. Na área da saúde, esta técnica vem sendo utilizada para a obtenção de consenso com diversas finalidades, como avaliação de tecnologias, seleção de indicadores de qualidade de serviços, e no desenvolvimento de planos de estudos para a educação médica2525 Valdés MG, Marín MS. Empleo del método Delphi en investigaciones sobre salud publicadas en revistas científicas cubanas. Rev Cubana de Información en Ciencias de la Salud 2013; 24(2):133-144..

O consenso Delfos consiste num processo estruturado em rodadas de consultas aos especialistas, no intuito de obter uma opinião coletiva e qualificada sobre determinadas questões até que um consenso seja alcançado2626 Fonsêca GS, Junqueira SR. Programa de Educação pelo Trabalho para a Saúde da Universidade de São Paulo (Campus Capital): o olhar dos tutores. Cien Saude Colet 2014; 19(4):1151-1162.,2727 Boulkedid R, Abdoul H, Loustau M, Sibony O, Alberti C. Using and Reporting the Delphi Method for Selecting Healthcare Quality Indicators: A Systematic Review. Plos One 2011; 6:e20476.

Para este estudo, optou-se por uma a adaptação denominada “Delfos modificado”, o qual consiste na inclusão de pelo menos uma rodada de discussão presencial entre especialistas2525 Valdés MG, Marín MS. Empleo del método Delphi en investigaciones sobre salud publicadas en revistas científicas cubanas. Rev Cubana de Información en Ciencias de la Salud 2013; 24(2):133-144.,2727 Boulkedid R, Abdoul H, Loustau M, Sibony O, Alberti C. Using and Reporting the Delphi Method for Selecting Healthcare Quality Indicators: A Systematic Review. Plos One 2011; 6:e20476, por meio da associação com a técnica de conferência de consenso preconizada por Souza et al.2828 Souza LEPF, Silva LMV, Hartz ZMA. Conferência de consenso sobre a imagem-objetivo da descentralização da atenção à saúde no Brasil. In: Hartz ZMA, Silva LMV, organizadores. Avaliação em saúde: dos modelos teóricos à prática na avaliação de programas e sistemas de saúde. Salvador, Rio de Janeiro: EDUFBA, Fiocruz; 2005. p. 65-102.. Em síntese, realizou-se no estudo uma primeira rodada com a aplicação da técnica Delfos tradicional, enquanto a segunda e a terceira corresponderam à realização da conferência de consenso.

Para a primeira rodada, foram convidados sessenta especialistas, sendo trinta professores doutores com inserção ativa nas discussões em educação em Odontologia junto à Associação Brasileira de Ensino Odontológico (ABENO), e trinta professores-doutores com inserção no Grupo de Trabalho de Saúde Bucal da Associação Brasileira de Saúde Coletiva (ABRASCO). Para a identificação destes participantes, partiuse da compreensão de que “experts” são pessoas ligadas a organizações, capazes de oferecer, com o máximo de competência, valores conclusivos sobre um determinado problema, fazer prognósticos objetivos sobre o efeito, aplicabilidade, viabilidade e relevância, que possam contribuir para a solução desse problema, sugerindo recomendações sobre o que fazer para aperfeiçoá-lo2929 Crespo T. Respuestas a 16 preguntas sobre el empleo de “expertos” en investigación pedagógica. Lima: San Marcos; 2007..

O número ideal de participantes para realização de consenso Delfos é variável. Enquanto Okoli e Pawlowski3030 Okoli C, Pawlowski S. The Delphi method as a research tool: an example, design considerations and applications. Information & Management 2004; 42:15-29. sinalizam que entre 10 e 18 “experts” são suficientes para o desenvolvimento do método, Valdés e Marín2525 Valdés MG, Marín MS. Empleo del método Delphi en investigaciones sobre salud publicadas en revistas científicas cubanas. Rev Cubana de Información en Ciencias de la Salud 2013; 24(2):133-144. sugerem um mínimo de 7 “experts”, observando que o erro de consenso é diminuído notavelmente a cada especialista adicionado. Todavia, estudos recomendam a prudência de se convidar mais membros do que os que estão previstos para o painel de “experts”, pois usualmente ocorrem desistências2525 Valdés MG, Marín MS. Empleo del método Delphi en investigaciones sobre salud publicadas en revistas científicas cubanas. Rev Cubana de Información en Ciencias de la Salud 2013; 24(2):133-144.,2727 Boulkedid R, Abdoul H, Loustau M, Sibony O, Alberti C. Using and Reporting the Delphi Method for Selecting Healthcare Quality Indicators: A Systematic Review. Plos One 2011; 6:e20476. Bloor et al.3131 Bloor M, Sampson H, Baker S, Dahlgren K. Useful but no Oracle: Reflections on the use of a Delphi Group in a multi-methods policy research study. Qualitative Research 2014; DOI: 10.1177/1468794113504103.
https://doi.org/10.1177/1468794113504103...
afirmaram que num grupo Delfos, mais importante do que o tamanho é o equilíbrio das participações, representado pela gama de pontos de vista, conhecimentos e interesses colocados.

Foram enviados aos “experts” em mensagem individual, via correio eletrônico, o Termo de Consentimento Livre e Esclarecido (TCLE), texto explicativo contendo os objetivos do estudo e método de construção do consenso pelo método Delfos, além de instruções de preenchimento dos instrumentos de pesquisa. O modelo lógico e a matriz de critérios foram apresentados acompanhados da seguinte pergunta: Quais os critérios relevantes para a formação de cirurgiões-dentistas, com base no que preconizam as diretrizes curriculares nacionais para o curso de Odontologia? Em cada critério da matriz, assim como em outros estudos3232 Higa EFR, Hafner MLMB, Tonhom SFR, Taipeiro EF, Moreira HM, Guimarães APC, Pinheiro OL. Indicadores de avaliação em gestão e saúde coletiva na formação médica. Rev Bras Educ Médica 2013; 37(1):52-59.,3333 Gontijo ED, Alvim C, Megale L, Melo JRC, Lima MECC. Matriz de competências essenciais para a formação e avaliação de desempenho de estudantes de Medicina. Rev Bras Educ Médica 2013; 37(4):526-539., constava uma nota de 0 a 10, onde 0 significava exclusão do critério e 10 significava importância máxima do mesmo para a avaliação dos cursos com base nas DCN. Foi solicitado aos “experts” que julgassem cada critério e atribuíssem uma nota de 0 a 10 seguindo a mesma lógica, como também que descrevessem as justificativas para a permanência ou alteração da pontuação do critério. Na matriz, os critérios com média igual ou superior a 7 (sete) e com valor de desvio-padrão menor ou igual a 3 (três) foram mantidos2828 Souza LEPF, Silva LMV, Hartz ZMA. Conferência de consenso sobre a imagem-objetivo da descentralização da atenção à saúde no Brasil. In: Hartz ZMA, Silva LMV, organizadores. Avaliação em saúde: dos modelos teóricos à prática na avaliação de programas e sistemas de saúde. Salvador, Rio de Janeiro: EDUFBA, Fiocruz; 2005. p. 65-102..

A partir dos resultados sinalizados na primeira rodada do Delfos, foi desenvolvida na segunda rodada a conferência de consenso, para a qual foram convidados quatro especialistas não participantes da primeira rodada, professores-doutores com inserção ativa nas discussões em educação em Odontologia junto ABENO, com vasta atuação acadêmica em saúde coletiva e com publicações na área de formação profissional de cirurgiões-dentistas, os quais receberam previamente a matriz com os critérios e suas respectivas pontuações dimensionadas no consenso Delfos.

Assim, como ocorre no Delfos tradicional, não há consenso na literatura sobre o número ideal de participantes em conferências de consenso. Observa-se em estudos recentes3232 Higa EFR, Hafner MLMB, Tonhom SFR, Taipeiro EF, Moreira HM, Guimarães APC, Pinheiro OL. Indicadores de avaliação em gestão e saúde coletiva na formação médica. Rev Bras Educ Médica 2013; 37(1):52-59.,3434 Costa EAM, Costa EA, Graziano KU, Padoveze MC. Reprocessamento de produtos médicos: uma proposta de modelo regulatório para hospitais brasileiros. Rev Esc Enferm USP 2011; 45(6):1459-1465.3737 Reis YAC, Cesse EAP, Carvalho EF. Consensos sobre o papel do gestor estadual na regionalização da assistência à saúde no Sistema Único de Saúde (SUS). Rev. Bras. Saúde Matern. Infant. 2010; 10(Supl. 1):S157-S172. uma variação de 3 até 15 especialistas, os quais concluem que a representatividade deve ser avaliada mais pela qualidade do painel de especialistas do que pelo número de participantes3838 Powell C. The Delphi technique: myths and realities. J Adv Nurs 2003; 41(4):376-382., como ocorreu no presente estudo.

A conferência de consenso foi desenvolvida em reunião presencial na qual os especialistas analisaram e discutiram acerca das dimensões, subdimensões e critérios de avaliação propostos na matriz. A partir do debate, foi realizado o registro do consenso deste grupo.

Os especialistas presentes na conferência de consenso foram convidados a analisar individualmente a matriz resultante do trabalho presencial, o que consistiu na terceira rodada do Delfos Modificado.

Aspectos Éticos

O projeto foi submetido ao Comitê de Ética em Pesquisa do Hospital Onofre Lopes e cadastrado na Plataforma Brasil, seguindo todas as orientações da Resolução 466/123939 Brasil. Ministério da Saúde (MS). Conselho Nacional de Saúde. Resolução n° 466, de 12 de dezembro de 2012. Diário Oficial da União 2013; 13 jun. do Conselho Nacional de Saúde. O projeto foi aprovado.

Resultados

O modelo lógico apresentado na Figura 1 é resultante da construção preliminar dos pesquisadores, acrescidos das sugestões encaminhadas pelos “experts” na primeira rodada do consenso Delfos. Para garantir a configuração da imagem-objetivo preconizada, foram inseridos no modelo, em aspectos relacionados à formação, os seguintes componentes: abordagem pedagógica, perfil do egresso, integração ensino-serviço e orientação do cuidado à saúde, organizados de forma a estabelecerem relações e rotas que fossem pertinentes ao objeto. O modelo lógico obtido permitiu uma melhor compreensão e estruturação dos elementos de avaliação, dos aspectos envolvidos e das possíveis relações entre esses, orientando a construção de uma proposta de matriz de critérios de avaliação para cursos de Odontologia.

Esta matriz foi encaminhada aos “experts”, os quais puderam julgar a coerência do critério com a dimensão a qual está vinculado e também indicar suas sugestões para melhoria da matriz, seja pela exclusão de critérios, indicação de novos critérios, novas dimensões, com respectivas pontuações, ou quaisquer outras reformulações que julgassem necessárias.

A consulta aos “experts” foi realizada pela técnica Delfos entre os meses de julho a agosto de 2013. Dos sessenta especialistas convidados, responderam à matriz o total de trinta e três professores, número considerado satisfatório por outros estudos da mesma característica2525 Valdés MG, Marín MS. Empleo del método Delphi en investigaciones sobre salud publicadas en revistas científicas cubanas. Rev Cubana de Información en Ciencias de la Salud 2013; 24(2):133-144.,3030 Okoli C, Pawlowski S. The Delphi method as a research tool: an example, design considerations and applications. Information & Management 2004; 42:15-29..

As notas atribuídas pelos “experts” a cada critério da matriz foram inseridas em uma planilha e analisadas descritivamente por meio da média e desvio-padrão. Quanto maior a média, maior foi a importância dada ao critério. Já o desvio-padrão permitiu verificar a estimativa do grau de consenso, sendo inversamente proporcional a este, independente da importância conferida ao critério2828 Souza LEPF, Silva LMV, Hartz ZMA. Conferência de consenso sobre a imagem-objetivo da descentralização da atenção à saúde no Brasil. In: Hartz ZMA, Silva LMV, organizadores. Avaliação em saúde: dos modelos teóricos à prática na avaliação de programas e sistemas de saúde. Salvador, Rio de Janeiro: EDUFBA, Fiocruz; 2005. p. 65-102..

Os resultados encontram-se na Tabela 1, a qual sinaliza as dimensões e subdimensões propostas na matriz, a média e o respectivo desvio-padrão, e a pontuação final a ser considerada após a avaliação dos “experts”.

Tabela 1
Média, desvio-padrão e pontuação final das subdimensões, segundo “experts” participantes na primeira rodada do Método Delfos, por dimensão.

Dentre os vinte e cinco critérios iniciais propostos, cinco critérios foram considerados não essenciais para a avaliação da formação de cirurgiões-dentistas e excluídos da matriz: prevenção de doenças (Dimensão orientação do cuidado à saúde); inserção de alunos no SUS, referencial teórico do SUS, referência e contrarreferência e planejamento e avaliação de serviços (Dimensão integração ensino-serviço).

Da segunda rodada, correspondente à conferência de consenso, participaram os quatro especialistas convidados, os quais confirmaram as dimensões e subdimensões validadas na etapa anterior e reconsideraram parte dos critérios definidores das subdimensões. As análises obtidas a partir dos mesmos na terceira rodada confirmaram os critérios discutidos ao longo da reunião presencial, definindo a matriz final de critérios de avaliação de cursos de Odontologia segundo as DCN, apresentada no Quadro 2.

Quadro 2
Subdimensões e critérios validados a partir da terceira rodada do Delfos Modificado, por dimensão.

Discussão

Em um estudo de pré-avaliação, as etapas desenvolvidas tais como a descrição detalhada da intervenção, a elaboração de perguntas avaliativas relevantes ao processo, a construção do modelo lógico e o consenso sobre os itens a serem avaliados proporcionam o esclarecimento e reflexão sobre limites e possibilidades da avaliação proposta1010 Mendes MFM, Cazarin G, Bezerra LCA, Dubeux LS. Avaliabilidade ou pré-avaliação de um programa. In: Samico A, Felisberto E, Figueiró AC, Frias PG, organizadores. Avaliação em Saúde: bases conceituais e operacionais. Rio de Janeiro: MedBook; 2010. p. 57-64..

Dentre os três tipos de modelos classificados por Champagne et al.4040 Champagne F, Brousselle A, Hartz Z, Contandriopoulos AP. Modelizar as intervenções. In: Brousselle A, Champagne F, Contandriopoulos AP, Hartz Z, organizadores. Avaliação: conceitos e métodos. Rio de Janeiro: Editora Fiocruz; 2011. p.61-74., o modelo lógico operacional é o que mais se aproxima do modelo obtido no presente estudo, uma vez que representa a maneira como os objetivos da intervenção podem ser alcançados por meio de recursos e processos. No modelo construído, o detalhamento da imagem-objetivo possibilitou elencar os aspectos percebidos nas DCN que são prioritários para uma formação mais aproximada às necessidades de saúde da população. Nesta perspectiva, Lampert1616 Lampert JB. Avaliação institucional nos cursos de graduação da área da saúde: avaliar o quê e para quê? Cadernos ABEM 2009; 5:45-55. afirma que o “fio da meada” para quem vai em direção à avaliação de instituições que se propõem formar profissionais de saúde se inicia nas necessidades de saúde da sociedade.

O modelo lógico possibilitou a construção da matriz de critérios para avaliação da formação de cirurgiões-dentistas nas quatro dimensões propostas. Houve consenso e semelhança no julgamento de valor dos critérios, sendo a maior parte destes considerados importantes para a avaliação na visão dos “experts” pela técnica de consenso Delfos. Um dos maiores desafios para a aplicação desta técnica foi contar com atores envolvidos com o fortalecimento dos princípios das DCN, especialmente focados no SUS como cenário privilegiado de aprendizagem e em abordagens pedagógicas centradas no estudante.

O consenso Delfos facilita o acesso a um grupo amplo e a uma população geograficamente dispersa de forma simultânea e permite o intercâmbio de informações entre um número importante de pessoas2424 Esher A, Santos EM, Magarinos-Torres R, AzeredoTB. Construindo critérios de julgamento em avaliação: especialistas e satisfação dos usuários com a dispensação do tratamento do HIV/AIDS. Cien Saude Colet 2012; 17(1):203-214.. Por não haver requisitos padronizados e aceitos universalmente para a técnica Delfos, pode ser encontrada uma grande variabilidade nas investigações que se valem do método. Autores2525 Valdés MG, Marín MS. Empleo del método Delphi en investigaciones sobre salud publicadas en revistas científicas cubanas. Rev Cubana de Información en Ciencias de la Salud 2013; 24(2):133-144. defendem que tal variabilidade não consiste em falha do desenvolvimento do método, podendo ser considerada uma potencialidade devido à sua adaptabilidade às condições em que o estudo se insere. Em revisão sistemática da literatura para a seleção de indicadores de qualidade em saúde utilizando a técnica Delfos2727 Boulkedid R, Abdoul H, Loustau M, Sibony O, Alberti C. Using and Reporting the Delphi Method for Selecting Healthcare Quality Indicators: A Systematic Review. Plos One 2011; 6:e20476, a maioria dos 80 estudos analisados descreve modificações do método original, nos quais foi incluída pelo menos uma reunião física entre os participantes, conforme ocorreu no presente estudo para validação dos critérios que descrevem as subdimensões.

A opção pela associação das técnicas de consenso se deu, frente à obtenção de consenso em todos os critérios na primeira rodada, pela possibilidade de acrescentar os benefícios relacionados à discussão presencial dos critérios já submetidos ao consenso individual inicial2828 Souza LEPF, Silva LMV, Hartz ZMA. Conferência de consenso sobre a imagem-objetivo da descentralização da atenção à saúde no Brasil. In: Hartz ZMA, Silva LMV, organizadores. Avaliação em saúde: dos modelos teóricos à prática na avaliação de programas e sistemas de saúde. Salvador, Rio de Janeiro: EDUFBA, Fiocruz; 2005. p. 65-102., o que permitiu a clarificação de possíveis desentendimentos, respeitando ainda as opiniões individuais na terceira rodada2727 Boulkedid R, Abdoul H, Loustau M, Sibony O, Alberti C. Using and Reporting the Delphi Method for Selecting Healthcare Quality Indicators: A Systematic Review. Plos One 2011; 6:e20476.

As dimensões “perfil do egresso” e “abordagem pedagógica” tiveram todos os seus critérios considerados relevantes para a avaliação da formação de cirurgiões-dentistas, sendo esta última dimensão a que obteve pela média dos especialistas em todos os critérios pontuações máximas de relevância. Apesar de coexistirem na atualidade, as tendências pedagógicas vêm se transformando ao longo do tempo e apontam como o melhor caminho para a educação, inclusive de profissionais de saúde, as pedagogias da problematização ou críticas, pois valorizam o saber do educando e o instrumentalizam para a transformação da realidade e de si mesmo no desenvolvimento de habilidades humanas e técnicas4141 Pereira ALF. As tendências pedagógicas e a prática educativa nas ciências da saúde. Cad Saude Publica 2003; 19(5):1527-1534..

Na dimensão “orientação do cuidado à saúde”, o único critério excluído foi “prevenção de doenças”. A prevenção de doenças, principalmente da cárie dentária, já é uma prática extensivamente trabalhada na formação em Odontologia, o que pode ter influenciado a não associação deste critério às mudanças requeridas nos currículos alinhadas às exigências atuais das DCN. Além disso, a presença do critério “promoção de saúde” pode ter levado à compreensão de que as práticas preventivas devem ser incorporadas a partir do fortalecimento da capacidade das pessoas em se apropriar dos diversos fatores que condicionam à saúde.

A maioria dos critérios considerados não essenciais pertencia à dimensão “integração ensino-serviço”. Ao contrário do que possa parecer inicialmente, acredita-se que não houve uma desvalorização desta dimensão por parte dos “experts” quanto à sua relevância para a avaliação da formação de profissionais de saúde. Tal constatação pode ser justificada pelo fato de ser observada uma sobreposição de interpretações entre os critérios propostos na matriz inicial para esta dimensão. Percebe-se que os quatro critérios excluídos (inserção de alunos no SUS, referencial teórico do SUS, referência e contrarreferência, e planejamento e avaliação de serviços) são contemplados na avaliação dos critérios “vivências no SUS” e “atividades de estágio”.

A necessidade de sistemas avaliativos com indicadores quantitativos e qualitativos, que permitam identificar fortalezas e fragilidades e orientar o redirecionamento do planejamento institucional, está estritamente relacionada à missão da instituição formadora com ações de ensino, pesquisa e extensão, baseadas na relação entre Estado e sociedade e nas políticas instituídas1717 Braid LMC, Machado, MFAS, Aranha AC. Estado da arte das pesquisas sobre currículo em cursos de formação de profissionais da área da saúde: um levantamento a partir de artigos publicados entre 2005 e 2011. Interface (Botucatu) 2012; 16(42):679-692.. Políticas públicas no campo da avaliação são potenciais indutores de transformação, alinhadas ao cumprimento das DCN e das diretrizes constitucionais do SUS na formação profissional em saúde, reforçando a responsabilidade social e a resposta às demandas contemporâneas de saúde da população4242 Ceccim RB, Feuerwerker LCM. Mudança na graduação das profissões de saúde sob o eixo da integralidade. Cad Saude Publica 2004; 20(5):1400-1410..

A Constituição Federal de 1988 traz a noção do Estado como avaliador, colocando o poder público como responsável pelo aval para fins de ingresso e permanência de cursos no sistema de educação, tomando por base o processo avaliativo por ele conduzido5Brasil. Constituição da República Federativa do Brasil de 1988. Diário Oficial da União 1988; 5 out.,4343 Ristoff D, Giolo J. O Sinaes como sistema. Rev Bras Pós-Grad 2006; 3(6):193-213.. Atualmente, esta regulação é realizada pelo Sistema Nacional de Avaliação Superior (SINAES), proposto em 2002 e estabelecido como política de Estado em 2004, o qual resulta das várias iniciativas instituídas para avaliação de cursos superiores desde a década de 704343 Ristoff D, Giolo J. O Sinaes como sistema. Rev Bras Pós-Grad 2006; 3(6):193-213..

No instrumento para avaliação de cursos de graduação utilizado pelo SINAES, as dimensões avaliativas são: Organização didático-pedagógica, Corpo docente e Infraestrutura. Ainda neste instrumento, o cumprimento das DCN é caracterizado como um requisito legal e normativo de cumprimento obrigatório, entretanto, por ser um item essencialmente regulatório, não faz parte do cálculo do conceito de avaliação do curso1313 Brasil. Ministério da Educação. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira – Inep. Diretoria de Avaliação da Educação Superior – Daes. Sistema Nacional de Avaliação da Educação Superior – Sinaes. Instrumento de Avaliação de Cursos de Graduação presencial e a distância. Brasília: maio 2012. [acessado 2013 jun 13]. Disponível em: http://download.inep.gov.br/educacao_superior/avaliacao_cursos_graduacao/instrumentos/2012/instrumento_com_ alteracoes_maio_12.pdf
http://download.inep.gov.br/educacao_sup...
.

Os indicadores e critérios preconizados no instrumento de avaliação de cursos de graduação do INEP permitem afirmar valores que garantam a aderência do PPC às DCN4343 Ristoff D, Giolo J. O Sinaes como sistema. Rev Bras Pós-Grad 2006; 3(6):193-213., como também fazer julgamentos válidos nas dimensões propostas. Entretanto, apesar dos esforços da ação conjunta entre os ministérios da saúde e educação, para incluir as DCN e os princípios do SUS na avaliação da educação superior na área da saúde, com base no SINAES7Brasil. Ministério da Saúde (MS). Ministério da Educação (ME). A aderência dos cursos de graduação em enfermagem, medicina e odontologia às diretrizes curriculares nacionais. Brasília: MS; 2006., para avaliação específica de cursos da área da saúde, e neste caso de cursos de Odontologia, um olhar atento aos aspectos inerentes às peculiaridades da formação nesta área de atuação é necessário. A matriz de critérios proposta neste estudo traz, portanto, as questões relativas à orientação do cuidado à saúde em sua perspectiva atual e à dimensão de integração ensino-serviço voltada para o SUS, condições estipuladas nas próprias DCN e indispensáveis para o perfil profissional requerido nestas.

Pinheiro et al.1818 Pinheiro FMC, Nobrega-Therrien SM, Almeida MEL, Almeida MI. A formação do cirurgião-dentista no Brasil: contribuições de estudos para a prática da profissão. RGO 2009; 57(1):99-106. discutiram a produção acadêmica de artigos científicos sobre a formação do cirurgião-dentista no Brasil entre os anos de 1992 a 2005. Os estudos encontrados pelos autores versavam sobre o perfil, a atuação social do cirurgião-dentista, a característica do trabalho relacionado à formação e à avaliação de estágio curricular, estrutura curricular, análise, tendências e contradições, todos relacionados às DCN. Já Casotti et al.1919 Casotti E, Ribeiro VMB, Gouvêa MV. Educação em odontologia no Brasil: produção do conhecimento no período 1995-2006. Hist Cien. saude-Manguinhos 2009; 16(4):999-1010. apresentam resultados da produção de conhecimento sobre educação em odontologia entre os anos de 1995 e 2006, com base em 52 dissertações e 20 teses do banco de dados da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior. Concluíram que a produção neste campo ainda é incipiente, mas com múltiplas temáticas, tais como experiências disciplinares inovadoras, formação docente, currículo e perfil do egresso.

Entre os poucos estudos que se propõem a trabalhar com critérios validados para a avaliação de cursos de Odontologia, Zilbovicius et al.2020 Zilbovicius C, Araujo ME, Botazzo C, Frias AC, Junqueira SR, Junqueira CR. A paradigma shift in predoctoral dental curricula in Brazil: evaluating the process of change. J Dent Educ 2011; 75(4):557-564. objetivaram analisar a tendência de mudanças na educação odontológica brasileira em face da necessidade de implantação das DCN. Utilizaram dados quantitativos do instrumento de avaliação aplicado nas oficinas da ABENO nos anos de 2005 e 2006. Os indicadores do referido instrumento são baseados na análise radial4444 Campos FE, Ferreira JR, Feuerwerker LCM, Sena RR, Campos JJB, Cordeiro H, Cordoni Júnior L. Caminhos para aproximar a formação de profissionais de saúde das necessidades da atenção básica. Rev Bras Educ Médica 2001; 25(2):53-59. composta por três eixos: Orientação teórica, Abordagem pedagógica e Cenários de prática. Ao final da avaliação radial, a maioria dos cursos mostrou um incipiente grau de inovação curricular2020 Zilbovicius C, Araujo ME, Botazzo C, Frias AC, Junqueira SR, Junqueira CR. A paradigma shift in predoctoral dental curricula in Brazil: evaluating the process of change. J Dent Educ 2011; 75(4):557-564..

No estudo intitulado “A aderência dos cursos de graduação em enfermagem, medicina e odontologia às diretrizes curriculares nacionais”7Brasil. Ministério da Saúde (MS). Ministério da Educação (ME). A aderência dos cursos de graduação em enfermagem, medicina e odontologia às diretrizes curriculares nacionais. Brasília: MS; 2006., foram criados índices quantitativos seguindo as dimensões e critérios dos relatórios do INEP, que estivessem mais associados ao que preconizam as DCN, e também avaliados qualitativamente os relatórios de avaliação e PPC dos cursos que obtiveram menor e maior aderência às DCN. Para os cursos de Odontologia, os resultados apontam que as barreiras para a implantação das DCN estão relacionadas, principalmente, à integração ensino-serviço no SUS, à dificuldade de integração e modificação curricular e à dificuldade em desenvolver projetos pedagógicos inovadores, diferentes do modelo tradicional de ensino. Concluíram, com base nos projetos pedagógicos analisados, que a formação profissional de cirurgiões-dentistas ainda está majoritariamente concentrada no diagnóstico e tratamento de doenças7Brasil. Ministério da Saúde (MS). Ministério da Educação (ME). A aderência dos cursos de graduação em enfermagem, medicina e odontologia às diretrizes curriculares nacionais. Brasília: MS; 2006..

Nos dois estudos citados7Brasil. Ministério da Saúde (MS). Ministério da Educação (ME). A aderência dos cursos de graduação em enfermagem, medicina e odontologia às diretrizes curriculares nacionais. Brasília: MS; 2006.,2020 Zilbovicius C, Araujo ME, Botazzo C, Frias AC, Junqueira SR, Junqueira CR. A paradigma shift in predoctoral dental curricula in Brazil: evaluating the process of change. J Dent Educ 2011; 75(4):557-564., importantes resultados puderam ser obtidos sobre a tendência de transformação da formação de cirurgiões-dentistas desde a implantação das DCN. Entretanto, permanecem muitas lacunas sobre como as diretrizes podem ser efetivadas nos currículos e práticas educativas, que possam ser avaliadas por um maior número de aspectos, por meio de indicadores válidos, mais sensíveis e específicos4545 Alves CKA, Natal S, Felisberto E, Samico I. Interpretação e análise das informações: o uso de matrizes, critérios, indicadores e padrões. In: Samico A, Felisberto E, Figueiró AC, Frias PG, organizadores. Avaliação em Saúde: bases conceituais e operacionais. Rio de Janeiro: MedBook; 2010. p.89-107. e verificados por fontes acessíveis, legítimas e mais próximas do cotidiano dos espaços formadores. É fundamental, ainda, compreender os serviços públicos de saúde e o mundo do trabalho como elementos centrais de uma nova abordagem pedagógica, capaz de contribuir para que o novo profissional de saúde atue com capacidade de compreender a realidade e intervenha sobre ela4646 Werneck MAF, Senna MIB, Drumond MM, Lucas SD. Nem tudo é estágio: contribuições para o debate. Cien Saude Colet 2010; 15(1):221-231..

A matriz final proposta neste estudo traz dimensões, subdimensões e critérios passíveis de serem utilizados para a condução de estudos avaliativos de cursos de odontologia com base nas proposições das DCN. Para tanto, tais critérios podem ser compreendidos como categorias cognitivas2424 Esher A, Santos EM, Magarinos-Torres R, AzeredoTB. Construindo critérios de julgamento em avaliação: especialistas e satisfação dos usuários com a dispensação do tratamento do HIV/AIDS. Cien Saude Colet 2012; 17(1):203-214., construídas a partir das orientações das DCN, para a formação de profissionais de saúde e que poderão ser utilizadas na avaliação desta.

As dimensões apresentadas na presente proposta avaliativa tiveram uma finalidade diferenciada, uma vez que aprofundaram elementos estruturantes pouco explorados na literatura científica. Ainda, vislumbra-se a possibilidade da matriz ser utilizada, com as devidas adequações, para outros cursos da área da saúde. Há também possibilidade de utilizar diferentes abordagens metodológicas em estudos que se propuserem a utilizar os critérios validados neste instrumento.

Os critérios aqui apresentados possuem as pontuações devidamente validadas para fins de avaliação em estudos quantitativos, apresentando a sensibilidade proporcionada por uma escala de 1 a 10. Ainda, o aprimoramento destes critérios pôde ser realizado por meio da conferência de consenso, onde foram possibilitadas as reflexões subjetivas sobre os aspectos apontados como inerentes à avaliação do objeto em questão, uma vez que a tentativa de inserção de elementos subjetivos dos diferentes atores na construção de critérios possibilita o aumento da validade dos parâmetros de análise4747 Minayo MCS. Construção de indicadores qualitativos para avaliação de mudanças. Rev Bras Educ Médica 2009; 33(Supl. 1):83-91..

Frente à necessidade da implantação da cultura avaliativa da formação em saúde, com base nos novos paradigmas de formação e necessidades do sistema de saúde e da população, consistindo em um processo que resulte em reconduções para melhoria das ações formativas, limitações ficam explícitas quanto a aplicabilidade dos critérios aqui construídos. Um exemplo é a própria compreensão da finalidade avaliativa e a definição das instâncias competentes para essas ações nas instituições de ensino superior (IES). Pondera-se a autoavaliação como importante estratégia, uma vez que permite à IES um autoconhecimento que favorece a construção de uma cultura participativa e inclusiva de avaliação, de gestão com base neste processo autoavaliativo, enriquecendo o planejamento e subsidiando a construção de políticas internas de desenvolvimento e oferta de um ensino superior de qualidade e de políticas públicas educativas4848 Polidori MM, Marinho-Araújo CM, Barreyro GB. Sinaes: perspectivas e desafios na avaliação da educação superior brasileira. Ensaio: aval pol pub educ 2006; 14(53):425-436..

Encaminha-se à reflexão sobre a importância do cuidado e planejamento metodológico de pesquisas avaliativas em saúde de uma forma geral, inclusive no campo educacional. Dificuldades são encontradas na atualidade quanto à disponibilidade na literatura científica de orientação teórica para construção metodológica de estudos avaliativos em saúde que não se restrinjam aos programas e serviços.

O instrumento final proposto neste estudo, legitimado pelos diversos atores que compuseram as etapas de construção e validação, representa uma alternativa diferenciada de avaliação da formação de cirurgiões-dentistas e de outros profissionais de saúde, ao possibilitar uma avaliação por um maior número de aspectos, por meio de indicadores válidos, mais sensíveis e específicos, e passíveis de serem verificados por fontes acessíveis, legítimas e mais próximas do cotidiano dos espaços formadores, permitindo maior aproximação entre métodos avaliativos da formação em saúde e realidade da efetivação das DCN.

Referências

  • 1
    Assunção AA, Belisário SA, Campos FE, D’Ávila LS. Recursos humanos e trabalho em saúde: os desafios de uma agenda de pesquisa. Cad Saude Publica 2007; 23(Supl. 2):S193-S201.
  • 2
    Ceccim RB, Armani TB, Oliveira DLLC, Bilibio LF, Moraes M, Santos ND. Imaginários da formação em saúde no Brasil e os horizontes da regulação em saúde suplementar. Cien Saude Colet 2008; 13(5):1567-1578.
  • 3
    Brasil. Ministério da Educação (MS). Conselho Nacional de Educação. Câmara de Educação Superior. Parecer nº 583 de 04 de abril de 2001. Aprova a orientação para as diretrizes curriculares dos cursos de graduação. Diário Oficial União 2001; 29 out.
  • 4
    Costa ICC, Araújo MNT. Definição do perfil de competências em saúde coletiva a partir da experiência de cirurgiões-dentistas atuantes no serviço público. Cien Saude Colet 2011; 16(Supl. 1):1181-1189.
  • 5
    Brasil. Constituição da República Federativa do Brasil de 1988. Diário Oficial da União 1988; 5 out.
  • 6
    Haddad AE, Pierantoni CR, Ristoff D, Xavier IM, Giolo J, Silva LB, organizadores. A trajetória dos cursos de graduação na área da saúde: 1991-2004 Brasília: Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira; 2006.
  • 7
    Brasil. Ministério da Saúde (MS). Ministério da Educação (ME). A aderência dos cursos de graduação em enfermagem, medicina e odontologia às diretrizes curriculares nacionais Brasília: MS; 2006.
  • 8
    Januzzi PM. Avaliação de programas sociais no Brasil: repensando práticas e metodologias das pesquisas avaliativas. Planejamento e políticas públicas 2011; (36):251-275.
  • 9
    Bezerra LCA, Alves CKA, Reis YAC, Samico I, Felisberto E, Carvalho ALB, Silva GS. Identificação e caracterização dos elementos constituintes de uma intervenção: pré-avaliação da política Participa SUS. Cien Saude Colet 2012; 17(4):883-900.
  • 10
    Mendes MFM, Cazarin G, Bezerra LCA, Dubeux LS. Avaliabilidade ou pré-avaliação de um programa. In: Samico A, Felisberto E, Figueiró AC, Frias PG, organizadores. Avaliação em Saúde: bases conceituais e operacionais Rio de Janeiro: MedBook; 2010. p. 57-64.
  • 11
    Medina MG, Silva GAP, Aquino R, Hartz ZMA. Uso de modelos teóricos na avaliação em saúde: aspectos conceituais e operacionais. In: Hartz ZMA, Silva LMV, organizadores. Avaliação em saúde: dos modelos teóricos à prática na avaliação de programas e sistemas de saúde. Salvador, Rio de Janeiro: EDUFBA, Fiocruz; 2005. p. 65-102.
  • 12
    Brasil. Ministério da Educação. Conselho Nacional de Educação. Câmara de Educação Superior. Resolução 3, de 19 de fevereiro de 2002. Institui Diretrizes Curriculares Nacionais do Curso de Graduação em Odontologia. Diário Oficial União 2002; 4 mar.
  • 13
    Brasil. Ministério da Educação. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira – Inep. Diretoria de Avaliação da Educação Superior – Daes. Sistema Nacional de Avaliação da Educação Superior – Sinaes. Instrumento de Avaliação de Cursos de Graduação presencial e a distância. Brasília: maio 2012. [acessado 2013 jun 13]. Disponível em: http://download.inep.gov.br/educacao_superior/avaliacao_cursos_graduacao/instrumentos/2012/instrumento_com_ alteracoes_maio_12.pdf
    » http://download.inep.gov.br/educacao_superior/avaliacao_cursos_graduacao/instrumentos/2012/instrumento_com_ alteracoes_maio_12.pdf
  • 14
    Brasil. Ministério da Educação. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. SINAES – Sistema Nacional de Avaliação da Educação Superior: da concepção à regulamentação 5ª ed. revista e ampliada. Brasília: Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira; 2009.
  • 15
    Morita MC, Kriger L, Carvalho ACP, Haddad AE. Implantação das diretrizes curriculares nacionais em odontologia. Maringá: Dental Press, Abeno, Opas, MS; 2007.
  • 16
    Lampert JB. Avaliação institucional nos cursos de graduação da área da saúde: avaliar o quê e para quê? Cadernos ABEM 2009; 5:45-55.
  • 17
    Braid LMC, Machado, MFAS, Aranha AC. Estado da arte das pesquisas sobre currículo em cursos de formação de profissionais da área da saúde: um levantamento a partir de artigos publicados entre 2005 e 2011. Interface (Botucatu) 2012; 16(42):679-692.
  • 18
    Pinheiro FMC, Nobrega-Therrien SM, Almeida MEL, Almeida MI. A formação do cirurgião-dentista no Brasil: contribuições de estudos para a prática da profissão. RGO 2009; 57(1):99-106.
  • 19
    Casotti E, Ribeiro VMB, Gouvêa MV. Educação em odontologia no Brasil: produção do conhecimento no período 1995-2006. Hist Cien. saude-Manguinhos 2009; 16(4):999-1010.
  • 20
    Zilbovicius C, Araujo ME, Botazzo C, Frias AC, Junqueira SR, Junqueira CR. A paradigma shift in predoctoral dental curricula in Brazil: evaluating the process of change. J Dent Educ 2011; 75(4):557-564.
  • 21
    Araujo ME. Palavras e silêncios na educação superior em odontologia. Cien Saude Colet 2006; 11(1):179-182.
  • 22
    Carvalho ACP, Kriger L. Educação Odontológica São Paulo: Artes Médicas; 2006.
  • 23
    Bunge M. Os conceitos de modelo. In: Bunge M. Teoria e realidade São Paulo: Perspectiva; 1974. p. 11-40.
  • 24
    Esher A, Santos EM, Magarinos-Torres R, AzeredoTB. Construindo critérios de julgamento em avaliação: especialistas e satisfação dos usuários com a dispensação do tratamento do HIV/AIDS. Cien Saude Colet 2012; 17(1):203-214.
  • 25
    Valdés MG, Marín MS. Empleo del método Delphi en investigaciones sobre salud publicadas en revistas científicas cubanas. Rev Cubana de Información en Ciencias de la Salud 2013; 24(2):133-144.
  • 26
    Fonsêca GS, Junqueira SR. Programa de Educação pelo Trabalho para a Saúde da Universidade de São Paulo (Campus Capital): o olhar dos tutores. Cien Saude Colet 2014; 19(4):1151-1162.
  • 27
    Boulkedid R, Abdoul H, Loustau M, Sibony O, Alberti C. Using and Reporting the Delphi Method for Selecting Healthcare Quality Indicators: A Systematic Review. Plos One 2011; 6:e20476
  • 28
    Souza LEPF, Silva LMV, Hartz ZMA. Conferência de consenso sobre a imagem-objetivo da descentralização da atenção à saúde no Brasil. In: Hartz ZMA, Silva LMV, organizadores. Avaliação em saúde: dos modelos teóricos à prática na avaliação de programas e sistemas de saúde. Salvador, Rio de Janeiro: EDUFBA, Fiocruz; 2005. p. 65-102.
  • 29
    Crespo T. Respuestas a 16 preguntas sobre el empleo de “expertos” en investigación pedagógica. Lima: San Marcos; 2007.
  • 30
    Okoli C, Pawlowski S. The Delphi method as a research tool: an example, design considerations and applications. Information & Management 2004; 42:15-29.
  • 31
    Bloor M, Sampson H, Baker S, Dahlgren K. Useful but no Oracle: Reflections on the use of a Delphi Group in a multi-methods policy research study. Qualitative Research 2014; DOI: 10.1177/1468794113504103.
  • 32
    Higa EFR, Hafner MLMB, Tonhom SFR, Taipeiro EF, Moreira HM, Guimarães APC, Pinheiro OL. Indicadores de avaliação em gestão e saúde coletiva na formação médica. Rev Bras Educ Médica 2013; 37(1):52-59.
  • 33
    Gontijo ED, Alvim C, Megale L, Melo JRC, Lima MECC. Matriz de competências essenciais para a formação e avaliação de desempenho de estudantes de Medicina. Rev Bras Educ Médica 2013; 37(4):526-539.
  • 34
    Costa EAM, Costa EA, Graziano KU, Padoveze MC. Reprocessamento de produtos médicos: uma proposta de modelo regulatório para hospitais brasileiros. Rev Esc Enferm USP 2011; 45(6):1459-1465.
  • 35
    Silva GS, Samico I, Dubeux LS, Felisberto E. Redes de atenção às urgências e emergências: pré-avaliação das Unidades de Pronto Atendimento (UPAs) em uma região metropolitana do Brasil. Rev. Bras. Saúde Matern. Infant. 2012; 12(4):445-458.
  • 36
    Tonhom SFR, Higa EFR, Pinheiro OL, Hafner MLMB, Moreira HM, Taipeiro EF, Amaral APCG. Indicadores de Avaliação do Cuidado Individual: Subsídios para a Formação Médica Orientada por Competência. Rev Bras Educ Médica 2014; 38(3):331-336.
  • 37
    Reis YAC, Cesse EAP, Carvalho EF. Consensos sobre o papel do gestor estadual na regionalização da assistência à saúde no Sistema Único de Saúde (SUS). Rev. Bras. Saúde Matern. Infant. 2010; 10(Supl. 1):S157-S172.
  • 38
    Powell C. The Delphi technique: myths and realities. J Adv Nurs 2003; 41(4):376-382.
  • 39
    Brasil. Ministério da Saúde (MS). Conselho Nacional de Saúde. Resolução n° 466, de 12 de dezembro de 2012. Diário Oficial da União 2013; 13 jun.
  • 40
    Champagne F, Brousselle A, Hartz Z, Contandriopoulos AP. Modelizar as intervenções. In: Brousselle A, Champagne F, Contandriopoulos AP, Hartz Z, organizadores. Avaliação: conceitos e métodos. Rio de Janeiro: Editora Fiocruz; 2011. p.61-74.
  • 41
    Pereira ALF. As tendências pedagógicas e a prática educativa nas ciências da saúde. Cad Saude Publica 2003; 19(5):1527-1534.
  • 42
    Ceccim RB, Feuerwerker LCM. Mudança na graduação das profissões de saúde sob o eixo da integralidade. Cad Saude Publica 2004; 20(5):1400-1410.
  • 43
    Ristoff D, Giolo J. O Sinaes como sistema. Rev Bras Pós-Grad 2006; 3(6):193-213.
  • 44
    Campos FE, Ferreira JR, Feuerwerker LCM, Sena RR, Campos JJB, Cordeiro H, Cordoni Júnior L. Caminhos para aproximar a formação de profissionais de saúde das necessidades da atenção básica. Rev Bras Educ Médica 2001; 25(2):53-59.
  • 45
    Alves CKA, Natal S, Felisberto E, Samico I. Interpretação e análise das informações: o uso de matrizes, critérios, indicadores e padrões. In: Samico A, Felisberto E, Figueiró AC, Frias PG, organizadores. Avaliação em Saúde: bases conceituais e operacionais. Rio de Janeiro: MedBook; 2010. p.89-107.
  • 46
    Werneck MAF, Senna MIB, Drumond MM, Lucas SD. Nem tudo é estágio: contribuições para o debate. Cien Saude Colet 2010; 15(1):221-231.
  • 47
    Minayo MCS. Construção de indicadores qualitativos para avaliação de mudanças. Rev Bras Educ Médica 2009; 33(Supl. 1):83-91.
  • 48
    Polidori MM, Marinho-Araújo CM, Barreyro GB. Sinaes: perspectivas e desafios na avaliação da educação superior brasileira. Ensaio: aval pol pub educ 2006; 14(53):425-436.

Datas de Publicação

  • Publicação nesta coleção
    Jul 2015

Histórico

  • Recebido
    08 Mar 2014
  • Revisado
    14 Nov 2014
  • Aceito
    16 Nov 2014
ABRASCO - Associação Brasileira de Saúde Coletiva Av. Brasil, 4036 - sala 700 Manguinhos, 21040-361 Rio de Janeiro RJ - Brazil, Tel.: +55 21 3882-9153 / 3882-9151 - Rio de Janeiro - RJ - Brazil
E-mail: cienciasaudecoletiva@fiocruz.br