Resumo Como parte do estudo de avaliabilidade da avaliação da implementação do Prontuário Eletrônico do Paciente (PEP), o objetivo desta Revisão Sistemática (RS) foi identificar os domínios de avaliação a serem abordados. Esta RS, alinhada com o Cochrane Handbook for Systematic Reviews of Interventions e o Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA) englobou artigos publicados de 2006 até 2019. Realizou-se a busca nas bases de dados eletrônicas SciELO, Oásis IBICT, BVS Regional e Scopus. A busca retornou 1.178 artigos, sendo 42 que atenderam aos critérios de inclusão. A maioria dos estudos utilizaram métodos qualitativos para análises. As publicações ocorreram entre 2006 e 2019, tendo sua concentração em 2017 com 9 (21%) artigos publicados. Não foram identificados estudos publicados em 2008 e 2009. Somente 10 estudos incluíam descrição, análises ou resultados relacionados aos domínios de implementação. Os principais domínios em que o PEP foi problematizado foram: subutilização; resistência dos profissionais ao seu uso; ênfase na usabilidade; e o PEP como repositório de informações. Apesar da inclusão de todos os estudos que contemplaram os princípios e diretrizes da Política Nacional de Humanização (PNH), eles ainda são incipientes.

Abstract As part of the evaluability study of the implementation of the Electronic Patient Record (EPR) evaluation, the aim of this Systematic Review (SR) was to identify the evaluation domains to be addressed. This SR, aligned with the Cochrane Handbook for Systematic Reviews of Interventions and the Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA) encompassed articles published from 2006 to 2019. The search was carried out in the electronic databases SciELO, Oasis IBICT, BVS Regional and Scopus. The search resulted in 1,178 articles, 42 of which met the inclusion criteria. Most studies used qualitative methods for the analyses. The publications took place between 2006 and 2019, with a concentration in 2017 with 9 (21%) articles published in that year. No studies were published in 2008 and 2009. Only 10 studies included the description, analysis or results related to the domains of implementation. The main domains in which the EPR was problematized were: underutilization; professionals’ resistance to its use; emphasis on usability; and EPR as an information source. Despite the inclusion of all studies that covered the principles and guidelines of the National Humanization Policy (NHP), they are still incipient.

Resumo Como parte do estudo de avaliabilidade da avaliação da implementação do Prontuário Eletrônico do Paciente (PEP), o objetivo desta Revisão Sistemática (RS) foi identificar os domínios de avaliação a serem abordados. Esta RS, alinhada com o Cochrane Handbook for Systematic Reviews of Interventions e o Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA) englobou artigos publicados de 2006 até 2019. Realizou-se a busca nas bases de dados eletrônicas SciELO, Oásis IBICT, BVS Regional e Scopus. A busca retornou 1.178 artigos, sendo 42 que atenderam aos critérios de inclusão. A maioria dos estudos utilizaram métodos qualitativos para análises. As publicações ocorreram entre 2006 e 2019, tendo sua concentração em 2017 com 9 (21%) artigos publicados. Não foram identificados estudos publicados em 2008 e 2009. Somente 10 estudos incluíam descrição, análises ou resultados relacionados aos domínios de implementação. Os principais domínios em que o PEP foi problematizado foram: subutilização; resistência dos profissionais ao seu uso; ênfase na usabilidade; e o PEP como repositório de informações. Apesar da inclusão de todos os estudos que contemplaram os princípios e diretrizes da Política Nacional de Humanização (PNH), eles ainda são incipientes.

Abstract As part of the evaluability study of the implementation of the Electronic Patient Record (EPR) evaluation, the aim of this Systematic Review (SR) was to identify the evaluation domains to be addressed. This SR, aligned with the Cochrane Handbook for Systematic Reviews of Interventions and the Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA) encompassed articles published from 2006 to 2019. The search was carried out in the electronic databases SciELO, Oasis IBICT, BVS Regional and Scopus. The search resulted in 1,178 articles, 42 of which met the inclusion criteria. Most studies used qualitative methods for the analyses. The publications took place between 2006 and 2019, with a concentration in 2017 with 9 (21%) articles published in that year. No studies were published in 2008 and 2009. Only 10 studies included the description, analysis or results related to the domains of implementation. The main domains in which the EPR was problematized were: underutilization; professionals’ resistance to its use; emphasis on usability; and EPR as an information source. Despite the inclusion of all studies that covered the principles and guidelines of the National Humanization Policy (NHP), they are still incipient.

RESUMO A incorporação dos diferentes interessados ao processo avaliativo é estratégica para facilitar a compreensão da avaliação e a apropriação de seus resultados. Este artigo se propõe a descrever e analisar criticamente a participação dos atores (stakeholders) no processo de avaliação, utilizando a pesquisa avaliativa do Projeto de Formação e Melhoria da Qualidade de Rede de Atenção à Saúde (Projeto QualiSUS-Rede). Para isto, foram tomadas como base as memórias das reuniões de trabalho, das oficinas de alinhamento conceitual e de validação dos Modelos Lógicos dos seminários realizados, assim como dos relatórios elaborados no período de agosto de 2012 a dezembro de 2015. A abordagem colaborativa envolveu inúmeros desafios, englobando 15 projetos, com distintos níveis de abrangência e complexidade, e com diversos stakeholders, com diferentes tipos e níveis de colaboração, o que condicionou os limites e as possibilidades de participação. Esta experiência gerou a adaptação do Modelo de Avaliação Colaborativa de Rodriguez-Campos e Rincones-Gomez (2013). A abordagem colaborativa exige por parte dos avaliadores um exercício de flexibilização e de ajuste às distintas particularidades e aos contextos locais, sem perder de vista o alinhamento às teorias da intervenção e ao modelo teórico da avaliação.

ABSTRACT Stakeholder approaches to evaluation imply the incorporation of different stakeholders in the evaluation process as to facilitate its comprehension and the appropriation of its results. This article aims to describe and critically analyze the participation of the stakeholders in the evaluation process taking into account the evaluation study Projeto de Formação e Melhoria da Qualidade de Rede de Atenção à Saúde (Projeto QualiSUS-Rede). For this purpose, we analyzed the reports regarding work meetings, workshops for conceptual alignment and validation of the projects Logical Models, seminars, as well as partial and final reports, during the period of August 2012 to December 2015. The collaborative approach involved numerous challenges encompassing 15 projects, with different levels of complexity, and with a diverse number and variety of stakeholders, which brought us to the limits and possibilities of participation of the different actors. We adapted the Collaborative Evaluation Model, from Rodriguez-Campos and Rincones-Gomez (2013). This type of approach requires the evaluators to exercise flexibility and adjustment to different local contexts and particularities, without losing sight of conformity to the theory of intervention and to the evaluation theoretical model.

RESUMO A incorporação dos diferentes interessados ao processo avaliativo é estratégica para facilitar a compreensão da avaliação e a apropriação de seus resultados. Este artigo se propõe a descrever e analisar criticamente a participação dos atores (stakeholders) no processo de avaliação, utilizando a pesquisa avaliativa do Projeto de Formação e Melhoria da Qualidade de Rede de Atenção à Saúde (Projeto QualiSUS-Rede). Para isto, foram tomadas como base as memórias das reuniões de trabalho, das oficinas de alinhamento conceitual e de validação dos Modelos Lógicos dos seminários realizados, assim como dos relatórios elaborados no período de agosto de 2012 a dezembro de 2015. A abordagem colaborativa envolveu inúmeros desafios, englobando 15 projetos, com distintos níveis de abrangência e complexidade, e com diversos stakeholders, com diferentes tipos e níveis de colaboração, o que condicionou os limites e as possibilidades de participação. Esta experiência gerou a adaptação do Modelo de Avaliação Colaborativa de Rodriguez-Campos e Rincones-Gomez (2013). A abordagem colaborativa exige por parte dos avaliadores um exercício de flexibilização e de ajuste às distintas particularidades e aos contextos locais, sem perder de vista o alinhamento às teorias da intervenção e ao modelo teórico da avaliação.

ABSTRACT Stakeholder approaches to evaluation imply the incorporation of different stakeholders in the evaluation process as to facilitate its comprehension and the appropriation of its results. This article aims to describe and critically analyze the participation of the stakeholders in the evaluation process taking into account the evaluation study Projeto de Formação e Melhoria da Qualidade de Rede de Atenção à Saúde (Projeto QualiSUS-Rede). For this purpose, we analyzed the reports regarding work meetings, workshops for conceptual alignment and validation of the projects Logical Models, seminars, as well as partial and final reports, during the period of August 2012 to December 2015. The collaborative approach involved numerous challenges encompassing 15 projects, with different levels of complexity, and with a diverse number and variety of stakeholders, which brought us to the limits and possibilities of participation of the different actors. We adapted the Collaborative Evaluation Model, from Rodriguez-Campos and Rincones-Gomez (2013). This type of approach requires the evaluators to exercise flexibility and adjustment to different local contexts and particularities, without losing sight of conformity to the theory of intervention and to the evaluation theoretical model.