RESUMO OBJETIVO Validar um conjunto de indicadores para monitoramento da qualidade dos procedimentos cirúrgicos no Sistema Único de Saúde (SUS). MÉTODOS Estudo de validação desenvolvido em 5 etapas: 1) revisão de literatura; 2) priorização de indicadores; 3) validação de conteúdo dos indicadores por método de consenso RAND/UCLA; 4) estudo piloto para análise da confiabilidade; e 5) desenvolvimento de instrutivo para tabulação dos indicadores de resultado para monitoramento via sistemas de informações oficiais. RESULTADOS A partir da revisão de literatura, foram identificados 217 indicadores de qualidade cirúrgica. Os indicadores excluídos foram: indicadores baseados em evidências científicas inferiores a 1A, similares, específicos, que correspondiam a eventos sentinelas; e aqueles que não se aplicavam ao contexto do SUS. Foram submetidos ao consenso de especialistas 26 indicadores com alto nível de evidência científica. Foram validados 22 indicadores, dos quais 14 indicadores de processo e 8 indicadores de resultado com índice de validação de conteúdo ≥80%. Dos indicadores de processo validados, 6 foram considerados confiáveis substancialmente (Coeficiente de Kappa entre 0,6 e 0,8; p < 0,05) e 2 tiveram confiabilidade quase perfeita (coeficiente de Kappa > 0,8, p < 0,05), quando analisada a concordância interavaliador. Foi possível mensurar e estabelecer mecanismo de tabulação para TabWin para 7 indicadores de resultado. CONCLUSÃO O estudo contribui com o desenvolvimento de um conjunto de indicadores cirúrgicos potencialmente eficazes para o monitoramento da qualidade do cuidado e segurança do paciente nos serviços hospitalares do SUS.

ABSTRACT OBJECTIVE To validate a set of indicators for monitoring the quality of surgical procedures in the Brazilian Unified Health System (SUS). METHODS Validation study developed in 5 stages: 1) literature review; 2) prioritization of indicators; 3) content validation of indicators by RAND/UCLA consensus method; 4) pilot study for reliability analysis; and 5) development of instruction for tabulation of outcome indicators for monitoring via official information systems. RESULTS From the literature review, 217 indicators of surgical quality were identified. The excluded indicators were: those based on scientific evidence lower than 1A, similar, specific, which corresponded to sentinel events; and those that did not apply to the SUS context. Twenty-six indicators with a high level of scientific evidence were submitted to expert consensus. Twenty-two indicators were validated, of which 14 process indicators and 8 outcome indicators with content validation index ≥80%. Of the validated process indicators, 6 were considered substantially reliable (Kappa coefficient between 0.6 and 0.8; p < 0.05) and 2 had almost perfect reliability (Kappa coefficient > 0.8, p < 0.05), when the inter-rater agreement was analyzed. One could measure and establish tabulation mechanism for TabWin for 7 outcome indicators. CONCLUSION The study contributes to the development of a set of potentially effective surgical indicators for monitoring the quality of care and patient safety in SUS hospital services.

ABSTRACT OBJECTIVE To validate a set of indicators for monitoring the quality of surgical procedures in the Brazilian Unified Health System (SUS). METHODS Validation study developed in 5 stages: 1) literature review; 2) prioritization of indicators; 3) content validation of indicators by RAND/UCLA consensus method; 4) pilot study for reliability analysis; and 5) development of instruction for tabulation of outcome indicators for monitoring via official information systems. RESULTS From the literature review, 217 indicators of surgical quality were identified. The excluded indicators were: those based on scientific evidence lower than 1A, similar, specific, which corresponded to sentinel events; and those that did not apply to the SUS context. Twenty-six indicators with a high level of scientific evidence were submitted to expert consensus. Twenty-two indicators were validated, of which 14 process indicators and 8 outcome indicators with content validation index ≥80%. Of the validated process indicators, 6 were considered substantially reliable (Kappa coefficient between 0.6 and 0.8; p < 0.05) and 2 had almost perfect reliability (Kappa coefficient > 0.8, p < 0.05), when the inter-rater agreement was analyzed. One could measure and establish tabulation mechanism for TabWin for 7 outcome indicators. CONCLUSION The study contributes to the development of a set of potentially effective surgical indicators for monitoring the quality of care and patient safety in SUS hospital services.

RESUMO OBJETIVO Validar um conjunto de indicadores para monitoramento da qualidade dos procedimentos cirúrgicos no Sistema Único de Saúde (SUS). MÉTODOS Estudo de validação desenvolvido em 5 etapas: 1) revisão de literatura; 2) priorização de indicadores; 3) validação de conteúdo dos indicadores por método de consenso RAND/UCLA; 4) estudo piloto para análise da confiabilidade; e 5) desenvolvimento de instrutivo para tabulação dos indicadores de resultado para monitoramento via sistemas de informações oficiais. RESULTADOS A partir da revisão de literatura, foram identificados 217 indicadores de qualidade cirúrgica. Os indicadores excluídos foram: indicadores baseados em evidências científicas inferiores a 1A, similares, específicos, que correspondiam a eventos sentinelas; e aqueles que não se aplicavam ao contexto do SUS. Foram submetidos ao consenso de especialistas 26 indicadores com alto nível de evidência científica. Foram validados 22 indicadores, dos quais 14 indicadores de processo e 8 indicadores de resultado com índice de validação de conteúdo ≥80%. Dos indicadores de processo validados, 6 foram considerados confiáveis substancialmente (Coeficiente de Kappa entre 0,6 e 0,8; p < 0,05) e 2 tiveram confiabilidade quase perfeita (coeficiente de Kappa > 0,8, p < 0,05), quando analisada a concordância interavaliador. Foi possível mensurar e estabelecer mecanismo de tabulação para TabWin para 7 indicadores de resultado. CONCLUSÃO O estudo contribui com o desenvolvimento de um conjunto de indicadores cirúrgicos potencialmente eficazes para o monitoramento da qualidade do cuidado e segurança do paciente nos serviços hospitalares do SUS.

ABSTRACT Introduction: Surgical site infections are one of the main problems related to health care. In Brazil, they are responsible for 14 to 16% of infections related to health care. This study sought to analyze the effect of implementing a package of measures to reduce surgical site infections (SSI) in heart surgeries, kidney transplants and herniorrhaphies and to evaluate adherence to the safe surgery checklist in a university hospital. Methods: this is a retrospective cohort study with data collection in a time series for the period from 2018 to 2020. Results: we analyzed 222 medical records referring to the surgeries under study performed in the year 2020, in which data were collected from the patients and the care package prevention measures. SSI data and adherence to the safe surgery checklist were analyzed in the years 2018, 2019 and 2020, totaling 268, 300 and 222 procedures analyzed, respectively. Conclusion: the study showed a significant reduction in the SSI rate with greater adherence to the protocol, which was not maintained and was influenced by the COVID-19 pandemic. Thus, the sustainability of this action represents a challenge to be overcome, in order to establish a safer environment for the patient and a better quality of service.

RESUMO Introdução: as infecções do sítio cirúrgico são um dos principais agravos relacionados à assistência à saúde. No Brasil, são responsáveis por 14 a 16% das infecções relacionadas à assistência à saúde. Esse estudo buscou analisar o efeito da implementação de um pacote de medidas para redução de infecções de sítio cirúrgico (ISC) em cirurgias cardíacas, transplantes renais e herniorrafias e avaliar adesão ao checklist de cirurgia segura em um hospital universitário. Métodos: trata-se de um estudo de coorte retrospectivo com coleta de dados em série temporal relativo ao período de 2018 a 2020. Resultados: foram analisados 222 prontuários referentes às cirurgias em estudo realizadas no ano de 2020, nos quais foram coletados dados dos pacientes e do pacote de medidas de prevenção. Dados de ISC e adesão ao checklist de cirurgia segura foram analisados nos anos de 2018, 2019 e 2020, totalizando 268, 300 e 222 procedimentos analisados, respectivamente. Conclusão: o estudo evidenciou uma redução significativa da taxa de ISC com a maior adesão ao protocolo, a qual não foi mantida e sofreu influência da pandemia de COVID-19. Assim, a sustentabilidade dessa ação representa um desafio a ser contornado, a fim de estabelecer um ambiente mais seguro para o paciente e uma melhor qualidade do serviço.

Abstract Objective: The aim of this study was to observe and describe the changes in the structures for patient safety (PS) and PS culture (PSC) at the level of health facilities, following the implementation of the National Patient Safety Program (NPSP). Methods: An observational, longitudinal, and descriptive study including follow-up of changes in structure and activities for PS and assessments of PSC before and 15 months after the NPSP enforcement. Three Brazilian hospitals with different management logistics participated in the study (federal public, state public, and private). PSC was measured using the AHRQ’s instrument, adapted and validated for the Brazilian context (Hospital Survey on Patient Safety Culture [HSOPSC]). Changes in structure and activities to improve PS were mapped against the NPSP objectives. Changes in PSC were assessed by the hospital and discussed considering a change theory based on the literature. Results: Structural changes occurred in all hospitals but at a different pace and extension. A PS unit, adoption of some PS protocols, and training on PS occurred in the three hospitals. PSC significantly improved in all facilities. Public hospitals had the worst baseline PSC but showed greater improvements. The state hospital presented few structural changes and soon had the lowest ratings of PSC. Conclusions: This study demonstrates that external regulatory initiatives can trigger, even if unevenly, actions promoting PS and relevant internal structural changes, which in turn seem to increase awareness and improvement in PSC.

Resumo Objetivo: Observar e descrever as mudanças na estrutura da Segurança do paciente (SP) e da Cultura de Segurança do Paciente (CSP) no nível das unidades de saúde, após a implantação do Programa Nacional de Segurança do Paciente (PNSP). Métodos: Estudo observacional, longitudinal e descritivo com acompanhamento das mudanças na estrutura e atividades da SP e avaliações da CSP antes e quinze meses após a aplicação do PNSP. Participaram no estudo três hospitais brasileiros com diferentes logísticas de gestão (público federal, público estadual e privado). A CSP é medida por meio do instrumento Hospital Survey on Patient Safety Culture (HSOPS), adaptado e validado para o contexto brasileiro. As mudanças na estrutura e atividades para aumentar a SP são mapeadas em relação aos objetivos do PNSP. As alterações na CSP são avaliadas por hospital e discutidas à luz de uma teoria de mudança baseada na literatura. Resultados: Mudanças estruturais ocorreram em todos os hospitais, mas em ritmo e extensão diferentes. Uma Unidade de SP, adoção de alguns protocolos de SP e treino em SP ocorreram nos três hospitais. A CSP melhorou significativamente em todas as instalações. Os hospitais públicos tiveram a pior CSP inicial, mas mostraram maiores melhorias. O hospital estadual, apresentou poucas mudanças estruturais, logo teve as classificações mais baixas da CSP. Conclusões: Este estudo demonstra que iniciativas regulatórias externas podem desencadear, mesmo que de uma forma desigual, ações promotoras da SP e mudanças estruturais internas relevantes, que por sua vez parecem aumentar a conscientização e melhoria na CSP.

Resumo Introdução: A Autoavaliação das Práticas de Segurança do Paciente é um ato regulatório para melhoria da qualidade do cuidado. Porém, há dúvidas sobre a validade das suas informações. O objetivo deste estudo foi analisar a sua confiabilidade. Método: Estudo piloto de análise da confiabilidade de 21 indicadores simples e um composto da autoavaliação como forma de embasar uma amostra nacional em estudos futuros. Participaram hospitais com leitos de terapia intensiva e comparou dados da Autoavaliação (AA) e Autoavaliação Revisada (AR) pela vigilância sanitária (Visa) com a Inspeção Presencial (IP). A análise incluiu os coeficientes Kappa e de correlação intraclasse. Resultados: Comparando com a IP, a concordância foi aceitável (Kappa≥0,4) em 12 indicadores da AA e em 18 da AR. Os indicadores menos confiáveis são relativos a protocolos de prevenção de infecções. Quanto ao indicador composto do nível de adesão, a confiabilidade melhorou com revisão da Visa (AA=0,89 e AR=0,94), embora a concordância da classificação de alta conformidade tenha sido baixa. Conclusões: A AR se mostrou essencial para melhorar a confiabilidade da Autoavaliação. Ademais, identificou-se necessidade de revisar alguns indicadores e o instrumento de verificação pela Visa.

Abstract Introduction: The Patient Safety Self-Assessment Practices is a regulatory action to enhance quality of care. However, validation of its information requires attention. This study aimed to analyze reliability of the Patient Safety Self-Assessment Practices. Methods: Pilot study analyzing the reliability of 21 simple indicators and 1 composite of self-assessment to provide a national sample in future studies. Hospitals with intensive unit care beds participated in the study, and data from self-assessment (SA) and revised self-assessment (RSA) by the health surveillance (HS) were compared with on-site inspection (OSI). Analyses included Kappa and intraclass correlation coefficients. Results: Concordance was satisfactory (Kappa ≥ 0.4) in 12 indicators of SA and 18 indicators of RSA compared with OSI. The least reliable indicators were related to infection prevention protocols. Reliability of the adherence level composite indicator improved with HS revision (SA = 0.89 and RSA = 0.94), despite the low concordance of the high compliance classification. Conclusion: RSA was essential to improve reliability of SA. In addition, some indicators and assessment tools of the HS need revision.

Resumo Introdução: A Autoavaliação das Práticas de Segurança do Paciente é um ato regulatório para melhoria da qualidade do cuidado. Porém, há dúvidas sobre a validade das suas informações. O objetivo deste estudo foi analisar a sua confiabilidade. Método: Estudo piloto de análise da confiabilidade de 21 indicadores simples e um composto da autoavaliação como forma de embasar uma amostra nacional em estudos futuros. Participaram hospitais com leitos de terapia intensiva e comparou dados da Autoavaliação (AA) e Autoavaliação Revisada (AR) pela vigilância sanitária (Visa) com a Inspeção Presencial (IP). A análise incluiu os coeficientes Kappa e de correlação intraclasse. Resultados: Comparando com a IP, a concordância foi aceitável (Kappa≥0,4) em 12 indicadores da AA e em 18 da AR. Os indicadores menos confiáveis são relativos a protocolos de prevenção de infecções. Quanto ao indicador composto do nível de adesão, a confiabilidade melhorou com revisão da Visa (AA=0,89 e AR=0,94), embora a concordância da classificação de alta conformidade tenha sido baixa. Conclusões: A AR se mostrou essencial para melhorar a confiabilidade da Autoavaliação. Ademais, identificou-se necessidade de revisar alguns indicadores e o instrumento de verificação pela Visa.

Abstract Introduction: The Patient Safety Self-Assessment Practices is a regulatory action to enhance quality of care. However, validation of its information requires attention. This study aimed to analyze reliability of the Patient Safety Self-Assessment Practices. Methods: Pilot study analyzing the reliability of 21 simple indicators and 1 composite of self-assessment to provide a national sample in future studies. Hospitals with intensive unit care beds participated in the study, and data from self-assessment (SA) and revised self-assessment (RSA) by the health surveillance (HS) were compared with on-site inspection (OSI). Analyses included Kappa and intraclass correlation coefficients. Results: Concordance was satisfactory (Kappa ≥ 0.4) in 12 indicators of SA and 18 indicators of RSA compared with OSI. The least reliable indicators were related to infection prevention protocols. Reliability of the adherence level composite indicator improved with HS revision (SA = 0.89 and RSA = 0.94), despite the low concordance of the high compliance classification. Conclusion: RSA was essential to improve reliability of SA. In addition, some indicators and assessment tools of the HS need revision.

Resumo: Introdução: Erros de medicação são comuns e causam sofrimento e custos que podem ser evitados. A mitigação da ocorrência de eventos adversos a medicamentos é tratada como prioridade pela Organização Mundial da Saúde (OMS), que recomenda a inclusão do tema segurança do paciente nos currículos das profissões de saúde como medida para minimizar danos aos pacientes. Um curso on-line aberto e massivo (MOOC) sobre segurança no processo de medicação foi desenvolvido como estratégia educacional para a área da saúde e disponibilizado no Ambiente Virtual de Aprendizagem do Sistema Único de Saúde (Avasus), em março de 2018. Objetivo: Este estudo teve como objetivo avaliar a satisfação e o aprendizado dos participantes que concluíram o curso. Método: Trata-se de estudo de delineamento quase experimental não controlado. O MOOC possui uma carga horária de 30 horas e aborda temas sobre segurança na prescrição, dispensação, administração e notificação de incidentes relacionados a medicamentos. Aplicaram-se um pré-teste e um pós-teste de múltipla escolha para avaliar o nível de conhecimento dos participantes, e um questionário de satisfação foi respondido ao término do curso. Analisaram-se a confiabilidade dos instrumentos de medida, a significância da melhoria do conhecimento e os fatores associados (sexo, idade e profissão). Resultados: Dos 7.135 participantes inscritos no período de março a dezembro de 2018, 2.902 (40,7%) responderam aos instrumentos de pesquisa. A confiabilidade do questionário de satisfação foi boa (alfa de Cronbach = 0,83), e o curso foi bem avaliado como estratégia educacional (96,1%). Em relação ao nível de conhecimento, observou-se aumento significativo (antes = 8,10; depois = 8,74; p < 0,05) com melhoria relativa de 32%. O fator idade esteve diretamente associado à aprendizagem (β = 1,36; IC 95% = 0,35-2,36; p = 0,008). Conclusão: A utilização do MOOC mostrou-se efetiva para o ensino de segurança no processo de medicação, ferramenta que pode ser utilizada para a inserção do tema segurança do paciente nos currículos das profissões de saúde.

Abstract: Introduction: Medication errors are common and cause suffering and costs that can be prevented. The mitigation of adverse drug events is treated as a priority by the World Health Organization (WHO), which recommends including the subject of patient safety in the curricula of health profession courses to minimize harm to patients. An open and massive online course (MOOC) on safety in the medication process was developed as an educational strategy for the health area, which was made available through the SUS Virtual Learning Environment (AVASUS) in March 2018. Objective: To estimate the satisfaction and learning of the participants who finished the course. Method: Uncontrolled quasi-experimental design study. The MOOC consists of 30 hours of learning and addresses topics on safety in prescription, dispensing, administration and notification of incidents related to medications. Multiple choice questions were applied pre-and post-test to assess the participants’ level of knowledge and a satisfaction survey was answered at the end of the course. The reliability of the measurement instruments, the significance of improved knowledge and associated factors (sex, age and profession) were analyzed. Results: Of the 7,135 registered participants, from March to December 2018, 2,902 (40.7%) responded to the survey instruments. The reliability of the satisfaction questionnaire was good (Cronbach’s alpha = 0.83) and the course was well evaluated as an educational strategy (96.1%). Regarding the level of knowledge, a significant increase was observed (before = 8.10; after = 8.74; p <0.05) with a relative improvement of 32%. The age factor was directly associated with learning (β = 1.36; 95% CI = 0.35-2.36; p = 0.008). Conclusion: The use of MOOC proved to be effective for teaching patient safety in the medication process, a tool that can be used to insert this subject in the curricula of health profession courses.

RESUMO Objetivos: avaliar a efetividade de um ciclo de melhoria aplicado ao acolhimento à demanda espontânea em uma unidade básica de saúde. Métodos: estudo quase experimental, do tipo antes e depois, sem grupo controle e com abordagem quantitativa. Realizou-se um ciclo de melhoria em uma unidade básica de saúde no município de Guarabira/PB, utilizando cinco critérios de qualidade. Foram realizadas uma avaliação, uma intervenção focada no critério mais problemático e uma reavaliação. As amostras foram aleatórias (n = 60), sendo verificados os percentuais e intervalos de confiança do cumprimento de cada critério, assim como o cálculo da significância estatística, através do teste Z. Resultados: após a intervenção realizada, houve melhoria significativa em dois critérios de qualidade do acolhimento à demanda espontânea (o usuário ser ouvido por algum profissional e passar pela classificação de risco). Conclusões: a realização do ciclo de melhoria se mostrou efetiva como método de gestão da qualidade.

ABSTRACT Objectives: to evaluate the effectiveness of a quality improvement cycle applied to the care of spontaneous demand in a primary care center. Methods: quasi-experimental before and after study, with a quantitative approach and no control group. An improvement cycle was carried out in a primary care center in the city of Guarabira/PB using five quality criteria. An evaluation, an intervention focused on the most problematic criterion and a reassessment were carried out. The samples were random (n = 60). The percentages and confidence intervals of compliance with each criterion were verified. Statistical significance was calculated using the Z test. Results: after the intervention, there was a significant improvement in two quality criteria of the care of spontaneous demand users (the user must be heard by a professional and go through the risk classification). Conclusions: the improvement cycle was an effective quality management method.

RESUMEN Objetivos: evaluar la eficacia de un ciclo de mejora aplicado a la acogida de demanda espontánea en una unidad básica de salud. Métodos: se trata de un estudio casi experimental, del tipo antes y después, sin grupo control y con enfoque cuantitativo. Se llevó a cabo un ciclo de mejoras en una unidad básica de salud de la ciudad de Guarabira, estado de Paraíba, Brasil, en el que se utilizaron cinco criterios de calidad. Se realizó una evaluación, una intervención centrada en los criterios más problemáticos y una reevaluación. Las muestras fueron aleatorias (n = 60) y se comprobaron los porcentajes e intervalos de confianza del cumplimiento de cada criterio, así como el cálculo de la significación estadística, utilizando el test Z. Resultados: después de la intervención, se produjo una mejora significativa en dos criterios de calidad de la acogida de demanda espontánea (el usuario es escuchado por algún profesional y pasa por la clasificación de riesgo). Conclusiones: la realización del ciclo de mejora se mostró eficaz como método de gestión de la calidad.

RESUMO OBJETIVO Analisar o efeito de uma intervenção multifacetada no cuidado das gestantes com sífilis na atenção primária à saúde. MÉTODOS Trata-se de projeto de melhoria da qualidade realizado em 26 unidades básicas de saúde do município do Rio de Janeiro, entre janeiro e dezembro de 2017. O desenho foi quase-experimental misto, com análises anteriores, posteriores e de série temporal. Avaliou-se o cuidado prestado a todas as gestantes com sífilis e pré-natal encerrado no período, mediante dez critérios de qualidade e um indicador. A intervenção foi multifacetada, abrangendo educação permanente, melhoria dos registros e sistemas de informação, auditoria e feedback, educação do paciente, mudanças organizacionais e nos processos de trabalho. Estimaram-se as melhorias absoluta e relativa dos critérios e sua significância estatística (α = 5%). Os facilitadores e dificultadores da intervenção foram analisados segundo o Model for Understanding Success in Quality. RESULTADOS Após a intervenção, observou-se melhoria absoluta total de 6,7% (64,4% versus 71,0%) e relativa de 28,8% (p > 0,05). Oito dos dez critérios de qualidade tiveram melhoria, sendo esta significativa em quatro deles (p < 0,05). O indicador mensal de tratamento adequado também melhorou (p < 0,05), porém manteve baixo desempenho em todo o projeto. Destacou-se positivamente o aumento da conformidade do esquema de tratamento com o protocolo (91,4% versus 99,1%), porém as principais oportunidades de melhoria foram a testagem (42,8% versus 48,5%) e o tratamento das parcerias sexuais (42,8% versus 44,2%). Pressões regulatórias para melhorar o indicador mensal e a crise político-econômica vivenciada pelo município modularam o efeito da intervenção. CONCLUSÃO O projeto foi útil para identificar prioridades e orientar intervenções para a melhoria da qualidade da assistência à sífilis, embora ainda exista ampla margem para avanços. Os problemas identificados, bem como os moduladores contextuais do efeito, devem ser considerados em futuras intervenções.

ABSTRACT OBJECTIVE To analyze the effect of a multifaceted intervention in the care of pregnant women with syphilis in primary health care. METHODS This is a quality improvement project performed in 26 basic care units in the municipality of Rio de Janeiro, between January and December 2017. It has a quasi-experimental mixed design, with previous, later and time series analyses. We evaluated the care provided to all pregnant women with syphilis whose prenatal care that ended during the studied period, using ten quality criteria and one indicator. The intervention was multifaceted, covering permanent education, improvement of records and information systems, audit and feedback, patient education, organizational changes and work processes. We estimated absolute and relative improvements of the criteria and their statistical significance (α = 5%). The facilitators and hinders of the intervention were analyzed according to the Model for Understanding Success in Quality. RESULTS After the intervention, there was a total absolute improvement of 6.7% (64.4% versus 71.0%) and relative of 28.8% (p > 0.05). Eight of the ten quality criteria had an improvement, which was significant in four of them (p < 0.05). The monthly indicator of adequate treatment also improved (p < 0.05), but maintained low performance throughout the project. The increase in the compliance of the treatment scheme with the protocol (91.4% versus 99.1%) positively stood out, but the main opportunities for improvement were testing (42.8% versus 48.5%) and treatment of sexual partnerships (42.8% versus 44.2%). Regulatory pressures to improve the monthly indicator and the political-economic crisis experienced by the municipality modulated the effect of the intervention. CONCLUSION The project was useful to identify priorities and guide interventions to improve the quality of care for syphilis, although there is still ample room for improvement. The identified problems, as well as the contextual modulators of the effect, should be considered in future interventions.

RESUMO OBJETIVO Analisar o efeito de uma intervenção multifacetada no cuidado das gestantes com sífilis na atenção primária à saúde. MÉTODOS Trata-se de projeto de melhoria da qualidade realizado em 26 unidades básicas de saúde do município do Rio de Janeiro, entre janeiro e dezembro de 2017. O desenho foi quase-experimental misto, com análises anteriores, posteriores e de série temporal. Avaliou-se o cuidado prestado a todas as gestantes com sífilis e pré-natal encerrado no período, mediante dez critérios de qualidade e um indicador. A intervenção foi multifacetada, abrangendo educação permanente, melhoria dos registros e sistemas de informação, auditoria e feedback, educação do paciente, mudanças organizacionais e nos processos de trabalho. Estimaram-se as melhorias absoluta e relativa dos critérios e sua significância estatística (α = 5%). Os facilitadores e dificultadores da intervenção foram analisados segundo o Model for Understanding Success in Quality. RESULTADOS Após a intervenção, observou-se melhoria absoluta total de 6,7% (64,4% versus 71,0%) e relativa de 28,8% (p > 0,05). Oito dos dez critérios de qualidade tiveram melhoria, sendo esta significativa em quatro deles (p < 0,05). O indicador mensal de tratamento adequado também melhorou (p < 0,05), porém manteve baixo desempenho em todo o projeto. Destacou-se positivamente o aumento da conformidade do esquema de tratamento com o protocolo (91,4% versus 99,1%), porém as principais oportunidades de melhoria foram a testagem (42,8% versus 48,5%) e o tratamento das parcerias sexuais (42,8% versus 44,2%). Pressões regulatórias para melhorar o indicador mensal e a crise político-econômica vivenciada pelo município modularam o efeito da intervenção. CONCLUSÃO O projeto foi útil para identificar prioridades e orientar intervenções para a melhoria da qualidade da assistência à sífilis, embora ainda exista ampla margem para avanços. Os problemas identificados, bem como os moduladores contextuais do efeito, devem ser considerados em futuras intervenções.

ABSTRACT OBJECTIVE To analyze the effect of a multifaceted intervention in the care of pregnant women with syphilis in primary health care. METHODS This is a quality improvement project performed in 26 basic care units in the municipality of Rio de Janeiro, between January and December 2017. It has a quasi-experimental mixed design, with previous, later and time series analyses. We evaluated the care provided to all pregnant women with syphilis whose prenatal care that ended during the studied period, using ten quality criteria and one indicator. The intervention was multifaceted, covering permanent education, improvement of records and information systems, audit and feedback, patient education, organizational changes and work processes. We estimated absolute and relative improvements of the criteria and their statistical significance (α = 5%). The facilitators and hinders of the intervention were analyzed according to the Model for Understanding Success in Quality. RESULTS After the intervention, there was a total absolute improvement of 6.7% (64.4% versus 71.0%) and relative of 28.8% (p > 0.05). Eight of the ten quality criteria had an improvement, which was significant in four of them (p < 0.05). The monthly indicator of adequate treatment also improved (p < 0.05), but maintained low performance throughout the project. The increase in the compliance of the treatment scheme with the protocol (91.4% versus 99.1%) positively stood out, but the main opportunities for improvement were testing (42.8% versus 48.5%) and treatment of sexual partnerships (42.8% versus 44.2%). Regulatory pressures to improve the monthly indicator and the political-economic crisis experienced by the municipality modulated the effect of the intervention. CONCLUSION The project was useful to identify priorities and guide interventions to improve the quality of care for syphilis, although there is still ample room for improvement. The identified problems, as well as the contextual modulators of the effect, should be considered in future interventions.

Resumen Objetivo: Evaluar el efecto de un ciclo de mejora de la calidad en la implementación de prácticas basadas en la evidencia en el tratamiento de mujeres con enfermedades gestacionales hipertensivas admitidas en la Unidad de Cuidados Intensivos Maternos (UCIM). Método: Estudio cuasiexperimen-tal, sin grupo de control, realizado en una UCIM de un hospital universitario que ha seguido los pasos de un ciclo de mejoramiento de la calidad. Se evaluaron nueve criterios de proceso en todas las mujeres admitidas con un diagnóstico de enfermedades gestacionales hipertensivas en los periodos anterior (n = 50) y posterior a la intervención (n = 50) en 2015. Se estimó el cumplimiento con el intervalo de confianza al 95 %, el porcentaje de no conformidad en los gráficos de Pareto y la significancia del mejoramiento con la prueba de valor Z unilateral (α = 5 %). Resultados: El nivel de calidad inicial fue alto en seis de los nueve criterios (amplitud: 94-100 %), las prácticas con menor adherencia fueron "mantenimiento de sulfato de magnesio" (54 %), "solicitud de ultrasonido fetal" (72 %) y "restricción de agua intravenosa" (78 %). Hubo una mejoría absoluta en cinco de los nueve criterios (amplitud: 2-16 %), que ha sido significativa para la solicitud de ultrasonido fetal (mejoría absoluta: 16 %; p = 0,023) y para el criterio total (4 %; p = 0,01). Conclusión: La intervención de mejoramiento de la calidad propuesta incrementó el cumplimiento de las recomendaciones basadas en la evidencia para el tratamiento de pacientes con hipertensión gestacional ingresados en una UCIM.

Abstract Objective: To assess the effect of a cycle of quality improvement on the implementation of evidence-based practices in the treatment of women with gestational hypertensive diseases admitted to the Maternal Intensive Care Unit (MICU). Method: Quasi-experimental study, without a control group, performed in a MICU of a university hospital which followed the steps of a cycle of quality improvement. Nine process criteria were assessed in all women admitted with a diagnosis of gestational hypertensive diseases in the periods before (n = 50) and after the intervention (n = 50) in 2015. The compliance was estimated with the confidence interval of 95 %, the non-conformities with Pareto charts and the significance of improvement with one-tailed Z-test (α = 5 %). Results: The initial quality level was high in six out of nine criteria (amplitude: 94-100 %), the practices with the lowest adherence were "magnesium sulfate maintenance" (54 %), "fetal ultrasound request" (72 %) and "intravenous fluid restriction" (78 %). There was absolute improvement in five out of nine criteria (amplitude: 2-16 %), which was significant for fetal ultrasound request (absolute improvement: 16 %; p = 0.023) and for the total criteria (4%; p = 0.01). Conclusion: The proposed intervention of quality improvement increased the adherence to evidence-based recommendations for the treatment of patients with gestation-al hypertension admitted to a MICU.

Resumo Objetivo: Avaliar o efeito de um ciclo de melhoria da qualidade na implementação de práticas baseadas em evidências no tratamento de mulheres com doenças hipertensivas gestacionais admitidas em Unidade de Terapia Intensiva Materna (UTIM). Método: Estudo quase-experimental, sem grupo de controle, realizado numa UTIM de um hospital universitário que seguiu as etapas de um ciclo de melhoria da qualidade. Avaliaram-se nove critérios de processo em todas as mulheres admitidas com diagnóstico de doenças hipertensivas gestacionais nos períodos anterior (n = 50) e posterior à intervenção (n = 50) em 2015. Estimou-se a conformidade com intervalo de confiança de 95 %, as não conformidades com gráficos de Pareto e a significância da melhoria com teste do valor Z unilateral (α = 5 %). Resultados: O nível de qualidade inicial foi alto em seis dos nove critérios (amplitude: 94-100 %), as práticas com menor adesão foram a "manutenção de sulfato de magnésio" (54 %), "solicitação de ultrassom fetal" (72 %) e "restrição hídrica intravenosa" (78 %). Houve melhoria absoluta em cinco dos nove critérios (amplitude: 2-16 %), que foi significativa para a solicitação de ultrassom fetal (melhoria absoluta: 16 %; p = 0,023) e para o total de critérios (4 %; p = 0,01). Conclusão: A intervenção de melhoria da qualidade proposta aumentou a adesão às recomendações baseadas em evidência para o tratamento de pacientes com doenças.

ABSTRACT Aim Conduct a Failure Mode and Effect Analysis (FMEA) to prospectively identify the risks related to the preparation and dispensation of chemotherapy drugs at an outpatient unit of a reference center in oncology. Methods The first six stages of Failure Mode and Effect Analysis were used to identify dangerous situations and assemble a team; define the process to be analyzed and describe it graphically; apply a host of ideas to identify failure modes; prioritize failure modes and conduct risk analysis; identify potential causes of failure modes and redesign the process. Results Seventeen failure modes were identified, two of which were classified as high risk: changing the output window for the drug and miscalculating the intrathecal drug dose. Conclusions The possible failure modes related to the process analyzed were identified; in addition, it was possible to define potential causes of these risks.

RESUMO Objetivo Realizar uma Análise Multimodal de Falhas e Efeitos para identificar prospectivamente os riscos relacionados à fase do preparo e dispensação de medicamentos quimioterápicos em uma unidade ambulatorial de um centro de referência em oncologia. Métodos Foram utilizadas as seis primeiras etapas da Análise Multimodal de Falhas e Efeitos: identificar as situações perigosas e montar uma equipe; definir o processo a ser analisado descrevendo graficamente; aplicar chuva de ideias buscando identificar modos de falhas; priorizar os modos de falhas e realizar análise dos riscos; identificar causas potenciais dos modos de falha e redesenhar o processo. Resultados Foram identificados dezessete modos de falha, sendo dois classificados como de alto risco: trocar a janela de saída do medicamento e cálculo errado da dose de medicamento intratecal. Conclusões Foram identificados os possíveis modos de falha que se relacionavam ao processo analisado, além disso, foi possível definir causas potenciais para a existência desses riscos.

RESUMEN Objetivo Realizar un Análisis Multimodal de fallas y efectos para identificar prospectivamente los riesgos relacionados a la fase de la preparación y dispensación de medicamentos quimioterápicos en una unidad ambulatoria de un centro de referencia en oncología. Métodos Se utilizaron las seis primeras etapas del Análisis Multimodal de fallas y Efectos: identificar las situaciones peligrosas y montar un equipo; definir el proceso a ser analizado describiendo gráficamente; aplicar lluvia de ideas buscando identificar modos de fallas; priorizar los modos de fallas y realizar análisis de riesgos; identificar las causas potenciales de los modos de fallo y volver a dibujar el proceso. Resultados Se identificaron diecisiete modos de falla, siendo dos clasificados como de alto riesgo: cambiar la ventana de salida del medicamento y cálculo erróneo de la dosis de medicamento intratecal. Conclusiones Se identificaron los posibles modos de falla que se relacionaban al proceso analizado, además, fue posible definir causas potenciales para la existencia de esos riesgos.

RESUMO OBJETIVO O estudo objetiva descrever a construção e análise da validade do Questionário Avaliação da Gestão de Riscos Assistenciais em Serviços de Saúde (AGRASS). MÉTODOS Trata-se de estudo de validação de um instrumento de medida nas etapas: 1. construção do modelo conceitual e itens; 2. apreciação formal multidisciplinar; 3. grupo nominal para análise da validade com especialistas da esfera nacional; 4. desenvolvimento de softwares e estudo-piloto nacional em 62 hospitais do Brasil; 5. Delphi para análise da validade com utilizadores do questionário. Nas etapas 3 e 5, os itens foram julgados quanto à validade de face e conteúdo, utilidade e viabilidade, em uma escala Likert de 1 a 7 (ponto de corte: mediana < 6). A validade de construto e a confiabilidade foram analisadas com análise fatorial confirmatória e coeficientes α de Cronbach. RESULTADOS A versão inicial do instrumento (98 itens) foi adaptada durante as etapas 1 a 3 para a versão com 40 itens considerados relevantes, de conteúdo adequado, úteis e viáveis. O instrumento tem duas dimensões e nove subdimensões, e os itens têm opção de resposta fechada (sim ou não). Os softwares para coleta e análise automática geram indicadores, tabelas e gráficos automáticos para a instituição avaliada e conjuntos agregados. Os índices de ajuste confirmaram o modelo bidimensional de estrutura e processo (X2/gl = 1,070, RMSEA ≤ 0,05 = 0,847; TLI = 0,972), havendo confiabilidade alta para o Questionário AGRASS (α = 0,94) e a dimensão processo (α = 0,93) e aceitável para a dimensão estrutura (α = 0,70). CONCLUSÃO O Questionário AGRASS é um instrumento potencialmente útil para a vigilância e monitoramento da gestão de riscos e segurança do paciente em serviços de saúde.

ABSTRACT OBJECTIVE This study aims to assess the development and the validity analysis of the Assessment of Risk Management in Health Care Questionnaire (AGRASS). METHODS This is a validation study of a measurement instrument following the stages: 1) Development of conceptual model and items; 2) Formal multidisciplinary assessment; 3) Nominal group for validity analysis with national specialists; 4) Development of software and national pilot study in 62 Brazilian hospitals 5) Delphi for validity analysis with the users of the questionnaire. In stages 3 and 5, the items were judged based on face validity, content validity, and utility and viability, by a 1-7 Likert scale (cut-off point: median < 6). Accuracy and reliability of the questionnaire were analyzed with the Confirmatory Factor Analysis and the Cronbach’s alpha. RESULTS The initial version of the instrument (98 items) was adapted during stages 1 to 3 for the final version with 40 items, which were considered relevant, of adequate content, useful, and viable. The instrument has 2 dimensions and 9 subdimensions, and the items have closed-ended questions (yes or no). The software for the automatic collection and analysis generates indicators, tables, and automatic graphs for the assessed institution and aggregated data. The adjustment indices confirmed a bi-dimensional model composed of structure and process (X2/gl = 1.070, RMSEA ≤ 0.05 = 0.847, TLI = 0.972), with high reliability for the AGRASS Questionnaire (α = 0.94) and process dimension (α = 0.93), and adequate for the structural dimension (α = 0.70). CONCLUSIONS The AGRASS Questionnaire is a potentially useful instrument for the surveillance and monitoring of the risk management and patient safety in health services.

RESUMO OBJETIVO O estudo objetiva descrever a construção e análise da validade do Questionário Avaliação da Gestão de Riscos Assistenciais em Serviços de Saúde (AGRASS). MÉTODOS Trata-se de estudo de validação de um instrumento de medida nas etapas: 1. construção do modelo conceitual e itens; 2. apreciação formal multidisciplinar; 3. grupo nominal para análise da validade com especialistas da esfera nacional; 4. desenvolvimento de softwares e estudo-piloto nacional em 62 hospitais do Brasil; 5. Delphi para análise da validade com utilizadores do questionário. Nas etapas 3 e 5, os itens foram julgados quanto à validade de face e conteúdo, utilidade e viabilidade, em uma escala Likert de 1 a 7 (ponto de corte: mediana < 6). A validade de construto e a confiabilidade foram analisadas com análise fatorial confirmatória e coeficientes α de Cronbach. RESULTADOS A versão inicial do instrumento (98 itens) foi adaptada durante as etapas 1 a 3 para a versão com 40 itens considerados relevantes, de conteúdo adequado, úteis e viáveis. O instrumento tem duas dimensões e nove subdimensões, e os itens têm opção de resposta fechada (sim ou não). Os softwares para coleta e análise automática geram indicadores, tabelas e gráficos automáticos para a instituição avaliada e conjuntos agregados. Os índices de ajuste confirmaram o modelo bidimensional de estrutura e processo (X2/gl = 1,070, RMSEA ≤ 0,05 = 0,847; TLI = 0,972), havendo confiabilidade alta para o Questionário AGRASS (α = 0,94) e a dimensão processo (α = 0,93) e aceitável para a dimensão estrutura (α = 0,70). CONCLUSÃO O Questionário AGRASS é um instrumento potencialmente útil para a vigilância e monitoramento da gestão de riscos e segurança do paciente em serviços de saúde.

ABSTRACT OBJECTIVE This study aims to assess the development and the validity analysis of the Assessment of Risk Management in Health Care Questionnaire (AGRASS). METHODS This is a validation study of a measurement instrument following the stages: 1) Development of conceptual model and items; 2) Formal multidisciplinary assessment; 3) Nominal group for validity analysis with national specialists; 4) Development of software and national pilot study in 62 Brazilian hospitals 5) Delphi for validity analysis with the users of the questionnaire. In stages 3 and 5, the items were judged based on face validity, content validity, and utility and viability, by a 1-7 Likert scale (cut-off point: median < 6). Accuracy and reliability of the questionnaire were analyzed with the Confirmatory Factor Analysis and the Cronbach’s alpha. RESULTS The initial version of the instrument (98 items) was adapted during stages 1 to 3 for the final version with 40 items, which were considered relevant, of adequate content, useful, and viable. The instrument has 2 dimensions and 9 subdimensions, and the items have closed-ended questions (yes or no). The software for the automatic collection and analysis generates indicators, tables, and automatic graphs for the assessed institution and aggregated data. The adjustment indices confirmed a bi-dimensional model composed of structure and process (X2/gl = 1.070, RMSEA ≤ 0.05 = 0.847, TLI = 0.972), with high reliability for the AGRASS Questionnaire (α = 0.94) and process dimension (α = 0.93), and adequate for the structural dimension (α = 0.70). CONCLUSIONS The AGRASS Questionnaire is a potentially useful instrument for the surveillance and monitoring of the risk management and patient safety in health services.

Resumo Este estudo pretende identificar a prevalência de interações medicamentosas potenciais (IMP) em idosos institucionalizados e seus fatores associados. Realizamos um estudo observacional, multicêntrico e transversal, durante o último trimestre de 2010. Selecionamos uma amostra de 275 sujeitos (≥ 65 anos) de 10 instituições para idosos de Murcia (Espanha) mediante amostragem aleatória complexa em duas etapas. As IMP foram identificadas usando a base de dados do College of Pharmacists. Estimamos a prevalência de IMP de relevância clínica e analisamos os fatores associados com análise de regressão uni e multinível. Identificamos 210 IMP, das quais 120 foram consideradas clinicamente relevantes (57,1%) e afetaram 70 idosos (25,8%). Oito grupos farmacológicos constituíram 70,2% das IMP clinicamente relevantes. A prevalência de IMP esteve associada à multimorbidade (OR = 2,3; IC 95% = 1,4-4,5) e tomar dez ou mais medicamentos diariamente (OR = 9,6; IC95% = 4,8-19,1) e uso de medicamentos anti-inflamatórios (OR = 3,9; IC 95% = 1,4-10,4). Este estudo revela que as IMP clinicamente relevantes são muito comuns em idosos institucionalizados e que os serviços devem melhorar seus processos para reduzir a prevalência deste fenômeno.

Abstract This study purposes to determine the prevalence of potential and clinical relevant Drug-Drug-Interactions (pDDIs) in institutionalized older adults and to identify the pertinent factors associated. We conduct an observational, multicenter and cross-sectional study during the last quarter of 2010. We selected a sample of 275 subjects (aged ≥ 65 years) from 10 nursing homes of Murcia (Spain) by a two-stage complex sampling. pDDIs were identified using the College of Pharmacists Database. We only considered pDDIs of clinical relevance, and thereafter the relevant factors were identified through uni-level and multi-level regression analyses. A total of 210 pDDIs were identified, 120 of which were considered clinically relevant (57.1%), affecting a total of 70 elderly (25.8%). Eight pharmacological groups made up 70.2% of the clinically relevant pDDIs. More clinically relevant DDIs were found in people suffering several pathologies (OR = 2.3; 95%CI = 1.4-4.5), and also in people who take ten or more drugs daily (OR = 9.6; 95%CI = 4.8-19.1), and people who take anti-inflammatory drugs (OR = 3.9; 95%CI = 1.4-10.4). This study reveals that clinically relevant pDDIs are very common in institutionalized elderly people, and that caregivers should aim at improving their practice in order to reduce the prevalence of this phenomenon.