Gerenciamento de risco em tecnovigilância: construção e validação de instrumento de avaliação de produto médico-hospitalar

Resumos

With the continuous incorporation of health technologies, hospital risk management should be implemented to systemize the monitoring of adverse effects, performing actions to control and eliminate their damage. As part of these actions, Technovigilance is active in the procedures of acquisition, use and quality control of health products and equipment. This study aimed to construct and validate an instrument to evaluate medical-hospital products. This is a quantitative, exploratory, longitudinal and methodological development study, based on the Six Sigma quality management model, which has as its principle basis the component stages of the DMAIC Cycle. For data collection and content validation, the Delphi technique was used with professionals from the Brazilian Sentinel Hospital Network. It was concluded that the instrument developed permitted the evaluation of the product, differentiating between the results of the tested brands, in line with the initial study goal of qualifying the evaluations performed.

Safety Management; Evaluation Studies; Validation Studies; Quality Assurance, Health Care

Con la continua incorporación de tecnologías en la salud, la administración de riesgo hospitalario debe ser implantada para sistematizar la monitorización de eventos adversos, ejecutando acciones para el control y eliminación de sus daños. Como parte de esas acciones, la Tecnovigilancia actúa en los procedimientos de adquisición, utilización y control de calidad de productos y equipamientos en el área de la salud. El objetivo de este estudio fue construir y validar un instrumento de evaluación de productos Médico hospitalarios. Se trata de un estudio cuantitativo, exploratorio, longitudinal y de desarrollo metodológico, fundamentado en el modelo de gestión de calidad Seis Sigma, que tiene como base principal las etapas componentes del Ciclo DMAIC. Para la obtención de datos y la validación de contenido, se utilizó la técnica Delphi con profesionales de la Red Brasileña de Hospitales Centinela. Se concluyó que el instrumento desarrollado posibilitó evaluar el producto, diferenciando los resultados entre las marcas probadas y retratando el propósito inicial del estudio de calificar las evaluaciones realizadas.

Administración de la Seguridad; Estudios de Evaluación; Estudios de Validación; Garantía de la Calidad de Atención de Salud

ARTIGO ORIGINAL

Gerenciamento de risco em tecnovigilância: construção e validação de instrumento de avaliação de produto médico-hospitalar

Cleuza Catsue Takeda Kuwabara^I; Yolanda Dora Martinez Évora^II; Márcio Mattos Borges de Oliveira^III

^IEnfermeira, Doutor em Enfermagem. E-mail: [e-mail]

^IIEnfermeira, Doutor em Enfermagem, Professor Titular, Escola de Enfermagem de Ribeirão Preto, Universidade de São Paulo, Centro Colaborador da OMS para o Desenvolvimento da Pesquisa em Enfermagem, SP, Brasil. E-mail: [e-mail]

^IIIEngenheiro, Doutor em Engenharia, Professor Associado, Faculdade de Economia, Administração e Contabilidade de Ribeirão Preto, Universidade de São Paulo, SP, Brasil. E-mail: [e-mail]

Endereço para correspondência

RESUMO

Com a contínua incorporação de tecnologias na saúde, o gerenciamento de risco hospitalar deve ser implantado para sistematizar o monitoramento de eventos adversos, executando ações para o controle e eliminação de seus danos. Como parte dessas ações, a tecnovigilância atua nos procedimentos para aquisição, utilização e controle da qualidade de produtos e equipamentos na saúde. O objetivo deste estudo foi construir e validar um instrumento de avaliação de produto médico-hospitalar. Trata-se de estudo quantitativo, exploratório, longitudinal e de desenvolvimento metodológico, fundamentado no modelo de gestão de qualidade Seis Sigma, que tem como base principal as etapas componentes do Ciclo DMAIC. Para a obtenção de dados e a validação de conteúdo, utilizou-se a técnica Delphi com profissionais da Rede Brasileira de Hospitais Sentinela. Concluiu-se que o instrumento desenvolvido possibilitou avaliar o produto, diferenciando os resultados entre as marcas testadas e retratando o propósito inicial do estudo de qualificar as avaliações realizadas.

Descritores: Gerenciamento de Segurança; Estudos de Avaliação; Estudos de Validação; Garantia da Qualidade dos Cuidados de Saúde.

Introdução

A inserção de novas tecnologias é, na atualidade, uma das maiores preocupações da gestão hospitalar. A Organização Mundial de Saúde estima que cerca de 50% de todos os avanços terapêuticos disponíveis não existiam há dez anos. Essas tecnologias são colocadas à disposição do sistema de saúde e incorporadas à prática clínica, proporcionando benefícios até recentemente inimagináveis, com resultados significativos sobre o aumento da expectativa de melhoria da qualidade de vida das populações⁽¹⁾.

Observa-se, no entanto, que a inovação tecnológica tem ocasionado inúmeros problemas, como: falta de planejamento local para sua incorporação, qualidade insatisfatória, pouca capacitação e competência técnico-científica dos profissionais, uso indevido, descompasso com a evolução do serviço de manutenção local e custos elevados, que impactam severamente as organizações hospitalares⁽¹⁾.

A crescente demanda por profissional de saúde capaz de acompanhar o desenvolvimento assistencial e tecnológico, em muitos casos, reflete a preocupação para evitar o risco à saúde do paciente, que pode estar associado, ou não, à ocorrência de erros humanos. Assim, são necessárias ações efetivas de gestão que integrem a capacidade de resposta para essa condição, modelando os profissionais para as novas atividades técnicas que a realidade requer⁽²⁾, uma vez que o risco iminente ou provável, ao qual o paciente se submete, não é visualizado corretamente ou, mesmo, detectado a tempo. Nesse contexto, cita-se como ocorrência relacionada a produtos médicos, dentre outras, a utilização, aquisição e uso de materiais médico-hospitalares no tocante à sua quantidade e qualidade⁽³⁾.

O gerenciamento de risco hospitalar (GRH) se apresenta como nova perspectiva sobre o tema, possibilitando ao administrador da saúde voltar seu olhar para o cuidado que, realmente, se submete o doente, analisando, investigando, propondo soluções e executando ações que tentem sanar esses problemas ou, ao menos, antecipar-se à sua ocorrência⁽⁴⁾. O propósito do gerenciamento de risco consiste em identificar a provável origem dos eventos adversos, avaliar os danos causados e tomar as decisões apropriadas concernentes a esses problemas.

A administração de riscos na saúde, historicamente, se iniciou nos Estados Unidos da América, a partir de meados da década de 1920, no contexto da "crise do erro médico", quando gerou processos e sistemas operacionais centrados na prevenção, detecção, controle ou eliminação de riscos capazes de causar danos aos pacientes/clientes. O programa de administração de riscos, desenvolvido naquele país, constituiu-se em uma das atividades internas voltadas para a garantia da qualidade da assistência prestada. Posteriormente, foi implantado em outros países da Europa, Oceania e América Latina⁽⁵⁾.

O trabalhador da saúde também está contemplado nesse cenário, em que o risco conferido ao doente ou aos produtos em uso no seu cuidado pode refletir em sua própria segurança. As equipes médicas e de enfermagem são as que mais sofrem esse reflexo, tendo em vista o contato direto com esses riscos⁽⁶⁾. No entanto, não se excluem outros atores nesse cenário, como os trabalhadores das áreas de apoio da farmácia, laboratório, lavanderia, nutrição e manutenção.

Em 2001, o conceito de GRH foi introduzido no Brasil pela Agência Nacional de Vigilância Sanitária (Anvisa), do Ministério da Saúde, com o projeto Hospitais Sentinela, e, atualmente, congrega quase duas centenas de instituições. A adoção de medidas de valorização da qualidade da atenção em saúde e a gerência racional de insumos e equipamentos médico-hospitalares (Tecnovigilância), com vistas a assegurar qualidade e segurança, são dois dos desdobramentos do projeto. Outras áreas, como Farmacovigilância (vigilância de medicamentos) e Hemovigilância (vigilância de hemocomponentes), também fazem parte do projeto.

Com a contínua incorporação de tecnologias na saúde, o gerenciamento de risco hospitalar deve ser implantado para sistematizar o monitoramento de eventos adversos, executando ações para o controle e eliminação de seus danos. Como parte dessas ações, a tecnovigilância atua nos procedimentos para aquisição, utilização e controle da qualidade de produtos e equipamentos na saúde.

Nesse sentido, a qualidade é requisito fundamental, que propicia a segurança necessária para os resultados requeridos. Implantar metodologia de avaliação de um produto médico-hospitalar na fase pré-aquisição é importante e se torna premente, considerando que eventos adversos podem ocorrer mesmo em situações usuais com produtos de boa qualidade.

Diante da ampla gama de produtos oferecidos no mercado brasileiro e a lacuna verificada na literatura sobre modelos validados de instrumentos de avaliação de produtos médico-hospitalares, emergiu a seguinte questão de investigação: "é possível construir e validar, junto a especialistas, um instrumento de avaliação para o controle de qualidade dos materiais médico-hospitalares, visando evitar potenciais riscos aos pacientes e equipe de saúde?". O objetivo deste estudo foi construir e validar um instrumento de avaliação de produto médico-hospitalar (IAPMH) para subsidiar o gerenciamento de risco na área de tecnovigilância.

Metodologia

Trata-se de estudo quantitativo, exploratório, longitudinal e de desenvolvimento metodológico. A investigação foi estruturada utilizando-se de técnicas de gestão de qualidade, com a metodologia Seis Sigma^(7-8), para subsidiar o gerenciamento de risco na área de tecnovigilância, e a técnica Delphi^(9-10), para a obtenção dos dados.

O Seis Sigma, ou Six Sigma, tem como base principal as fases componentes do ciclo DMAIC, termo originado do acrômio em inglês com as iniciais das palavras: Define (definição), Measure (medição), Analyze (análise), Improve (melhoria) e Control (controle). É modelo utilizado para melhorar a performance, mediante a aplicação de ferramentas e métodos estatísticos para: definir os problemas e as situações a serem melhoradas, medir para obter a informação e os dados, analisar a informação coletada, incorporar e empreender melhorias nos processos e controlar os processos ou produtos existentes. O ciclo DMAIC possibilita o estudo das variabilidades da qualidade dos processos da instituição, mediante a aplicação em cada problema delineado^(7-8).

A técnica Delphi foi utilizada para a obtenção de dados dos profissionais especialistas e dos juízes. É empregada para apurar a validade de conteúdo e representa ferramenta útil para a formação de um julgamento de grupo, sendo amplamente utilizada na construção e adaptação de instrumentos de medida, uma vez que se caracteriza pela flexibilidade, em que o pesquisador responsável pelo estudo estabelece as regras quanto ao número de fases. É especialmente recomendável quando não se dispõe de dados quantitativos ou esses não podem ser projetados para o futuro com segurança, em face de expectativa de mudanças estruturais ou de fatores determinantes das tendências futuras^(9-10).

O projeto de estudo foi submetido à análise do Comitê de Ética em Pesquisa (Registro CONEP 268, Parecer 129/2008) e autorizado pela Direção Superintendente do Hospital Universitário de Londrina (HUL), local originário da pesquisa. Todos os participantes foram orientados sobre a pesquisa, com base no termo de consentimento livre e esclarecido, atendendo às exigências da Resolução 196/96, do Conselho Nacional de Saúde. A unidade de pesquisa delineada para este estudo constituiu-se dos hospitais pertencentes ao Projeto Hospital Sentinela da Agência Nacional de Vigilância Sanitária/Anvisa, do Ministério da Saúde. Considerando as três etapas Delphi realizadas, a amostra totalizou 144 participações, sendo 139 especialistas da etapa Delphi 1, 5 juízes, que participaram da etapa Delphi 2 e 5 juízes da etapa Delphi 3.

Resultados

Aplicação do ciclo DMAIC

Com a utilização da ferramenta base da metodologia Seis Sigma, desenvolveram-se as fases do ciclo DMAIC, em cada um dos dois projetos: a) projeto institucional, em que se delineou a "oficina de gestão de abastecimento hospitalar", extraindo-se daí a categoria de problema, denominada "normativa", e b) projeto qualidade de produto médico, originada da aplicação do ciclo DMAIC sobre a categoria "normativa", quando evidenciou o item "problemas com os produtos", que teve a qualidade como maior problema explorado. Assim, na primeira fase, "definição" do ciclo DMAIC, neste projeto, adotou-se como uma das ações a criação de instrumento para avaliar o material médico, consolidando o presente estudo.

Construção e validação do instrumento

Neste estudo, utilizou-se a técnica Delphi, em três etapas, para a obtenção de dados dos profissionais especialistas e juízes da pesquisa.

Etapa Delphi 1 - Validação inicial

Esta etapa foi delineada em duas rodadas. Inicialmente, elaborou-se questionário, com base no equipo de infusão venosa, considerado um produto de amplo uso na área de saúde. O instrumento foi composto por três perguntas, com o total de 55 itens, para indicação daqueles itens que comporiam o instrumento de avaliação. A construção do questionário foi subsidiada pelas normas da Associação Brasileira de Normas Técnicas (ABNT), pela literatura relacionada e por impressos de materiais médico-hospitalares, anteriormente desenvolvidos no Hospital Universitário de Londrina. Nessa etapa, foram enviados convites a 195 profissionais, tendo participado da primeira rodada 157 especialistas. O resultado inicial apontou que 13 (23,6%) dos 55 itens não haviam atingido o consenso de 80% de concordância estabelecida. Por isso, foram reenviados na segunda rodada para 121 (77%) especialistas que não haviam indicado um ou mais desses itens.

Com o retorno de 98 (80%) especialistas, obteve-se o percentual estabelecido. Esse número, somado aos 36 (23%) especialistas que não participaram da segunda rodada, uma vez que já haviam indicado todos os 13 itens, totalizou a amostra de 134 especialistas, encerrando-se a etapa Delphi 1. Na técnica Delphi, normalmente, pode ocorrer abstenção de 30 a 50% dos respondentes na primeira rodada e de 20 a 30% na segunda⁽⁹⁾. Neste estudo, houve abstenção de 38 (19,5%) especialistas na primeira rodada e 23 (19%) na segunda rodada da etapa Delphi 1.

Etapa Delphi 2 - Validação de conteúdo

A partir do resultado da etapa Delphi 1, desenvolveu-se um modelo de IAPMH, que foi enviado na etapa Delphi 2 a cinco juízes, para a validação de conteúdo, ocorrida em duas rodadas. Na primeira parte do instrumento, denominada "informações gerais" (Figura 1), os itens foram analisados quanto ao nível de concordância, utilizando-se quatro critérios: a) não relevante, b) pouco relevante, c) relevante e d) muito relevante. Determinou-se que as indicações "relevante" e "muito relevante" seriam aceitas como respostas suficientes para a validação. Os resultados demonstraram que, para esses itens, não houve nenhuma indicação para as opções "não relevante" e "pouco relevante"⁽¹¹⁾.

A validação da segunda parte do IAPMH – "itens específicos" (Figura 2) do equipo de infusão ocorreu mediante a utilização de seis atributos: objetividade, clareza, pertinência, precisão, credibilidade e variedade. Esses atributos foram pontuados com os critérios predeterminados: a) contempla o requisito, b) contempla o requisito, mas precisa de alteração mínima, c) incapaz de contemplar o requisito e d) não contempla o requisito^(11-12).

Na primeira rodada desta etapa, os comentários e sugestões dos juízes prenderam-se às alterações na redação, para padronizar os termos, como: "colorido por coloração", excluir termos, como "possui" e promover outras alterações, conforme demonstrado na Figura 3. Na segunda rodada, as sugestões e alterações foram enviadas aos juízes, obtendo-se o consenso de todos.

Etapa Delphi 3 – Aplicação do formulário

Diante da validade de conteúdo, em uma terceira etapa Delphi, os juízes aplicaram o IAPMH em três marcas de equipo simples (A, B, C) e três de equipo de reservatório (D, E, F). A avaliação ocorreu, indicando-se as opções apresentadas no instrumento que possuem escalas de valores, conforme mostrado na Tabela 1.

A Tabela 2 resume as avaliações, revelando as médias de todos os tópicos e a média final obtida pelas marcas testadas pelos juízes.

Discussão

O gerenciamento de risco hospitalar, sob a ótica da qualidade e segurança, permeou a base deste estudo. Trata-se de tema atual e amplamente debatido em artigos científicos^(13-15) nos últimos anos, intrinsecamente relacionado à segurança e à qualidade nos procedimentos em saúde. Nesse sentido, a farmacovigilância possui maior abordagem, quando a qualidade e a segurança no ato de medicação é o maior enfoque. Na linha de estudos relacionados à tecnovigilância, observa-se que, apesar dos inúmeros problemas vivenciados na prática pelos profissionais de saúde, estudos sobre a qualidade dos materiais médico-hospitalares e as dificuldades de uso são escassos.

Na elaboração de um instrumento de avaliação, os procedimentos metodológicos científicos e de validação são passos fundamentais para sua consecução. A validação de conteúdo busca valorizar os formadores de opinião e reconhece a inestimável contribuição dos experts que possuem conhecimentos sobre o tema. A etapa de seleção desses profissionais deve ser delineada com rigor e responsabilidade^(16-17). Neste estudo, as informações obtidas dos profissionais qualificados que compõem a Rede Brasileira de Hospitais Sentinela/Anvisa contribuíram para valorar essa condição.

A técnica Delphi tem sido amplamente aplicada na construção e adaptação de instrumentos de medida, e se caracteriza pela flexibilidade, em que o pesquisador estabelece as regras quanto a: número de fases, número de especialistas e nível de consenso para considerar o instrumento válido^(9-10). É utilizada quando se verifica a inexistência de dados, quando se deseja estimular novas ideias, quando há necessidade de promover abordagem multidisciplinar, ou quando há falta de consenso sobre determinado assunto⁽⁹⁾. Neste estudo, as três etapas e as quatro rodadas percorridas possibilitaram cumprir os propósitos metodológicos e atender os propósitos da construção e validação de conteúdo do IAPMH.

Observando-se as médias dos tópicos de cada marca, os valores oscilaram dentro dos limites médios de pontuação. Isso demonstra que a aplicação do IAPMH possibilitou diferenciar a análise entre as marcas e que essas análises foram muito semelhantes entre os juízes. As médias de cada tópico sofreram variações entre os conceitos "regular", "bom", "ótimo" e "excelente" em duas marcas (B e F). Mesmo com essa variação, os resultados da média geral dessas marcas permaneceram com conceitos acima do esperado. Isso ocorreu devido à pontuação média, que possui intervalo que propicia tal medida.

A aplicação do instrumento revelou diferença em relação ao resultado das marcas, principalmente quanto aos valores numéricos, fator importante para efetuar uma avaliação objetiva. No entanto, os atributos de qualificação contribuíram para a compreensão imediata do resultado, conforme os valores apresentados na Tabela 1. As médias gerais demonstraram que os seis modelos de equipos obtiveram aprovação, considerando que todos os conceitos permaneceram dentro dos parâmetros preestabelecidos, em que a menor média atribuída foi para o conceito "bom" em dois modelos e que quatro receberam conceito "ótimo". O resultado da avaliação do IAPMH é adequado e diferencia as avaliações entre as marcas testadas, que, por hipótese, eram diferentes.

Conclusão

A aplicação da metodologia Seis Sigma com o uso da ferramenta DMAIC revelou-se importante, na medida em que o raciocínio sistêmico para a análise dos problemas foi condição necessária e contribuiu, inclusive, para a melhoria das relações intersetoriais, quando os colaboradores da área administrativa passaram a compreender melhor as necessidades assistenciais. O inverso também ocorreu, quando os profissionais da assistência compreenderam as atividades administrativas envolvidas em cada problema categorizado. Por meio dos resultados da técnica Delphi e da participação dos profissionais da Rede Sentinela, demonstraram-se as opiniões e experiências com olhar cuidadoso e crítico. Essas opiniões não podem ser consideradas verdades absolutas, mas representam visões importantes de especialistas que vivem o contexto da saúde.

A construção de instrumento para a avaliação de produto médico-hospitalar – neste estudo, o equipo de infusão – baseou-se na necessidade de se obter um modelo validado para amplo uso nas instituições de saúde e que fosse capaz de subsidiar uma das etapas de aquisição desse produto. Avaliar as diferentes partes componentes quanto ao seu propósito e ao cumprimento de seus requisitos, seguramente, beneficiará a equipe de enfermagem, que os utiliza em sua rotina de trabalho. O modelo validado subsidia a etapa de pré-aquisição e possibilita o uso de produto de melhor qualidade e, a princípio, mais seguro para o paciente e a enfermagem.

Os achados de investigação permitem concluir que o instrumento desenvolvido é adequado para avaliar o equipo de infusão. Permite considerar, também, que contribui para facilitar a atividade de medicação, quando se percebe e distingue na prática a performance dos diferentes modelos e marcas de equipo de infusão utilizadas pela enfermagem. A possibilidade de aplicar a metodologia deste estudo no desenvolvimento de instrumentos para avaliar outros materiais médico-hospitalares contribuirá para a qualificação e a segurança na utilização.

Importante enfatizar que a avaliação da validade deve ser processo contínuo e interminável na aplicação de qualquer instrumento de medida, de forma a verificar precocemente as necessidades de adaptação ou reformulação, de acordo com diferentes realidades que dele se utilizam. Considerando as reduzidas contribuições científicas na área em estudo, conclui-se que a divulgação deste estudo colabora com o tema "segurança na saúde e o gerenciamento de risco na área de tecnovigilância".

Referências

• ¹
  Conselho Nacional de Secretários de Saúde - CONASS. Ciência e Tecnologia em Saúde, Brasília: CONASS; 2007. v. 4.
• 2. Florence G, Calil SJ. Uma nova perspectiva no controle dos riscos da utilizaçăo de tecnologia médico-hospitalar. Rev MultiCięncia. 2005; (5) [Acesso em: 14 set. 2008] Disponível em: URL: http://www.multiciencia.unicamp.br/intro_05.htm
• 3. Peterlini MAS, Pereira SR. Os Erros Humanos: Abrangęncia e Tipos. In: Harada MJCS, et al, organizadoras. O Erro Humano e a Segurança do Paciente. Săo Paulo (SP): Atheneu; 2006. p. 19-26.
• ⁴
  Ministério da Saúde (BR). Agência Nacional de Vigilância Sanitária, Rede Sentinela [Acesso em: 15 jul. 2008] Disponível em: URL:http://www.anvisa.gov.br
• 5. Adami NP. Componentes da Qualidade e a Prevençăo do Erro Humano. In: Harada MJCS, Pedreira MLG, Peterlini MAS, Pereira SR, organizadoras. O Erro Humano e a Segurança do Paciente. Săo Paulo (SP): Atheneu; 2006. p. 4360.
• 6. Macdaniels T. Concepts and Analytical for Risk Analysis and Management. Horizons Pol Res Clin [serial on line] 2002 5(3):20-2. [Acesso: 26 jul.2004] Disponível em: URL:http://www.policyresearch.gc.ca/v5n3_e.pdf
• 7. Pande PS, Neuman RP, Cavanagh RR. Estratégia Six Sigma: como a GE, a Motorola e outras grandes empresas estăo aguçando seu desempenho. Rio de Janeiro: Qualitymark; 2007.
• 8. Santos AB, Martins MF. Modelo de referęncia para estruturar o Seis Sigma nas organizaçőes. Rev Gestăo e Produçăo 2008 janeiro-abril; 15(1):43-56.
• 9. Wright JTC, Giovinazzo RA. DELPHI Uma ferramenta de apoio ao planejamento prospectivo. Cad Pesqui Admin 2000 abril-junho; 1(12):54-65.
• 10. Couto GR. Nurses conceptualization on childbirth preparation. Rev. Latino-Am. Enfermagem. 2006 março-abril; 14(2):190-8.
• 11. Fernandes MVL. Indicadores de avaliaçăo de práticas de controle e prevençăo de infecçăo do trato urinário associado a cateter. Construçăo e validaçăo. [dissertaçăo]. Săo Paulo (SP): Escola de Enfermagem da Universidade de Săo Paulo/USP; 2005.
• 12. Vituri DW. Desenvolvimento e Validaçăo de um instrumento para avaliaçăo da qualidade do cuidado de enfermagem. [dissertaçăo]. Maringá (PR): Universidade Estadual de Maringá/UEM; 2007.
• 13. Silva D, Grou CR, Miasso AI, Cassiani SHB. Medication preparation and administration: analysis of inquiries and information by the nursing team. Rev. Latino-Am. Enfermagem. 2007 set.-out.; 15(5):1010-7.
• 14. Schatkoski A, Wegner W, Algeri S, Pedro ENR. Safety and protection for hospitalized children: literature review. Rev. Latino-Am. Enfermagem. 2009 june; 17(3):410-6.
• 15. Costa LA, Valli C, Alvarenga AP. Medication dispensing errors at a public pediatric hospital. Rev. Latino-Am. Enfermagem. 2008 oct.; 16 (5):812-7.
• 16. Galdeano LE, Rossi LA. Validaçăo de conteúdo diagnóstico: critérios para seleçăo de expertos. Cięnc Cuidado Saúde. 2006 jan.-fev.; 5(1):60-6.
• 17. Vargas D, Luis MAV. Construçăo e validaçăo de uma escala de atitudes frente ao álcool, ao Alcoolismo e ao alcoolista. Rev. Latino-Am. Enfermagem. 2008 set.-out; 16(5):895-902.

Datas de Publicação

• Publicação nesta coleção
  01 Dez 2010
• Data do Fascículo
  Out 2010

Histórico

• Aceito
  16 Jul 2010
• Recebido
  01 Jul 2009