Adaptação cultural do instrumento Pieper-Zulkowski Pressure Ulcer Knowledge Test para o Brasil

RESUMO

Objetivo:

Realizar adaptação cultural do instrumento Pressure Ulcer Knowledge Test (PZ-PUKT), para uso no Brasil e analisar a consistência interna da versão adaptada.

Método:

Estudo metodológico. O PZ-PUKT é um teste de conhecimento com 72 itens, distribuídos em: prevenção, estadiamento e descrição da ferida. O projeto foi desenvolvido em duas fases: (1) tradução do instrumento do inglês para o português do Brasil, retrotradução e avaliação de equivalência das versões por um comitê de especialistas; (2) pré-teste com enfermeiros.

Resultados:

O instrumento demonstrou validade de face e conteúdo na opinião de especialistas. O valor do coeficiente alfa de Cronbach, para o escore total, foi acima de 0,70. A versão adaptada apresentou consistência interna satisfatória para a amostra estudada.

Conclusão:

O instrumento validado para o português tem possibilidade de ser utilizado em estudos de intervenções como instrumento para mensurar a variável dependente: Conhecimento do enfermeiro sobre lesão/úlcera por pressão.

Descritores:
Estudos de Validação; Enfermagem Baseada em Evidências; Úlcera por Pressão; Conhecimentos, Atitudes e Prática em Saúde; Ferimentos e Lesões

ABSTRACT

Objective:

To carry out the cultural adaptation of the Pieper-Zulkowski Pressure Ulcer Knowledge Test (PZ-PUKT) for use in Brazil and analyze the internal consistency of the adapted version.

Method:

This was a methodological study. The PZ-PUKT is a knowledge test consisting of 72 items, divided into: prevention, staging, and wound description. The present study was developed in two phases: (1) translation of the questionnaire from English to Brazilian Portuguese, back-translation, and assessment of equivalence between the original and back-translated version by an expert panel; (2) pre-testing with nurses.

Results:

The questionnaire showed face and content validity according to the opinions of the experts. Cronbach's alpha for the total test score was higher than 0.70. The adapted version presented satisfactory internal consistency for the studied sample.

Conclusion:

The adapted version of the instrument for Portuguese can be used in intervention studies as a tool to measure “nursing knowledge about pressure injury/ulcers” as a dependent variable.

Descriptors:
Validation Studies; Evidence-Based Nursing; Ulcer Wounds; Knowledge, Health Attitudes and Practices; Wounds and Injuries

RESUMEN

Objetivo:

Realizar adaptación cultural del instrumento Pressure Ulcer Knowledge Test (PZ-PUKT) para uso en Brasil y analizar la consistencia interna de la versión adaptada.

Método:

Estudio metodológico. El PZ-PUKT es un test de conocimiento con 72 ítems divididos en: prevención, estadificación y descripción de la herida. El proyecto se desarrolló en dos fases: (1) traducción del instrumento del Inglés al Portugués brasileño, retrotraducción y evaluación de equivalencia de versiones por un Comité de especialistas; (2) prueba piloto con enfermeros.

Resultados:

El instrumento demostró validez de apariencia y contenido, según los especialistas. El valor del coeficiente Alfa de Cronbach para el puntaje total fue superior a 0,70. La versión adaptada demostró satisfactoria consistencia interna para la muestra estudiada.

Conclusión:

El instrumento validado para el Portugués podrá ser utilizado en estudios de intervenciones, como instrumento para mensurar la variable dependiente “Conocimientos del enfermero sobre lesión/úlcera por presión”.

Descriptores:
Estudios de Validación; Enfermería Basada en la Evidencia; Úlcera por Presión; Conocimiento; Conocimientos, Actitudes y Práctica en Salud; Heridas y Lesiones

INTRODUÇÃO

Em um contexto de mudança do perfil demográfico e epidemiológico, acompanhado pelo aumento da longevidade, do número de pessoas com condições crônico-degenerativas e da mortalidade por causas externas, há uma predisposição populacional para eventuais complicações, tais como a ocorrência de lesão por pressão (LP)^(1-3).

A LP é um dano localizado na pele e/ou tecidos moles subjacentes, geralmente sobre uma proeminência óssea ou relacionada ao uso de dispositivo médico ou a outro artefato⁽³⁾.

Considerada um evento adverso e um indicador negativo de qualidade da assistência em saúde, a LP representa elevados custos financeiros e emocionais para os pacientes, familiares e serviços de saúde. A sua ocorrência está diretamente relacionada com o cuidado e a segurança do paciente^(3-7).

Em âmbito internacional, há várias diretrizes publicadas para a prática clínica que orientam a prevenção e tratamento da LP, as abordagens interdisciplinares e os programas educacionais, visando à implementação da Prática Baseada em Evidências para a LP^(1-3).

As diretrizes internacionais enfatizam que a prevenção e tratamento de feridas crônicas é um processo dinâmico e sistematizado que inclui a avaliação clínica do paciente e da ferida, o controle ou eliminação de fatores etiológicos e comorbidades, e o preparo do leito da ferida, o que demanda ao enfermeiro constante atualização de conhecimentos científicos e tecnológicos que assegure a prática da assistência qualificada⁽⁸⁾.

Na literatura nacional e internacional, diversos estudos foram desenvolvidos para avaliar o conhecimento de profissionais e estudantes de enfermagem relacionado à prevenção e ao tratamento da lesão/úlcera por pressão. Entretanto, esses estudos ainda mostram limitações na utilização das diretrizes preconizadas para a prevenção e tratamento da LP pelos membros da equipe de saúde. Por conseguinte, é imprescindível a utilização de estratégias que favoreçam a sua divulgação e implementação na prática⁽⁹⁾.

Pieper e Mott⁽¹⁰⁾ desenvolveram, nos Estados Unidos, um teste de conhecimento sobre LP, o Pressure Ulcer Knowledge Test (PUKT). Na versão original do instrumento PUKT, a primeira parte continha 20 itens relacionados a dados sociodemográficos, educacionais e estratégias de busca de informações. A segunda parte, referente ao teste, continha 47 itens alocados em três subescalas: 33 itens de fator de risco/prevenção; 7 itens de classificação e 7 itens de descrição da ferida. Dentre as opções de respostas, as alternativas eram: verdadeiro, falso e não sei. A validade e confiabilidade foram relatadas no estudo de Pieper e Mattern⁽¹¹⁾, com valor de alfa de Cronbach de 0,85.

As autoras⁽¹⁰⁾, em uma pesquisa desenvolvida nos Estados Unidos, avaliaram o conhecimento de 228 enfermeiros sobre prevenção, classificação e descrição da LP por meio de um teste autoaplicado (PUKT). Tal teste se baseou nas recomendações das diretrizes da Agency for Health Care Policy and Research (AHCPR). Os resultados do estudo mostraram um déficit de conhecimento, visto que apenas 10% dos enfermeiros haviam lido as diretrizes da AHCPR. Aqueles profissionais que já haviam assistido a alguma palestra e/ou feito leitura de algum artigo sobre a temática demonstraram um conhecimento significativamente maior em relação aos demais.

Outro estudo realizado por Pieper e Mattern⁽¹¹⁾ com 75 enfermeiros que atuavam em unidades de cuidados intensivos, por meio do uso do mesmo teste, revelou um déficit de conhecimento, segundo o qual apenas 12% dos profissionais tinham conhecimento das diretrizes. Nesse estudo, os resultados dos testes não foram afetados por anos de experiência de enfermagem, tipo de ensino de enfermagem ou leitura de artigo sobre LP, visto que apenas tiveram conhecimento significativo aqueles que assitiram a alguma palestra sobre o assunto.

No Canadá, Sinclair e colaboradores⁽¹²⁾ implementaram e avaliaram uma série de workshops educacionais disponibilizados de maneira padronizada para técnicos de enfermagem e enfermeiros, comparando o conhecimento sobre LP antes do evento e em dois momentos após, utilizando o teste desenvolvido por Pieper e Mott⁽¹⁰⁾. Os resultados mostraram que os enfermeiros obtiveram escores de conhecimentos mais elevados nos dois momentos de pós-teste, embora com declínio do primeiro para o segundo momento.

No Brasil, Caliri, Miyazaki e Pieper⁽¹³⁾ avaliaram o conhecimento de graduandos de enfermagem sobre a prevenção, classificação e descrição da LP em referência às diretrizes da AHCPR, o que mostrou um déficit de conhecimento, com escores significativamente maiores entre aqueles que participaram de estágios extracurriculares e/ou realizaram buscas na Internet sobre a temática.

Rangel⁽¹⁴⁾ investigou o conhecimento de enfermeiros de um serviço de saúde privado sobre a prevenção de LP e identificou que os escores de conhecimentos foram relativamente maiores nos profissionais que participaram de educação continuada sobre o assunto oferecida na institução, além do que 50% dos enfermeiros mencionaram práticas de prevenção consideradas inadequadas, assim como uma varidade de condutas terapêuticas, visto que a maioria dos curativos eram realizados pelos auxiliares de enfermagem.

O teste desenvolvido por Pieper e Mott⁽¹⁰⁾ foi adaptado para o português por Fernandes, Caliri e Haas⁽¹⁵⁾, resultando em 41 itens, sendo seis de classificação e estadiamento, dois de descrição da ferida e 33 de prevenção. Miyazaki, Caliri e Santos⁽¹⁶⁾ utilizaram o teste para avaliar o conhecimento sobre prevenção de LP de uma amostra de 386 profissionais da equipe de enfermagem de um hospital universitário, 35,2% eram enfermeiros e 64,8% eram auxiliares/técnicos de enfermagem e atuavam diretamente na assistência a pacientes adultos e idosos. A porcentagem média de acertos no teste de conhecimento entre os enfermeiros foi de 79,4% e entre os auxiliares/técnicos de enfermagem de 73,6%. No entanto, alguns itens referentes a avaliação/classificação e prevenção da LP apresentaram, respectivamente, porcentagens de acerto menores que 60% e 50%. Entre os auxiliares e técnicos de enfermagem, a porcentagem de acertos apresentou correlações negativas em relação ao tempo de formação profissional e ao tempo de serviço.

Também pesquisas sobre conhecimentos de estudantes e docentes do curso de enfermagem demonstraram que os saberes adquiridos não eram suficientes para preparar os futuros enfermeiros para a assistência à pessoa com ferida crônica, em especial, no que se refere à avaliação de feridas e prescrição de intervenções de enfermagem^(17-20).

O enfermeiro e a equipe de enfermagem devem atuar na promoção, manutenção da integridade da pele e na sua restauração. Devem assistir o indivíduo de forma integral, com enfoque na Sistematização da Assistência de Enfermagem. Cabe privativamente ao enfermeiro, conforme artigo 8º, da Lei do exercício profissional, a prescrição da assistência de enfermagem, o que inclui o planejamento e a prescrição dos cuidados ao indivíduo com LP^(21-22).

As medidas para a prevenção e manejo de feridas crônicas devem fazer parte do rol das competências básicas do enfermeiro que, amparadas pelo conhecimento científico e pela avaliação das condições clínicas do paciente, têm potencial para promover, junto à equipe de saúde e de enfermagem, o melhor cuidado possível⁽²²⁾.

Nas últimas décadas, a produção de conhecimento e tecnologia para a assistência às pessoas com feridas crônicas avançou positivamente, trazendo a necessidade de atualização constante com embasamento científico⁽²³⁾.

Pieper e Zulkowski⁽²⁴⁾ desenvolveram uma versão atualizada do PUKT⁽¹⁰⁾, o Pieper-Zulkowski Pressure Ulcer Knowledge Test (PZ-PUKT). Acrescentaram novos itens provenientes de novas recomendações para prevenção e tratamento da lesão/úlcera por pressão⁽²⁵⁾.

Diante do exposto e considerando-se a necessidade de disponibilizar um instrumento atualizado para avaliar o conhecimento de enfermeiros e estudantes de enfermagem sobre lesão/ úlcera por pressão, mostra-se relevante a adaptação cultural e validação do instrumento PZ-PUKT para o português do Brasil. Acredita-se que o instrumento poderá ser utilizado em estudos de intervenções, para mensurar a variável dependente: conhecimento do enfermeiro sobre lesão/úlcera por pressão.

OBJETIVO

Realizar a tradução e adaptação cultural do Pieper-Zulkowski Pressure Ulcer Knowledge Test (PZ-PUKT) para o português do Brasil e analisar a consistência interna da versão adaptada do instrumento.

MÉTODO

Aspectos éticos

O estudo foi aprovado pelo Comitê de Ética e Pesquisa da Escola de Enfermagem de Ribeirão Preto da Universidade de São Paulo. Todos os participantes do estudo foram esclarecidos com informações verbais e escritas, e aqueles que concordaram em participar assinaram o Termo de Consentimento Livre e Esclarecido (TCLE). A autorização para o processo de adaptação cultural e condução de estudos psicométricos do PZ-PUKT foi obtida das autoras Barbara Pieper, do College of Nursing, Wayne State University de Detroit, Michigan, e Karen Zulkowski, do Collegeof Nursing, Montana State University, Bozeman, MT, Estados Unidos.

Referencial teórico-metodológico

Beaton⁽²⁶⁾ afirma que muitos instrumentos são desenvolvidos em países de língua inglesa e, para que sejam utilizados em países de outras línguas e outras culturas, devem passar pelo processo de adaptação cultural. Os itens, além da tradução, precisam ser adaptados culturalmente para manterem a validade de conteúdo, assim como o instrumento original⁽²⁶⁾.

Conforme o referencial teórico-metodológico utilizado, o processo de adaptação cultural deve seguir etapas que serão descritas a seguir⁽²⁶⁾.

Tipo de estudo

Trata-se de estudo metodológico para a tradução e adaptação cultural do Pieper-Zulkowski Pressure Ulcer Knowledge Test (PZ-PUKT).

Procedimentos metodológicos

O instrumento PZ-PUKT contém 2 partes. A Parte 1 tem 11 questões referentes aos dados sociodemográficos, e a Parte 2, 72 itens referentes ao conhecimento distribuídos pelas autoras em três subescalas: prevenção (20 itens), estadiamento (25 itens) e descrição da ferida (27). O PZ-PUKT é pontuado com base nas respostas aos itens do questionário. As opções de respostas são: verdadeiro, falso e não sei, sendo que 42 itens são verdadeiros e 30 itens, falsos.

Os testes para avaliar a validade de constructo, consistência interna e estabilidade (teste-reteste) foram realizados com duas amostras de enfermeiros, 108 na primeira etapa e 95 na segunda etapa. As autoras obtiveram o alfa de Cronbach de 0,80 para os 72 itens e concluíram que, considerando o escore total do teste, o PZ-PUKT é válido e confiável. Apresentaram como limitação do estudo o tamanho da amostra, que não foi suficiente para validar os subescores e, desse modo, recomendam novos estudos com amostras maiores⁽²⁴⁾.

Procedimentos para tradução e adaptação cultural

O estudo foi desenvolvido em duas fases. A Fase 1 constou do processo de adaptação cultural e a Fase 2 buscou analisar a consistência interna dos ítens^(26-27).

• Fase 1- A adaptação cultural de um instrumento envolve etapas que possibilitam adequá-lo aos componentes semânticos, idiomáticos, experimentais e conceituais, obtendo-se maior equivalência com sua versão original. O processo de adaptação seguiu as etapas discriminadas a seguir.

  • - Tradução do instrumento para a língua portuguesa: a versão PZ-PUKT em inglês foi traduzida para a língua portuguesa por dois tradutores de forma independente, ambos com domínio da língua inglesa e portuguesa e cientes dos objetivos do estudo e conceitos envolvidos, resultando em duas versões em português. Para a obtenção do primeiro consenso, foi realizada uma reunião entre as pesquisadoras (autora principal e a líder do grupo de pesquisa) e tradutores. As duas versões traduzidas foram avaliadas com o objetivo de comparar e elencar os itens que mantiveram a equivalência semântica com o instrumento original. Esta etapa resultou na primeira versão consensual em português.

  • - Avaliação pelo Comitê de especialistas: a análise das equivalências conceitual, semântica e idiomática foi realizada por um Comitê composto por cinco enfermeiras, com conhecimentos acerca do tema e da metodologia adotada, domínio das línguas portuguesa e inglesa. Todas as enfermeiras apresentavam, como maior titulação, mestrado ou doutorado e tinham experiência clínica e de pesquisa na temática. Após contato com as participantes, foram enviados, via correio eletrônico, a versão original em inglês, a primeira versão consensual em português e o TCLE. Dentre as orientações para o preenchimento, havia um espaço, no instrumento, para o registro e justificativa, em caso de discordância e/ou sugestão de algum termo da versão traduzida. O prazo para retorno dos documentos preenchidos foi de 15 dias. Na etapa subsequente, foi realizada uma reunião entre as pesquisadoras para análise das sugestões e justificativas. Para aprovação das mudanças, foi estipulado o nível mínimo de 80% de concordância entre os membros do Comitê. Esta etapa resultou na segunda versão consensual em português.

  • - Retrotradução (back translation) da versão em português novamente para o inglês: foi realizada por dois tradutores independentes, um deles nascido em país cuja língua oficial é o inglês e o outro formado nos Estados Unidos; ambos fluentes em língua inglesa e com domínio da língua portuguesa, e com experiência na tradução de documentos para a área da saúde. O objetivo desta etapa foi verificar se a tradução do instrumento refletia o conteúdo em relação à versão original. Esta etapa resultou em duas versões retrotraduzidas em inglês. Após, as pesquisadoras e os tradutores se reuniram para comparar a versão traduzida, retrotraduzida e a original em inglês, e assim avaliar as possíveis diferenças semânticas de modo a alcançar o consenso dos termos equivalentes com a versão original.

A versão retrotraduzida foi submetida à apreciação das autoras do instrumento, professoras Barbara Pieper e Karen Zulkowski, nos Estados Unidos, resultando na versão em inglês corrigida e aprovada.

• - Análise semântica dos itens: a terceira versão consensual em português foi submetida à análise semântica, em uma amostra de cinco enfermeiros que atuavam em um hospital universitário, na assistência a pacientes com lesão/úlcera por pressão, selecionados por conveniência, e que aceitaram participar desta etapa, seguida da assinatura do TCLE. Os participantes avaliaram o instrumento quanto a redação, apresentação e compreensibilidade dos termos de cada item, para melhor entendimento do público alvo, obtendo-se, assim, a quarta versão consensual em português a ser utilizada no pré-teste.

• Fase 2 - Pré-Teste. Esta etapa consistiu em verificar, por meio da aplicação do instrumento em uma amostra da população à qual se destina, a aceitação e compreensão dos itens do instrumento como um todo⁽²⁶⁾.

Cenário do estudo

O estudo foi realizado nas unidades de Clínica Médica, Clínica Cirúrgica, Centro de Terapia Intensiva, Unidade Coronariana, Neurologia e Sala de Urgência da Unidade de Emergência de um hospital universitário localizado no interior do estado de São Paulo.

Fonte de dados

A amostra de conveniência foi composta de 54 enfermeiros, que aceitaram participar e que estavam trabalhando no período da coleta de dados.

Coleta e organização dos dados

A coleta de dados ocorreu nos meses de julho a agosto de 2016, nos períodos diurno e noturno.

Os participantes receberam uma cópia do instrumento PZ-PUKT em português, bem como as instruções para seu preenchimento. O instrumento é autoaplicável, e seu preenchimento foi realizado durante o horário de trabalho. Os dados foram coletados por meio de contatos individuais realizados no próprio hospital, em horário sugerido pela enfermeira coordenadora do Serviço de Enfermagem, de modo a não interferir nas atividades de trabalho. A duração média da aplicação do PZ-PUKT foi de 20 minutos. Após o preenchimento, o participante era questionado quanto a possíveis dificuldades e compreensão dos itens da versão do PZ-PUKT adaptado. O número de participantes nesta etapa está em consonância com o recomendado pela literatura (mínimo de 30 a 40 sujeitos)⁽²⁶⁾.

Análise dos dados

Os dados foram processados e analisados usando-se o programa estatístico Statistical Package for Social Science, versão 21.

Análise descritiva

Foi realizada análise descritiva das variáveis sociodemográficas/educacionais para identificar o perfil dos profissionais. Para cada participante, foram calculados o escore total (porcentagem de acerto nas 72 questões do instrumento) e os subescores de cada domínio do instrumento (porcentagens de acertos nas questões das subescalas: prevenção, estadiamento e feridas). As respostas “não sei” foram consideradas erradas. Todos os participantes responderam todas as questões. A correlação entre o escore total e as variáveis socioeducacionais quantitativas foi medida pelo coeficiente de correlação linear de Pearson.

Análise inferencial

Para comparar o escore total e os subescores em relação às variáveis socioeducacionais dicotômicas, foi utilizado o teste Mann-Whitney e, para comparar o escore total e os subescores obtidos para as variáveis não dicotômicas “Tempo de prática” e “Maior grau de formação”, foi utilizado o teste não paramétrico Kruskal-Wallis.

Análise Psicométrica

O alfa de Cronbach foi calculado para testar a consistência interna do instrumento adaptado. Esses valores variam de zero e um. Quanto mais alto o valor maior a consistência interna da medida, com valores acima de 0,70 considerados aceitáveis para a confiabilidade^(28-29).

RESULTADOS

Após a tradução do PZ-PUKT para o português, o Comitê de especialistas procedeu à análise das equivalências conceitual, semântica e idiomática e, após as sugestões, alguns termos foram alterados, excluídos ou substituídos.

Foram realizadas modificações referentes aos dados sociodemográficos e educacionais. Quanto às alternativas do item 1, “Onde você trabalha?”, foram substituídos os termos “Cuidado de longa permanência” por “Instituição de longa permanência”; “Cuidado domiciliar” por “Assistência domiciliar” e “Prática privada” por “Prática autônoma”. No item 4, “Categoria profissional”, a alternativa “Mestre/Doutor” foi alterada para “Mestre em enfermagem/Doutor em enfermagem”.

No item 7, “Certificação em qualquer especialidade clínica” foi modificado para “Especialização em alguma área clínica” e “Certificado como especialista em ferida” foi desmembrado em “Especialização em Estomaterapia” e em “Enfermagem em dermatologia”. O item 10, “Você já buscou informação sobre úlcera por pressão na Web?” foi alterado para “Você já buscou informação sobre lesão/úlcera por pressão na Internet?”.

Dos 72 itens do teste, 12 sofreram modificações quanto às terminologias. Ocorreram alterações na ordem da redação, acréscimo de novos termos/palavras, como “Lesão/úlcera por pressão”, em concordância com as diretrizes internacionais da National Pressure Ulcer Advisory Panel (NPUAP)⁽³⁾, e adequação de linguagem ante a adaptação cultural.

A versão consensual em português foi retrotraduzida e enviada às autoras da versão original, que substituíram/reformularam 07 itens conforme o Quadro 1. Como essas alterações não estavam previstas na metodologia, as pesquisadoras se reuniram para realizar as correções nas versões em português e em inglês e as reapresentaram ao Comitê de especialistas, que concordou com as alterações.

Quadro 1
Comparação da versão original em inglês corrigida pelas autoras e versão consensual em português com os itens que sofreram modificações, Ribeirão Preto, São Paulo, Brasil, 2016

Item	PZ-PUKT Versão em inglês corrigida	Versão final em português com os itens modificados
46	Patients who are spinal cord injured need knowledge about pressure injury/ulcer prevention and self-care.	Pacientes com lesão de medula espinhal precisam ter conhecimento sobre a prevenção da lesão/úlcera por pressão e o autocuidado.
48	A mucosal membrane pressure injury/ulcer is found on mucous membrane as the result of medical equipment used at that time on that location; this pressure injury is not staged.	Uma lesão/úlcera por pressão pode ser encontrada em uma membrana mucosa, como resultado do uso de equipamento médico no local, e essa lesão não pode ser estadiada.
56	To help prevent pressure injury/ulcers, the head of the bed should be elevated at a 45-degree angle or higher.	Para auxiliar na prevenção da lesão/úlcera por pressão, a cabeceira da cama deve ser elevada em ângulo de 45 graus ou mais.
58	Pressure injury/ulcers may be avoided in patients who are obese with use of properly sized equipment.	As lesões/úlceras por pressão podem ser evitadas em pacientes que são obesos com o uso de equipamento de tamanho apropriado.
67	Alginate dressings can be used for heavily draining pressure injury/ulcers or those with clinical evidence of infection.	Cobertura de alginato pode ser utilizada para lesão/úlcera por pressão com muito exsudato ou com evidência clínica de infecção.
68	Deep tissue injury will not progress to another injury/ulcer stage.	Lesão tissular profunda não progride para lesão/úlcera de outra categoria/estágio.
72	Bacteria can develop permanent immunity to silver dressings.	As bactérias podem desenvolver imunidade permanente para coberturas com prata.

As autoras também recomendaram a realocação dos itens nas subescalas, em concordância com o Guia Internacional de Prevenção e Tratamento de Lesão/Úlcera por Pressão da NPUAP/ European Pressure Ulcer Advisory Panel (EPUAP)/ Pan Pacific Pressure Ulcer Aliance (PPPIA)⁽²⁾. A versão em português do PZ-PUKT foi adaptada com base numa revisão das questões e análise conceitual por um painel de pesquisadores. Isto levou ao ajustamento dos itens contidos nas subescalas. O número de itens aumentou de 20 para 29 na subescala prevenção; diminuiu de 25 para 20 na subescala estadiamento e diminuiu de 27 para 23 na subescala descrição da ferida.

Na análise semântica, o grupo de enfermeiros não apontou dificuldade de compreensão dos itens e também não fez nenhuma sugestão.

Dentre os 54 participantes do pré-teste, 46 (85,2%) eram do sexo feminino, com idade média de 36,4 anos desvio padrão (DP=8,6), variação de 24 a 65 anos; 31 (57,4%) tinham 10 anos ou menos de prática. Como maior grau de formação, 34 (63,0%) tinham bacharelado, 7 (13,0%), stricto sensu, e 13 (24,0%), lato sensu, dos quais, apenas 2 (3,7%) tinham especialização em Estomaterapia, nenhum dos participantes possuía especialização em Dermatologia e 11 (20,4%) tinham especialização em outra área clínica. Em relação à atualização sobre LP, 50 (92,6%) buscaram alguma informação na Internet, porém apenas 12 (22,2%) leram o Guia Internacional de Prevenção e Tratamento de Lesão/Úlcera por Pressão da NPUAP/EPUAP e, no último ano, 33 (61,1%) assistiram a palestras e 24 (44,4%) leram um artigo ou livro/capítulo de livro.

Na Tabela 1, estão apresentadas as comparações do escore total e dos subescores segundo as variáveis sociodemográficas e educacionais.

Tabela 1
Percentual médio de acertos dos participantes da pesquisa segundo as variáveis sociodemográficas/educacionais, Ribeirão Preto, São Paulo, Brasil, 2016

	Prevenção (29 questões)	Estadiamento (20 questões)	Ferida (23 questões)	Total (72 questões)
Tempo de prática (em anos)
Menos de 1	67,2%	47,5%	65,2%	61,1%
Entre 1 e 5	72,7%	70,7%	65,0%	69,7%
Entre 5 e 10	72,8%	67,5%	70,7%	70,7%
Entre 10 e 15	70,4%	69,3%	67,7%	69,2%
Entre 15 e 20	68,5%	65,0%	65,2%	66,5%
20 ou mais	73,7%	69,4%	66,3%	70,1%
Maior grau de formação
Bacharelado	71,0%	68,8%	65,5%	68,6%
Mestrado	77,0%	63,3%	69,6%	70,8%
Doutorado	82,8%	100,0%	65,2%	81,9%
Outro	70,6%	66,2%	67,6%	68,4%
Buscou informação sobre lesão por pressão na Internet?
Sim	72,4%	69,0%	67,0%	69,7%
Não	63,8%	57,5%	59,8%	60,8%*
Leu o Guia Internacional da National Pressure Ulcer Advisory Panel/European Pressure Ulcer Advisory Panel?
Sim	77,3%	71,3%	67,8%	72,6%
Não	70,2%	67,3%	66,0%	68,1%
Geral	71,8%	68,1%	66,4%	69,1%

• Nota:
• ^*
  p<0,05.

Houve diferença estatisticamente significativa entre os escores totais e os subescores dos participantes que assistiram a uma palestra sobre lesão/úlcera por pressão há 1 ano ou menos e dos participantes que assistiram a uma palestra há mais de 1 ano. Também houve diferença significativa entre os escores totais dos participantes que buscaram informação sobre lesão/úlcera por pressão na Internet e aqueles que não buscaram.

Os resultados mostraram que todos os participantes da pesquisa apresentaram mais de 50% de acertos, sendo que 44,4% tiveram um número de acertos entre 70% e 80%. Ao comparar os percentuais de acertos em função da categoria profissional, observou-se que todos os profissionais mestres/doutores obtiveram mais de 60% de acertos. A maioria (57,2%) dos participantes com especialização clínica apresentou percentual de acertos maior que 70%.

A participação em palestra foi um fator que contribuiu para o desempenho, uma vez que 71,4% dos indivíduos que assistiram a alguma palestra no último ano apresentaram uma porcentagem de acertos entre 70% e 90%.

A maioria (52%) daqueles que relataram uso da Internet na busca por informações sobre a temática obteve uma porcentagem de acertos entre 70% e 90%. Dos 12 participantes que leram o Guia Internacional de Prevenção e Tratamento de Lesão/Úlcera por Pressão da NPUAP/EPUAP, 9 (75,0%) obtiveram um número de acertos entre 70% e 90%. Dos 42 que não leram, 25 (59,5%) tiveram menos de 70% de acertos.

Os participantes do pré-teste referiram compreensão do instrumento, não sendo necessário alterações.

O alfa de Cronbach total para os 72 itens foi de 0,825, mas para as subescalas foi de 0,379 para prevenção; 0,421 para estadiamento e 0,349 para descrição da ferida. O valor global foi superior a 0,70, o que indica que o instrumento PZ-PUKT, versão em Português, é considerado validado para esta amostra.

DISCUSSÃO

O processo metodológico para a adaptação cultural da versão em português do Pieper-Zulkowski- Pressure Ulcer Knowledge Test (PZ-PUKT), descrito neste estudo, estava em conformidade com a literatura científica^(26-27). A versão em português ficou assim denominada “Pieper-Zulkowski- Teste de Conhecimento sobre Lesão por Pressão (PZ-TCLP)”.

Após a tradução, a avaliação pelo Comitê de especialistas constituiu etapa importante para identificar termos que poderiam não ser compreendidos pelo público alvo, de modo a serem alterados antes da retrotradução. Também a avaliação da versão retrotraduzida foi favorecida pela pronta atenção das autoras da versão original, que fizeram a revisão e alterações de termos e itens, visando a maior clareza e compreensão deles. Esta etapa compreendeu estabelecer, com as autoras, comunicação por correio eletrônico, para esclarecer aspectos relacionados a termos e conceitos que implicaram na mudança de 07 itens. Desse modo, a versão original em inglês passou a ser denominada PZ-PUKT - Versão 2.

Quando, em abril de 2016, o NPUAP⁽³⁾ anunciou a mudança da terminologia Úlcera por Pressão (UP) para Lesão por Pressão (LP), tornou-se necessário rever o termo UP, adotado no PZ-PUKT. Após considerações pertinentes e, como no Brasil o termo “Úlcera por Pressão” é amplamente utilizado, houve consenso entre as autoras de que, nos itens da versão em português, seria adotado o novo termo (LP), porém associado ao original (UP), ficando desse modo “Lesão/úlcera por pressão”.

Após a obtenção da versão final em português, a autora principal buscou identificar, nas diretrizes do NPUAP, os 72 itens, a fim de consultar as suas alocações em cada subescore, prevenção, estadiamento e descrição da ferida. Os itens novos do PZ-PUKT e os itens provenientes do teste original PUKT foram realocados, quando necessário, a partir do consenso entre os especialistas e em concordância com a literatura consultada^(2,15-16).

O instrumento demonstrou validade de conteúdo na opinião de especialistas, tornando a adaptação adequada para o contexto brasileiro. Quanto à confiabilidade, apresentou um valor adequado de alfa de Cronbach para a consistência interna de seus itens na amostra estudada, valores que se assemelham a outros estudos desenvolvidos no Brasil^(30-33).

A realização do pré-teste constitui etapa indispensável no processo de tradução e adaptação transcultural de instrumentos^(26-27). Considerando as características sociodemográficas e educacionais dos participantes, identificou-se predomínio de indivíduos jovens, do sexo feminino, com bacharelado em enfermagem como maior grau de formação, e apenas 2 (3,7%) com especialização em Estomaterapia. No Brasil, estudos apresentam predomínio do sexo feminino nos serviços de enfermagem hospitalares^(30,34-35), e também o número de enfermeiros especialistas para atuar na área de feridas ainda é pequeno, e poucas instituições têm enfermeiros especializados⁽²²⁾.

Comparando com os resultados obtidos nos Estados Unidos⁽²⁴⁾, as autoras da versão original encontraram que a maioria dos participantes também era do sexo feminino com predomínio do bacharelado e 21 (22%) tinham especialização em cuidado com feridas.

O grau de formação influenciou no número de acertos, uma vez que os profissionais mestres/doutores e/ou com especialização clínica apresentaram maior percentual de acertos do que os demais participantes do estudo. Estudos para identificar o conhecimento dos enfermeiros, em hospitais universitários brasileiros e com docentes de enfermagem, acerca de classificação, prevenção e tratamento da LP, verificaram que os profissionais com especialização obtiveram maior número de acertos^{(14,16,19,35)}.

A atualização também refletiu maior percentual de acertos, com diferenças significativas, entre os participantes que assistiram a palestras e buscaram por informações na Internet. Entre os que fizeram a leitura do Guia Internacional de Prevenção e Tratamento de Lesão/Úlcera por Pressão da NPUAP/EPUAP, o número de acertos foi acima de 70%. Esses resultados corroboram os encontrados pelas autoras do instrumento original⁽²⁴⁾. O enfermeiro deve embasar-se em conhecimento científico atualizado para promover o melhor cuidado possível ao paciente com feridas crônicas^(22-23).

Os resultados obtidos neste estudo para o escore total médio (dos 72 itens do teste) e os escores das subescalas foram mais baixos do que os resultados encontrados no estudo original norte-americano⁽²⁴⁾.

Neste estudo e no estudo original, os resultados da avaliação da consistência interna do total de itens foram satisfatórios. No entanto, em ambos, para as subescalas, os valores alfa de Cronbach foram abaixo de 0.70⁽²⁴⁾.

Este estudo apresentou resultados da validação de face e conteúdo da versão adaptada do instrumento PZ-PUKT, bem como avaliação inicial de sua consistência interna. Estudos adicionais em amostra representativa serão realizados, para avaliação de outros aspectos relacionados às propriedades psicométricas do instrumento PZ-TCLP.

Limitações do estudo

O foco principal do estudo foi a tradução e adaptação do instrumento para uso no Brasil, e a análise das propriedades psicométricas foi preliminar.

Contribuições para a enfermagem

Ao final do processo de validação, teremos um instrumento a ser utilizado em estudos de intervenções, para mensurar a variável: Conhecimento do enfermeiro sobre lesão/úlcera por pressão.

CONCLUSÃO

O presente estudo abordou o processo de tradução e adaptação cultural do PZ-PUKT para uso no Brasil. O instrumento PZ-TCLP demonstrou validade de conteúdo na opinião de especialistas, tornando a adaptação adequada para o contexto brasileiro. A análise da consistência interna mostrou resultados satisfatórios ao considerar o resultado total do teste. No entanto, futuros trabalhos contribuirão para consolidar a validade do instrumento PZ-TCLP para sua disponibilização e aplicação de forma confiável.

REFERENCES

• ¹
  Mendes EV. O cuidado das condições crônicas na atenção primária à saúde: o imperativo da consolidação da estratégia da saúde da família. Brasília: Organização Pan-Americana da Saúde; 2012. 512 p.
• ²
  National Pressure Ulcer Advisory Panel-NPUAP. European Pressure Ulcer Advisory Panel-EPUAP. Pan Pacific Pressure Injury Aliance-PPPIA. Prevention and treatment of pressure ulcers: clinical practice guideline. Osborne Park: Cambridge Media; 2014.
• ³
  National Pressure Ulcer Advisory Panel Responds to Editorial. Adv Skin Wound Care[Internet]. 2016 [cited 2017 Jan 03]; 29(12):535 Available from: https://www.ncbi.nlm.nih.gov/pubmed/27846025
  » https://www.ncbi.nlm.nih.gov/pubmed/27846025
• ⁴
  Wounds International Guidelines. Pressure ulcer prevention: prevalence and incidence in context: a consensus document. London: MEP; 2009.
• ⁵
  Moura GMSS, Magalhães AMM. Eventos adversos relacionados à assistência em serviços de saúde: principais tipos. Assistência segura: uma reflexão teórica aplicada à prática. Brasília: Agência Nacional de Vigilância Sanitária; 2013.
• ⁶
  Pieper B, (Ed.). National Pressure Ulcer Advisory Panel-NPUAP. Pressure ulcers: prevalence, incidence, and implications for the future. Washington: NPUAP; 2012.
• ⁷
  Bernardes RM, Caliri MHL. Pressure ulcer prevalence in emergency hospitals: a cross-sectional study. O Braz J Nurs[Internet]. 2016 [cited 2017 Jan 03]; 15(2)236-44. Available from: http://www.objnursing.uff.br/index.php/nursing/article/view/5391
  » http://www.objnursing.uff.br/index.php/nursing/article/view/5391
• ⁸
  Gonçalves MBB, Rabeh SAN, Nogueira PC. Terapia tópica em ferida crônica: recomendações para a prática baseada em evidências. Rev Estima[Internet]. 2014 [cited 2017 Jan 12]; 12(1):42-9. Available from: https://www.revistaestima.com.br/index.php/estima/article/view/337
  » https://www.revistaestima.com.br/index.php/estima/article/view/337
• ⁹
  Rangel EML, Caliri MHL. Uso das diretrizes para tratamento da úlcera por pressão por enfermeiros de um hospital geral. ‎Rev Eletron Enf [Internet]. 2009 [cited 2017 Jan 12]; 11(1)70-7. Available from: https://www.fen.ufg.br/fen_revista/v11/n1/pdf/v11n1a09.pdf
  » https://www.fen.ufg.br/fen_revista/v11/n1/pdf/v11n1a09.pdf
• ¹⁰
  Pieper B, Mott M. Nurses' knowledge of pressure ulcer prevention, staging, and description. Adv Wound Care[Internet]. 1995 [cited 2017 Jan 12]; 8(3):34-8. Available from: https://www.ncbi.nlm.nih.gov/pubmed/7795877
  » https://www.ncbi.nlm.nih.gov/pubmed/7795877
• ¹¹
  Pieper B, Mattern JC. Critical care nurses' knowledge of pressure ulcer prevention, stating and description. Ostomy Wound Manag[Internet]. 1997 [cited 2017 Jan 12]; 43(2):22-1. Available from: https://www.ncbi.nlm.nih.gov/pubmed/9136995
  » https://www.ncbi.nlm.nih.gov/pubmed/9136995
• ¹²
  Sinclair L, Berwiczonek H, Thurston N, Butler S, Bulloch G, Ellery C, et al. Evaluation of an evidence-based education program for pressure ulcer prevention. J Wound Ostomy Cont Nurs[Internet]. 2004 [cited 2017 Jan 12]; 31(1):43-50. Available from: https://www.ncbi.nlm.nih.gov/pubmed/15128094
  » https://www.ncbi.nlm.nih.gov/pubmed/15128094
• ¹³
  Caliri MHL, Miyazaki MY, Pieper B. Knowledge of pressure ulcers by undergraduate nursing students in Brazil. Ostomy Wound Manag[Internet]. 2003 [cited 2017 Jan 12]; 49(3):54-63. Available from: https://www.ncbi.nlm.nih.gov/pubmed/12732751
  » https://www.ncbi.nlm.nih.gov/pubmed/12732751
• ¹⁴
  Rangel EML. Conhecimento, práticas e fontes de informação de enfermeiros de um hospital sobre a prevenção e tratamento da úlcera por pressão. [Dissertação]. Escola de Enfermagem de Ribeirão Preto, Universidade de São Paulo, Ribeirão Preto; 2004.
• ¹⁵
  Fernandes L, Caliri MHL, Haas VJ. The effect of educative interventions on the pressure ulcer prevention knowledge of nursing professionals. Acta Paul Enferm[Internet]. 2008 [cited 2017 Jan 15]; 21(2):305-11. Available from: http://www.scielo.br/pdf/ape/v21n2/a12v21n2.pdf
  » http://www.scielo.br/pdf/ape/v21n2/a12v21n2.pdf
• ¹⁶
  Miyazaki MY, Caliri MHL, Santos CB. Conocimiento de los profesionales de enfermería sobre prevención de la úlcera por presión. Rev Latino-Am Enfermagem[Internet]. 2010 [cited 2017 Jan 15]; 18(6):1203-11. Available from: http://www.scielo.br/pdf/rlae/v18n6/22.pdf
  » http://www.scielo.br/pdf/rlae/v18n6/22.pdf
• ¹⁷
  Poletti NAA. O ensino da prevenção e tratamento de úlceras por pressão em escolas públicas do estado de São Paulo. [Tese] Escola de Enfermagem de Ribeiro Preto, Universidade de São Paulo. Ribeirão Preto; 2005. 152f.
• ¹⁸
  Rabeh SAN, Gonçalves MBB, Caliri MHL, Nogueira PC, Miyazaki MY. Construção e validação de um módulo educativo virtual para terapia tópica em feridas crônicas. Rev Enferm UERJ[Internet]. 2012 [cited 2016 Dec 21];20(Esp.1):603-8. Available from: http://www.e-publicacoes.uerj.br/index.php/enfermagemuerj/article/view/5819/4229
  » http://www.e-publicacoes.uerj.br/index.php/enfermagemuerj/article/view/5819/4229
• ¹⁹
  Gonçalves MBB, Rabeh SAN, Terçariol CAS. The contribution of distance learning to the knowledge of nursing lecturers regarding assessment of chronic wounds. Rev Latino-Am Enfermagem [Internet]. 2015 [cited 2016 Dec 21]; 23(1):122-9. Available from: http://www.scielo.br/pdf/rlae/v23n1/0104-1169-rlae-23-01-00122.pdf
  » http://www.scielo.br/pdf/rlae/v23n1/0104-1169-rlae-23-01-00122.pdf
• ²⁰
  Souza TS, Maciel OB, Méler MJ, Danski MTR, Lacerda MR. [Clinical studies on pressure ulcer]. Rev Bras Enferm[Internet]. 2010 [cited 2017 Jan 18]; 63(3):470-6. Available from: http://www.scielo.br/pdf/reben/v63n3/a20v63n3.pdf Portuguese
  » http://www.scielo.br/pdf/reben/v63n3/a20v63n3.pdf Portuguese
• ²¹
  Conselho Federal de Enfermagem - Cofen. Resolução Cofen 358/2009. Dispõe sobre a Sistematização da Assistência de Enfermagem e a implementação do Processo de Enfermagem em ambientes, públicos ou privados, em que ocorre o cuidado profissional de Enfermagem, e dá outras providências. Available from: http://www.cofen.gov.br/resoluo-cofen-3582009_4384.html
  » http://www.cofen.gov.br/resoluo-cofen-3582009_4384.html
• ²²
  Caliri MHL, Chayamiti EMPC, Rabeh SAN, Miyazaki MY. Novas tecnologias no cuidado de feridas. In: Associação Brasileira de Enfermagem. Teixeira E, Bresciani HR, Martini JG, (Orgs.). Programa de Atualização em Enfermagem-PROENF: Saúde do Adulto: Ciclo 8. Porto Alegre: Artmed Panamericana; 2013. p. 149-82. (Sistema de Educação em Saúde Continuada a Distância; v.3).
• ²³
  Santos CT, Almeida MA, Lucena AF. The Nursing Diagnosis of risk for pressure ulcer: content validation. Rev Latino-Am Enfermagem [Internet]. 2016 [cited 2017 Jan 12];24:e2693. Available from: http://www.scielo.br/pdf/rlae/v24/0104-1169-rlae-24-02693.pdf
  » http://www.scielo.br/pdf/rlae/v24/0104-1169-rlae-24-02693.pdf
• ²⁴
  Pieper B, Zulkowski K. The Pieper-Zulkowski pressure ulcer knowledge test. Adv Skin Wound Care[Internet]. 2014 [cited 2017 Jan 07]; 27(9):413-20. Available from: http://dx.doi.org/10.1097/01.ASW. 0000453210.21330.00
  » http://dx.doi.org/10.1097/01.ASW. 0000453210.21330.00
• ²⁵
  National Pressure Ulcer Advisory Panel-NPUAP. European Pressure Ulcer Advisory Panel-EPUAP. Prevention and treatment of pressure ulcers: clinical practice guideline. Washington: National Pressure Ulcer Advisory Panel; 2009.
• ²⁶
  Beaton DE, Bombardier C, Guillemin F, Ferraz MB. Guidelines for process of cross-cultural adaptation of self-report measures. Spine[Internet]. 2000 [cited 2016 Dec 02]; 25(24): 3186-91. Available from: https://www.researchgate.net/publication/12203631_Guidelines_for_the_Process_of_Cross-Cultural_Adaption_of_Self-Report_Measures. http://dx.doi.org/10.1097/00007632-200012150-00014
  » https://www.researchgate.net/publication/12203631_Guidelines_for_the_Process_of_Cross-Cultural_Adaption_of_Self-Report_Measures. http://dx.doi.org/10.1097/00007632-200012150-00014
• ²⁷
  Ferrer M, Alonso J, Prieto L, Plaza V, Monsó E, Marrades R, et al. Validity and reliability of the St George´s Respiratory Questionnaire after adaptation to a different language and culture: the Spanish example. Eur Respir J[Internet]. 1996 [cited 2016 Dec 02]; 9:1160-6. Available from: http://dx.doi.org/10.1183/09031936.96.09061160
  » http://dx.doi.org/10.1183/09031936.96.09061160
• ²⁸
  Portney LG, Watkins MP. Foundations of clinical research - applications to practice.3th. ed. New Jersey: Prentice Hall; 2009. 892 p.
• ²⁹
  Tavakol M, Dennick R. Making sense of Cronbach's alpha. Int J Med Educ[Internet]. 2011 [cited 2016 Dec 02];(2):53-5. Available from: https://www.ijme.net/archive/2/cronbachs-alpha.pdf
  » https://www.ijme.net/archive/2/cronbachs-alpha.pdf
• ³⁰
  Siqueira LDC, Caliri MHL, Kalisch B, Dantas RAS. Cultural adaptation and internal consistency analysis of the MISSCARE Survey for use in Brazil. Rev Latino-Am Enfermagem [Internet]. 2013 [cited 2016 Nov 30]; 21(2):610-17. Available from: http://www.scielo.br/pdf/rlae/v21n2/0104-1169-rlae-21-02-0610.pdf
  » http://www.scielo.br/pdf/rlae/v21n2/0104-1169-rlae-21-02-0610.pdf
• ³¹
  Domingues EAR, Alexandre NMC, Silva JV. Cultural adaptation and validation of the Freiburg Life Quality Assessment - Wound Module to Brazilian Portuguese. Rev Latino-Am Enfermagem [Internet]. 2016 [cited 2016 Nov 24];24:e2684. Available from: http://www.scielo.br/pdf/rlae/v21n2/0104-1169-rlae-21-02-0610.pdf
  » http://www.scielo.br/pdf/rlae/v21n2/0104-1169-rlae-21-02-0610.pdf
• ³²
  Figueiredo AEPL, Rocha K, Araya SB, Catoni MI, Schilling MCL, Urbanetto JS. Translation and adaptation to Portuguese of the haemodialysis patient assessment tool - CUDYR-DIAL. Rev Gaúcha Enferm [Internet]. 2016 [cited 2017 Jan 07];37(1):e56244. Available from: http://www.scielo.br/pdf/rgenf/v37n1/en_0102-6933-rgenf-1983-144720160156244.pdf
  » http://www.scielo.br/pdf/rgenf/v37n1/en_0102-6933-rgenf-1983-144720160156244.pdf
• ³³
  Freitas NO, Caltran MP, Dantas RAS, Rossi LA. Translation and cultural adaptation of the Perceived Stigmatization Questionnaire for burn victims in Brazil. Rev Esc Enferm USP[Internet]. 2014 [cited 2016 Dec 05]; 48(1):25-33. Available from: http://www.scielo.br/pdf/reeusp/v48n1/0080-6234-reeusp-48-01-25.pdf
  » http://www.scielo.br/pdf/reeusp/v48n1/0080-6234-reeusp-48-01-25.pdf
• ³⁴
  Marques LG, Vieira MLC, Pereira SEM. A construção do conhecimento dos enfermeiros perante a nova classificação da úlcera por pressão. Rev Estima[Internet]. 2013 [cited 2017 Jan 18];11(1). Available from: https://www.revistaestima.com.br/index.php/estima/article/view/80
  » https://www.revistaestima.com.br/index.php/estima/article/view/80
• ³⁵
  Santos MV, Cerqueira PV, Moura ECC, Silva GRF, Falcão LM. Satisfação de enfermeiros com curso de formação para operacionalização de protocolo sobre úlcera por pressão. Rev Rene[Internet]. 2015 [cited 2017 Jan 13]; 16(4):496-503. Available from: http://www.redalyc.org/articulo.oa?id=324041519006
  » http://www.redalyc.org/articulo.oa?id=324041519006

Datas de Publicação

• Publicação nesta coleção
  Jul-Aug 2018

Histórico

• Recebido
  07 Fev 2017
• Aceito
  22 Set 2017