Construção e validação de Curso de Suporte Básico de Vida a distância

RESUMO

Objetivo:

descrever o processo de construção e validação de conteúdo do curso de Suporte Básico de Vida na modalidade Educação a Distância.

Método:

estudo metodológico, desenvolvido mediante revisão da literatura, delineado à luz da Taxonomia de Bloom e Teoria da Aprendizagem Significativa de Ausubel. Para validação, foi realizada a análise com juízes, mediante utilização de instrumento estruturado.

Resultados:

a construção do curso a distância se mostrou complexa e desafiadora, uma vez que se procurou desenvolvê-lo com coerência lógico-metodológica, considerando a perspectiva construtivista, representando um avanço no processo de disseminação da cultura do ensino de Urgência e Emergência. Quanto ao processo de validação de conteúdo, verificou-se que das 16 sugestões realizadas pelos juízes, 14 foram acatadas e duas rejeitadas.

Conclusão:

o curso obteve o seu conteúdo validado por especialistas.

Descritores:
Ressuscitação Cardiopulmonar; Estudos de Validação; Educação a Distância; Tecnologia Educacional; Enfermagem em Emergência

ABSTRACT

Objective:

to describe the content construction and validation process of the Distance Education Basic Life Support Course.

Method:

methodological study, developed through literature review, outlined in the light of the Bloom's Taxonomy and Ausubel's Meaningful Learning Theory. For validation, the analysis was performed with judges, using a structured tool.

Results:

the construction of the distance course was complex and challenging, since it was tried to develop it with logical-methodological coherence, considering the constructivist perspective, representing an advance in the process of dissemination of the Urgency and Emergency teaching culture. As for the content validation process, it was verified that of the 16 suggestions made by the judges, 14 were accepted and two rejected.

Conclusion:

the course had its contents validated by experts.

Descriptors:
Cardiopulmonary Resuscitation; Validation Studies; Distance Education; Teaching; Educational Technology; Emergency Nursing

RESUMEN

Objetivo:

describir el proceso de construcción y validación de contenido de un curso de Soporte Básico a la Vida en la modalidad de educación a distancia.

Método:

estudio metodológico, desarrollado mediante revisión de la literatura, delineado a la luz de la Taxonomía de Bloom y la Teoría del Aprendizaje Significativo de Ausubel. Para validación, fue realizado un análisis con jueces mediante la utilización de instrumento estructurado.

Resultados:

la construcción de un curso a distancia se mostró compleja y desafiante una vez que se intentó desarrollarlo con coherencia lógico-metodológica, considerando la perspectiva constructivista, representando un avance en el proceso de diseminación de la cultura de la enseñanza de urgencia y emergencia. En cuanto al proceso de validación de contenido, se verificó que de las 16 sugerencias realizadas por los jueces, 14 fueron acatadas y 2, rechazadas.

Conclusión:

el curso obtuvo su contenido validado por expertos.

Descriptores:
Reanimación Cardiopulmonar; Estudios de Validación; Educación a Distancia; Tecnología Educacional; Enfermería de Urgencia

INTRODUÇÃO

As constantes mudanças com ênfase na segurança do paciente mostram a necessidade de capacitação dos profissionais para a garantia da qualidade da assistência prestada à população. O atendimento à urgência, incluindo-se o Suporte Básico de Vida (SBV), é um aspecto inerente à prática do profissional de saúde e demanda treinamento regular e oportuno, sendo necessários conhecimentos, competências técnicas e relacionais específicas para o atendimento efetivo de uma Parada Cardiorrespiratória (PCR)⁽¹⁾.

Por ser um protocolo de fácil aprendizagem e execução que pode ser realizado não somente por profissional de saúde, mas por qualquer pessoa devidamente treinada, o SBV necessita de divulgação, pois quanto maior o número de pessoas preparadas para assistir as vítimas em PCR, haverá melhora nas estatísticas e redução significativa nas taxas de morbimortalidade⁽¹⁾.

Diante do ritmo da vida moderna e das possibilidades de acesso e divulgação das informações, o Ensino a Distância (EAD) vem ganhando destaque no cenário mundial como método inovador nos programas de Educação Permanente. Os cursos EAD ocorrem por meio da utilização das tecnologias de informação e comunicação, tendo como principais vantagens a interatividade, flexibilidade e possibilidade do aluno administrar o seu local e horários de estudo de acordo com suas necessidades⁽²⁾. Isso assume importância ainda maior quando se trata de profissionais de saúde que possuem dificuldades temporais, tendo em vista o duplo ou triplo vínculo de trabalho que muitas vezes acabam assumindo.

No entanto, a elaboração de cursos de ensino a distância não é tarefa fácil. Este novo domínio pedagógico, que integra múltiplas mídias e meios de ensino, necessita de um conjunto de etapas que englobam processos que devem ser planejados e integrados de forma a viabilizar uma aprendizagem significativa⁽³⁾.

A etapa final da elaboração de um curso EAD consiste na avaliação, onde especialistas, através de critérios pré-definidos, irão validar o conjunto do Ambiente Virtual de Aprendizagem (AVA), testar o seu funcionamento e avaliar seus pontos positivos e negativos de forma que ele consiga atingir os resultados esperados⁽²⁾.

Contudo, voltar-se para a avaliação da qualidade do ensinar e aprender no EAD pode abranger diferentes elementos que estruturam e compõem o projeto de um curso nessa modalidade. Acredita-se que estudos desta natureza propiciam a oportunidade de adquirir conhecimentos necessários para uniformizar a linguagem e o atendimento à vítima em PCR, diminuindo a perda de tempo e oferecendo uma perspectiva maior de sobrevida e menos sequelas.

OBJETIVO

Descrever o processo de construção e validação de conteúdo de um curso de SBV a distância.

MÉTODO

Aspectos éticos

Seguiu-se os preceitos éticos estabelecidos pela Resolução nº 466/2012, do Conselho Nacional de Saúde, de modo que a proposta do estudo foi apreciada e aprovada pelo Comitê de Ética e Pesquisa do Hospital Universitário Onofre Lopes (HUOL). Além disso, salienta-se que a participação dos sujeitos na pesquisa foi condicionada a assinatura do Termo de Consentimento Livre e Esclarecido (TCLE).

Desenho, local do estudo e período

Estudo do tipo metodológico, com abordagem quantitativa de tratamento e análise de dados, para descrever o processo de construção e validação de conteúdo de um Curso de Suporte Básico de Vida (CSBV) a distância, para apoiar o aprendizado de acadêmicos e profissionais de saúde.

O processo de validação de conteúdo do CSBV foi delineado a partir do polo teórico do modelo de Pasquali, em duas etapas⁽⁴⁾, sendo a primeira a construção, e a segunda a validação. A construção foi realizada no período de agosto de 2016, por uma equipe composta por três conteudistas selecionados, intencionalmente, sendo determinado como critério de inclusão de vasta experiência no tema Suporte Básico de Vida, com pesquisas e estudos publicados na área.

A avaliação do conteúdo ocorreu em setembro de 2016, mediante aplicação de instrumento com seis juízes especialistas nas áreas de Enfermagem e Medicina, segundo recomendação de referencial teórico na área de estudos metodológicos⁽⁴⁾. Como critério para a seleção dos especialistas, foi desenvolvida uma adaptação do sistema de pontuação de Fehring para este estudo⁽⁵⁾, com uma pontuação mínima de cinco pontos para seleção dos peritos.

População ou amostra; critérios de inclusão e exclusão

Desse modo, foi considerado critério de inclusão dos juízes: ser mestre em Enfermagem ou Ciências da Saúde (2 pontos); instrutor/professor de Suporte Básico de Vida em Universidade ou em Núcleos de Educação Permanente (2 pontos); pesquisa na área de Métodos de Ensino-Aprendizagem ou Suporte Básico de Vida (1 ponto); artigo publicado na área de Métodos de Ensino-Aprendizagem ou em Suporte Básico de Vida em um periódico de referência (2 pontos); doutorado com tese na área de Metodologias de Ensino-Aprendizagem ou em Suporte Básico de Vida (2 pontos); prática clínica de pelo menos 05 anos de duração em Urgência Hospitalar ou Pré-Hospitalar (3 pontos); certificado de especialização ou residência na área de Urgência/Terapia Intensiva/Pré-Hospitalar (2 pontos). Como critério de exclusão tem-se: especialista que há 5 anos modificou sua linha de pesquisa e não trabalha mais com a temática ou estejam afastados da prática profissional/educação há mais de dois anos.

O instrumento continha variáveis relativas às características pessoal e profissional e, em seguida, o juiz avaliava 13 quesitos relativos ao conteúdo do curso: 1- avaliação geral do conteúdo, 2- organização, 3- apresentação, 4- utilidade/pertinência, 5- consistência, 6- clareza, 7- objetividade, 8- confiabilidade, 9- exequibilidade, 10- atualização, 11- vocabulário, 12- sequência instrucional dos tópicos; e 13- avaliação de aprendizagem⁽⁴⁾.

Protocolo do estudo

Para construção do CSBV, realizou-se levantamento da literatura e dos protocolos internacionais da American Heart Association (AHA) de SBV mais atualizados publicados em 2015 e enquanto teoria pedagógica de aporte às concepções educacionais, o CSBV foi delineado à luz da Taxonomia de Bloom⁽⁶⁾, e aprendizagem significativa de Ausubel⁽⁷⁾, para a elaboração do conteúdo.

A avaliação do instrumento ocorreu a partir da classificação de cada item em "adequado", "adequado com alterações" e "inadequado". Nos dois últimos casos, os motivos ou problemas com os itens deveriam ser explicitados e sugestões deveriam ser feitas a fim de que pudessem ser melhorados. Em seguida, solicitou-se aos juízes que avaliassem cada unidade em uma escala tipo Likert de 1 a 10, sendo 1 a qualidade mais baixa possível e 10, qualidade mais alta possível. No final, o juiz foi solicitado a fazer uma análise geral do conteúdo do curso, indicando seu parecer para utilização dos conteúdos de cada módulo.

Após a fase de coleta de dados, as informações obtidas através do formulário de pesquisa foram organizadas em uma planilha do Excel Microsoft Office for Windows e posteriormente foram inseridas em um banco de dados do software SPSS, versão 20.0, for Windows.

Análise dos resultados e estatística

Para análise dos dados, utilizou-se o Índice Kappa (K) para mensuração do nível de concordância e consistência dos juízes em relação à permanência ou não do conteúdo. Este foi calculado usando um software gratuito e on-line, o Online Kappa Calculator⁽⁸⁾, levando em conta as indicações de "adequado com alterações" para os mesmos. Como critério de aceitação, foi estabelecida a concordância superior a 0,65 entre os juízes, sendo considerada boa^(9-10).

Também foi utilizado o Índice de Validade de Conteúdo (IVC), que mede a concordância dos juízes quanto à representatividade dos itens em relação ao conteúdo em estudo. Como aceitável, consideraram-se índices maiores que 0,80 tanto para avaliação de cada unidade como para avaliação geral do curso^(9-10).

RESULTADOS

Primeira etapa, a construção. Inicialmente, buscou-se a identificação de necessidades de aprendizagem, definição de objetivos instrucionais, público-alvo, recursos disponíveis para o desenvolvimento do curso. Dessa forma, atendendo a uma necessidade emergente dos profissionais do serviço do Hospital Universitário Onofre Lopes (HUOL), no nordeste do Brasil, foi definido o cenário de SBV como prioridade nesse momento para todas as categorias profissionais e os acadêmicos que frequentam o hospital.

Os recursos materiais e financeiros necessários para a construção do curso, sua alocação na plataforma do Ambiente Virtual de Aprendizagem do Sistema Único de Saúde (AVASUS), foram fornecidos pelo Ministério da Saúde, pelo Laboratório de Inovações Tecnológicas e Saúde (LAIS) da Universidade Federal do Rio Grande do Norte (UFRN), pela Secretaria de Educação a Distância (SEDIS) da UFRN, pelo Serviço de Atendimento Móvel de Urgência do RN e pela própria pesquisadora.

Nessa fase, ainda foi realizada a capacitação dos conteudistas conforme estrutura e organização de um curso EAD para plataforma AVASUS, sendo apresentados os recursos didáticos⁽¹¹⁾, que poderiam ser utilizados na modelagem do curso.

Para isso, foram utilizados alguns referenciais teóricos no desenvolvimento do curso, tais como Taxonomia de Bloom⁽⁶⁾ e a Teoria de Aprendizagem Significativa de Ausubel⁽⁷⁾.

A Taxonomia de Bloom foi empregada para elaboração dos objetivos educacionais, a fim de nortear o desenvolvimento do material e auxiliar na avaliação do processo ensino-aprendizagem.

Adotaram-se como objetivos educacionais cognitivos: definir os principais conceitos em SBV; identificar os diferentes métodos de ressuscitação cardiorrespiratória ao longo dos anos; comparar as principais mudanças nas diretrizes em ressuscitação cardiorrespiratória; descrever alguns aspectos da anatomia e funcionamento do coração; definir Parada Cardiorrespiratória (PCR); identificar os sinais clínicos de uma PCR; identificar os principais ritmos de PCR; distinguir os ritmos chocáveis dos ritmos não chocáveis; definir o que é um Desfibrilador Externo Automático (DEA); descrever os cuidados no uso do DEA; identificar os sinais de obstrução parcial e total em adultos, crianças e bebês.

Os objetivos educacionais afetivos foram: discernir quando suspender os esforços da reanimação; executar corretamente o passo a passo no uso do DEA; operar o DEA em situações especiais; coordenar ações entre RCP e DEA. Todos esses objetivos buscam incentivar a resolução de problemas e o pensamento crítico com controle emocional significativo.

Por fim, tem-se como objetivo psicomotor a navegação no AVA, as habilidades técnicas de execução das manobras de reanimação cardiopulmonar e manobras de desengasgo ensinadas por vídeo, além do jogo simulado do final do curso (jogo educativo).

Dessa forma, ao somar todos os objetivos propostos, o CSBV visa: Apresentar as ações de Suporte Básico de Vida recomendadas pelo American Heart Association⁽¹²⁾, no atendimento às vítimas de Parada Cardiorrespiratória, Parada Respiratória (PR) e Obstrução de Vias Aéreas por Corpo Estranho (OVACE); favorecer a interatividade, autonomia, desenvolvimento de competências técnicas e comportamentais, e oferecer suporte para o acesso às tecnologias educacionais no cenário proposto (material didático, estudos de casos, questões auto instrutivas com correção automatizada com feedback aos participantes do curso). Após a conclusão do curso, a depender da instituição de trabalho/ensino de cada participante, o aluno poderá desenvolver ainda mais as habilidades ensinadas nos vídeos desse curso em estações práticas e cenários simulados.

Em relação ao conteúdo das unidades do CSBV, utilizou-se os protocolos internacionais da American Heart Association, recentemente lançados, com base em estudos de fortes evidências científica, além de coletâneas de artigos e capítulos de livros resultados de evidências clínicas de estudos internacionais⁽¹²⁾.

A elaboração do material educacional priorizou a complexidade gradativa dos conhecimentos nos conteúdos modulares, com cuidados minuciosos na organização dos textos para facilitar a aprendizagem do aluno. Além disso, todo o conteúdo foi estruturado com diferentes estratégias didáticas e tecnológicas tais na tentativa de favorecer experiências multissensoriais de aprendizagem. O Quadro 1 resume os temas trabalhados em cada unidade, objetivo geral, itens/conteúdos e recursos didáticos utilizados.

Quadro 1
Temas trabalhados em cada unidade, objetivo geral, itens/conteúdos e recursos didáticos utilizados, Natal, Rio Grande do Norte, Brasil, 2017

Unidade	Objetivo Geral	Itens/conteúdos	Recursos didáticos
I - Principais conceitos e evolução histórica do Suporte Básico de Vida.	Identificar os principais conceitos em SBV* e seus diferentes métodos ao longo dos anos.	- Principais conceitos do SBV*; - O SBV* através dos tempos; - Evolução das diretrizes em SBV* ao longo dos anos; - A cadeia de sobrevivência 2015.	- Infográfico linha do tempo (acrescentado após sugestões dos juízes); - Situação-problema; - "Saiba Mais"; - Atividade de caça palavras; - Biblioteca (pasta); - Hiperlink.
II - Ressuscitação Cardiopulmonar.	Aplicar os conceitos na realização e suspensão dos esforços da RCP‡.	- PCR†; - RCP‡; - Suspensão dos esforços de reanimação.	- "Saiba Mais"; - Situação-problema; - Questões de aprendizagem com casos clínicos; - Vídeos simulados; - Figuras ilustrativas; - Biblioteca (pasta).
III - Ritmos cardíacos de Parada Cardiorrespiratória e Desfibrilador Externo Automático.	Aprender a coordenar ações entre RCP‡ e DEA§.	- PCR†; - RCP‡; - Suspensão dos esforços de reanimação.	- Situação-problema; - "Saiba Mais"; - Vídeos simulados; - Figuras ilustrativas- Infográfico (acrescentado após sugestões dos juízes); - Animações; - Casos clínicos.
IV - Ações para o cuidado no alívio do engasgo.	Identificar os sinais de engasgo e as técnicas de desobstrução de vias aéreas.	- Cuidados no alívio do engasgo em adultos e crianças; - Cuidados no alívio do engasgo em bebês.	- Vídeos simulados; - Figuras ilustrativas; - Questões de aprendizagem com casos clínicos; - Biblioteca (pasta)- "Saiba Mais".
Atividade final do CSBV‡.	Avaliar o conhecimento apreendido no CSBV׀׀ ,	- Questionário conhecimento e satisfação; - Jogo educativo.	- 10 questões com casos clínicos validados; - Questionário de satisfação validado; - Jogo educativo simulado.

• Nota:
• ^*
  SBV: Suporte Básico de Vida;
• ^†
  PCR: Parada Cardiorrespiratória;
• ^‡
  RCP: Ressuscitação Cardiopulmonar;
• ^§
  DEA: Desfibrilador Externo Automático;
• ^׀׀
  CSBV: Curso de Suporte Básico de Vida.

A segunda etapa correspondeu à validação de todo o conteúdo do CSBV. Dos seis juízes que avaliaram o instrumento, 50% são do sexo feminino, com média de idade de 41,3 (±6,47) anos, enfermeiros (66,7%), atuam no Serviço de Atendimento Móvel de Urgência (83,3%) ou em outros serviços pré-hospitalares, possuem mestrado como maior titulação (50%). Quanto ao tempo de experiência profissional, os juízes têm uma média de 14,5 (±6,35) anos de experiência em assistência, 10 (±3,43) anos de Urgência e 10 (±8,07) anos de docência.

Nesse processo, foram levados em consideração 13 requisitos de avaliação de conteúdo adaptados de Pasquali que, posteriormente, foram analisados através do IVC (Tabela 1).

Tabela 1
Julgamento dos juízes sobre o Curso de Suporte Básico de Vida, Natal, Rio Grande do Norte, Brasil, 2017

Requisitos de avaliação	Unidade 1	Unidade 2	Unidade 3	Unidade 4	Parecer final
	IVC*	IVC*	IVC*	IVC*	IVC*
Avaliação geral do conteúdo	0,67	1,00	1,00	0,83	0,83
Organização	1,00	1,00	1,00	1,00	1,00
Apresentação	1,00	1,00	1,00	1,00	1,00
Utilidade/pertinência	0,67	1,00	1,00	1,00	1,00
Consistência	1,00	1,00	1,00	1,00	1,00
Clareza	1,00	1,00	0,83	1,00	1,00
Objetividade	1,00	1,00	0,83	1,00	1,00
Confiabilidade	1,00	1,00	1,00	1,00	1,00
Exequibilidade	1,00	1,00	1,00	1,00	1,00
Atualização	1,00	1,00	1,00	1,00	1,00
Vocabulário	0,50	0,67	0,67	0,67	0,33
Sequencia instrucional	1,00	1,00	1,00	1,00	1,00
Avaliação de aprendizagem	1,00	0,83	1,00	1,00	1,00
Média do IVC *	0,91	0,96	0,95	0,96	0,94

• Nota:
• ^*
  IVC: Índice de Validade de Conteúdo.

No Quadro 2, são apresentados os requisitos de cada unidade, avaliados como "adequado com alterações", e as sugestões para melhoria ou reformulação dos itens. Verificou-se que, das 16 sugestões realizadas pelos juízes para melhoria das unidades, 14 foram acatadas e apenas 2 rejeitadas. A maioria das sugestões esteve relacionada aos requisitos avaliação geral do conteúdo, utilidade, clareza, objetividade e vocabulário. Deve-se salientar que nenhum item foi considerado inadequado pelos juízes.

Quadro 2
Sugestões dos juízes, alterações e recusas pelos pesquisadores acerca dos itens considerados adequados com alterações para avaliação do conteúdo do Curso de Suporte Básico de Vida, Natal, Rio Grande do Norte, Brasil, 2017

Unidade	Sugestões (n)/ Principais requisitos alterados (<90%)	Alterações
I - Principais conceitos e a evolução histórica do Suporte Básico de Vida.	- Resumir a evolução histórica (2)/ Utilidade/Pertinência; - Dinamizar mais o capítulo (1)/ Avaliação geral do conteúdo; - Colocar o capítulo e o versículo da citação bíblica sobre 1º episódio de Reanimação (1)/ Utilidade/Pertinência; - Retirar a evolução das diretrizes em SBV* (1)/ Utilidade/Pertinência; - Correções gramaticais (2)/ Vocabulário; - Inserir refereêcias que estão faltando (1).	- A evolução histórica do SBV* foi retirada do texto e transformada em um link como "linha do tempo"; - Inserido capítulos e versículos bíblicos nas citações; - Retirada da evolução das diretrizes não foi aceita; - Correções de concordância textual; - Revisadas todas as referências e inserido as faltosas.
II - Ressuscitação Cardiopulmonar (RCP).	- Acrescentar no item "atenção", que o aluno deve investigar se o pulso está abaixo de 1 pulso/segundo (1)/ Avaliação de aprendizagem; - Acrescentar na técnica de compressão torácica em bebês a localização das mãos e dos dedos do reanimador (1)/ Avaliação de aprendizagem; - Correções gramaticais (2)/ Vocabulário.	- Não foi aceito; - A localização das mãos e dos dedos do reanimador foi descrita para ser demonstrada com maior atenção nos vídeos simulados dessa unidade; - Correções de concordância textual foram realizadas.
III - Ritmos cardíacos de Parada Cardiorrespiratória e Desfibrilador Externo Automático	- Dinamizar o conteúdo do "DEA† em situações especiais" (1)/ Objetividade; - No item "DEA† em situações especiais rever o tópico "adesivos de medicamentos/hormonais" (2)/ Clareza; - Optar por deixar o passo a passo do uso do DEA† descrito no texto ou deixar como vídeo simulado (1) / Objetividade ; - Correções gramaticais (1)/ Vocabulário;	- Realizado infográfico para dinamizar esse tema; - Acrescentada a informação para retirar o excesso de medicamento após a remoção do adesivo; - Optou-se por deixar apenas como vídeo simulado; - Correções de concordância textual foram realizadas;
IV - Ações para o cuidado no alívio do engasgo	- Retirar a reportagem sobre a descoberta da manobra de Heimlich do texto e introduzir na biblioteca do curso (2)/ Avaliação geral do conteúdo; - Incluir a apresentação do profissional para a vítima nos passos da manobra de Heimlich (1); - Correções gramaticais (2)/ Vocabulário.	- Colocado o conteúdo da reportagem na biblioteca; - Acrescentada a necessidade de se apresentar rapidamente para a vítima nos passos da manobra de Heimlich (no roteiro do vídeo simulado); - Correções de concordância textual foram realizadas.

• Nota:
• ^*
  SBV: Suporte Básico de Vida;
• ^†
  DEA: Desfibrilador Externo Automático.

O Kappa também foi utilizado e analisado por unidade, nas quais, todos os índices foram considerados entre "bom" e "perfeito", tendo a Unidade 1 apresentado valor mais baixo (0,74), seguido da Unidade 3 (0,82), Unidade 2 e 4 com (0,87 cada). O conteúdo do CSBV em sua totalidade apresentou Kappa de 0,87.

No entanto, ao analisar as unidades qualitativamente numa escala de 1 a 10, a Unidade 2 apresentou média mais baixa, com 9,67 (±0,52), a Unidade 4 com 9,70 (±0,52), a Unidade 3 com 9,80 (±0,41) e a Unidade 1 com nota média 10,00. O conteúdo do CSBV apresentou média final de 9,50 pelos juízes.

DISCUSSÃO

No contexto de desenvolvimento e validação de cursos educacionais tecnológicos é válido analisar o aporte teórico para a incorporação dessas estratégias nos ambientes de ensino, o qual deve ser compreendido e consolidado desde a sua concepção.

Nesse sentido, a elaboração desse curso contou com o aporte teórico de Ausubel e Bloom, além das evidencias cientificas mais atualizadas em SBV. Para Ausubel⁽⁶⁾, a aprendizagem é um processo no qual um indivíduo relaciona (âncora) uma nova informação de forma substantiva (não-literal) e não arbitrária com aspectos relevantes da sua estrutura cognitiva^(6,13), formando, a partir dessa interação, uma "espécie de hierarquia conceitual", na qual elementos mais específicos de conhecimento são ligados a conceitos, ideias ou proposições mais gerais e inclusivas⁽¹³⁾.

Dessa forma, para que a aprendizagem significativa ocorra, é fundamental a existência de três condições: 1ª conhecimento prévio - denominado por Ausubel, como subsunçor, que pode ser uma imagem, símbolo, conceito ou proposição - já existente na estrutura cognitiva do aprendiz, que possibilite sua conexão às novas informações; 2ª atitude explícita de aprender do aluno; e 3ª a oferta de um novo conhecimento estruturado de maneira lógica, sequencial e hierárquica⁽¹⁴⁾.

Em relação à primeira condição da Teoria da Aprendizagem Significativa (TAS), pode-se dizer que todo o conteúdo do curso foi estruturado a partir de situações-problema normalmente vivenciadas por qualquer profissional de saúde, aliás, por qualquer pessoa, uma vez que abordam sempre situações reais que acontecem todos os dias na vida do ser humano.

Um exemplo disso é o roteiro da situação-problema (vídeo inicial do curso) que aborda a vida de Senhor Ernani, 42 anos e como a maioria dos brasileiros, tem uma rotina de trabalho muito corrida e que consome muito de seu tempo, não tendo horário disponível para realizar nenhum tipo de atividade física regular. A partir desse caso, o curso se estrutura, sendo este retomado em todos os módulos de forma lógica e sequencial, mostrando a evolução para uma PCR e seu tratamento no SBV. Essa estratégia possibilita a retomada na estrutura cognitiva do aluno de conceitos, tornando factível a conexão às novas informações⁽¹³⁾.

Assim, o CSBV foi pensando a partir das necessidades dos profissionais de saúde identificada pela Gestão do Hospital, fazendo, então, que se oportunizasse o desenvolvimento deste num tema de grande interesse desse público, obedecendo à condição número 2 da TAS⁽⁶⁾.

Importante ratificar que o interesse em querer aprender por parte do aluno é uma das três condições para a ocorrência da TAS^(6,13). Sendo necessário, além de elaborar um curso que esteja de acordo com a necessidade do público alvo, estar atento, durante a organização do material instrucional, aos mecanismos (didáticos e tecnológicos) que possam permitir o despertar desse interesse. Assim, as estratégias didáticas abordadas além de aumentar o interesse do aluno, promovem o desenvolvimento de novos subsunçores e/ou fortalecimento dos já existentes⁽¹⁴⁾.

O conteúdo proposto no CSBV foi apresentado seguindo uma lógica sistemática, sequencial e hierárquica dos principais conceitos, fazendo com que o aluno acessasse o assunto subsequente apenas quando concluísse a unidade anterior, potencializando a estrutura cognitiva do participante e maximizando o seu processo de aprendizagem, como destaca Ausubel na sua 3ª condição da TAS⁽⁶⁾. Ainda, segundo o autor, identificar os conceitos básicos, assim como a sua estruturação, é a primeira e usualmente difícil, tarefa na organização do ensino, com base na TAS.

Deve-se considerar a oportunidade de implantação do CSBV no AVASUS. O AVASUS é um espaço virtual de aprendizagem, com cursos EAD gratuitos, desenvolvido para qualificar alunos e profissionais de saúde para a formação, gestão e assistência no Sistema Único de Saúde (SUS)⁽¹⁵⁾. A plataforma permite a utilização de diferentes mídias que podem ser acessadas a qualquer momento, inclusive na versão mobile. O estudante tem a liberdade para construir o próprio itinerário formativo, selecionando cursos referentes a sua área de formação⁽¹⁶⁾. Assim, a estrutura do AVASUS e todos os recursos tecnológicos disponíveis alimentam as condições 2 e 3 da TAS.

Em relação à etapa de validação, sabe-se que a avaliação é elemento substancial do processo de ensino-aprendizagem de um projeto de EAD. É ela que certifica a sua seriedade e estabelece a credibilidade, desempenha um papel de suma importância como instrumento sistemático de correções de falhas e promoção de acertos, sendo necessária para não se perderem os parâmetros de aprendizagem, os objetivos de ensino e a sustentabilidade do projeto⁽¹⁷⁾.

Quanto aos processos avaliativos, esses estavam presentes em todas as unidades (avaliação formativa) e no final do curso (avaliação somativa), utilizando de situações-problema e casos clínicos como métodos válidos e práticos para se procurar evidências da aprendizagem significativa⁽¹⁸⁾. Na educação a distância, o material didático assume o papel de fio condutor, uma vez que organiza o desenvolvimento e a dinâmica de todo o processo de ensino e aprendizagem⁽¹⁴⁾.

Deste modo, as estratégias de ensino, assim como todos os elementos que compõem o material didático, devem estar finalizadas para o início das atividades discentes, de modo que o aluno tenha à sua disposição tudo o que necessita para que seus estudos possam ser realizados de forma autônoma⁽¹⁴⁾.

No processo de validação, sabe-se da dificuldade para definir os critérios para inclusão dos juízes, frente ao dissenso na literatura sobre critérios específicos. Entretanto, a amostra incluiu especialistas em Urgência e Emergência, qualificados e comprometidos com atividades acadêmicas e de pesquisa e/ou comprovada experiência na docência ou instrutoria do SBV⁽¹⁰⁾.

As sugestões de melhorias foram, em sua grande maioria, acatadas e norteadoras do aperfeiçoamento do conteúdo do CSBV, sobretudo relacionado a melhor compressão, revisando referencias e citações textuais, realizando correções gramaticais relativas à concordância textual, mudanças necessárias ao conteúdo proposto para ser inserido em uma tecnologia educacional na modalidade a distância auto instrucional, isso porque a concisão e a clareza de textos digitais são elementos decisivos para uma aprendizagem prazerosa e significativa⁽¹⁹⁾.

Cabe recordar que a elaboração dos objetivos educacionais do curso baseou-se na Taxonomia de Bloom (cognitivos, afetivos e psicomotores). Outras pesquisas também utilizaram esse referencial na elaboração de atividades avaliativas, cursos e disciplinas com o propósito de avaliar ganho cógnito em níveis mais altos de aprendizagem^(20-22).

Como referencial teórico, utilizou-se a Atualização das Diretrizes da AHA 2015 para RCP que se fundamenta em um processo internacional de avaliação de evidências que envolveu 250 revisores de 39 países e trata-se do protocolo para RCP mais utilizado no Mundo e no Brasil⁽¹²⁾.

Dessa forma, na Unidade I, dois juízes sugeriram resumir a evolução histórica e outro a dinamizar mais o capítulo para tornar a unidade mais atrativa.

Considerando a opinião desses especialistas, questionou-se: como organizar um grande volume de informações históricas? Diante dessa problemática, encontrou-se que a visualização das informações por meio de infográficos desempenha um importante papel na organização dos dados, já que ajuda as pessoas a compreenderem mais facilmente as informações. Além disso, diante do excesso de informações a ser transmitida, o infográfico é uma abordagem que atende à escala humana, apresentando as informações de forma contextualizada, relevante e significativa⁽²³⁾.

Existe uma série de tipos de infográficos, dos quais se destacam quatro tipos principais que levam em conta a usabilidade, sendo eles: com base em estatísticas, linha do tempo, processos e localização⁽²⁴⁾. Dessa forma, o infográfico de linha do tempo foi a estratégia escolhida para adequar o conteúdo conforme solicitação dos juízes.

No entanto, nessa unidade, uma sugestão não foi acatada. Esta refere-se à retirada da evolução das diretrizes de reanimação, uma vez que os pesquisadores não encontraram na literatura respaldo que indicasse que tratar "como" e "porque" as diretrizes foram mudando a cada cinco anos fosse motivo suficiente para confundir o aluno. Vale salientar que a Unidade I é introdutória e veio com a preocupação de possibilitar o desenvolvimento de subsunçores aos alunos, de forma a oferecer organizadores prévios que possam servir de ancoradouro para a aprendizagem de forma significativa do novo conhecimento⁽¹³⁾.

Na Unidade II, três sugestões foram feitas. Quanto à inserção do detalhamento da avaliação do pulso em bebê, os pesquisadores não encontraram evidências de que essa avaliação possa contribuir com o início precoce da RCP. Além do mais, no parágrafo posterior, está clara a informação de que em bebês, a RCP deve ser iniciada se a frequência cardíaca for abaixo de 60 bpm/min. Estudo mostra que até mesmo profissionais de saúde treinados têm dificuldade em confirmar a presença ou ausência de pulso no diagnóstico da PCR e que na dúvida, não se deve perder tempo nessa etapa iniciando mais rapidamente as manobras de RCP⁽²⁵⁾.

Um juiz sugeriu acrescentar na descrição das técnicas de compressão torácica em bebês a localização das mãos e dos dedos do reanimador. Uma revisão sistemática que compara as duas técnicas sinaliza que ambas são úteis e que para melhor compreensão deve-se, abordar o passo a passo em cursos de SBV, sendo assim a proposta foi aceite⁽²⁶⁾.

Quanto às sugestões relativas à Unidade III, todas as quatro foram aceitas pelos pesquisadores. Um juiz solicitou que o conteúdo do item "DEA em situações especiais" fosse disposto de forma mais dinâmica. Assim, uma "nova" forma de visualização do conteúdo, priorizando a associação de elementos visuais e textuais, de forma que, utilizou-se o mesmo recurso da infografia da Unidade I, condensando o conteúdo e deixando-o mais ilustrativo⁽²⁷⁾.

Um juiz sugeriu acrescentar a necessidade de retirar o excesso de medicamento após a remoção do adesivo. Estudos experimentais e de revisão sistemática evidenciaram o risco de fortes queimaduras em casos em que foram utilizados DEA em pacientes com adesivo medicamentoso de nitrato, onde não foi retirado o adesivo ou o excesso de medicamento⁽²⁸⁾.

Na Unidade III, foi acatada a sugestão de retirar o passo a passo do uso do DEA do corpo do texto e deixa-lo apenas com a proposta do vídeo simulado. Sobre essa questão, sabe-se que a redundância de informações é vista como desperdício de tempo e pode tornar a leitura cansativa e desestimulante para o aluno/profissional⁽²⁹⁾.

Em relação à Unidade IV, todas as sugestões realizadas pelos juízes foram aceitas. A primeira sugestão foi a retirada da reportagem sobre a descoberta da manobra de Heimlich do texto da unidade para ser colocada na biblioteca do curso.

Sobre esse recurso "Biblioteca", o AVASUS propõe esse recurso adicional, em seu Manual do Conteúdista⁽¹¹⁾, visando facilitar para o aluno o acesso às leituras complementares. Esse recurso possibilita mais dinamismo, flexibilidade e atratividade ao processo EAD e são subsistemas que de alguma forma, acrescentam mais facilidade e/ou satisfação aos processos de aprendizagem ao aluno^(30-31).

Quanto à sugestão de incluir a apresentação do profissional para a vítima antes dos passos seguintes a serem tomados, essa sugestão foi acatada, tendo em vista que o roteiro do vídeo simulado estava relativamente tecnicista, por inexperiência dos pesquisadores em produção de textos para vídeo.

Sobre essa sugestão, sabe-se que a ansiedade é um sentimento comum na vítima do engasgo e que pode ser minimizada com a simples apresentação pessoal do profissional e da explicação breve do que ele irá fazer para tirá-lo da situação eminente de morte, tornando-se, então, passo fundamental a ser exposto nesse vídeo simulado⁽¹²⁾.

Limitações do estudo

Como limitação, destaca-se a realização de apenas uma rodada de avaliação do conteúdo do curso realizada pelos juízes.

Contribuições para a área da Enfermagem, Saúde ou Política Pública

Acredita-se que artigos dessa natureza possam contribuir, sobremaneira, para a criação de estratégias que visem à prevenção de agravos, como também colaborarem para a formulação de políticas de saúde que visem o fortalecimento da qualidade da assistência oferecida.

CONCLUSÃO

A construção do CSBV em EAD se mostrou complexa e desafiadora, uma vez que procurou desenvolve-lo com uma coerência lógico-metodológica, dentro de uma perspectiva construtivista, representando um avanço no processo de disseminação da cultura do ensino de Urgência e Emergência.

Quanto ao processo de validação de conteúdo, o CSBV foi avaliado por seis juízes especialistas na área e verificou-se que das 16 sugestões realizadas, 14 foram acatadas e 2 rejeitadas. A maioria esteve relacionada aos requisitos avaliação geral do conteúdo, utilidade, clareza, objetividade e vocabulário.

Desse modo, o curso apresentou validação satisfatória (IVC - 0,94; Kappa - 0,87; nota 9,5), podendo ser utilizado para apoiar a capacitação de acadêmicos e profissionais em SBV.

Como limitação do estudo, destaca-se o tempo curto (dois meses) para construção e A validação determinadas pela equipe do AVASUS, impossibilitando uma nova submissão aos juízes da pesquisa.

Sugere-se que outros testes de validade possam ser realizados em estudos futuros com o conteúdo já implantado na plataforma, em seu formato virtual, com a parte operacional gráfica, vídeos e jogos prontos para, então, confirmar suas propriedades psicométricas após sua aplicação clínica.

REFERENCES

• ¹
  Cavalcanti RLS, Monerat CAA, Barcelos LS, Oliveira RP, Silva TL. The impact of the basic distance life support course via web in the Brazilian Navy. REMPEC[Internet]. 2016[cited 2017 Dec 6];9(3):346-72. Available from: http://ensinosaudeambiente.uff.br/index.php/ensinosaudeambiente/article/view/589/265
  » http://ensinosaudeambiente.uff.br/index.php/ensinosaudeambiente/article/view/589/265
• ²
  Silva AN, Santos AMG, Cortez EA, Cordeiro BC. Limits and possibilities of distance learning in continuing education in health: integrative review. Ciênc Saúde Colet[Internet]. 2015[cited 2017 Dec 5];20(4):1099-107. Available from: http://www.scielo.br/pdf/csc/v20n4/1413-8123-csc-20-04-01099.pdf
  » http://www.scielo.br/pdf/csc/v20n4/1413-8123-csc-20-04-01099.pdf
• ³
  Silva LMG, Gutiérrez MGR, Domenico EBL. Virtual learning environment in continuing education in nursing. Acta paul Enferm[Internet]. 2010[cited 2017 Dec 7];23(5):701-4. Available from: http://www.scielo.br/pdf/ape/v23n5/19.pdf
  » http://www.scielo.br/pdf/ape/v23n5/19.pdf
• ⁴
  Pasquali L. Instrumentação psicológica: fundamentos e práticas. Porto Alegre: Artmed; 2010.
• ⁵
  Fehring RJ. The Fehring model. In: Carrol-Johnson RM, Paquete M. Classification of nursing diagnoses: proceeding of the tenth conference. Philadelphia: Lippincott Company; 1994.
• ⁶
  Bloom BS, Engelhart MD, Furst EJ, Hill WH, Krathwohl DR. Taxonomia de objetivos educacionais: domínio cognitivo. Porto Alegre: Globo; 1972.
• ⁷
  Ausubel DP. Aquisição e retenção de conhecimentos. Lisboa: Plátano; 2003.
• ⁸
  Randolph JJ. Online Kappa Calculator[Software][Internet]. 2008[cited 2017 Nov 21]. Available from: http://justus.randolph.name/kappa
  » http://justus.randolph.name/kappa
• ⁹
  Costa IKF, Medeiros LP, Dias TYAF, Salvetti MG, Dantas DV, Torres GV. Protocol validation for people with venous ulcers: a quantitative study. O Braz J Nurs[Internet]. 2016[cited 2017 Dec 6];15(2):226-35. Available from: http://dx.doi.org/10.17665/1676-4285.20165251
  » http://dx.doi.org/10.17665/1676-4285.20165251
• ¹⁰
  Polit DF, Beck CT. The content validity index: are you sure you know what's being reported? critique and recommendations. Res Nurs Health[Internet]. 2006[cited 2017 Dec 6];29(5):489-97. Available from: https://pdfs.semanticscholar.org/537d/5a0f09968979b4cf4e8b0213a8f39257b393.pdf
  » https://pdfs.semanticscholar.org/537d/5a0f09968979b4cf4e8b0213a8f39257b393.pdf
• ¹¹
  Brasil. Conselho Nacional de Justiça. Centro de Formação e Aperfeiçoamento de Servidores do Poder Judiciário. Manual do Conteudista: produção de materiais didáticos para EAD[Internet]. 2016[cited 2017 Dec 6]. Available from: http://www.cnj.jus.br/files/conteudo/arquivo/2016/01/c5d0472ec148f8a82c369007bd9fd193.PDF
  » http://www.cnj.jus.br/files/conteudo/arquivo/2016/01/c5d0472ec148f8a82c369007bd9fd193.PDF
• ¹²
  American Heart Association - AHA. Destaques das Diretrizes da American Heart Association 2015. Atualização das Diretrizes RCP e ACE. 2015[cited 2017 Dec 6]. Available from: https://eccguidelines.heart.org/wp-content/uploads/2015/10/2015-AHA-Guidelines-Highlights-Portuguese.pdf
  » https://eccguidelines.heart.org/wp-content/uploads/2015/10/2015-AHA-Guidelines-Highlights-Portuguese.pdf
• ¹³
  Moreira MA. Teorias de Aprendizagem. São Paulo: EPU; 2011.
• ¹⁴
  Santos MJ, Pereira MEC, Junqueira ACV, Borba CM, Jurberg C. Reflections on the online learning of biosafety based in the meaningful learning. Ciênc Cogn[Internet]. 2016[cited 2017 Dec 6];21(1):100-11. Available from: http://www.cienciasecognicao.org/revista/index.php/cec/article/view/1096/pdf_76
  » http://www.cienciasecognicao.org/revista/index.php/cec/article/view/1096/pdf_76
• ¹⁵
  Nobrega GAS, Souza GF, Barbosa JG, Coutinho KD, Valentim RAM. Uma análise estatística do Ambiente Virtual de Aprendizagem do Sistema Único de Saúde: Descrição estatística dos usuários do AVASUS[Internet]. Natal: EDUFRN; 2016[cited 2017 Dec 3]:28p. Available from: http://pr.avasus.ufrn.br/local/avasplugin/dashboard/AVASUS_19out2016_impressao.pdf
  » http://pr.avasus.ufrn.br/local/avasplugin/dashboard/AVASUS_19out2016_impressao.pdf
• ¹⁶
  Brasil. Ambiente virtual de aprendizagem do SUS - AVASUS[Internet]. 2017[cited 2017 Dec 4]. Available from: https://avasus.ufrn.br/
  » https://avasus.ufrn.br/
• ¹⁷
  Bittencourt DF. As métricas, o projeto e o design na EaD. In: Corrêa MA. Material didático on-line da disciplina design e projetos em educação a distância do curso de especialização em metodologia da educação a distância. Florianópolis: Unisul Virtual; 2010.
• ¹⁸
  Troncon LEA. Structuring systems for program maticassessment of medical students. Rev Brás Educ Med[Internet]. 2016[cited 2017 Dec 3];40(1):30-42. Available from: http://www.scielo.br/pdf/rbem/v40n1/1981-5271-rbem-40-1-0030.pdf
  » http://www.scielo.br/pdf/rbem/v40n1/1981-5271-rbem-40-1-0030.pdf
• ¹⁹
  Linhares RN, Loureiro MJ, Ramos F, Alcântara CMG. Evaluation of teaching digital technologies: Brazilian and Portuguese indicators. Estud Aval Educ[Internet]. 2017[cited 2017 Dec 6];28(67):12-31. Available from: http://dx.doi.org/10.18222/eae.v0ix.4303
  » http://dx.doi.org/10.18222/eae.v0ix.4303
• ²⁰
  Zaidi NB, Hwang C, Scott S, Stallard S, Purkiss J, Hortsch M. Climbing Bloom's taxonomy pyramid: lessons from a graduate histology course. Anat Sci Educ[Internet]. 2017[cited 2017 Dec 4];10:456-64. Available from: https://doi.org/10.1002/ase.1685
  » https://doi.org/10.1002/ase.1685
• ²¹
  Choudhury B, Gouldsborough I, Shaw FL. The intelligent anatomy spotter: a new approach to incorporate higher levels of Bloom's taxonomy. Anat Sci Educ[Internet]. 2016[cited 2017 Dec 4];9(5):440-5. Available from: https://doi.org/10.1002/ase.1588
  » https://doi.org/10.1002/ase.1588
• ²²
  Morton DA, Colbert-Getz JM. Measuring the impact of the flipped anatomy classroom: the importance of categorizing an assessment by Bloom's taxonomy. Anat Sci Educ[Internet]. 2017[cited 2017 Dec 4];10(2):170-75. Available from: https://doi.org/10.1002/ase.1635
  » https://doi.org/10.1002/ase.1635
• ²³
  Meireles AV, Camara RJ, Souto VT. Organizando big data gerado colaborativamente:um estudo de caso do Infográfico do tipo Linha do tempo do Marco Civil da Internet. Rev Design Tecnol Soc[Internet]. 2016[cited 2017 Dec 2];2(1):105-19. Available from: http://periodicos.unb.br/index.php/design-tecnologia-sociedade/article/view/19965/14154
  » http://periodicos.unb.br/index.php/design-tecnologia-sociedade/article/view/19965/14154
• ²⁴
  Siricharoen WV. Infographics: the new communication tools in digital age. The International Conference on E-Technologies and Business on the Web (EBW2013)[Internet]. 2013[cited 2017 Dec 3];169-74. Available from: https://www.researchgate.net/publication/256504128_Infographics_The_New_Communication_Tools_in_Digital_Age
  » https://www.researchgate.net/publication/256504128_Infographics_The_New_Communication_Tools_in_Digital_Age
• ²⁵
  Hategeka C, Shoveller J, Tuyisenge L, Kenyon C, Cechetto, DF, Lynd LD. Pediatric emergency care capacity in a low-resource setting: an assessment of district hospitals in Rwanda. PLos ONE[Internet]. 2017[cited Dec 7 2017];12(3):e0173233. Available from: https://doi.org/10.1371/journal.pone.0173233
  » https://doi.org/10.1371/journal.pone.0173233
• ²⁶
  Douvanas A, Koulouglioti C, Kalafati M. A comparison between the two methods of chest compression in infant and neonatal resuscitation: a review according to 2010 CPR guidelines. J Matern Fetal Neonatal Med[Internet]. 2017[cited 2017 Dec 6];5:1-12. Available from:https://www.ncbi.nlm.nih.gov/pubmed/28282762
  » https://www.ncbi.nlm.nih.gov/pubmed/28282762
• ²⁷
  Menezes HF, Queiroz JER. Análise dos princípios visuais no projeto gráfico: estudo de caso envolvendo infográficos jornalísticos. Blucher Design Proceedings[Internet]. 2016[cited 2017 Dec 6];2(9):4673-85. Available from: http://www.proceedings.blucher.com.br/article-details/anlise-dos-princpios-visuais-no-projeto-grfico-estudo-de-caso-envolvendo-infogrficos-jornalsticos-24638
  » http://www.proceedings.blucher.com.br/article-details/anlise-dos-princpios-visuais-no-projeto-grfico-estudo-de-caso-envolvendo-infogrficos-jornalsticos-24638
• ²⁸
  Lampert A, Seiberth J, Haefeli WE, Seidling HM. A systematic review of medication administration errors with transdermal patches. Expert Opin Drug Saf[Internet]. 2014[cited 2017 Dec 5];13(8):1101-14. Available from: https://www.ncbi.nlm.nih.gov/pubmedhealth/PMH0068622/
  » https://www.ncbi.nlm.nih.gov/pubmedhealth/PMH0068622/
• ²⁹
  Escrivao G, Nagano M. Knowledge management in environmental education: case studies in environmental education programs in Brazilian universities. Perspect Ciênc Inf[Internet]. 2014[cited 2017 Dec 4];19(4):136-59. Available from: http://www.scielo.br/pdf/pci/v16n1/a06v16n1
  » http://www.scielo.br/pdf/pci/v16n1/a06v16n1
• ³⁰
  Correa MA. Os materiais didáticos como recursos fundamentais de potencialização da qualidade do ensino e aprendizagem na EAD. Rev E-Tech[Internet]. 2013[cited 2017 Dec 5];6(1):125-40. Available from: https://doi.org/10.18624/e-tech.v6i1.280
  » https://doi.org/10.18624/e-tech.v6i1.280
• ³¹
  Carbogim FC, Oliveira LB, Mendonça ET, Marques DA, Friedrich DBC, Püschel VAA. Teaching critical thinking skills through problem based learning. Texto Contexto Enferm[Internet]. 2017[cited 2018 Feb 18];26(4):e1180017. Available from: http://www.scielo.br/pdf/tce/v26n4/en_0104-0707-tce-26-04-e1180017.pdf
  » http://www.scielo.br/pdf/tce/v26n4/en_0104-0707-tce-26-04-e1180017.pdf

Datas de Publicação

• Publicação nesta coleção
  2018

Histórico

• Recebido
  04 Mar 2018
• Aceito
  25 Maio 2018