SciELO - Scientific Electronic Library Online

 
vol.43 special issueItem response theoryConstruction and validation of an instrument for the assessment of stress among nursing students author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

Indicators

Related links

Share


Revista da Escola de Enfermagem da USP

Print version ISSN 0080-6234On-line version ISSN 1980-220X

Rev. esc. enferm. USP vol.43 no.spe São Paulo Dec. 2009

https://doi.org/10.1590/S0080-62342009000500004 

ARTIGO ORIGINAL

 

Nursing Activities Score (NAS): adaptação transcultural e validação para a língua portuguesa

 

Nursing Activities Score (NAS): adaptación transcultural y validación para el portugués

 

 

Alda Ferreira QueijoI; Kátia Grillo PadilhaII

IEnfermeira. Doutora em Enfermagem pela Escola de Enfermagem da Universidade de São Paulo, SP. Supervisora de Enfermagem das Áreas Críticas do Hospital Beneficência Portuguesa, São Paulo, SP, Brasil. aldafq@ig.com.br / aldafq@usp.br
II Enfermeira. Professor Titular do Departamento de Enfermagem Médico Cirúrgica da Escola de Enfermagem da Universidade de São Paulo. São Paulo, SP, Brasil. kgpadilh@usp.br

Correspondência

 

 


RESUMO

O estudo teve como objetivos adaptar para o português e avaliar as propriedades psicométricas do Nursing Activities Score (NAS), instrumento de medida de carga de trabalho de enfermagem em UTI. Após o processo de adaptação cultural, o NAS foi aplicado em uma amostra de 200 pacientes adultos internados em UTIs. A análise da consistência interna pelo coeficiente Alfa de Cronbach revelou que o NAS possui 23 medidas independentes que não comportam consolidação ou redução. A avaliação da confiabilidade interobservadores demonstrou alta concordância (99,8%) e índice Kappa médio de 0,99. A validade concorrente foi demonstrada pela correlação estatisticamente significativa entre o TISS-28 e o NAS (r=0,67; p<0,0001), assim como pela análise de regressão multivariada (R2=94,4%; p<0,0001). Na avaliação da validade convergente, a regressão multivariada mostrou associação estatisticamente significativa entre o NAS e o SAPS II, quando ajustada pela idade (R2=99,8%; p<0,0001). Pelos resultados obtidos, o NAS mostrou-se um instrumento confiável e válido para mensurar carga de trabalho de enfermagem em UTIs brasileiras.

Descritores: Unidades de Terapia Intensiva. Carga de trabalho. Enfermagem. Estudos de validação.


RESUMEN

El estudio tuvo como objetivos adaptar al portugués y evaluar las propiedades psicométricas de el Nursing Activities Score (NAS), un instrumento para medir la carga de trabajo de enfermería en UCI. Tras el proceso de adaptación cultural, el NAS se aplicó a una muestra de 200 pacientes adultos ingresados en las UCIs. El análisis de consistencia interna por el coeficiente alfa de Cronbach reveló que el NAS cuenta con 23 medidas independientes que no permiten consolidación o reducción. La evaluación de la fiabilidad interobservador mostró alta concordancia (99,8%) y el índice Kappa media de 0,99. La validez concurrente se demostró por la correlación estadísticamente significativa entre el TISS-28 y NAS (r=0,67, p<0,0001), y por análisis de regresión multivariante (R2=94,4%, p<0,0001). Al evaluar la validez convergente, la regresión multivariante mostró asociación estadísticamente significativa entre el NAS y el SAPS II, cuando ajustada por la edad (R2=99,8%, p<0,0001). Los resultados obtenidos indican que el NAS es un instrumento válido y fiable para medir la carga de trabajo de enfermería de UCIs brasileñas.

Descriptores: Unidades de Cuidados Intensivos. Carga de trabajo. Enfermería. Estudios de validación.


 

 

INTRODUÇÃO

No contexto atual, o emprego de indicadores que avaliem objetivamente a condição clínica do paciente, bem como a necessidade de cuidados que requerem, tornou-se instrumental indispensável quando se busca melhorar a relação custo-benefício na assistência à saúde. No caso particular da enfermagem, indicadores de demandas de cuidados são cada vez mais necessários como requisitos para assegurar qualidade da assistência e subsidiar a quantificação de pessoal nas diferentes unidades hospitalares, o que também se aplica à Unidade de Terapia Intensiva (UTI).

Assim, a avaliação da carga de trabalho de enfermagem é tema de fundamental interesse, visto que uma equipe superdimensionada implica em alto custo. Por outro lado, sabe-se que uma equipe reduzida tende a determinar a queda da eficácia/qualidade da assistência, prolongando a internação e gerando um maior custo no tratamento dos pacientes(1).

Na literatura nacional e internacional, a existência de instrumentos voltados à medida de carga de trabalho de enfermagem não é recente, porém, vários deles(2-5) foram desenvolvidos dentro de uma perspectiva abrangente, que incluía a UTI, sem voltar-se especificamente a ela. Dessa forma, a necessidade de caracterizar a demanda de trabalho de enfermagem nessas Unidades impulsionou, ao longo do tempo, o desenvolvimento de instrumentos de medida voltados para esse fim(6). Dentre eles, o Therapeutic Intervention Scoring System (TISS) é encontrado na literatura internacional como um dos pioneiros para medir a carga de trabalho da equipe de enfermagem na UTI.

O TISS foi originalmente idealizado por Cullen e colaboradores, do Massachussets General Hospital, de Boston, em 1974, com o duplo objetivo de mensurar a gravidade dos pacientes e calcular a correspondente carga de trabalho de enfermagem em UTI(7). Em sua primeira versão, era composto por um total de 57 intervenções terapêuticas determinadas por um grupo de especialistas que, além disso, atribuíam pontuações de um a quatro, de acordo com o tempo e esforço necessários para o desempenho das atividades de enfermagem.

Em 1983, o índice foi revisto e atualizado para 76 itens de intervenções terapêuticas, que quantificavam a complexidade, grau de invasividade e tempo dispensado pela enfermagem e pelo médico para realizar determinado procedimento. Nesta versão, os pacientes continuaram sendo classificados em quatro grupos (I a IV), conforme a maior ou menor necessidade de vigilância e cuidados intensivos(8).

Decorridos 16 anos da existência do TISS-76 e de sua utilização mundialmente reconhecida, Miranda e colaboradores, do University Hospital of Groningen, Holanda, reconhecendo a necessidade de atualizar e tornar mais prático o uso do TISS-76, realizaram ampla modificação, utilizando análises estatísticas para a determinação das categorias de intervenções terapêuticas, itens e sub-itens componentes e respectivos pesos. Essa nova versão, conhecida como TISS-28(9), passou a ter, portanto, 28 itens distribuídos em sete categorias: atividades básicas, suportes ventilatório, cardiovascular, renal, neurológico, metabólico e intervenções específicas. O escore total, com variação de 1 a 78 pontos, permite a determinação da carga de trabalho de enfermagem, uma vez que 1 ponto TISS-28 equivale a 10,6 minutos do tempo de trabalho de um enfermeiro em um turno de trabalho em UTI.

O TISS-28 passou a ser amplamente utilizado internacionalmente, trazendo importantes subsídios para o dimensionamento de pessoal e alocação de recursos humanos de enfermagem nas UTIs, entre outras atividades assistenciais e administrativas. No entanto, na sua aplicação prática, várias críticas foram feitas pelos enfermeiros, uma vez que o instrumento não contemplava o conjunto das atividades desenvolvidas pela enfermagem, não só aquelas de caráter assistencial ao doente, como também as de suporte à família e as administrativas.

Visando ajustar o índice de modo a avaliar mais fielmente a carga de trabalho na UTI, o TISS-28 sofreu uma nova modificação, resultando no Nursing Activities Score (NAS)(10).

Para o desenvolvimento do NAS, a primeira etapa incluiu a descrição do conjunto de atividades de enfermagem relacionadas às condições clínicas dos pacientes internados na UTI, sendo realizada por 25 profissionais (15 médicos e 10 enfermeiros), de 15 países. Na segunda etapa, um painel de especialistas composto por oito profissionais preparou a seleção e descrição da lista dos itens, onde cinco atividades específicas de enfermagem foram identificadas: monitorização e controles, procedimentos de higiene, mobilização e posicionamento, suporte e cuidados aos familiares e pacientes e atividades administrativas e gerenciais. Assim, a lista das atividades de enfermagem, combinada com os itens do TISS-28 resultou, com alguns agrupamentos, em 30 itens.

Após esses procedimentos, a validação do instrumento foi realizada em uma amostra de 99 UTI, de 15 países. Durante uma semana, dois tipos de dados foram coletados: registro diário dos 30 itens do instrumento em uma amostra de 2.041 pacientes admitidos na UTI, tendo por base as informações das 24 horas e registro das atividades realizadas individualmente pelos componentes da equipe de enfermagem assistencial, em 30 momentos específicos do dia , que resultaram em 127.951 registros, de acordo com a técnica MultiMoment Recordings (MMR) ou Múltiplos Momentos de Observação (MMO). Após essa coleta, os pesos e a redução dos itens foram calculados estatisticamente por meio do cruzamento dos dados obtidos nas duas formas de registro mencionadas.

Como resultado final, o NAS divide-se em sete grandes categorias e apresenta um total de 23 itens, cujos pesos variam de um mínimo de 1,2 a um máximo de 32,0. A principal mudança em relação ao TISS-28 ocorreu na categoria atividades básicas, que foi sub-categorizada em: monitorização e controles, procedimentos de higiene, mobilização e posicionamento, suporte e cuidados aos familiares e pacientes e tarefas administrativas e gerenciais. Com a nova estrutura, o NAS contempla 80.8% das atividades de enfermagem, superando a abrangência de 43.3% do TISS-28, descrevendo, aproximadamente, duas vezes mais o tempo gasto pela enfermagem no cuidado ao paciente crítico, quando comparado com o TISS-28. O escore total obtido representa a porcentagem de tempo gasto por enfermeiro, por turno, na assistência direta ao paciente, podendo alcançar um máximo de 176,8%(10).

Considerando-se, pois, os atributos do instrumento e sua capacidade para medir a carga de trabalho de enfermagem na UTI, a aplicação na realidade brasileira encontrou, como limitação, o fato de ter sido desenvolvido originalmente na língua inglesa. Portanto, tendo em vista o interesse em disponibilizá-lo para uso no contexto nacional, optou-se pela realização deste estudo que teve como objetivo realizar a adaptação transcultural do NAS para a língua portuguesa.

 

PROCEDIMENTOS PARA A ADAPTAÇÃO TRANSCULTURAL

A adaptação transcultural obedeceu, em linhas gerais, a preconizada por Guillemin, Bombardier e Beaton(11), que compreende as seguintes etapas: tradução, tradução de volta a língua de origem (back-translation), avaliação das versões original e back translated, pré-teste (Figura 1) e avaliação das propriedades psicométricas.

 

 

Após cumpridas as etapas mencionadas , o instrumento final, em português denominado Escore de Atividades de Enfermagem (EAE) foi testado para avaliar suas propriedades de medida. Cabe ressaltar que se optou por manter a abreviatura NAS do título em inglês, com vistas a facilitar a comunicação com autores estrangeiros.

Para avaliar a confiabilidade do instrumento, considerou-se a estabilidade, medida pela concordância entre avaliadores, e a consistência interna, medida pelo coeficiente Alfa de Cronbach. A aplicação do NAS adaptado para a língua portuguesa, por dois avaliadores independentes, realizada simultaneamente, em uma amostra de 100 pacientes internados em UTI, após análise estatística, mostrou uma concordância média de 99,8% e Kappa médio de 0,99. Os resultados demonstraram uma correlação quase perfeita, muito próxima de 1. Do total de 23 itens componentes do NAS, à exceção dos itens 6 e 12, que apresentaram, respectivamente, 97,5% e 99,5% de concordância, todos os demais apresentaram uma concordância de 100,0%.

Assim, tendo como resultado os altos valores de concordância encontrados (99,8%) e um Kappa quase perfeito (0,99), concluiu-se que o NAS é um instrumento de medida estável para avaliar a carga de trabalho de enfermagem na UTI(12).

A confiabilidade do NAS foi também estimada pela análise da consistência interna dos itens e categorias que o compõem, utilizando-se o coeficiente alfa de Cronbach(13-15). O resultado final encontrado para o total dos 23 itens foi de 0,36, considerado baixo(16), o que também ocorreu com alguns itens individualmente. Tais resultados permitiram inferir que os itens parecem representar fenômenos que não podem ser reduzidos a medidas mais sintéticas, frente à importância de cada um quando se pretende medir carga de trabalho de enfermagem em UTI. Por essa razão, apesar de baixos valores do alfa de Cronbach, nenhum item foi excluído do instrumento.

Foram analisados dois tipos de validade: de critério concorrente e convergente.

A validade concorrente foi observada pela correlação positiva e estatisticamente significante (r=0,67; p<0,001) entre o NAS e o TISS-28. Também o modelo da análise de regressão mostrou associação estatisticamente significativa entre os dois instrumentos (R2= 94,4%; p-value<0,001).

A validade convergente foi constatada pela associação estatisticamente significativa (R2= 99,8%; p-value<0,001) entre NAS e SAPS II, quando ao modelo da análise de regressão se adicionou a variável idade.

As conclusões obtidas no estudo, demonstraram índices satisfatórios de confiabilidade, de validade de critério e de constructo, permitindo, dessa forma, sugerir a sua utilização, como um indicador confiável e válido para mensurar carga de trabalho de enfermagem em UTI, em nosso meio.

A versão final do NAS na língua portuguesa encontra-se apresentada no Apêndice.

 

ESTUDOS REALIZADOS UTILIZANDO O NAS

Passados cinco anos da publicação do NAS, observa-se que a sua utilização como instrumento de medida da carga de trabalho de enfermagem em UTI é ainda recente na literatura nacional e internacional. No Brasil, no entanto, embora as publicações ainda sejam escassas, o desenvolvimento de estudos com a sua aplicação tem aumentado expressivamente, sendo crescente o interesse dos enfermeiros em incorporá-lo nas UTIs. Os resultados das investigações, conforme apresentação a seguir, têm mostrado carga de trabalho de enfermagem variável segundo as amostras estudadas. Tais evidências são relevantes quando se pretende alocar recursos humanos de enfermagem adequando-as às demandas de cuidados dos pacientes.

Estudo que analisou a carga de trabalho de enfermagem em uma UTI geral de um hospital universitário de médio porte, cuja maioria dos pacientes foi procedente do Pronto Socorro, tinha idade acima de 60 anos e permaneceu, em média, 3,5 dias na UTI, apresentou média NAS de 66,5%, mínima de 47,6% e máxima de 82,4%. Os autores observaram que a carga de trabalho de enfermagem permaneceu acima de 50,0% no decorrer de toda internação na Unidade(17).

Investigação realizada com uma amostra de 500 pacientes internados em UTIs gerais de dois hospitais governamentais e dois não governamentais do município de São Paulo, concluiu que a média NAS na admissão dos pacientes foi de 62,13%. Nessa amostra, houve predomínio de pacientes idosos, procedentes do Pronto Socorro e com permanência na UTI de 7,64 dias, em média. A gravidade dos pacientes avaliada pelo SAPS II, na admissão foi de 37,41 pontos e a mortalidade de 20,60%(18).

Com o objetivo de analisar a carga de trabalho de enfermagem em uma UTI geral de um hospital brasileiro, privado, de nível terciário, estudo longitudinal realizado durante 14 dias com uma amostra de 33 pacientes, encontrou média NAS de 65,5%, com variação entre 22,30% e 127,90%(19).

Já um estudo metodológico desenvolvido em uma UTI geral pertencente a um hospital privado do município de São Paulo, com uma amostra constituída por 104 pacientes, constatou média NAS de 52,7%, mínima de 32,2% e máxima de 75,2%, em amostra de pacientes predominantemente idosos, com pontuação média SAPS II de 31,8 pontos e mortalidade de 14,3%(20).

Outro estudo realizado em UTI geral de um hospital público, universitário, associando estilos de liderança e carga de trabalho de enfermagem utilizando o NAS, mostrou que a média do escore NAS foi de 80,09%, com variação entre 62,40% e 101,80%(21).

Referente à carga de trabalho de enfermagem em UTI especializada, um único estudo encontrado na literatura brasileira foi realizado com a aplicação do NAS em uma UTI de cirurgia cardíaca, com 65 leitos, localizada em hospital público de ensino, também especializado em cardiologia. No estudo, que incluiu uma amostra de 100 pacientes, a média NAS encontrada foi de 96,79%, no primeiro dia de pós-operatório(22).

Na literatura internacional, apenas dois trabalhos foram encontrados com a utilização do NAS, ambos desenvolvidos por um mesmo grupo espanhol(23-24). Um deles(23), teve por objetivo verificar a carga de trabalho em uma UTI Geral. A análise de uma amostra de 350 pacientes, em um total de 1800 registros do NAS coletados diariamente, durante três meses, no ano de 2004, apresentou NAS médio de 40,8 ± 14,1, no primeiro dia de internação na UTI, indicando a relação de um enfermeiro para o cuidado de 2,5 pacientes nessa Unidade.

Com relação à influência dos dados demográficos e clínicos de pacientes na demanda de trabalho de enfermagem em UTI com o uso do NAS, também poucos estudos que fizessem esse tipo de análise foram encontrados. No entanto, duas investigações realizadas em UTI geral de adultos de um hospital universitário, no Brasil, mostraram não haver diferença estatisticamente significante entre a idade e a carga de trabalho de enfermagem(17,25).

Pesquisa brasileira realizada em UTI geral de um hospital público, evidenciou boa correlação do NAS com o APACHE II em uma amostra de 148 pacientes. Nessa investigação, os autores verificaram que a mortalidade foi maior nos pacientes com valores de NAS mais elevados(26).

Como síntese desses estudos, é possível dizer que, embora haja um longo caminho de investigação a ser percorrido com o uso do NAS, fato é que a sua adaptação para a cultura brasileira foi de grande importância para a enfermagem intensiva no Brasil. Além disso, o maior conhecimento sobre o instrumento, decorrente das pesquisas realizadas e do uso cada vez mais disseminado, tem colocado os enfermeiros brasileiros como referência também para os profissionais de outros países, cujos pedidos de assessoria sobre a utilização do instrumento têm sido cada vez maiores. Essa interlocução não só é desejável como necessária, principalmente quando se consideram as demandas da enfermagem mundial para a solução de problemas que aliem qualidade da assistência, custos da assistência intensiva e bem-estar dos profissionais.

 

REFERÊNCIAS

1. Gaidzinski RR. O dimensionamento do pessoal de enfermagem segundo a percepção de enfermeiros que vivenciam essa prática [tese]. São Paulo: Escola de Enfermagem, Universidade de São Paulo; 1994.         [ Links ]

2. Perroca MG, Gaidzinski RR. Sistema de Classificação de Pacientes: construção e validação de um instrumento. Rev Esc Enferm USP. 1998;32(2):153-68.         [ Links ]

3. Fugulin MFT, Silva SH, Shimizo HE, Campos FPF. Implantação do Sistema de Classificação de Pacientes na Unidade de Clínica Médica do Hospital Universitário de São Paulo. Rev Med HU-USP. 1994;4(1/2):63-8.         [ Links ]

4. Intensive Care National Audit and Research Centre (ICNARC). System of Patient Related Activities (SOPRA). London; 1999.         [ Links ]

5. Commission d'Évaluation de la Sociéte de Réimation de Langue Française. Utilisation de lindice de gravité simpliflié et du systéme OMEGA. Réan Soins Intens Méd Urg. 1986;(2): 219-21.         [ Links ]

6. Nunes B. Tradução para o português e validação de um instrumento de medida de gravidade na UTI: TISS-28 Therapeuthic Intervention Scoring System [dissertação]. São Paulo: Escola de Enfermagem, Universidade de São Paulo; 2000.         [ Links ]

7. Cullen DJ, Civetta JM, Briggs BA, Ferrara LC. Therapeutic intervention scoring system: a method for quantitative comparison of patient care. Crit Care Med. 1974;2(2):57-60.         [ Links ]

8. Keene AR, Cullen DJ. Therapeutic intervention scoring system: update 1983. Crit Care Med.1983;11(1):1-3.         [ Links ]

9. Miranda DR, Rijk A, Schaufeli W. Simplified Therapeutic Intervencion Scoring System: theTISS-28 itens-results from a multicenter study. Crit Care Med. 1996;24(1):64-73.         [ Links ]

10. Miranda DR, Nap R, Rijk A, Schaufeli W, Iapichino G. Nursing Activities Score (NAS). Crit Care Med. 2003;31(2): 374-82.         [ Links ]

11. Guillemin F, Bombardier C, Beaton D. Cross-cultural adaptation of health-related quality of life measures: literature review and proposed guidelines. J Clin Epidemiol. 1993; 46(12): 1417-32.         [ Links ]

12. Queijo AF. Tradução para o português e validação de um instrumento de medida de carga de trabalho de enfermagem em Unidade de Terapia Intensiva: Nursing Activities Score (NAS) [dissertação]. São Paulo: Escola de Enfermagem, Universidade de São Paulo; 2002.         [ Links ]

13. Pereira JCR. Análise de dados qualitativos: estratégias metodológicas para as ciências da saúde, humanas e sociais. São Paulo: EDUSP; 1999.         [ Links ]

14. Nunnaly JC, Bernstein IH. Psychometric theory. New York: McGraw-Hill; 1994.         [ Links ]

15. Pasquali L. Psicometria: teoria e aplicações. Brasília: Universidade de Brasília; 1997.         [ Links ]

16. McHarney CA. The Mos 36-item Short-Form Health Survey (SF-III). Tests of quality, Scaling assumptions, and reliability across diverse patient groups. Med Care. 1994;32(1):40-66.         [ Links ]

17. Gonçalves LA, Garcia PC, Toffoleto MC, Telles SCR, Padilha KG. Necessidades de cuidados de enfermagem em Unidade de Terapia Intensiva: Evolução diária dos pacientes segundo o Nursing Activities Score. Rev Bras Enferm. 2006;59(1):56-60.         [ Links ]

18. Silva MCM. Fatores relacionados com a alta, óbito e readmissão em Unidade de Terapia Intensiva [tese]. São Paulo: Escola de Enfermagem, Universidade de São Paulo; 2007.         [ Links ]

19. Conishi RMY. Avaliação do NAS - Nursing Activities Score - como instrumento de medida da carga de trabalho de enfermagem em UTI geral adulto. Rev Esc Enferm USP. 2007;41(1):346-54.         [ Links ]

20. Ducci AJ. Nursing Activities Score (NAS): estudo comparativo dos resultados da aplicação retrospectiva e prospectiva em Unidade de Terapia Intensiva [dissertação]. São Paulo: Escola de Enfermagem, Universidade de São Paulo; 2007.         [ Links ]

21. Basanelli AP. Estilos de liderança em Unidade de Terapia Intensiva e sua relação com a carga de trabalho de enfermagem [dissertação]. São Paulo: Universidade Federal de São Paulo; 2006.         [ Links ]

22. Dias MCCB. Aplicação do Nursing Activities Score - NAS - como instrumento de medida de carga de trabalho de enfermagem em UTI Cirúrgica Cardiológica [dissertação]. São Paulo: Escola de Enfermagem, Universidade de São Paulo; 2006.         [ Links ]

23. Adell AB, Campos RA, Bou MY, Bellmunt JQ, Garcia CG, Canuto MS, et al. Care workload in critical patients: comparative study NEMS versus NAS. Enferm Intensiva. 2006;17(2):67-77.         [ Links ]

24. Adell AB, Campos RA, Cubedo RM, Quintana BJ, Sanahuja RE, Sanchís MJ, et al. Nursing Activiy Score (NAS). Nuestra experiencia con un sistema de cómputo de cargas en enfermería basado en tiempos. Enferm Intensiva. 2005;16(4):164-73.         [ Links ]

25. Ciampone JT, Gonçalves LA, Maia FOM, Padilha KG. Necessidades de cuidados de enfermagem e intervenções terapêuticas em Unidade de Terapia Intensiva: estudo comparativo entre pacientes idosos e não idosos. Acta Paul Enferm. 2006;19(1):28-35.         [ Links ]

26. Nogueira LS, Santos MR, Mataloun SE, Moock M. Nursing Activities Score: comparação com o índice APACHE II e a mortalidade em pacientes admitidos em Unidade de Terapia Intensiva. Rev Bras Terapia Intensiva. 2007; 19(3):327-30.         [ Links ]

 

 

Correspondência:
Katia Grillo Padilha
Rua Dr. Enéas de Carvalho Aguiar, 419 - Cerqueira César
CEP 05403-000 - São Paulo, SP, Brasil

Recebido: 10/12/2008
Aprovado: 10/06/2009

 

 

APÊNDICE

 

Creative Commons License All the contents of this journal, except where otherwise noted, is licensed under a Creative Commons Attribution License