SciELO - Scientific Electronic Library Online

 
vol.40 issue141State assessment systems: the use of results, implications and trendsInquiry and conviction: frontiers between science and ideology author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

Indicators

Related links

Share


Cadernos de Pesquisa

Print version ISSN 0100-1574

Cad. Pesqui. vol.40 no.141 São Paulo Dec. 2010

http://dx.doi.org/10.1590/S0100-15742010000300008 

OUTROS TEMAS

 

Uma leitura dos usos dos indicadores da qualidade na educação

 

 

Vanda Mendes RibeiroI; Joana Borges Buarque de GusmãoII

IDoutoranda em Educação pela Faculdade de Educação da Universidade de São Paulo, bolsista da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior vandaribeiro@usp.br
IIMestranda em Sociologia da Educação pela Faculdade de Educação da Universidade de São Paulo, bolsista da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior joanabg@usp.br

 

 


RESUMO

O texto analisa os dados obtidos por estudo sobre o uso dos Indicadores da Qualidade na Educação - Indique -, instrumento participativo de autoavaliação voltado para escolas. O estudo teve como objetivo buscar informações sobre as formas de utilização do material, seus limites e resultados, e consistiu na realização de entrevistas e grupos focais com técnicos de Secretarias de Educação, diretores, professores, funcionários, alunos e familiares. A análise, realizada à luz dos padrões de qualidade de processos avaliativos e dos desafios contemporâneos para a avaliação propostos por especialistas, mostrou que o uso do Indique cumpre o critério de utilidade e pode manter um nível aceitável de precisão, conseguindo assim envolver stakeholders em processos de mudanças. A avaliação e as ações por ela desencadeadas ocorrem dentro de campos de tensão relacionados a modelos de avaliação, compartilhamento de saberes dominados pelos professores (sobretudo os de caráter pedagógico) e resistências à participação, dentre outros. O Indique é considerado simples e factível pela maior parte dos entrevistados. Contudo, tal factibilidade tem limites: esbarra na dependência das escolas em relação aos órgãos dirigentes e mesmo das Secretarias de Educação em relação a instâncias externas que estimulem seu uso.

Palavras-chave: qualidade do ensino - políticas educacionais - avaliação da educação - escola


 

 

O artigo tem como objetivo apresentar e analisar informações de um estudo exploratório1 realizado em 2008, pela Ação Educativa, sobre o uso dos Indicadores da Qualidade na Educação - Indique -, um instrumento de autoavaliação, voltado para escolas de ensino fundamental, que tem como objetivo envolver a comunidade escolar em processos de promoção da qualidade na educação. Serão apresentadas informações que dizem respeito à percepção de usuários do Indique (técnicos de Secretarias de Educação, diretores, professores, funcionários, alunos e familiares) sobre a pertinência e qualidade do instrumento, assim como a mudanças verificadas em escolas e Secretarias de Educação que possam ser atribuídas ao uso do material. A análise será realizada à luz de padrões internacionais, definidos para criticar a qualidade de avaliações em educação, sintetizados por Vianna (2000) - precisão/rigor; utilidade e factibilidade2 -, à luz de desafios para o campo da avaliação, apresentados por Fernandes (2007, s/d) - envolvimento dos stakeholders, palavra de língua inglesa cujo significado remete a todas as pessoas interessadas e/ou envolvidas em determinado processo; simplicidade; capacidade de melhorar a vida das instituições e das pessoas; capacidade de levar à negociação e ao estabelecimento de consensos; e, também, por Fitzpatrick, Christie e Mark (2009) - capacidade de a avaliação se fazer legitimar entre os responsáveis pelas decisões.

A seguir, são apresentadas a concepção e a metodologia de operacionalização do Indique. Depois disso, é explicitada a metodologia do estudo, feita a descrição dos dados e sua análise. Em seguida, são comentados alguns campos de tensão identificados nos processos de avaliação por meio do Indique. Por fim, sintetizam-se algumas conclusões.

 

INDIQUE: UMA PROPOSTA DE AUTOAVALIAÇÃO PARA AS ESCOLAS

O Indique é fruto de um trabalho coordenado pela Ação Educativa, Fundo das Nações Unidas para a Infância - Unicef -, Programa da Nações Unidas para o Desenvolvimento - Pnud -, Instituto Nacional de Estudos e Pesquisa Educacionais - Inep - e Ministério da Educação - MEC. Publicado em 2004, o material consiste em uma proposta metodológica participativa e em um sistema de indicadores por meio dos quais a comunidade avalia a situação de diferentes aspectos da escola, identifica prioridades, estabelece um plano de ação e implementa e monitora ações voltadas à qualidade na educação. A elaboração do instrumento teve como base a legislação educacional brasileira e a discussão e negociação entre os participantes de um amplo grupo técnico, constituído por instituições de referência na área da educação, dentre elas a União Nacional dos Dirigentes Municipais de Educação - Undime -, o Conselho Nacional de Secretários de Educação - Consed - e a Campanha Nacional pelo Direito à Educação e especialistas.

O Indique propõe indicadores agrupados em um conjunto de dimensões, entendidas como "elementos fundamentais que devem ser considerados pela escola na reflexão sobre sua qualidade" (Ação Educativa et al., 2007, p.5). As dimensões propostas são: ambiente educativo, prática pedagógica e avaliação, aprendizagem da leitura e da escrita, gestão escolar democrática, formação e condições de trabalho dos profissionais da escola, ambiente físico escolar e acesso e permanência dos alunos na escola. Os indicadores, entendidos como sinais de qualidade, são avaliados pela comunidade escolar por meio da discussão coletiva de perguntas que dizem respeito a situações, atitudes e práticas que ocorrem ou não na escola. A avaliação das perguntas é expressa por meio da atribuição de cores: verde - situação, atitude ou prática consolidada; amarelo - situação, atitude ou prática pouco consolidada; vermelho - situação, atitude ou prática inexistente. A comunidade escolar é entendida de forma ampliada, incluindo pais, mães, professores, diretores, alunos, funcionários, gestores, representantes de organizações não governamentais - ONGs - locais e de conselhos como o de educação e dos direitos da criança, além de outras instituições que tenham relação com a escola.

Após a avaliação - feita em grupos heterogêneos com representantes de todos os segmentos da comunidade escolar -, esses se reúnem em plenária para apresentação e discussão dos resultados de cada grupo. Em seguida, são estabelecidas prioridades e um plano de ação é elaborado. O instrumento sugere também a organização do monitoramento da execução do plano de ação. O processo de avaliação e planejamento é realizado em um dia de trabalho.

A expectativa inicial dos elaboradores era que o instrumento fosse autoaplicável, razão pela qual se buscou uma linguagem simples e de fácil entendimento. O material tem como premissa básica que a avaliação e o planejamento participativos criam condições para melhorar a qualidade da escola segundo critérios e prioridades estabelecidos pela comunidade escolar a partir dos indicadores. A aposta é que seja um instrumento para a escola refletir, propor e agir na busca da "qualidade na educação", traduzida pelo mosaico composto pelas dimensões e indicadores que o compõem3.

 

O ESTUDO EXPLORATÓRIO: METODOLOGIA

A primeira etapa de realização da pesquisa consistiu na sistematização das informações, sobre a disseminação do Indique, disponíveis na Ação Educativa, que revelou que o material foi utilizado por programas do Ministério da Educação, Secretarias de Educação e projetos de ONGs e institutos empresariais, em parceria com escolas e redes de ensino. Foi definido como foco do estudo o levantamento de informações sobre o uso do instrumento por meio de Secretarias de Educação, tanto estaduais quanto municipais.

 

 

A etapa seguinte foi a construção de um conjunto de indicadores de avaliação, divididos em quatro grupos: disseminação, avaliação, planejamento e resultados alcançados (entendidos como mudanças). Para cada indicador foram criados descritores. Os indicadores e descritores, relatados adiante, guiaram a elaboração dos instrumentos de pesquisa: roteiros de entrevistas e grupos focais com gestores educacionais e membros de comunidades escolares, fontes do estudo.

As entrevistas foram realizadas por telefone e correio eletrônico, entre novembro de 2007 e março de 2008. Foram contatadas 14 Secretarias de Educação, que, segundo as informações disponíveis, tinham utilizado o Indique. Na maior parte das vezes, o trabalho de encontrar as pessoas certas em cada órgão foi árduo, sendo necessários muitos telefonemas. Ao final, foram realizadas entrevistas com representantes de nove secretarias, sendo três estaduais (Amazonas, Bahia e Rio de Janeiro) e seis municipais (Guarulhos/SP, Ibitiara/BA, Ituiutaba/MG, Londrina/PR, São Félix/BA e Suzano/SP), além de duas escolas de Londrina. Com base nas entrevistas, três localidades com experiências mais consolidadas de uso do instrumento foram selecionadas para ser visitadas: Bahia, Ituiutaba e Suzano. Os critérios de seleção foram: continuidade na utilização do Indique na rede de ensino; participação em ações de estímulo ao uso do material/uso autônomo; redes municipais/estaduais; e motivações distintas do uso.

Nas visitas, ocorridas em fevereiro e março de 2008, foram feitas três entrevistas, e realizados cinco grupos focais e um debate, sendo: três entrevistas em Salvador, três grupos focais em Suzano, dois grupos focais e um debate em Ituiutaba, com a participação de 83 usuários do Indique. Deste total, cinquenta participaram do debate em Ituiutaba, cujo público foi formado por três técnicos da Secretaria, um consultor educacional do município e 46 representantes das equipes gestoras das escolas, constituídas por diretores, vice-diretores e supervisores4. As entrevistas (duas com diretores e uma com técnico de Secretaria) e os grupos focais (cinco em escolas e um com técnicos de Secretaria) somaram 33 pessoas: nove técnicos de Secretarias de Educação; sete diretores de escolas; 12 professores; duas mães de alunos; um aluno; e dois funcionários de escolas.

Para este artigo, serão consideradas as informações relativas aos processos de avaliação e planejamento e aos resultados atribuídos ao uso do Indique, segundo a percepção dos usuários participantes. Cabe observar que a análise se pauta nessas percepções, não tendo havido averiguação das informações prestadas.

 

APRESENTAÇÃO E ANÁLISE DE INFORMAÇÕES SOBRE O USO DO INDIQUE

Simplicidade

Fernandes (2007) inclui a simplicidade como um dos desafios para o campo da avaliação. Para ele, esse atributo é um dos fatores dos quais depende o engajamento dos stakeholders. A maior parte dos técnicos das Secretarias, diretores e professores avaliou a metodologia do Indique como simples, de fácil entendimento e operacionalização. A maioria opinou ainda que os diferentes segmentos da comunidade não tiveram dificuldades de compreensão, tanto da metodologia quanto dos indicadores e perguntas.

Alguns entrevistados e participantes de grupos focais consideraram, porém, o material longo e cansativo. A opinião sobre a simplicidade do instrumento não é unânime.

Muito pesado, muita pergunta, complexo e tem repetições. Simplificar a linguagem. É um material bem elaborado, fizemos uso, levamos a sério. Difícil quando vai passar para os pais. É um material extenso, percebemos isso. A parte introdutória é clara. (Professora de Suzano)

A dificuldade de compreensão das perguntas e dos indicadores, especialmente pelos familiares dos alunos, foi relatada nas entrevistas e nos grupos focais. Uma professora de Suzano afirmou que alguns pais mostraram resistência em avaliar as questões mais pedagógicas: "em relação às perguntas, nossa dificuldade foi em relação aos pais; diziam que os professores quem deveriam saber", disse ela.

Alguns relatos indicaram que houve necessidade de esclarecimento do conteúdo das perguntas para que a discussão e a avaliação pudessem acontecer. Mostraram também que esse esclarecimento é, na maior parte das vezes, feito pelos professores, o segmento que mais detém conhecimento do cotidiano escolar. Esta questão será discutida a seguir.

Alguns professores e diretores alegaram complexidade porque os professores precisam explicar certos conteúdos aos familiares. Técnicos de Suzano afirmaram, no entanto, que tal percepção está pautada na necessidade trazida pelo material de compartilhamento de saber (e poder) com os familiares: "O uso do Indique explicita o fato de que os professores detêm poder, por conhecer melhor os procedimentos pedagógicos; e leva ao compartilhamento deste poder com os pais e funcionários" (Técnico da SME de Suzano).

Rigor/precisão

Rigor/precisão se relaciona com a confiabilidade dos resultados da avaliação. De acordo com Vianna, "os padrões relacionados com a precisão demandam que as informações levantadas sejam tecnicamente adequadas e que as conclusões estabelecidas estejam logicamente relacionadas aos dados" (2000, p.120-121). Avaliações feitas por meio do Indique não estão livres da parcialidade. Em Londrina e Ituiutaba, professores afirmaram ter assumido uma postura de esclarecimento aos pais. Técnicos da Secretaria e professores apontaram a delicadeza dessa prática: de um lado, permite uma aproximação dos docentes e pais; possibilita aos últimos conhecer melhor os processos educativos da escola e leva à negociação; de outro, pode levar à indução da avaliação. Ao procurar "esclarecer" alguns assuntos, muitos professores tentam passar o que eles pensam sobre a situação avaliada.

Para Fernandes, a autoavaliação é mais sujeita à parcialidade. Entretanto, ela traz como benefício maior autenticidade e profundidade aos dados.

É verdade que a avaliação interna, ao ser realizada por pessoas que estão directamente envolvidas no programa, pode descrever com mais autenticidade e com mais profundidade o que, realmente, está acontecendo. Mas também é verdade que a avaliação nestas condições pode correr o risco de ser demasiado parcial e enviesada. (s/d, p.6)

É preciso considerar que, ao colocar os vários segmentos da comunidade escolar juntos, tratando dos mesmos assuntos e fazendo negociações, a metodologia de operacionalização do Indique pode funcionar contra enviesamentos excessivos da avaliação. O material responde, por meio da negociação, à exigência da triangulação de opiniões. Para Fernandes, a triangulação é um dos critérios que levam à precisão de processos avaliativos: "A participação na avaliação de, pelo menos, os principais intervenientes num dado projecto, garante a diversidade de pontos de vista sobre o seu mérito e o seu valor, permitindo uma visão mais rigorosa das realidades que se pretende avaliar" (Fernandes, s/d, p.6).

A explicação dos professores aos pais foi também interpretada de forma positiva por um técnico de Suzano. Para ele, essas explicações evidenciam a capacidade que tem o Indique de incidir sobre a necessidade de compartilhamento de saber (e poder) dos professores com os familiares. "O uso do Indique explicita o fato de que os professores detêm poder por conhecer melhor os procedimentos pedagógicos e leva ao compartilhamento deste poder com os pais e funcionários", disse ele.

Importante considerar que a prática da explicação das perguntas pelos professores não foi constante nas escolas. Houve também casos em que, segundo uma professora, os "professores não tinham paciência em explicar muito. Se você não esclarece, você responde pelo outro". Ou seja, o não esclarecimento dos conteúdos trazidos pelo material também pode, na perspectiva de uma diretora de escola de Londrina, gerar induções.

A capacidade do Indique de explicitar conflitos, relatada por alguns entrevistados, reafirma a aposta do Indique na triangulação de opiniões por meio da negociação, técnica de avaliação que, segundo Fernandes, aumenta o rigor da avaliação. Uma supervisora de Ituiutaba afirmou que no uso do Indique "o conflito apareceu na plenária. Fizeram alguns problemas aparecer, coisas que fazíamos vista grossa". Em Suzano, técnicos falaram sobre a capacidade de o material "trazer conflitos à tona".

Relaciona-se também com o rigor/precisão a questão da pertinência do material. Sendo o sistema adequado, chega-se a avaliações mais precisas. A maior parte dos entrevistados, sobretudo os técnicos das Secretarias, considerou o conjunto de indicadores e respectivas perguntas pertinentes e adequados para avaliar a qualidade na educação.

Os participantes das entrevistas e grupos focais falaram também sobre a capacidade que o instrumental tem de evidenciar os problemas da escola, o que contribui para a qualidade e precisão da avaliação.

Abriu o leque, antes escondíamos os problemas da escola. [...] No começo [do uso do Indique] [a assessora pedagógica] afirmou que íamos "mexer em feridas". É um trabalho doloroso, de expor coisas que estavam debaixo do tapete. A secretaria assumiu um perigo grande, pois as pessoas envolvidas poderiam não saber trabalhar com o que aparece. (Supervisora de Ituiutaba)

Utilidade

O padrão "utilidade" alude à capacidade de as avaliações responderem às necessidades dos envolvidos e, por consequência, envolvê-los na melhoria de vida e das instituições. A seguir, são desenvolvidos aspectos relacionados à utilidade: engajamento da comunidade escolar, revisão/elaboração do projeto político-pedagógico, relação entre Secretarias e escolas e melhoria na infraestrutura das escolas.

Engajamento da comunidade escolar no planejamento de mudanças

O estudo mostrou que a etapa de elaboração dos planos não foi uma constante nas escolas. A razão principal, do que se pôde deduzir, foi a própria política de uso do Indique pelas diversas Secretarias, que em alguns casos priorizou a realização do planejamento como etapa de trabalho e, em outros, focalizou o trabalho nas avaliações. Em Ituiutaba, todas as escolas da rede construíram seus planos. Em Londrina, a maior parte das escolas construiu coletivamente seus planejamentos em decorrência da avaliação realizada. Em Ibitiara, isso ocorreu para a dimensão Leitura e Aprendizagem da Leitura e da Escrita. No município de Suzano, os planos de ação não foram elaborados, ainda que o desenvolvimento de ações decorrentes da avaliação com o Indique tenha sido relatado nos grupos focais realizados nas escolas e na Secretaria de Educação.

Em Ituiutaba e Londrina, houve referência à realização de reuniões entre os gestores das diversas escolas para trocar experiências sobre os processos de avaliação e planejamento. "A partir dos resultados do Indique encaminhados pelas escolas à Secretaria, foi feito um levantamento dos problemas existentes e este material foi discutido com os diretores, os das escolas participantes e também os outros que não aplicaram o Indique" (Técnica da SME de Londrina). Essa reunião, em Ituiutaba, deu origem a um consolidado das avaliações e planejamentos das instituições que serviu de base para a definição de prioridades, estratégias e diretrizes gerais da Secretaria de Educação para os anos seguintes.

Incremento da participação dos familiares

Alguns depoimentos dos participantes das entrevistas e dos grupos focais mostram que o uso do Indique tem a capacidade de melhorar a participação dos familiares na escola. Em Suzano, professores disseram que o instrumento desenvolve a "capacidade dos familiares de acompanhar questões pedagógicas" e "[que] ao longo do ano letivo, os familiares melhoraram seu acompanhamento nessa área". Essa percepção é compartilhada por professores e diretores de Ituiutaba e Londrina: "Até então os pais colocavam as crianças na escola e deixavam lá e pronto. Vemos mudança nas atitudes dos pais (Supervisora de Ituiutaba). "O trabalho com o Indique empolgou os pais que passaram a ter mais confiança na escola e na possibilidade de a escola melhorar" (Diretora de Londrina). Essa mudança na participação dos familiares traz um impacto nas atitudes de professores, tal como indicam os depoimentos.

Hoje, eu, como professora, me preocupo mais em explicar, falar sobre minha prática para os pais. Me preocupo em justificar para os pais. É um exercício, logo ele começará a questionar. Fortalecer a parceria entre os pais. Os pais estão acompanhando o processo dos filhos, sabendo apoiar melhor em casa. (Professora de Suzano)

A participação dos pais em geral ainda é menor que o desejável, mas o Indique proporcionou um maior interesse pelos assuntos escolares, não só no âmbito das escolas, como também sobre o funcionamento da educação nas esferas local e nacional. A escola passou a atender melhor os pais e as crianças e houve melhora na disciplina e no respeito entre as pessoas. (Diretora de Suzano)

Mudança na prática dos funcionários

A participação nos processos desencadeados pelo Indique traz mudança também nas práticas de funcionários. Após a realização de um grupo focal em Suzano, uma merendeira da escola procurou as pesquisadoras para dizer que, devido ao uso do instrumento, passou a compreender melhor seu trabalho de responsável pela merenda como parte do trabalho educativo feito na escola. "Aprendi que o meu trabalho aqui na cantina também é parte da educação das crianças", disse ela. Em Ituiutaba, uma supervisora se referiu a "serviçal falando sobre o pedagógico, trouxeram contribuições".

Fortalecimento dos conselhos escolares

Os entrevistados e participantes dos grupos focais fizeram referência também à contribuição do Indique para os conselhos escolares. Em Ituiutaba, a técnica da Secretaria relatou ações de estruturação e fortalecimento dos colegiados, com a realização de palestras e oficinas com especialistas do MEC. Outro resultado importante no município foi a inauguração da Casa dos Conselhos (espaço para reuniões, do Conselho Municipal de Educação, do Fundo de Manutenção e Desenvolvimento do Ensino Fundamental e Valorização do Magistério -Fundef -, do Transporte Escolar, da Alimentação Escolar, assim como Conselhos Escolares, que visa promover mais autonomia, articulação e interação dentre os diversos colegiados). Em Suzano, a diretora de uma escola afirmou que, após a aplicação do Indique, "o conselho escolar passou a funcionar melhor. O interesse dos participantes aumentou e o número de inscrições para a eleição do conselho cresceu". Na Bahia, uma diretora disse que passou a consultar o colegiado para aplicar os recursos financeiros, definir prioridades, conduzir problemas de disciplina dos alunos e posturas inadequadas dos professores.

Participação dos alunos

Foram poucas as menções sobre possíveis influências do uso do Indique na participação dos alunos. A única referência foi em Ituiutaba, onde a diretora de uma escola incluiu o fortalecimento do grêmio estudantil nos resultados trazidos pelo material. No mesmo município, houve também menções das equipes gestoras quanto à implementação de ações, visando à melhoria da disciplina, elaboração do código de ética, o que pode levar a uma melhor convivência entre os diversos atores, incluindo os alunos, no ambiente escolar.

Relação com a comunidade local

Na apresentação dos processos e resultados do uso do Indique em Ituiutaba, também foi possível perceber que o material tem funcionado como um instrumento de aproximação da escola com a comunidade local, uma vez que pessoas como presidentes de associações de bairro, policiais militares, funcionários do posto de saúde e representantes de empresas participaram das avaliações em algumas escolas. Uma supervisora afirmou que o uso do Indique significou "um crescimento muito grande; trouxe a comunidade para a escola, [...] momento de estar integrando escola, comunidade, associação de bairro, tratando a educação como interesse de todos".

Fortalecimento da gestão democrática

Impactos sobre a gestão das escolas, tornando-as mais democráticas, foram relatados pelos participantes das entrevistas e dos grupos focais. Uma diretora de Salvador afirmou que, "por meio do Indique, compreendi que uma mesma situação ou prática pode ser vista de diversas formas por pessoas de diferentes segmentos da comunidade escolar". Afirmou ainda que, com o material, "a identificação dos problemas deixa de ser objeto de trabalho somente da equipe de gestão" e que "passou a compartilhar mais a responsabilidade pela gestão da escola". O técnico da Secretaria de Educação da Bahia confirmou a percepção da diretora, informando que houve impacto na gestão das escolas.

A identificação coletiva de prioridades foi citada não só por pautar a gestão das escolas, mas, também, da rede como um todo. Segundo um consultor que presta serviços à prefeitura de Ituiutaba para o uso do Indique, o Secretário de Educação do município encara o material como um "guia de investimento", na medida em que permite a identificação de prioridades pelas próprias comunidades escolares e direciona os investimentos dos recursos na área da educação. Em Suzano, um técnico da SME afirmou que: "necessidades se tornam aparentes, prementes. Vimos como as prioridades da Secretaria não são as mesmas da comunidade".

Uma diretora de Londrina afirmou que o engajamento da comunidade durou enquanto havia uma equipe externa (da Ação Educativa) acompanhando o processo (primeiro ano de uso): "a mobilização não se manteve e foi acabando em função de problemas de acompanhamento". Tal depoimento aponta para a necessidade de investigar melhor a continuidade do uso do Indique e das suas repercussões nas escolas. De acordo com depoimento de técnico da Bahia, por exemplo, não houve continuidade do uso em muitas escolas "devido à nomeação de novos gestores escolares em substituição aos antigos". Seria interessante avaliar se essas descontinuidades impedem a consolidação das mudanças.

Mudança na prática pedagógica

O comprometimento dos professores e outros atores do âmbito escolar pela melhoria da prática pedagógica também foi apontado. Em Ituiutaba, membros das equipes gestoras mencionaram a retomada da reunião pedagógica semanal como um dos resultados do uso do instrumento. Diretores de Londrina afirmaram que o Indique "melhorou o processo de formação continuada de funcionários e professores". Em Ibitiara, uma das mudanças percebidas pela técnica entrevistada foi "o fortalecimento da relação professor/aluno na alfabetização", após o uso da dimensão Ensino e Aprendizagem da Leitura e da Escrita. Diretores e professores de Suzano referiram-se ainda à reconstrução do sentido da avaliação proporcionado pelo uso do Indique, passando de um registro no qual se remetia muito à nota e à cobrança para um modelo de avaliação pautado no diálogo. O uso do Indique estaria, nessa perspectiva, propiciando o início de uma lógica mais formativa de avaliação.

Revisão/elaboração do projeto político-pedagógico

Um importante resultado apontado pelo estudo é a revisão ou elaboração do projeto político-pedagógico que o Indique proporciona, tal como evidenciam depoimentos da Bahia e de Suzano.

Houve também a reestruturação do projeto político-pedagógico - PPP. As respostas da comunidade às perguntas do Indique foram usadas para a reformulação do PPP. As sínteses eram colocadas em murais. Foi criada uma comissão participativa para sistematizar os resultados e depois para reconstruir o PPP. (Diretora de Salvador)

Começamos a incluir muito do que apareceu nas avaliações no planejamento e para o PPP. Nesse ano, queremos ouvir de novo a comunidade como um todo, não só os representantes. Mudar o PPP, pois ele vai mudando. (Diretora de Suzano)

Em Ibitiara, considerou-se que a solução para os problemas identificados na avaliação com o Indique deveria ser pensada dentro do projeto político-pedagógico, sendo que o Indique foi usado como prévia à sua elaboração.

Relação entre Secretarias e escolas

As informações colhidas pelo estudo possibilitam afirmar que o Indique pode propiciar mudanças na relação entre a Secretaria de Educação e as escolas. Tanto em Ituiutaba quanto em Londrina houve depoimentos sobre uma aproximação entre essas instâncias.

No começo da implantação do Indique havia a preocupação dos gestores e das escolas com a "censura" e com a verbalização dos problemas, o "medo do vermelho!". O trabalho evoluiu no sentido de demonstrar que os itens em vermelho não seriam objetos de censura e sim, objeto de trabalho. Esta nova relação possibilitou um diálogo mais aberto e maior liberdade para as escolas dizerem o que querem e como querem.(Assessora da SME de Ituiutaba)

Sim, ficou mais próxima a relação em função da presença da secretária e das assessoras para aplicação do Indique. Esta proximidade perdura até hoje. (Diretora de Londrina)

Em Ituiutaba, membros das equipes gestoras das escolas relataram que "a Secretaria mudou a interação com as escolas. A Secretaria tem recebido melhor, maior apoio e interação"; "antes tinha um receio de pedir para a Secretaria"; e "a Secretaria pôde conhecer melhor as escolas". Em Ibitiara, a técnica da SME relatou que a relação do órgão com as escolas mudou: "maior aproximação, circulação de informações e diálogo mais pertinente sobre o que cada escola tem e do que necessita, contribuindo com a definição das prioridades da rede". Afirmou também que "houve mudança do olhar da Secretaria sobre as escolas, inclusive indicando o que as escolas podem fazer sozinhas e o que depende da Secretaria". A diretora de um estabelecimento de Suzano afirmou que "ouve-se mais a escola, com mais respeito à autonomia". Apenas a diretora de uma escola de Londrina disse que não houve nenhum tipo de mudança.

Uma diretora afirmou que "o Indique deu mais autonomia". Segundo ela, "a Secretaria de Educação não esteve à altura das cobranças que ocorreram após o uso do Indique. O gestor fica muito grande quando trabalha com a comunidade. Será que as Secretarias estão à altura?". Uma perspectiva que diverge da maioria dos depoimentos, mas que denota a possibilidade de que a relação entre Secretaria de Educação e escolas, após o processo de avaliação feito por meio do Indique, pode estar sujeita a novos tipos de conflitos.

Demarcação de papéis e responsabilidades

Os depoimentos mostram ainda que o Indique ajudou a demarcar melhor o que é de responsabilidade das Secretarias de Educação e o que é de responsabilidade das escolas. A técnica de Ituiutaba afirmou que "antes achavam que tudo a Secretaria tem que prover. E as coisas todas que as escolas podem fazer?". Uma diretora de escola do mesmo município afirmou que "o principal do Indique foi o professor falar e a Secretaria ouvir. Ao mesmo tempo, ele [o professor] ouviu, e viu que muito era consequência deles mesmos. Isso trouxe maior comprometimento com a direção". Técnicos de Suzano também afirmaram que "qualquer problema que a escola tinha era direto aqui, depois as escolas puderam compreender que cada um pode fazer a sua parte".

A autoavaliação realizada por meio do Indique corrobora a visão de Simons, para quem a autoavaliação tende a reforçar o profissionalismo (no sentido da constituição de profissionais responsáveis). Para essa autora, a autoavaliação é "a melhor via para a melhoria da qualidade do ensino prestado às crianças. [...] Trata-se de uma relação adequada entre responsabilidade e profissionalismo. A autoavaliação permite interrogar para quem e para que se é responsável" (1993, p.163).

Melhoria na infraestrutura das escolas

De acordo com entrevistados e participantes dos grupos focais, o Indique tem propiciado a melhoria na infraestrutura das escolas. Em Londrina, a técnica da Secretaria citou como resultados "a cobertura de quadras de esporte e a adoção do projeto de leitura Palavras Andantes, que aumentou a retirada de livros nas bibliotecas e o acervo". Em Suzano, a diretora de uma escola apontou a construção de rampa de acesso às pessoas com deficiência, de uma sala de professores e de um parque infantil como resultados do uso do material.

Em Ituiutaba houve referência à construção de uma escola de educação infantil, à informatização das escolas e à melhoria da estrutura física e material como um todo. Uma diretora afirmou que os materiais pedagógicos disponibilizados "melhoraram muito", e outra se referiu à implantação de cantinhos de leitura nas salas de aula.

Factibilidade

Segundo Vianna,

Os padrões relacionados à factibilidade [ponderam a avaliação] em termos materiais e de custos-benefícios. A avaliação exige um plano definido, operativo, prático e parcimonioso em relação aos recursos financeiros. Ou seja, o padrão factibilidade significa ser: realista, prudente, politicamente viável e parcimonioso, no dizer de Stufflebeam e Madaus. (2000, p.120-121)

Ribeiro e Pimenta analisaram o potencial da proposta metodológica do Indique para responder aos padrões de qualidade da avaliação e aos desafios postos por especialistas para o campo da avaliação, sem referência a informações sobre sua aplicação. No que tange à factibilidade da metodologia afirmaram que

É possível considerar que a proposta possui potencial de factibilidade: possibilita a avaliação da escola de ensino fundamental ou da instituição de educação infantil, com a participação da comunidade, em um tempo relativamente curto. Corrobora também este potencial o fato de que os materiais necessários ao processo de autoavaliação (fotocópias, lápis de cor, papel, canetas) são de uso cotidiano de escolas e de instituições de educação infantil, além de pouco dispendiosos. (2009, p.13)

Os relatos dos usuários do Indique provenientes do estudo mostram que a questão da factibilidade do material é mais complexa. Ainda que a inexistência de dificuldades no uso do material relacionadas a recursos financeiros ou materiais tenha sido ratificada, apareceram considerações relativas à viabilidade política e ao tempo necessário. Dentre os motivos apontados por Secretarias de Educação que não deram continuidade ao uso do Indique, estão: mudanças na equipe e de foco do trabalho da Secretaria; dificuldade de reservar tempo na agenda e na dinâmica da escola para implantação do Indique; equipe da Secretaria reduzida para desenvolver o trabalho; nomeação de novos gestores escolares em substituição aos antigos; falta de cobrança e de acompanhamento externo; forma de divulgação insuficiente para fomentar seu uso; falta de retorno e orientação para o trabalho; e burocracia da escola/Secretaria muito absorvente.

Por fim, cabe dizer que havia, por parte dos elaboradores do instrumento, uma expectativa de se chegar a um material autoaplicativo, com foco direto nas escolas, pelo qual se interessariam a ponto de operacionalizá-lo de modo autônomo. Essa expectativa não se efetivou na prática. Ao contrário, notou-se grande dependência das escolas em relação às Secretarias de Educação ou mesmo destas em relação ao outro órgão estimulador do uso. Em São Félix (BA), por exemplo, a dirigente educacional do município afirmou que a Secretaria não deu sequência à implantação do Indique pela "falta de cobrança externa".

Nos locais, no entanto, em que o uso mostrou maiores resultados, detectou-se intenso apoio da Secretaria da Educação, ainda que em alguns casos esse apoio tenha sido interrompido por razões políticas. A factibilidade do Indique pode, portanto, ser limitada por descontinuidades na administração, por falta de acompanhamento, incentivo, retorno e apoio tanto às escolas quanto às Secretarias de Educação. Trata-se, nesse caso, de um limite à expectativa inicial dos elaboradores do material no que se refere à autoaplicação e, portanto, à factibilidade.

 

TENSÕES NOS PROCESSOS DE AUTOAVALIAÇÃO

As entrevistas e os grupos focais levam a identificar um conjunto de tensões subjacentes ao uso do Indique. Uma primeira diz respeito a caminhos e modelos de avaliação. Depoimentos de técnicos das Secretarias do Amazonas, Ituiutaba, Londrina e Suzano mostram que a discussão de diferentes enfoques de avaliação está perpassando as decisões dos responsáveis por políticas educacionais nessas localidades.

O Indique é um bom instrumento de avaliação, diagnóstico e acompanhamento. [...] A avaliação proporcionada pelo uso do Indique tem as dimensões da escola integradas o que permite uma visão ampla da educação, em contraposição a formatos fechados e de respostas frias. (Técnica da SME de Ituiutaba)

As escolas, até o Indique, se preocupavam somente com dados e não com o processo escolar e de qualidade da educação. (Técnico da SEE do Amazonas)

Estamos acostumados com aquela avaliação que vem pronta, focada no aluno. Quando optamos pelos indicadores, a ideia foi fazer uma avaliação de todos os segmentos da comunidade, ver quais são os problemas que podem ser resolvidos no âmbito da escola e quais no âmbito da Secretaria, enfim, dar a oportunidade da comunidade de avaliar a escola. (Técnica da SEE de Suzano)

Há uma percepção da existência de caminhos diversos: avaliação focalizada no desempenho dos alunos com base em testes de larga escala e/ou avaliação que direciona o olhar para os processos de ensino e aprendizagem. Texto de apresentação de publicação que sistematizou o uso do Indique em Suzano auxilia na elucidação da forma que esse debate é visto naquela rede:

A avaliação adquiriu lugar de destaque na educação brasileira. Analisando as políticas educacionais recentes percebe-se a clara opção por instituir um Sistema Nacional de Avaliação em detrimento de um Sistema Nacional de Educação, isto é, as avaliações dos diversos níveis de ensino cumprem o papel de direcionar as políticas educacionais de estados e municípios, instituindo "rankings" que justificam, inclusive, a destinação de verbas para as referidas instituições. Neste contexto, e aliado à vivência que muitos de nós experimentamos na história de nossa escolarização, a avaliação foi associando-se a ideia da punição, instituindo uma lógica competitiva, coercitiva e centralizadora nos processos avaliativos. Lógica que esvazia o sentido primeiro da avaliação, que é analisar um dado momento e perceber sua distância ou proximidade do objeto e o projeto que concebemos. E, é justamente esse sentido que queremos resgatar. (Suzano, 2006, p.5)

De acordo com Monica Thurler, há atualmente um debate

...opondo os partidários de uma ofensiva dirigida à aferição externa da eficácia da ação pedagógica e aqueles que desejam investir um máximo de esforços para implantar, no plano local [nos estabelecimentos escolares], as competências indispensáveis de autoavaliação e autorregulação. Esse debate não é novo: ele existe há décadas entre os partidários de uma orientação centrada nos efeitos e aqueles que defendem a prioridade do processo. Ele evidencia a crença muito forte - e ainda persistente - daqueles que ainda hoje pensam que a qualidade é assegurada, de um lado, por uma verificação regular do desempenho dos alunos e, de outro, pelo controle externo da competência dos alunos. (2002, p.64)

No Brasil, tanto a avaliação institucional da educação básica quanto a organização de sistemas de avaliação de desempenho dos alunos por meio de testes de larga escala são recentes, sendo que esta última perspectiva, ao contrário da primeira, tem ampliado sua abrangência (Sousa, 1999; Oliveira, 2006). Embora o Indique não tenha sido elaborado para se contrapor às avaliações externas, é assim que parte dos usuários tem identificado o instrumento. Os testes de larga escala são vistos como "modelo que vem de cima para baixo", que "culpabiliza a escola" e que "pune e fiscaliza", e o Indique é visto como algo que pode ser construído dentro da escola e que resgata a importância da avaliação do processo. "É uma forma de avaliação para dialogar com as pessoas. Enquanto o Saresp e a Prova Brasil tentam dar uma avaliação da qualidade da educação pelo que os alunos respondem, o Indique vai na outra direção. Pensar os problemas e como podem ser resolvidos" (Técnico da SME de Suzano).

Um segundo ponto de tensão verificado é que o uso do Indique exige algum nível de compartilhamento do saber dos professores (para técnicos de Suzano, "de poder") sobre os assuntos ditos "pedagógicos". Essa questão se vincula à resistência de alguns professores à maior participação dos familiares, assim como às reclamações de que precisam ficar explicando processos pedagógicos aos familiares, o que é cansativo (situação explanada num grupo focal de Suzano como algo incômodo). Para Simons, um dos pontos positivos da autoavaliação é que ela fornece as bases para "o conhecimento público das problemáticas educativas" (1993, p.163). O estudo denota que o alcance desse "conhecimento público" é um processo permeado por conflitos, no qual o papel do professor e o modo pelo qual ele entende a relação da escola com a comunidade são chamados ao debate. Observa-se também que, ao mesmo tempo em que a necessidade de explicação do professor aos familiares gera compartilhamento de saber/poder, ela também dá outro poder aos professores: a possibilidade de impor, nas discussões, suas próprias opiniões, o que pode interferir na precisão da avaliação.

O terceiro ponto diz respeito às resistências dos professores à avaliação, relatadas por técnicos de Suzano e da Bahia. As resistências estariam relacionadas às próprias concepções de modelos de avaliação vigentes na sociedade, à dificuldade de se sentirem avaliados, à falta de hábito de compartilhar questões internas das escolas com os familiares e ao preconceito com a participação da comunidade.

Segundo os técnicos, as resistências foram sendo quebradas progressivamente pela percepção de que a proposta do Indique se centrava na autoavaliação e na proposição de soluções para os problemas identificados, assim como na informação de que não haveria punições ou retaliações.

Outra hipótese que pode explicar as resistências é a possibilidade que o Indique traz de evidenciar problemas da escola. Em Ituiutaba, um dos participantes relatou o medo que identificou durante as avaliações de "tocar em pontos da minha parte". Neste sentido, alguns setores, prevendo que a avaliação irá explicar aspectos da qualidade relacionados a seu trabalho, podem manifestar resistências em desencadear o uso do Indique.

A Secretaria de Educação que mais verbalizou a existência de resistências para uso do Indique foi a do município de Suzano. Uma hipótese para esta explicitação pode ser o alto nível de reflexibilidade e criticidade dos técnicos do município. Outra é a forma pela qual o material foi introduzido na rede. Todas as escolas foram chamadas ao uso, sem processo de adesão. Também não foram desenvolvidas ações de formação das equipes escolares para o uso do material. Avalia-se que a etapa de apresentação da proposta do Indique para as escolas é extremamente importante, pois é um momento mobilizador, no qual as escolas são conquistadas para a participação. Esses pontos de tensão indicam a relevância da construção do sentido da avaliação com as escolas. Segundo Thurler,

...para que os professores participem voluntariamente do levantamento e da análise dos dados, para que aceitem os resultados da avaliação e modifiquem suas práticas em consequência disso, é indispensável que estejam convencidos de que as condutas empreendidas não se voltarão contra eles. (2002, p.76)

As Secretarias de Educação precisam construir o sentido da autoavaliação com o Indique nas escolas, evidenciando o objetivo de mobilizar a comunidade escolar para o envolvimento em ações pela melhoria da qualidade. O estudo mostrou que há clara relação entre a possibilidade de construir sentidos, o uso sistemático do material, o acompanhamento das Secretarias e a percepção, por parte da comunidade escolar, dos resultados alcançados.

 

CONCLUSÃO

Este artigo analisou os resultados de um estudo sobre usos dos Indicadores da Qualidade na Educação por Secretarias de Educação, tendo como referência padrões de qualidade de processos avaliativos e desafios contemporâneos para a avaliação propostos por especialistas. As análises feitas permitem afirmar que, considerando a percepção de usuários, o Indique leva a avaliações com graus de precisão capazes de gerar mudanças (maior engajamento e responsabilidade da comunidade escolar nos processos, elaboração/revisão do projeto político-pedagógico, melhoria da infraestrutura, melhoria da gestão das escolas e da rede). Contudo, tais avaliações esbarram em limites, como a indução das respostas por segmentos detentores de maior poder no cotidiano escolar.

Fica claro também que a participação da comunidade na escola, especialmente no quesito avaliação, é um processo que precisa ser construído e que envolve uma mudança na cultura escolar. O uso do Indique é um passo, não se espera que a comunidade escolar tenha todas as condições de avaliar a escola e sim que esta capacidade vá sendo construída. Apesar disso, pode-se dizer que o material consegue envolver os stakeholders no processo de avaliação, gerando negociações e ações com potencial de impactar positivamente a melhoria da vida institucional e das pessoas. A simplicidade do material é afirmada pela maioria dos entrevistados e participantes de grupos focais, ainda que alguns tenham considerado o sistema de indicadores longo, cansativo e com perguntas de difícil compreensão, especialmente pelos familiares. O nível de operacionalização (devido à metodologia proposta) foi considerado alto, porém sua factibilidade é limitada, sobretudo, pela dependência de escolas e Secretarias em relação a instâncias que venham a estimular o uso.

As percepções dos usuários do Indique apontam para resultados importantes: o levantamento de problemas; a descoberta de um sentido formativo para a avaliação; o compartilhamento de poder/saber, opiniões e valores; a explicitação de conflitos; a negociação; o fortalecimento dos mecanismos de diálogo, de comunicação e de gestão; melhoria da relação professor/aluno; a institucionalização de momentos de reflexão sobre a prática pedagógica; o fortalecimento de processos apontados por especialistas como fatores relevantes para o fortalecimento da autonomia da escola, como a elaboração ou revisão do projeto político-pedagógico de forma participativa (Azanha, s/d) e o fortalecimento da participação dos familiares na escola e nos conselhos escolares.

O reconhecimento e legitimidade do Indique para avaliar a qualidade da educação foram destacados pela maioria dos entrevistados, sobretudo pelos gestores das políticas. Tal situação reforça o potencial de utilidade do instrumento5.

Quando utilizado em toda a rede de ensino, o Indique pode levar à troca de conhecimentos entre as escolas; tornar mais próxima e confiável a relação entre as Secretarias e instituições; fortalecer a responsabilidade pela educação por escolas e Secretarias, clareando os papéis de cada um. Tais resultados, porém, ocorrem em contextos permeados por tensões: aquelas próprias ao universo da avaliação (questionamentos de finalidades, resistências, medos, incômodos); as que são da esfera das relações políticas dentro das escolas (aceitação e resistências às capacidades dos diversos segmentos da comunidade escolar em participarem da avaliação, centralização/compartilhamento do saber/poder); e aquelas relativas à relação entre as escolas e as Secretarias de Educação (compartilhamento/centralização do poder, disputa de modelos educacionais e responsabilização).

 

REFERÊNCIAS BIBLIOGRÁFICAS

AÇÃO EDUCATIVA. Projeto indicadores da qualidade na educação: balanço de resultados. (The quality indicators in education project-taking stock of results). São Paulo: Ação Educativa, 2008. Mimeo        [ Links ]

AÇÃO EDUCATIVA et al. (Coord.). Indicadores da qualidade na educação. (Quality indicators in education). 3. ed. São Paulo: Ação Educativa, 2007.         [ Links ]

AZANHA, J. M. Proposta pedagógica e autonomia da escola. (The pedagogical proposal and the autonomy of the school). [s/d]. Available at: <http://www.smec.salvador.ba.gov.br/site/documentos/espaco-virtual/espaco-escola/coord-pedagogico/artigos/proposta%20pedagogica%20e%20autonomia%20da%20escola.pdf>. Viewed on 8 April 2009.         [ Links ]

FERNANDES, D. Avaliação de programas e projetos. (Assessment of programs and projects) Lisbon, [s/d]. Mimeo. [The text of a class taught as guest lecturer, FEUSP, May 2009]         [ Links ]

______. Limitações e potencialidades da avaliação educacional. (Constraints and potentials of educational assessment) Lisbon: 2007. mimeo. [The text of a class taught as guest lecturer, FEUSP, May 2009]         [ Links ]

FITZPATRICK, J.; CHRISTIE, C.; MARK, M. Evaluation in action: interviews with expert evaluators. Thousand Oaks: Sage, 2009.         [ Links ]

OLIVEIRA, R. P. Estado e política educacional no Brasil: desafios do século XXI. (The Brazilian State and educational policy: twenty-first century challenges). 2006. Thesis (Livre Docência) - FEUSP, São Paulo.         [ Links ]

RIBEIRO, V. M.; PIMENTA, C. O. Análise de uma proposta de avaliação institucional para a escola. (The analysis of a proposal for the institutional evaluation of schools). In: ENCONTRO ANPAE, 2009, São Paulo. Text presented... São Paulo: ANPAE, 2009.         [ Links ]

RIBEIRO, V. M.; RIBEIRO, V. M; GUSMÃO, J. B. Indicadores da qualidade para a mobilização da escola. (Quality indicators for mobilizing schools). Cadernos de Pesquisa, São Paulo, v. 35, n. 124, p. 227-251, January/April 2005.         [ Links ]

SIMONS, H. Avaliação e reforma das escolas. (Assessment and reform of schools). In: ESTRELA, A.; NÓVOA, A. (Org.). Avaliações em educação: novas perspectivas. (Assessments in education: new perspectives). Porto: Porto, 1993. p. 155-170.         [ Links ]

SOUSA, S. Z. L. Avaliação institucional: elementos para discussão. (Institutional evaluation: points for discussion). In: SEMINÁRIO O ENSINO MUNICIPAL E A EDUCAÇÃO BRASILEIRA (SEMINAR: MUNICIPAL EDUCATION AND EDUCATION IN BRAZIL) 2000, São Paulo. Annals... São Paulo: Secretaria Municipal de Educação de São Paulo, 1999. p. 83-91        [ Links ]

SUZANO. Prefeitura Municipal. Avaliação institucional dos indicadores da qualidade na educação. (Institutional assessment of education quality indicators) Suzano: Xamã, 2006.         [ Links ]

THURLER, M. Da avaliação dos professores à avaliação dos estabelecimentos escolares. (From assessing teachers to evaluating school establishments). In: PERRENOUD, P.; THURLER, M. (Org.). As Competências para ensinar no século XXI: a formação dos professores e o desafio da avaliação. (Competencies for teaching in the 21st Century: teacher training and the challenge of assessment). Porto Alegre: Artmed, 2002. p.61-87.         [ Links ]

VIANNA, H. Avaliação educacional: teoria, planejamento, modelos. (Educational assessment: theory, planning, models). São Paulo: Ibrasa, 2000.         [ Links ]

 

 

 

Recebido em: outubro 2009
Aprovado para publicação em: fevereiro 2010

 

 

1. O relatório do estudo, desenvolvido com apoio da Fundação Telefônica, assim como o próprio Indique, estão disponíveis em: www.acaoeducativa.org/indicadores; acesso em: set. 2009. Para a elaboração do artigo, recorremos também à transcrição de algumas entrevistas que fizeram parte da pesquisa.
2. Esses padrões surgiram no início dos anos 1980, nos EUA, e são chamados Standarts for evaluations of educational programs, projects and materials [Padrões para avaliação de programas, projetos e materiais educacionais]. Objetivaram enfrentar uma série de abusos que vinham sendo cometidos com a proliferação de avaliações realizadas na área educacional. Sua elaboração envolveu especialistas de vários países por cerca de cinco anos (Vianna, 2000).
3. Mais detalhes sobre a elaboração do Indique podem ser encontrados em Ribeiro, Ribeiro e Gusmão (2005).
4. O debate, organizado pela Secretaria de Educação de Ituiutaba, foi mediado pela pesquisadora, que procurou provocar a discussão, buscando ter respondidas as questões do roteiro. Do relatório do estudo feito pela Ação Educativa não consta o número de participantes por segmento.
5. Para David Fetterman, o apoio dos responsáveis pelas decisões é fundamental para que os resultados de uma avaliação sejam utilizados (Fitzpatrick, Christie, Mark, 2009, p.107).

Creative Commons License All the contents of this journal, except where otherwise noted, is licensed under a Creative Commons Attribution License