Acessibilidade / Reportar erro

Avaliação de impacto do Programa Saúde nas Escolas

Impact Assessment of the Health Program in Schools

Evaluación de impacto del Programa Salud en las Escuelas

Resumo

A sexualidade é tema transversal para a Educação Básica e vem ganhando relevância social com o aumento dos casos de AIDS na juventude brasileira. Esta pesquisa objetivou avaliar o Programa Saúde nas Escolas - PSE, a partir da comparação de quatro escolas públicas, duas com adesão ao Programa (grupo experimental) e duas sem (grupo controle). Inicialmente, foi construída e testada psicometricamente uma escala de atitudes e prevenção de infecções sexualmente transmissíveis - ISTs. Em seguida foi realizado um survey com 400 alunos do Ensino Médio e entrevistas com seis gestores do Programa. Os gestores mostraram bom conhecimento do Programa e de seus objetivos, mas a implementação deste apresenta falhas. Os alunos não confirmam a realização das atividades previstas nas escolas e não foram encontradas diferenças significativas entre o conhecimento do grupo experimental e do grupo controle acerca da prevenção das ISTs, predominando tabus e desinformação.

Palavras-chave:
Avaliação de programas; ensino médio; sexualidade

Abstract

The theme of sexuality is considered as a cross-cutting issue to be worked on basic education and gain social relevance when cases AIDS increase in on young people of Brazil. This study aims to evaluate the Health Program in schools - PSE, with comparison of four public schools, two with joining the program (experimental group) and two without accession (control group). For a start, we built and tested a scale of attitudes and psychometric prevention of sexually transmitted infections - STIs. After that we conducted a survey with 400 high school students, and six interviews with program managers. The managers demonstrated good knowledge of the program and its objectives, but the implementation of the same lapse. Students not confirm the performance of activities provided in schools and no significant differences were found between the knowledge of the experimental group and the control group on the prevention of STIs, prevailing taboos and misinformation.

Keywords:
Evaluation of programs; high school; sexuality.

Resumen

La sexualidad es tema transversal para la Educación Básica y viene ganando relevancia social con el aumento de los casos de AIDS en la juventud brasileña. En esta investigación se tuvo por objetivo evaluar el Programa Salud en las Escuelas - PSE, a partir de la comparación de cuatro escuelas públicas, dos con adhesión al Programa (grupo experimental) y dos sin la adhesión (grupo control). Inicialmente, se construyó y testó psicométricamente una escala de actitudes y prevención de infecciones de transmisión sexual - ISTs. Después se realizó un survey con 400 alumnos de la Enseñanza Secundaria y entrevistas con seis gestores del Programa. Los gestores mostraron buen conocimiento del Programa y de sus objetivos, pero la implementación de éste presenta fallas. Los alumnos no confirmaron la realización de las actividades previstas en las escuelas y no fueron encontradas diferencias significativas entre el conocimiento del grupo experimental y del grupo control acerca de la prevención de las ISTs, predominando tabúes y desinformación.

Palabras clave:
Evaluación de programas; enseñanza secundaria; sexualidad.

A sexualidade precisa ser entendida como questão de saúde pública e a escola como espaço para o desenvolvimento de uma ação crítica, reflexiva e participativa para a promoção da saúde dos adolescentes (Altmann, 2001Altmann, H. (2001). Orientação sexual nos parâmetros curriculares nacionais. Revista de Estudos Feministas, 9(2), 575-585. Recuperado: 28 fev. 2014. Disponível: Disponível: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0104-026X2001000200014&lng=pt&tlng=pt doi: 10.1590/S0104-026X2001000200014.
http://www.scielo.br/scielo.php?script=s...
;Fonseca& Gomes, 2010Fonseca, A. D.; Gomes, V. L. O. (2010). Percepção de adolescentes sobre uma ação educativa em orientação sexual realizada por acadêmicos(as) de enfermagem. Escola Anna Nery Revista de Enfermagem, 14(2), 330-337. Recuperado: 24 ago. 2014. Disponível: Disponível: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S141481452010000200017 doi: 10.1590/S1414-81452010000200017.
http://www.scielo.br/scielo.php?script=s...
; Andres, Jaeger, & Goellner, 2015Andres, S. S.; Jaeger, A. A.; Goellner, S. V. (2015). Educar para a Diversidade: Gênero e Sexualidade segundo a percepção de estudantes e do ​​programa institucional supervisoras de bolsa de iniciação à docência (UFSM). Revista da Educação Física/UEM, 26(2), 167-179.Recuperado: 12 jan. 2016 Disponível: Disponível: http://www.periodicos.uem.br/ojs/index.php/RevEducFis/article/view/23016/15231 doi: 10.4025/reveducfis.v26i2.23016 .
http://www.periodicos.uem.br/ojs/index.p...
). Apesar dos avanços na área, a sociedade ainda tem preconceito e a sexualidade permanece sendo considerada um tabu, inclusive no ambiente escolar (Beraldo, 2003Beraldo, F. N. M. (2003). Sexualidade e escola: espaço de intervenção. Psicologia Escolar e Educacional,7(1), 103-104.Recuperado: 28 fev. 2014. Disponível: Disponível: http://www.unifafibe.com.br/revistasonline/arquivos/cadernodeeducacao/sumario/31/04042014074026.pdf doi: 10.1590/S1413-85572003000100012.
http://www.unifafibe.com.br/revistasonli...
; Cedaro, Vilas Boas, & Martins, 2012Cedaro J. J.; Vilas Boas, L. M. S.; Martins R. M. (2012). Adolescência e sexualidade: um estudo exploratório em uma escola de Porto Velho - RO. Psicologia: Ciência e Profissão, 32(2), 320-339. Recuperado: 28 fev. 2014. Disponível: Disponível: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1414-98932012000200005&lng=en&nrm=iso&tlng=pt doi: 10.1590/S1414-98932012000200005.
http://www.scielo.br/scielo.php?script=s...
; Russo & Arreguy, 2015Russo, K.; Arreguy, M. E. (2015). Projeto "Saúde e Prevenção nas Escolas": percepções de professores e alunos sobre a distribuição de preservativos masculinos no ambiente escolar. Physis: Revista de Saúde Coletiva, 25(2), 501-523. Recuperado: 15 fev. 2016. Disponível: Disponível: http://www.scielo.br/pdf/physis/v25n2/0103-7331-physis-25-02-00501.pdf dói: 10.1590/S0103-73312015000200010 .
http://www.scielo.br/pdf/physis/v25n2/01...
). A adoção da sexualidade como tema transversal adotado nos Parâmetros Curriculares Nacionais - PCNs - para o Ensino Médio é uma tentativa de tratar a temática de forma educativa e com a necessária disponibilização de informações (Almeida, Nogueira, & Silva, 2011Almeida, S. A.; Nogueira, J. A.; Silva, A. O. (2011). Orientação sexual nas escolas: fato ou anseio? Revista Gaúcha Enfermagem, 32(1), 107-113. Recuperado: 28 fev. 2014. Disponível: Disponível: http://seer.ufrgs.br/index.php/RevistaGauchadeEnfermagem/article/view/21530/12416 doi: 10.1590/S1983-14472011000100014.
http://seer.ufrgs.br/index.php/RevistaGa...
).

O professor necessita de um saber específico para abordar a temática da sexualidade e conhecer os métodos que facilitem seu trabalho (Fonseca e cols., 2010Fonseca, A. D.; Gomes, V. L. O. (2010). Percepção de adolescentes sobre uma ação educativa em orientação sexual realizada por acadêmicos(as) de enfermagem. Escola Anna Nery Revista de Enfermagem, 14(2), 330-337. Recuperado: 24 ago. 2014. Disponível: Disponível: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S141481452010000200017 doi: 10.1590/S1414-81452010000200017.
http://www.scielo.br/scielo.php?script=s...
). É fundamental que os educadores estejam preparados para resistir a discursos normativos sobre corpo, gênero e sexualidade (Dinis & Asinelli-Luz, 2007Dinis, N.; Asinelli-Luz, A. (2007). Educação sexual na perspectiva histórico-cultural. Educar em Revista, 30, 77-87. Recuperado: 17 ago. 2014. Disponível: Disponível: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0104-40602007000200006&lng=en&nrm=iso&tlng=pt doi: 10.1590/S0104-40602007000200006
http://www.scielo.br/scielo.php?script=s...
; Dias & Amorim, 2015Dias, A. F.; Amorim, S. (2015). Corpo, gênero e sexualidades na formação docente: uma meta-análise. Educar em Revista, (56), 193-206. Recuperado: 22 fev. 2016. Disponível: Disponível: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0104-40602015000200193 doi: 10.1590/0104-4060.40998.
http://www.scielo.br/scielo.php?script=s...
). A importância de tratar tal temática no ambiente escolar é suportada por dados como o que indica que, no Brasil, 62,4% das pessoas com Síndrome da Imunodeficiência Adquirida - Aids - têm escolaridade até o Ensino Médio (Vieira, Rocha, Head, & Casimiro, 2014Vieira, A. C. S.; Rocha, M. S. G.; Head, J. F.; Casimiro, I. M. A. P. C. (2014). A epidemia de HIV/Aids e a ação do Estado. Diferenças entre Brasil, África do Sul e Moçambique. Revista Katálysis, 17(2), 196-206. Recuperado: 27 abr. 2015. Disponível: Disponível: https://periodicos.ufsc.br/index.php/katalysis/article/view/36246 doi: 10.1590/S1414-49802014000200005 .
https://periodicos.ufsc.br/index.php/kat...
; Bezerra, Pereira, Chaves, & Monteiro, 2015Bezerra, E. O.; Pereira, M. L. D.; Chaves, A. C. P.; Monteiro, P. V. (2015). Representações sociais de adolescentes acerca da relação e sexual que uso do preservativo. Revista Gaúcha de Enfermagem, 36(1), 84-91. Recuperado: 11 jan. 2016. Disponível: Disponível: http://seer.ufrgs.br/index.php/RevistaGauchadeEnfermagem/article/view/45639/33314 doi: 10.1590/1983-1447.2015.01.45639.
http://seer.ufrgs.br/index.php/RevistaGa...
).

Na população jovem, a taxa de prevalência da infecção pelo Vírus da Imunodeficiência Humana - HIV - apresenta tendência de aumento no Brasil. Em 2012, a taxa de detecção de casos em homens de 15 a 24 anos foi de 15,1/100.000 habitantes e de 8,6 em mulheres (MS/SVS, 2013).Segundo dados do Relatório Global sobre HIV/AIDS do Programa Conjunto das Nações Unidas HIV/AIDS {Unaids} (2014Unaids. (2014), The Gap Report. Geneva: Joint United Nations Programme on HIV/AIDS (UNAIDS). Recuperado:13 jan. 2015. Disponível: Disponível: http://files.unaids.org/en/media/unaids/contentassets/documents/unaidspublication/2014/UNAIDS_Gap_report_en.pdf
http://files.unaids.org/en/media/unaids/...
), a epidemia decresce na América Latina, embora cresça no Brasil. O país tem 47% dos casos, a maior proporção dessa região, e teve um aumento de casos de 11% entre 2005 e 2013. Ainda em 2013, a estimativa era de que 1,6 milhão de pessoas vivesse com o HIV no Brasil. Esse número representa 2% da população mundial portadora da doença.

Conforme apontado pela Secretaria de Estado de Saúde - Superintendência de Vigilância Epidemiológica e Ambiental {SES/SVEA} (2013)Secretaria de Estado de Saúde. Superintendência de Vigilância Epidemiológica e Ambiental. Gerência de DST/AIDS e Hepatites Virais. (2013). Boletim Epidemiológico DST/AIDS e Hepatites Virais 2013. {Boletim} Rio de Janeiro. Recuperado: 11 jun. 2014. Disponível: Disponível: http://www.riocomsaude.rj.gov.br/Publico/MostrarArquivo.aspx?C=hDONVG1LFbc%3d
http://www.riocomsaude.rj.gov.br/Publico...
, das 27 Unidades da Federação, o Estado do Rio de Janeiro encontra-se entre as 10 que possuem taxas de detecção para o ano de 2012 maiores do que a média nacional (20,2/100.000 habitantes). Além disso, nos últimos 10 anos, o perfil etário dos casos de AIDS mudou para indivíduos mais jovens de 15 a 24 anos, de ambos os sexos (SES/SVEA, 2013).

Assim, o presente artigo tem por objetivo avaliar o Programa Saúde nas Escolas, voltado para as questões da sexualidade, de gênero e de prevenção de infecções e gravidez. O Programa resulta de uma parceria entre o Ministério da Saúde - MS e o Ministério da Educação - MEC (Fonseca e cols., 2010Fonseca, A. D.; Gomes, V. L. O. (2010). Percepção de adolescentes sobre uma ação educativa em orientação sexual realizada por acadêmicos(as) de enfermagem. Escola Anna Nery Revista de Enfermagem, 14(2), 330-337. Recuperado: 24 ago. 2014. Disponível: Disponível: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S141481452010000200017 doi: 10.1590/S1414-81452010000200017.
http://www.scielo.br/scielo.php?script=s...
).

Apesar de não ter caráter obrigatório, em 2014o Programa já contava com a adesão de todos os estados, do Distrito Federal, além de 90% dos municípios brasileiros (Portal do MEC, 2015Portal do MEC. Portal do MEC Recuperado: 08 de fev. 2015. Disponível: de Disponível: de http://portal.mec.gov.br/index.php?option=com_content&view=article&id=147:simec&catid=98:par-plano-de-acoes-articuladas&Itemid=367
http://portal.mec.gov.br/index.php?optio...
). O Manual Passo a Passo PSE, elaborado em conjunto pelos Ministérios da Educação e da Saúde (2013)Ministério da Saúde, Secretaria de Atenção à Saúde, Departamento de Ações Programáticas Estratégicas (2013). Orientações básicas de atenção integral à saúde de adolescentes nas escolas e unidades básicas de saúde. {Série A. Normas e Manuais Técnicos}. Brasília, DF. Recuperado: 17 fev. 2014. Disponível: Disponível: http://bvsms.saude.gov.br/bvs/publicacoes/orientacao_basica_saude_adolescente.pdf
http://bvsms.saude.gov.br/bvs/publicacoe...
, aponta oito diretrizes para implementação nas escolas, tais como: tratar a saúde e educação integrais como parte de uma formação ampla para a cidadania e o usufruto pleno dos direitos humanos; e fortalecer o enfrentamento das vulnerabilidades, no campo da saúde, que possam comprometer o pleno desenvolvimento escolar. Como parte das atividades do Programa, as equipes de saúde da família realizam visitas periódicas e permanentes às escolas participantes para avaliar as condições de saúde dos educandos e para proporcionar o atendimento à saúde ao longo do ano letivo, de acordo com as necessidades locais de saúde identificadas (Brasil, 2007Decreto n. 6.286, de 5 de dezembro de 2007(2007). Institui o Programa Saúde na Escola - PSE, e dá outras providências. Brasília, DF. Recuperado: 15 dez. 2013. Disponível: Disponível: http://www.planalto.gov.br/ccivil_03/_ato2007-2010/2007/decreto/d6286.htm .
http://www.planalto.gov.br/ccivil_03/_at...
). Finalmente, o monitoramento e a avaliação do PSE cabem a uma comissão interministerial, mas não há nenhum relatório publicado sobre tais avaliações. Essa carência reforça a importância de iniciativas que apontem para a contribuição que o Programa tem trazido para os adolescentes de escolas que aderiram ao PSE.

Método

A presente pesquisa teve delineamento de comparação de grupos após a realização do Programa (pós-facto). Foram comparadas as respostas de um grupo de estudantes em escolas públicas que aderiram ao PSE (grupo experimental) e outro grupo proveniente de escolas públicas da mesma região, mas que não aderiram ao Programa (grupo controle). A proposta desse delineamento é verificar se os resultados pretendidos pelo PSE estão de fato sendo alcançados. Além disso, foram também realizadas entrevistas individuais com gestores do projeto em âmbito federal, estadual e municipal.

Participantes

Essa pesquisa contou com três tipos de participantes: experts em Sexualidade Humana ou Educação, que atuaram como juízes; estudantes do Ensino Médio que eram o público-alvo do PSE; e gestores do PSE. Entre os juízes, sete eram mulheres e três homens, com experiência profissional entre 8 a 28 anos. Os estudantes totalizaram 400 jovens (50,6% meninos), com idade entre 16 a 21 anos (85,9% entre 16 e 18 anos) e estavam matriculados em quatro escolas públicas do Rio de Janeiro, sendo duas na Zonal Sul e duas na Zona Oeste. A maior parte dos pesquisados cursava o 1º ano (43,3%), embora tenha havido um expressivo percentual de participantes no 2º e 3º anos. Foram também contemplados na amostra do estudo (em entrevistas em profundidade), seis gestores do PSE, sendo um representante do nível federal, estadual e municipal dos órgãos da Educação e o mesmo para a área da Saúde.

Instrumentos de coleta de dados

A versão inicial da Escala de Atitudes de Prevenção de IST/AIDS foi elaborada a partir da consulta nos documentos do Programa Saúde nas Escolas (MEC/MS, 2007), e da análise de outras escalas (Camargo, Torres, Biasus, & Bertoldo, 2009Camargo, B.; Torres, T. L.; Biasus, F. (2009). Práticas sexuais, conhecimento sobre HIV/AIDS e atitudes a respeito da relação amorosa e prevenção entre adultos com mais de 50 anos do sul do Brasil. Revista Liber, 15(2), 171-180. Recuperado: 28 fev. 2014. Disponível: Disponível: http://www.scielo.org.pe/scielo.php?script=sci_arttext&pid=S1729-48272009000200011
http://www.scielo.org.pe/scielo.php?scri...
; Moryia, Gir, & Hayashida,1994Moriya, T. M.; Gir, E.; Hayashida, M. (1994). Escala de atitude frente à AIDS: uma análise psicométrica. Revista Latino-Americana de Enfermagem, 2(2), 37-53. Recuperado: 24 jul. 2014. Disponível: Disponível: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S010411691994000200004&lng=en&nrm=iso&tlng=pt doi: 10.1590/S0104-11691994000200004.
http://www.scielo.br/scielo.php?script=s...
; Silva-Filho, Godinho, Reis, & Pacheco, 2007Silva-Filho, N.; Godinho, P. H.; Reis; C. H.; Pacheco, N. M. S. (2007). Escala de atitudes Frente ao HIV/AIDS. Análise de Fatores. Jornal Brasileiro de Psiquiatria, 56(3), 194-200. Recuperado: 24 out. 2014. Disponível: Disponível: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0047-20852007000300007&lng=en&nrm=iso&tlng=pt doi: 10.1590/S0047-20852007000300007 .
http://www.scielo.br/scielo.php?script=s...
) que abordam a mesma temática. Foi necessário desenvolver uma nova escala porque as anteriores não cobriam todas as dimensões que fazem parte do PSE, e algumas delas apresentavam fragilidades em seus indicadores psicométricos, sugerindo aperfeiçoamento por trabalhos futuros.

A escala desenvolvida contém afirmativas do tipo “verdadeiro” ou “falso”. São exemplos de itens: “Se a mulher tiver o ciclo menstrual regular, a tabelinha pode ser um método seguro para evitar a gravidez”; “O uso de sanitários públicos pode transmitir IST/AIDS”; e “As pessoas com AIDS também devem ter direito a vida sexual”.

Além da Escala de Atitudes e Prevenção de IST/AIDS, foram incluídas questões sobre a forma como a questão da sexualidade é tratada nas escolas (avaliação de processo do PSE) e dados sociodemográficos. Para as entrevistas em profundidade, foi estabelecido um roteiro semiestruturado derivado da análise documental dos materiais do Programa.

Procedimentos de coleta de dados

Os procedimentos de coleta de dados contemplaram análise documental dos materiais do Programa, aplicação presencial de questionário impresso com estudantes de Ensino Médio de escolas públicas estaduais e entrevistas em profundidade com gestores do PSE. As escolas participantes concordaram expressamente em colaborar e os pesquisados maiores de 18 anos e os responsáveis pelos participantes menores de 18 assinaram o Termo de Consentimento Livre e Esclarecido, como condição para participação na pesquisa. O tempo médio para a aplicação dos questionários foi de 15 minutos.

As entrevistas em profundidade também foram presenciais, com tempo médio de 50 minutos, tendo sido gravadas em áudio, seguidas de transcrição literal. As perguntas do roteiro objetivavam conhecer as opiniões dos gestores sobre o PSE, compreender as motivações, os significados e os valores que sustentam as opiniões desse público.

Procedimentos de análise de dados

A análise fatorial para dados dicotômicos foi realizada com o apoio do software FACTOR v.8, que permite a análise de matrizes tetracólicas. A definição do número de fatores a serem retidos levou em conta os resultados da Análise Paralela e do método da Média Mínima Parcial (Minimum Average Partial - MAP) (Damásio, 2012Damásio, B. F. (2012). Uso da análise fatorial exploratória em psicologia. Revista Avaliação Psicológica, 11(2), 213-228. Recuperado: 14 mar. 2014. Disponível: Disponível: http://pepsic.bvsalud.org/pdf/avp/v11n2/v11n2a07.pdf
http://pepsic.bvsalud.org/pdf/avp/v11n2/...
). Após a retenção dos fatores, foi feita a rotação fatorial (Promin) com o objetivo de facilitar a interpretação dos fatores, sendo confirmada a correlação após a extração dos fatores.

Após os procedimentos de análise fatorial, foram realizadas outras análises estatísticas com o auxílio do Software Statistical Package for Social Science - SPSS, versão 21.0. As análises estatísticas realizadas foram: (i) análise descritiva dos resultados obtidos; (ii) teste t de Student para comparação dos resultados entre os grupos controle e experimental, nos escores das dimensões da Escala de Atitudes e Prevenção de DST-AIDS; (iii) teste qui-quadrado para comparar as respostas relativas às ações relacionadas à temática da sexualidade nas escolas (avaliação dos processos do PSE).

Resultados e Discussão

A análise dos juízes resultou em aprimoramento da redação de quatro itens e retirada de sete outros que não atingiram o consenso mínimo de 70%. Em seguida, foram excluídos os itens que não atingiram a carga fatorial mínima (0,32) em nenhum fator. Os resultados da análise fatorial indicaram a extração de três fatores com consistência teórica e psicométrica, atendendo aos critérios de Hair, Black, Babin, Anderson e Taham (2009Hair, J. F.; Black, W. C.; Babin, B. J.; Anderson, R. E.; Taham, R. L. (2009). Análise multivariada de dados(6a ed.). Porto Alegre: Bookman.). Após a retirada dos itens que não atenderam aos critérios de consenso e carga fatorial mínima, foi realizada nova análise fatorial, desta vez com os 16 itens restantes, a qual confirmou a extração de três fatores (tanto pelo método da análise paralela quanto pelo método MAP).

Os três fatores resultantes da análise fatorial foram: Fator 1 - Tabus sobre sexualidade, prevenção de gravidez e IST/AIDS (5 itens, eigenvalue = 4,68); Fator 2 - Autocuidado, saúde sexual e prevenção de IST/AIDS (5 itens, eigenvalue = 2,28); e Fator 3 - Estereótipos e crenças antigas sobre sexualidade e IST/AIDS (6 itens, eigenvalue = 1,37). O grau de precisão dos fatores foi mensurado a partir do Alpha de Cronbach, sendo o dos dois primeiros fatores 0,78 e o do terceiro fator 0,87. Em conjunto, os três fatores explicaram 65,4% da variância total do construto. De acordo com a classificação de Miles e Shevlin (2001), a correlação entre os fatores 1 e 3 foi considerada de baixa magnitude (r = 0,24, p< 0,05), enquanto as correlações entre os fatores 1 e 2 (r= 0,30, p< 0,05) e entre os fatores 2 e 3 foram moderadas (r = 0,40, p< 0,05).

A partir dos fatores obtidos foi feita a análise do impacto do PSE, comparando-se os resultados de alunos de Ensino Médio de escolas participantes do Programa (grupo experimental) e de escolas que não aderiram a ele (grupo controle). Para testar a hipótese de diferenças entre os dois grupos, foram realizados testes t de Student. Nenhuma das três dimensões apresentou diferenças significativas entre os dois grupos.

No caso da dimensão Tabus sobre sexualidade, prevenção de gravidez e IST/AIDS as médias dos grupos indicaram que os estudantes das escolas participantes acertaram 3,45 dentre as cinco questões sobre a temática, enquanto os alunos das escolas do grupo controle acertaram, em média, 3,52 questões. Esse resultado indica ausência de diferença entre os grupos experimental e controle {t(397) = 0,62, p = 0,54)}. No caso da dimensão Autocuidado, saúde sexual e prevenção de IST/AIDS, o valor médio de acertos foi de 2,45(para o grupo experimental) e 2,50(para o grupo controle), considerando os cinco itens da escala. Isso indica desconhecimento sobre procedimentos de autocuidado em termos de saúde sexual e prevenção de infecções sexualmente transmissíveis, sem a identificação de resultados melhores nas escolas que participam do Programa {t(396) = 0,28, p = 0,78)}.

Por fim, a situação mais grave ocorre na dimensão Estereótipos e crenças antigas sobre sexualidade e IST/AIDS, pois a média de acertos nas questões deste fator foi ainda mais baixa (em torno de 2,20 e 2,35 acertos em seis questões) e, mais uma vez, sem diferenças entre os estudantes das escolas participantes do PSE e os estudantes do grupo controle {t(395) = -0,70, p = 0,482)}. Esse resultado sinaliza, portanto, o quanto os estudantes do Ensino Médio ainda reproduzem crenças ultrapassadas acerca da sexualidade e dos cuidados relativos à prevenção de IST/AIDS. A Tabela 1 apresenta os resultados dos testes t, que indicam a falta de diferenças significativas nas médias de acerto das respostas entre os estudantes do grupo experimental e do grupo controle.

Tabela 1
Diferenças entre respostas de estudantes de escolas aderentes e não aderentes ao PSE

Os resultados confirmam a existência de tabus e estereótipos sobre a sexualidade e sobre a prevenção de gravidez e infecções sexualmente transmissíveis, com considerável grau de desinformação acerca do autocuidado e de atitudes preventivas. A presença de antigas crenças e tabus confirma os apontamentos de que a transmissão de conceitos, ideias, preconceitos e estereótipos se inicia na vida familiar e tem sequência na vida escolar e social (Altmann, 2003Altmann, H. (2003). Orientação sexual em uma escola: recortes de corpo e de gênero. Revista Cadernos Pagu, 21(1), 281-315. Recuperado: 28 fev. 2014. Disponível: Disponível: http://www.scielo.br/pdf/cpa/n21/n21a12.pdf doi: 10.1590/S0104-83332003000200012 .
http://www.scielo.br/pdf/cpa/n21/n21a12....
; Beraldo, 2003Beraldo, F. N. M. (2003). Sexualidade e escola: espaço de intervenção. Psicologia Escolar e Educacional,7(1), 103-104.Recuperado: 28 fev. 2014. Disponível: Disponível: http://www.unifafibe.com.br/revistasonline/arquivos/cadernodeeducacao/sumario/31/04042014074026.pdf doi: 10.1590/S1413-85572003000100012.
http://www.unifafibe.com.br/revistasonli...
; Cedaro, Vilas Boas, & Martins, 2012Cedaro J. J.; Vilas Boas, L. M. S.; Martins R. M. (2012). Adolescência e sexualidade: um estudo exploratório em uma escola de Porto Velho - RO. Psicologia: Ciência e Profissão, 32(2), 320-339. Recuperado: 28 fev. 2014. Disponível: Disponível: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1414-98932012000200005&lng=en&nrm=iso&tlng=pt doi: 10.1590/S1414-98932012000200005.
http://www.scielo.br/scielo.php?script=s...
). A proposta de adotar a sexualidade como um tema transversal, de forma que a orientação sexual pudesse intervir de maneira pedagógica na transmissão de informações e na problematização das questões relacionadas à sexualidade, prevista nos PCNs (MEC/SEF, 1998Ministério da Educação - Secretaria de Educação Fundamental(1998). Parâmetros Curriculares Nacionais: terceiro e quarto ciclos: apresentação dos temas transversais. Brasília: MEC/SEF. Recuperado: 25 fev. 2014. Disponível: Disponível: http://portal.mec.gov.br/seb/arquivos/pdf/ttransversais.pdf
http://portal.mec.gov.br/seb/arquivos/pd...
), infelizmente não se configurou como um impacto positivo em termos do conhecimento relativo às questões relativas à sexualidade, gravidez e IST/AIDS.

Os três eixos norteadores propostos para o trabalho dos professores - Corpo Humano, Relações de Gênero e Prevenção às ISTs- teriam potencial para reverter as opiniões equivocadas dos alunos, pois esses eixos abordam a essência do que precisaria ser trabalhado na temática da sexualidade com os jovens (Bomfim e cols., 2013Bomfim, A. M.; Anjos, M. B.; Floriano, M. D.; Figueiredo, C. S. M.; Santos, D. A.; Silva, C. L. C. (2013). Parâmetros curriculares nacionais: uma revisita aos temas transversais meio ambiente e saúde. Revista Trabalho, Educação e Saúde, 11(1), 27-52. Recuperado: 8 set. 2014. Disponível: Disponível: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1981-77462013000100003&lng=pt&tlng=pt doi: 10.1590/S1981-77462013000100003.
http://www.scielo.br/scielo.php?script=s...
). Nesse sentido, os problemas identificados parecem fazer parte do processo de implementação do Programa, uma vez que o desenho deste encontra respaldo na literatura da área e no que é preconizado como política pública de prevenção.

A avaliação de processo, por sua vez, contemplou a investigação da realização de palestras ou eventos sobre a temática da sexualidade nas escolas, quer seja pelos professores de Biologia ou de outras disciplinas. Foram também realizadas análises de conteúdo das entrevistas com os gestores das áreas de Saúde e Educação nos níveis federal, estadual e municipal, como forma de complementar a avaliação de processo.

Os resultados mostraram que não houve diferenças significativas nos processos relativos à temática da sexualidade nas respostas dos alunos das escolas participantes do Programa (grupo experimental) e das escolas não participantes (grupo controle) (Tabela 2). Ao contrário do que seria esperado, o percentual de estudantes que afirmou que a escola não aborda a temática da sexualidade foi maior no grupo experimental (18,1%) que no grupo controle (13,5%). Além disso, apenas 5% dos estudantes do grupo experimental e 7% dos estudantes do grupo controle afirmaram haver frequentemente abordagem desse tipo de temática em suas escolas.

Os dados resultantes da pesquisa revelam não apenas baixo funcionamento do Programa avaliado, mas também uma negligência das escolas em relação à abordagem da temática da sexualidade. Como tema transversal definido nos parâmetros curriculares nacionais (Suplicy, 1990Suplicy, M. (1990). Sexo para adolescentes. São Paulo: FTD.; MEC/SEF, 1998; Paiva, Calazans, & Santos, 2008Paiva, V.; Calazans, G.; Venturi; G.; Dias, R. (2008). Idade e uso de preservativo na iniciação sexual de adolescentes brasileiros. Revista de Saúde Pública, 42(1), 45-53. Recuperado: 22 out. 2014. Disponível: Disponível: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0034-89102008000800007 doi: 10.1590/S0034-89102008000800007.
http://www.scielo.br/scielo.php?script=s...
; Leite, 2012Leite, V. (2012). A sexualidade adolescente a partir de percepções de formuladores de políticas públicas: refletindo o ideário dos adolescentes sujeitos de direitos. Revista Psicologia Clínica, 24(1), 89-103. Recuperado: 10 set. 2014. Disponível: Disponível: http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S010356652012000100007 doi: 10.1590/S0103-56652012000100007.
http://pepsic.bvsalud.org/scielo.php?scr...
; Bomfim e cols., 2013Bomfim, A. M.; Anjos, M. B.; Floriano, M. D.; Figueiredo, C. S. M.; Santos, D. A.; Silva, C. L. C. (2013). Parâmetros curriculares nacionais: uma revisita aos temas transversais meio ambiente e saúde. Revista Trabalho, Educação e Saúde, 11(1), 27-52. Recuperado: 8 set. 2014. Disponível: Disponível: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1981-77462013000100003&lng=pt&tlng=pt doi: 10.1590/S1981-77462013000100003.
http://www.scielo.br/scielo.php?script=s...
),seria esperada uma abordagem mais expressiva da sexualidade no Ensino Médio, independentemente da adesão das instituições ao PSE. A resposta predominante entre os alunos das escolas de ambos os grupos foi de que raramente a temática da sexualidade é abordada (56,3% no caso das escolas do grupo experimental e 63,5% nas escolas do grupo controle).

Na opinião da Gestora Municipal de Educação, esses resultados talvez pudessem ser melhorados se os processos fossem revistos e se tais ações de Educação, Saúde e Desenvolvimento Social contassem com a efetiva participação da comunidade escolar. Já o gestor da área da Educação em nível federal afirmou que o PSE “tem uma lógica ligada à integralidade e cuidado do sujeito tanto na Saúde quanto na Educação”. A visão deste nível de governo era de que o Programa estava funcionando tendo atingido a quase universalidade dos municípios brasileiros, 4.789, no total 5.570 (86%), com 100% de adesão no estado do Rio de Janeiro. A pesquisa mostra, contudo, que a adesão não é o bastante, pois no caso do município carioca, a participação no Programa não resultou em uma maior dedicação das escolas na abordagem da temática da sexualidade.

No nível estadual, a gestora da área da Educação considera que “a escola é um espaço estratégico para desenvolver conhecimentos e habilidades” e que “deve contribuir na educação para a saúde capacitando crianças e adolescentes para o exercício de práticas preventivas e para o entendimento de que a saúde é um direito de todos”. O depoimento da gestora, porém, está na contramão dos resultados obtidos com a presente pesquisa, uma vez que as escolas participantes do PSE não tiveram resultados melhores em termos dos processos relativos à incorporação da temática da sexualidade no cotidiano escolar dos alunos do Ensino Médio.

A resposta à questão sobre palestras ou eventos sobre sexualidade e/ou IST/AIDS nas escolas também revelou uma frequência muito baixa desse tipo de evento, sem diferenças significativas entre as escolas que aderiram ao Programa (grupo experimental) e as que não aderiram (grupo controle). A maior parte dos estudantes (73,5% do grupo controle e 76,9% do grupo experimental) afirma que esse evento não ocorre ou ocorre raramente em suas escolas. Esse dado mostra que não estão sendo realizadas as ações previstas no PSE, que tinham, como uma de suas premissas, o incremento das discussões acerca dessa temática nas escolas de Educação Básica que aderiram ao Programa (Decreto nº 6.286, 2007).

A falta de realização de eventos voltados para discutir a sexualidade em conjunto com a baixa abordagem da temática pelos diferentes professores sinaliza que o Projeto está longe de atender ao que foi idealizado. Para a gestora da área da Saúde em nível federal, o PSE apoia-se na promoção de saúde e da prevenção, “formando educandos para uma educação em saúde, fazendo com que os estudantes possam compreender os processos de uma vida saudável, fazendo escolhas saudáveis em sua vida e prevenir possíveis agravos”.Para que o Projeto pudesse atender ao que a gestora propõe, seria necessária uma abordagem mais contundente da temática da sexualidade com os jovens, com reflexões cotidianas que levassem a uma maior conscientização e permitissem, portanto, escolhas mais saudáveis por parte desses jovens.

Por fim, há que se considerar que apenas 9,8% dos estudantes (9% do grupo controle e 10,6% do grupo experimental) avaliaram que vários professores abordam a temática da sexualidade. A maioria dos alunos considera que essa temática é trabalhada ocasionalmente pelo professor de Biologia (46,3%) ou por alguns professores (32,2%). Mais uma vez não foram encontradas diferenças estatisticamente significativas entre os grupos experimental e controle (Tabela 2). A expectativa seria de que, nas escolas participantes do Programa, as temáticas da sexualidade e da prevenção fossem trabalhadas pelo conjunto do corpo docente, considerando a transversalidade do tema. De acordo com a gestora municipal da área de Educação, “a transversalidade precisa ser encarada como uma maneira de trabalhar os componentes curriculares, as áreas de conhecimento e os temas sociais em perspectiva integrada”.

Tabela 2
Comparação dos processos do PSE nas escolas de acordo com os grupos de pesquisa

Como aconteceu nas questões anteriores, a falta de diferença entre as opiniões dos estudantes das escolas que participam e que não participam do Projeto vai ao encontro ao que é defendido pela gestora de Educação em nível estadual. Para tal entrevistada, as escolas participantes precisam “incorporar o PSE no Projeto Político Pedagógico e inserir a sexualidade nos currículos de fato como tema transversal, a fim de incorporar a temática no cotidiano do estabelecimento escolar”.

Para conhecer variáveis de contexto envolvidas neste estudo, foram também incluídas perguntas relativas à atuação da família em relação à temática da sexualidade, bem como a existência de prática religiosa entre os adolescentes e a importância que eles atribuem à religião. Tais variáveis foram incluídas porque a literatura da área aponta o papel da família em conjunto com a escola no processo de educação sexual (Suplicy,1990Suplicy, M. (1990). Sexo para adolescentes. São Paulo: FTD.; Dinis & Asinelli-Luz, 2007Dinis, N.; Asinelli-Luz, A. (2007). Educação sexual na perspectiva histórico-cultural. Educar em Revista, 30, 77-87. Recuperado: 17 ago. 2014. Disponível: Disponível: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0104-40602007000200006&lng=en&nrm=iso&tlng=pt doi: 10.1590/S0104-40602007000200006
http://www.scielo.br/scielo.php?script=s...
; Fonseca e cols., 2010Fonseca, A. D.; Gomes, V. L. O. (2010). Percepção de adolescentes sobre uma ação educativa em orientação sexual realizada por acadêmicos(as) de enfermagem. Escola Anna Nery Revista de Enfermagem, 14(2), 330-337. Recuperado: 24 ago. 2014. Disponível: Disponível: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S141481452010000200017 doi: 10.1590/S1414-81452010000200017.
http://www.scielo.br/scielo.php?script=s...
; Bomfime cols., 2013Bomfim, A. M.; Anjos, M. B.; Floriano, M. D.; Figueiredo, C. S. M.; Santos, D. A.; Silva, C. L. C. (2013). Parâmetros curriculares nacionais: uma revisita aos temas transversais meio ambiente e saúde. Revista Trabalho, Educação e Saúde, 11(1), 27-52. Recuperado: 8 set. 2014. Disponível: Disponível: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1981-77462013000100003&lng=pt&tlng=pt doi: 10.1590/S1981-77462013000100003.
http://www.scielo.br/scielo.php?script=s...
;Nery, Feitosa, Sousa, & Fernandes, 2015Nery, I. S.; Feitosa, J. J. M.; Sousa, A. F. L.; Fernandes, A. C. N. (2015). Abordagem da Sexualidade nenhuma Diálogo Entre pais e adolescentes. Acta Paulista de Enfermagem, 28 ( 3), 287-292. Recuperado:10 jan. 2016. Disponível: Disponível: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0103-21002015000300287&lng=en&nrm=iso&tlng=pt doi: 10.1590/1982-0194201500048.
http://www.scielo.br/scielo.php?script=s...
) - bem como a influência da religião sobre tal temática (Altmann, 2003Altmann, H. (2003). Orientação sexual em uma escola: recortes de corpo e de gênero. Revista Cadernos Pagu, 21(1), 281-315. Recuperado: 28 fev. 2014. Disponível: Disponível: http://www.scielo.br/pdf/cpa/n21/n21a12.pdf doi: 10.1590/S0104-83332003000200012 .
http://www.scielo.br/pdf/cpa/n21/n21a12....
; Beraldo, 2003Beraldo, F. N. M. (2003). Sexualidade e escola: espaço de intervenção. Psicologia Escolar e Educacional,7(1), 103-104.Recuperado: 28 fev. 2014. Disponível: Disponível: http://www.unifafibe.com.br/revistasonline/arquivos/cadernodeeducacao/sumario/31/04042014074026.pdf doi: 10.1590/S1413-85572003000100012.
http://www.unifafibe.com.br/revistasonli...
; Cedaro, Vilas Boas, & Martins, 2012Cedaro J. J.; Vilas Boas, L. M. S.; Martins R. M. (2012). Adolescência e sexualidade: um estudo exploratório em uma escola de Porto Velho - RO. Psicologia: Ciência e Profissão, 32(2), 320-339. Recuperado: 28 fev. 2014. Disponível: Disponível: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1414-98932012000200005&lng=en&nrm=iso&tlng=pt doi: 10.1590/S1414-98932012000200005.
http://www.scielo.br/scielo.php?script=s...
).

O depoimento do gestor de nível estadual da área da Saúde chama a atenção para o fato de que “a tarefa final da prevenção é a responsabilidade individual. A responsabilidade coletiva é a de assegurar as condições da responsabilidade individual”. O referido gestor atribui importância ao Grupo de Trabalho Intersetorial Estadual como instrumento para que “gestores e sociedade civil possam juntos definir ações e parâmetros do PSE”. Nesse sentido, confirma-se a importância de considerar questões relativas a aspectos como a influência da família e da religião, já que as decisões de vivência sexual são de foro pessoal, mas influenciadas por aspectos culturais e sociais.

Os resultados mostraram que poucas famílias (14,8%) abordam frequentemente a temática da sexualidade, sendo mais comuns as respostas de adolescentes que disseram que a família aborda apenas algumas vezes (36,8%) ou raramente (29,3%), sem diferenças estatisticamente significativas entre os grupos experimental e controle. Em relação à religião, houve um percentual ligeiramente maior de estudantes que afirmaram frequentar alguma religião no grupo experimental (93,4%) que no grupo controle (87,4%), embora no conjunto dos dois grupos esse percentual tenha sido bastante elevado (90,4%). Por fim, predominam, entre os adolescentes pesquisados, as opiniões de que a religião é muito importante em suas vidas (68,1%), sem diferenças significativas entre os grupos pesquisados (Tabela 3).

Tabela 3
Comparação das variáveis de contexto relativas à sexualidade por grupo de pesquisa

Por fim, foi feita uma análise documental do termo de compromisso enviado aos municípios e ao Distrito Federal acerca do PSE.Tal documento, assinado pelos Secretários de Educação e de Saúde dos municípios e do Distrito Federal que decidiram aderir ao PSE, descreve o objeto do Programa, o repasse do incentivo financeiro, a vigência, as atribuições e responsabilidades de cada instância e as ações e metas pactuadas. As ações e as metas pactuadas para o município do Rio de Janeiro compreendiam o alcance de 344.404 estudantes, 797 escolas, com a capacitação de 200 profissionais da Educação para trabalharem com a temática e a formação de 29.943 jovens educadores para atuarem entre pares nos temas de direito sexual e reprodutivo e prevenção das IST/AIDS.

A despeito dessas expressivas metas, os resultados alcançados não são positivos, uma vez que não foram encontradas diferenças significativas entre as variáveis de processo (realização de palestras, eventos e abordagem em sala de aula da temática da sexualidade na escola), nem tampouco nas variáveis de resultado (informações científicas dos estudantes acerca da prevenção das IST/AIDS, prevenção de gravidez e direitos das pessoas com infecções sexualmente transmissíveis).

Como desafios para o projeto, o gestor municipal da área de Saúde aponta a necessidade de “fazer o monitoramento e a avaliação”, ressalvando que “é muito difícil e complexo num município do tamanho do Rio”. Outro desafio apontado pelo gestor seria “trazer a Secretaria de Desenvolvimento Social, porque a Saúde e a Educação não dão conta de tudo”. Por fim, o gestor considera que é preciso avaliar como o projeto “lida com os saberes, como trata da sexualidade com os alunos da Educação Infantil, dos Ensinos Fundamental e Médio, de forma respeitosa com eles”.

Os resultados obtidos com os depoimentos dos gestores mostram que eles têm uma visão clara do papel do Estado e dos objetivos e desafios do PSE. Contudo, o que eles previam que deveria acontecer nas escolas participantes do Programa não é confirmado pela pesquisa realizada com os estudantes, uma vez que o grupo experimental não demonstrou ter mais conhecimento e consciência acerca das DST e de outras temáticas relacionadas à sexualidade do que os estudantes do grupo controle. Portanto, os resultados obtidos refutam a hipótese de que os alunos de Ensino Médio das escolas que participam do PSE apresentam mais informações técnico-científicas sobre prevenção de IST/AIDS, bem como compreensão das questões de gênero e de sexualidade do que os alunos de escolas que não participam do Programa.

Considerações Finais

A presente pesquisa compreendeu a avaliação do PSE no município do Rio de Janeiro a partir da análise documental dos manuais e do decreto relativos ao Programa, das entrevistas com gestores e de um estudo quase-experimental para testar os impactos do PSE nos estudantes de Ensino Médio. As principais conclusões da pesquisa podem ser assim resumidas: (a) a Escala de Atitudes de Prevenção a IST/AIDS - tem estrutura tridimensional, com as seguintes dimensões: Tabus sobre sexualidade, prevenção de gravidez e IST/AIDS; Autocuidado, saúde sexual e prevenção de IST/AIDS; e Estereótipos e crenças antigas sobre sexualidade e IST/AIDS; (b) os depoimentos dos gestores dos três níveis de governo (federal, estadual e municipal), tanto da área da Saúde quanto da área da Educação, demonstram que essas pessoas conhecem os objetivos do Programa e lhe atribuem importância. Nesse sentido, a falta de efetividade do PSE parece estar mais relacionada à operacionalização do Programa do que à sua concepção; (c) variáveis de processo, tais como a atuação dos professores acerca da temática da sexualidade em sala de aula e a realização de palestras ou eventos sobre sexualidade e/ou prevenção de IST/AIDS, sinalizam que o Programa não foi implantado da forma como planejado pelos seus idealizadores; (d) falta eficácia ao Programa avaliado, pois os estudantes matriculados em escolas que participam do PSE (grupo experimental) apresentam resultados similares aos estudantes matriculados em escolas que não participam dele (grupo controle); (e) os assuntos sobre sexualidade e/ou prevenção de IST/AIDS são também pouco abordados pelas famílias dos estudantes de Ensino Médio (independentemente destes estarem matriculados em escolas que aderiram ou não ao PSE); e (f) a religião é uma esfera de vida bastante presente na vida dos jovens no Rio de Janeiro, e a maioria afirma frequentar alguma religião, considerando-a como importante ou muito importante em suas vidas.

Em termos das limitações do presente estudo, é preciso considerar que somente foram pesquisadas quatro escolas, todas na cidade do Rio de Janeiro, sendo duas na região Oeste e duas na região Sul. Nesse sentido, os dados não podem ser generalizados para o Programa como um todo, sendo recomendável a realização de uma pesquisa de maior abrangência. Também pode ser considerada uma limitação do estudo o fato de a pesquisa não ter ouvido outros atores sociais envolvidos no processo, tais como professores, coordenadores pedagógicos e diretores de escolas.

A despeito dessas limitações, uma crítica que se pode fazer ao PSE é a ausência de avaliações sistemáticas. As ações de monitoramento realizadas limitam-se a descrever o quantitativo das escolas e municípios aderentes, sem medição do alcance dos objetivos previstos. Nesse sentido, seriam recomendáveis pesquisas multimétodo de avaliação externa, para identificar se os resultados estão sendo alcançados e, sobretudo, quais são os limitadores que impedem tais resultados.

Como recomendação prática, sugere-se aos gestores do Programa a intensificação das atividades de monitoramento, contemplando questões sobre a inserção dos temas relacionados à sexualidade na prática escolar. Também se recomenda a revisão do processo de capacitação dos profissionais envolvidos com o PSE.

Como contribuição teórica, o presente estudo apresenta aos pesquisadores da área a construção e validação de uma medida que pode ser utilizada, também em outros contextos, para avaliar aspectos relacionados a atitudes em relação à sexualidade e à prevenção a IST/AIDS. Nesse sentido, pesquisas na área da Saúde ou da Educação, ainda que não diretamente associadas ao PSE, podem se beneficiar da existência deste instrumento, que apresentou bons indicadores de validade psicométrica.

A guisa de conclusão, é preciso considerar que os depoimentos dos gestores da área dos três níveis de governo apontam para visões sobre o Programa que são muito positivas e condizentes com seus objetivos, mas que lamentavelmente não se confirmam com a prática. Se as proposições dos gestores da Saúde e da Educação dos diferentes níveis de governo forem efetivadas, os resultados do PSE tenderão a ser efetivos.

Referências

Datas de Publicação

  • Publicação nesta coleção
    Abr 2018

Histórico

  • Recebido
    23 Mar 2016
  • Aceito
    16 Dez 2016
Associação Brasileira de Psicologia Escolar e Educacional (ABRAPEE) Associação Brasileira de Psicologia Escolar e Educacional (ABRAPEE), Rua Mirassol, 46 - Vila Mariana , CEP 04044-010 São Paulo - SP - Brasil , Fone/Fax (11) 96900-6678 - São Paulo - SP - Brazil
E-mail: revista@abrapee.psc.br