Impacto da avaliação externa das escolas

Um grupo de investigadores levou a cabo um estudo, coordenado por José Augusto Pacheco, presidente do Instituto de Educação da Universidade do Minho, sobre o impacto e os efeitos da avaliação externa das escolas, que desde o ano letivo de 2006/2007 tem sido praticada por equipas constituídas por elementos da Inspeção-Geral da Educação e Ciência (IGEC) e por professores/investigadores do Ensino Superior na área das Ciências da Educação.

Esta avaliação externa das escolas e agrupamentos de escolas, que se pretende articulada com as práticas decorrentes da cultura de autoavaliação assumida em cada organização escolar, vem estabelecida de forma expressa e detalhada na Lei n.º 31/2002, de 20 de dezembro, que tem por objeto, no desenvolvimento do art.º 49.º da Lei n.º 46/86, de 14 de outubro (Lei de Bases do Sistema Educativo) – ou do art.º 52.º na redação que lhe foi dada pela Lei n.º 49/2005, de 31 de agosto – o sistema de avaliação da educação e do ensino não superior. E, nos termos do n.º 2 do art.º 9.º do Decreto-lei n.º 75/2008, de 22 de abril, que a redação que lhe foi dada pelo Decreto-lei n.º 137/2012, de 2 de julho, mantém, o relatório de autoavaliação é um dos “instrumentos de autonomia dos agrupamentos de escolas e das escolas não agrupadas, para efeitos da respetiva prestação de contas”. Por outro lado, segundo o n.º 3 do art.º 57.º do mencionado Decreto-lei n.º 75/2008, de 22 de abril, a conclusão do procedimento da avaliação externa é um dos requisitos para a celebração de contratos de autonomia (requisito mantido pela atual redação).

Por força do art.º 2.º da mencionada Lei n.º 31/2002, de 20 de dezembro, “o sistema de avaliação abrange a educação pré-escolar, o ensino básico e o ensino secundário da educação escolar, incluindo as suas modalidades especiais de educação, e a educação extraescolar” (n.º 1). Porém, embora o n.º 2 deste artigo determine que o sistema de avaliação se aplica “aos estabelecimentos de educação pré-escolar e de ensino básico e secundário da rede pública, privada, cooperativa e solidária”, só neste ano letivo é que a IGEC está a programar a avaliação externa dos estabelecimentos do ensino particular e cooperativo.

Será que as escolas e o próprio MEC querem mesmo a avaliação? Entre a lei e a sua aplicação efetiva mediaram 4 anos. E chega ao ensino privado passados 13 anos.

O referido estudo foi apresentado, nos passados dia 8 e 9 de maio, no Seminário Internacional “Avaliação Externa de Escolas”, que teve lugar no Auditório B2, do Complexo Pedagógico II, no Campus de Gualtar da Universidade do Minho, em Braga. O seminário contou com a presença de Ivor Goodson, David Justino, Luís Capela, Carlinda Leite, Carlos Barreira, Pedro Rodrigues, Isabel Fialho, Fernando Gonçalves, José A. Pacheco, Graça Bidarra, João Monteiro, José Saragoça, Maria José Silvestre, José Carlos Morgado e Sandra Valadas, entre outros.

O modelo de avaliação externa em causa, experimentado no ano letivo de 2006/2007, passou, depois, por um primeiro ciclo que, tendo abrangido todos os agrupamentos de escolas e escolas não agrupadas, terminou no ano letivo de 2010/2011. Cada ação avaliativa foi objeto do respetivo relatório, tendo cada unidade orgânica sujeita à avaliação externa podido exercer o direito ao contraditório e, além de diversos estudos académicos, foi objeto de relatório global elaborado no âmbito da então Inspeção Geral da Educação (IGE), como o próprio período experimental fora objeto de relatório próprio elaborado pelo respetivo grupo de trabalho que lançou e desenvolveu a experiência. De momento, já algumas escolas e agrupamentos foram sujeitos àquela modalidade de avaliação externa pela segunda vez, embora alguns configurem unidade orgânica diferente, mercê da formação de nos agrupamentos e da agregação de agrupamentos.

O estudo apresentado, nestes dias, no âmbito do predito seminário internacional, abrange os dois ciclos avaliativos, mas incide especialmente sobre as unidades escolares avaliadas neste segundo ciclo avaliativo desde 2011/2012 a 2103/2014, não tendo ainda sido concluído este ciclo avaliativo.

Consultando vários ficheiros da página web da IGE/IGEC, fazemos algumas verificações, como as que, a seguir se discriminam.

Cada ação de avaliação externa parte da análise dos documentos fundamentais do agrupamento ou escola, previamente enviados à equipa constituída no âmbito da IGEC (regulamento interno, projeto educativo, projeto curricular, relatórios de autoavaliação e planos de melhoria, plano estratégico anual e plano anual de atividades, bem como outros documentos relevantes produzido pela unidade orgânica) do documento de caraterização do agrupamento ou escola, complementado pela respetiva sessão pública de apresentação, das informações prestadas nos diversos painéis de entrevistados, em especial da parte da equipa de autoavaliação, dos indicadores de sucesso académico dos alunos e das respostas aos questionários de satisfação dos diversos setores da comunidade.

A avaliação abrange três domínios: resultados; prestação do serviço educativo; e liderança e gestão. Cada um dos domínios é avaliado através de diversos campos de análise (nove ao todo). Assim, no âmbito dos resultados, são apreciados descritores agrupados por três campos de análise: os resultados académicos; os resultados sociais; e o reconhecimento da comunidade (e não apenas resultados académicos como refere o JN de 9 de maio). No concernente à prestação do serviço educativo, são apreciados também três campos: o planeamento e articulação; as práticas de ensino; e a monitorização do ensino e das aprendizagens. E, no quadro da liderança e gestão, são apreciados também três campos: a liderança; a gestão; e a autoavaliação e melhoria. Ultrapassou-se assim o complexo de mais de uma centena de questões de análise que levavam à avaliação dos cinco domínios selecionados (e 19 campos de análise) para o primeiro ciclo avaliativo: resultados (sucesso académico; participação e desenvolvimento cívico; comportamento e disciplina; valorização e impacto das aprendizagens); prestação do serviço educativo (articulação e sequencialidade; acompanhamento da prática letiva em sala de aula; diferenciação e apoios; abrangência do currículo e valorização dos saberes e da aprendizagem); organização e gestão escolar (conceção, planeamento e desenvolvimento da atividade; gestão dos recursos humanos; gestão dos recursos materiais e financeiros; participação dos pais e outros elementos da comunidade; equidade e justiça); liderança (visão e estratégia; motivação e empenho; abertura à inovação; parcerias protocolos e projetos); e capacidade de autoavaliação e autorregulação (autoavaliação; sustentabilidade do processo).

Depois, a cada domínio é atribuída uma menção avaliativa em conformidade com o desempenho demonstrado – insuficiente, suficiente, bom, muito bom e excelente. Acrescentou-se, neste segundo ciclo, a última e mais elevada das menções. E, finalmente, são identificados os pontos fortes que devem ser reforçados e os pontos a melhorar. E com base nestes deve ser elaborado e desenvolvido o respetivo plano de melhoria. (vd site da IGEC)

***

A investigação, que decorreu ao longo de três anos, foi financiada pela Fundação Para a Ciência e Tecnologia (FCT) e envolve, para além da Universidade do Minho, instituição que coordena o estudo, as universidades do Porto, de Coimbra, de Lisboa, de Évora e do Algarve, num trabalho de investigação nacional que representa, segundo o que revelou o professor José Augusto Pacheco à Lusa, “o primeiro grande estudo feito a nível nacional sobre o impacto dos efeitos da avaliação externa na escola e na comunidade”.

Do estudo ressaltam algumas conclusões, que se respigam a partir do que veio publicado na imprensa, sobretudo, Educare, JN e DN.

- A classificação máxima (excelente) e a mínima (insuficiente) estão quase ausentes: a menção de excelente foi atribuída a 0,5% das 1619 unidades orgânicas avaliadas, só no domínio da liderança e gestão; e a de insuficiente foi atribuída a também 0,5%, mas no domínio dos resultados.

- As avaliações, por norma, são elevadas, mas esses resultados não se repercutem nas classificações dos alunos ao nível interno, nem nas provas finais nem nos exames nacionais.

- O modelo de avaliação externa, até agora aplicado exclusivamente nas escolas públicas, tem “uma aceitação bastante global”, embora mais do lado dos diretores que dos professores, tendo-se verificado algum “alheamento dos professores em relação ao processo de avaliação externa”.

- Apenas 30% das escolas contestaram os resultados da avaliação externa, que tem uma relação direta entre esta avaliação e a valorização crescente dos resultados académicos.

- De acordo com os resultados preliminares da investigação, a avaliação externa das escolas tem contribuído para o “reforço do alinhamento da avaliação externa com a autoavaliação das escolas”, sendo “um efeito bastante visível” que a autoavaliação resulta dos processos externos.
- Outro dos efeitos é a incidência na organização administrativa (que não financeira), patente, por exemplo, na uniformização de documentos e na componente pedagógica, como articulação curricular, critérios de avaliação, e, sobretudo, na “valorização dos resultados académicos”.

- De acordo com os relatórios internacionais, como os da OCDE, o modelo tem de incorporar a observação de aulas e de entrar mais nos processos educativos e não tanto nos resultados.

- A centração da avaliação nos resultados, nomeadamente os das provas finais do ensino básico e os dos exames finais do ensino secundário, induz a adoção de “práticas concordantes” com a valorização desses resultados.

- A avaliação, ao colocar a ênfase nos resultados e não na aprendizagem, está a transformar a escola em estrutura virada para os resultados das provas finais e dos exames, deixando de lado os aspetos que poderiam favorecer a diferenciação de escola para escola.

- Ao centrar-se em aspetos administrativos e pontuais, a avaliação tem contribuído mais para mudanças administrativas e pontuais que para a melhoria da qualidade da própria escola, sobretudo ao nível dos processos de aprendizagem.

- Havendo uma preocupação cada vez mais crescente das escolas com os resultados, com a consequente valorização dos exames nacionais (há uma relação causa-efeito entre a avaliação externa das escolas e a avaliação externas das aprendizagens – os exames), “as escolas tomam medidas para a valorização das disciplinas sujeitas a exames nacionais, usando os créditos horários para mais aprendizagens dessas matérias” – o que faz com que os professores, sobretudo das disciplinas que não têm provas nacionais, “não se sintam envolvidos” no processo de avaliação da escola.

***

Por isso, os investigadores das várias universidades envolvidas no projeto (Minho, Porto, Coimbra, Lisboa, Évora e Algarve) entendem que o modelo de avaliação devia ser alterado, devendo, por exemplo, incidir em “aulas observadas” – o que “permitiria envolver mais os professores” e gizar-se um figurino de avaliação adaptado a cada tipo de escola, já que atualmente escolas de ensino regular, artístico ou profissional são avaliadas de acordo com os mesmos parâmetros”.

Como ponto positivo, este modelo de avaliação externa das escolas parece ter melhorado a prestação de contas, é tolerado pelas escolas e melhora a relação das escolas com a comunidade,

“O facto de só 30% das escolas avaliadas terem apresentado contraditório – conclui o estudo – significa que pelo menos os diretores não contestam o modelo e a avaliação”. Esquece-se de que muitas vezes não se apresenta o contraditório pela não esperança de que ele sirva para alguma coisa. Por outro lado, como se trata de uma avaliação externa, os resultados da escola “são valorizados pela comunidade”.

***

Sem excluir a seriedade de muitos desempenhos, é preciso referir que alguns dos bons resultados da avaliação externa devem-se, segundo me parece, à capacidade de apresentação da informação por parte de alguns diretores, ao ensaio dos intervenientes nos diversos painéis de entrevista promovido por alguns dirigentes e a certa cumplicidade de algumas das equipas de avaliação externa (que também acham bem não mostrar as mazelas todas). Não se regista uma ação avaliativa que não seja avisada e preparada!

Por outro lado, alguns participantes em painéis ou alguns dos que respondem a alguns inquéritos aproveitam o ensejo para destilar o vírus da insatisfação contra as politicas educativas, a sobrecarga de trabalho, a sua teimosia de ver as coisas a seu modo ou o acinte para com o diretor, bem como a sensação de vitimização por obras feitas intempestivamente – ou não – no perímetro escolar, lacunas ou indisposição contra elementos da comunidade (autarquias, alguns professores, alguns encarregados de educação).

A centração desviante da avaliação – nos aspetos administrativos, em vez dos pedagógicos; nos resultados, sem considerar o processo; no ensino em vez das aprendizagens; nos exames ou provas finais, em vez da avaliação interna – mostra bem como a prática está longe do espírito da Lei de Bases dos Sistema educativo. É escandalosa a proliferação de guias de preparação para as provas finais e exames nacionais – promovida pelo MEC e pelas editoras – e a moda dos testes intermédios organizados pelo IAVE-IP, bem como as aulas suplementares de preparação para s provas finais, induzida pelo MEC. Se a isto juntarmos a ameaça da futura exigência da certificação da qualidade a atribuir a cada unidade orgânica, é bom de ver que não estamos perante uma verdadeira avaliação escolar que induza a melhoria, mas o mecanismo da concorrência neoliberal entre escola e escola, escola pública e escola privada – sob a capa da automelhoria, autoconhecimento, autorregulação e prestação de contas.