domingo, 30 de outubro de 2016

Evolução dos resultados dos alunos portugueses no PISA entre 2000 e 2012

Ninguém duvida de que os estudos internacionais proporcionem um significativo acervo de informação, a partir do qual se pode desenvolver investigação com vista ao melhor conhecimento do sistema educativo, à avaliação das políticas educativas e à identificação de tendências evolutivas do próprio sistema, num quadro de comparação com outros sistemas. É assim que se poderão construir as bases de conhecimento que fundamentam as recomendações sobre as políticas educativas.
Os decisores das políticas educativas e os responsáveis pela administração do sistema e a sociedade portuguesa em geral tiveram uma considerável evolução nas últimas décadas no modo como encaram os resultados escolares das crianças e jovens e na reflexão que fazem sobre o desempenho dos alunos em programas de avaliação internacional como o PISA, o TIMSS e o PIRLS. No final dos anos 90 do século XX e no início deste século XXI ainda se procurava a justificação para resultados desanimadores em fatores como a natureza das questões colocadas, a preparação prévia dos alunos em países que mostram desempenhos elevados, as diferenças culturais entre os diferentes países. Presentemente, os responsáveis, os professores, as famílias e a sociedade estão focados no que podem e devem fazer os decisores políticos, os dirigentes, os pais ou os professores para que o país melhore o posicionamento nos rankings internacionais e os jovens apresentem os melhores desempenhos nos estudos internacionais de avaliação.
Nesta ótica, surgiu, em 2014, o projeto aQeduto – Avaliação, Qualidade e Equidade do Sistema Educativo Português, no âmbito do Conselho Nacional de Educação, que veio a ter o envolvimento da Fundação Francisco Manuel dos Santos e que tem em vista explicar as variações dos resultados dos nossos alunos nos testes PISA, considerando três eixos fundamentais: os alunos (alterações nas condições sociais, económicas, culturais, comportamentais e motivacionais dos alunos e das famílias), as escolas (mudanças na organização escolar) e o país (variações nas condições económicas a nível macro).
Tem como principal objetivo municiar a opinião pública com informação credível e sustentada sobre o desempenho dos alunos, através duma linguagem acessível, mas sem diminuir o rigor científico. Assim, entre dezembro de 2015 e outubro de 2016 foi publicado mensalmente um folheto sobre o impacto nos resultados dos alunos de diferentes variáveis (retenção, ambiente familiar, o papel da escola, ensino privado e público, entre outras). Para a apresentação e debate de cada um dos onze folhetos foi organizado um Fórum que contou com convidados especialistas na área. Em cada folheto procurou dar-se resposta a uma questão sobre o desempenho dos alunos:
Será que os resultados obtidos pelos alunos portugueses são melhores do que o nível de desenvolvimento económico do país?
Qual o efeito da retenção no desempenho dos alunos portugueses? Será que os torna melhores?
Qual o impacto da família no desempenho escolar dos alunos portugueses?
Qual o impacto do ambiente e organização escolares nos desempenhos?
Será que os alunos portugueses são mais proficientes em leitura e menos em matemática?
A frequência da educação pré-escolar é um bom preditor do sucesso?
Os alunos que frequentam o ensino privado têm maiores probabilidades de sucesso?
Qual o papel das expectativas no sucesso escolar?
Afinal, porque melhoraram os resultados nos testes PISA realizados pelos alunos portugueses?
A resposta às questões e os dados que as sustentam foram publicados e divulgados no site e página de Facebook do projeto aQeduto, do Conselho Nacional de Educação e da Fundação Francisco Manuel dos Santos. E mensalmente cada questão e respetivo estudo foram publicados na VisãoOnline.  
O projeto aQeduto é desenvolvido por uma equipa multidisciplinar composta por investigadores provenientes de diferentes áreas científicas, que congrega especialistas em política educativa, avaliação, comparabilidade, racionalidade económica, comunicação e estatística/análise de dados. E, para atingir os objetivos, o projeto realiza sistematicamente investigação comparada entre os resultados dos alunos portugueses que participaram nos sucessivos ciclos de testes PISA e os resultados de alunos de outros países participantes neste estudo internacional.
De forma a reduzir o número de países sob análise, tornando os dados de mais fácil leitura e as interpretações do posicionamento de Portugal face aos seus pares na Europa mais evidentes, a equipa procedeu a um estudo de agrupamento de países.  Para proceder ao método de análise classificatória ou de agrupamentos selecionou diversas variáveis que refletem caraterísticas estruturantes dos países face aos resultados em educação.
Utilizaram-se variáveis em que as três vertentes do estudo aQeduto se encontrassem refletidas. Deste modo, as variáveis que permitiram agrupar os países foram: (i) o PIB per capita médio de cada país (posicionando os países quanto à produção de riqueza e ao nível de vida das famílias); (ii) o nível de desempenho em Matemática no PISA 2012 (comparando o nível de conhecimento alcançado pelos alunos de 15 anos); (iii) o nível económico, social e cultural dos alunos, medido pelo indicador ESCS (Indicador do Estatuto Socioeconómico e Cultural) e a formação dos pais, medida através do índice PARED (Nível de escolaridade dos pais); e (iv) a percentagem de alunos de 15 anos com pelo menos um ano de repetência (REPEAT).
Na sequência desta análise, foi possível encontrar 7 grupos, com os países a revelarem semelhanças no comportamento das variáveis indicadas. A estratégia seguida foi a de utilizar um representante de cada grupo (exceção para o grupo que integra a Polónia, grupo para o qual este país foi adicionalmente selecionado por se tratar de um caso de sucesso exemplar), bem como todos os países que se posicionaram no mesmo grupo de Portugal: Portugal, França, Luxemburgo e Espanha.
Os outros 6 grupos são: Austrália, Irlanda, Nova Zelândia e Polónia; Israel, Noruega, Suécia e Reino Unido; Dinamarca e Islândia; Canadá, Estónia, Finlândia, Japão e Coreia do Sul; Bélgica, Alemanha, Holanda e Suíça; e Áustria, República Checa, Grécia, Hungria, Itália, Eslovénia, Eslováquia e EUA.  
***
O PISA (Programme for International Student Assessment) é um estudo internacional da OCDE para avaliar a literacia de jovens de 15 anos, que frequentem pelo menos o 7.º ano de escolaridade. O seu objetivo principal é a avaliação da capacidade destes alunos para enfrentar os desafios que a transição para a vida adulta lhes coloca, conduzindo a um retrato dos sistemas educativos dos países e economias participantes. Desenvolve-se em ciclos de 3 anos e avalia a literacia de matemática, a de leitura, a de ciências e mais recentemente resolução de problemas, elegendo, em cada ciclo, uma das três áreas avaliadas como domínio principal.
O teste cognitivo do PISA tem sido aplicado com papel e lápis desde o seu início em 2000 até 2012, tendo uma duração de duas horas e incidindo nas três áreas avaliadas embora os itens relativos ao seu domínio principal ocupem 2/3 do tempo total da prova. A prova é constituída por vários cadernos que combinam itens das diferentes áreas, respondendo cada aluno apenas a um dos cadernos. Em Portugal, em 2012, foram aplicados 13 cadernos de teste distintos.
Os itens, que não são públicos, permitem a comparação dos resultados ao longo dos vários ciclos e a identificação de tendências. Em cada ciclo do PISA, a OCDE liberta alguns itens, que deixam de fazer parte das provas e que ilustram o tipo de questões apresentadas aos alunos.
Além da prova cognitiva, o PISA, recolhe informações através da aplicação de questionários aos alunos, aos pais e às escolas que permitem contextualizar o desempenho dos alunos, permitindo a identificação de fatores que influenciam esse desempenho nas várias áreas avaliadas.
Os resultados do PISA dos alunos portugueses, nos seus 5 ciclos em causa e nos três domínios avaliados são os constantes do quadro seguinte:
Domínios
2000
2003
2006
2009
2012
Matemática
454
466
466
487
487
Leitura
470
478
472
489
488
Ciências
459
468
474
493
489
Fonte: Projeto aQeduto
É de referir que os alunos com desempenho fraco são os que obtêm scores abaixo de 409, ao passo os alunos com desempenho de excelência são que obtêm scores acima de 626. O score médio dos alunos dos países da OCDE é 500, entendendo-se por score a pontuação média obtida pelos alunos de cada um dos países participantes no PISA. Isto quer dizer que o score dos portugueses está aquém da média da OCDE e muito longe da excelência.
Nos cinco ciclos PISA, os alunos com 15 anos, em Portugal, melhoraram gradualmente os resultados em Matemática, Leitura e Ciências e, a partir do ciclo de 2009, aproximaram-se da média da OCDE. Os domínios da Leitura e da Matemática apresentam  curvas de evolução idênticas, totalizando ganhos de 30 e de 33 pontos na série 2000-2012.

Temos mais bons alunos e menos maus alunos. Entre 2000 e 2012, Portugal reduziu a percentagem de alunos com desempenho fraco, ao mesmo tempo que aumentou a percentagem de alunos com desempenho de excelência. A percentagem de alunos com desempenho fraco a Matemática diminuiu de 30,3% para 21,0%. Por outro lado, a percentagem de alunos com um desempenho excelente aumentou, passando de 1,2%, em 2000, para 6,5%, em 2012. A mesma tendência é observável nos restantes domínios. Em dez anos, Portugal foi um de apenas três países da OCDE a apresentar esta tendência. Em literacia matemática, esta evolução é apenas observável em Portugal e noutros dois sistemas educativos participantes no estudo PISA, Polónia e Luxemburgo.

Se relacionarmos a educação com a economia, verificaremos que em Portugal, a Economia parou, mas os desempenhos em Educação avançaram. Com efeito, entre 2000 e 2012, Portugal teve uma variação do PIB de -2 USD per capita e tem um dos PIB mais baixos da Europa. Não obstante, ao longo dos 5 ciclos PISA, os alunos portugueses registaram uma melhoria gradual dos desempenhos nos três domínios avaliados. A Polónia e o Luxemburgo foram os únicos países onde ambas as variáveis sob análise cresceram – o PIB aumentou em cerca de 5000 USD per capita e os resultados do PISA também cresceram. Por outro lado, a maioria dos outros países registou um aumento do PIB, mas nem todos melhoraram o desempenho na educação. Destaca-se neste cenário a Suécia, que viu o desempenho dos alunos reduzido em cerca de 30 pontos, apesar de o seu PIB ter aumentado em mais de 5000 USD per capita no mesmo período.
***
Que fatores favoreceram a melhoria dos resultados? Ora, a equipa do projeto aQeduto apurou:
- Mais dinheiro não implica sempre um melhor sistema educativo;
- A retenção do aluno no mesmo ano como combate ao insucesso é ineficaz;- A família (com mais habilitação e desafogo profissional), embora importante, não determina o sucesso;
- A educação pré-escolar por mais de um ano tem influência positiva na aprendizagem;- A maioria dos nossos alunos sente-se feliz e apoiada na escola, o que induz melhores resultados;- Segundo os diretores, a indisciplina surge como o maior obstáculo à aprendizagem;- Os alunos consideram que o sucesso depende do seu próprio esforço e reconhecem o bom trabalho dos professores;- Portugal é o país onde a escola pública serve uma maior heterogeneidade de classes sociais, sendo que a privada serve as classes privilegiadas.- Os rapazes têm maiores dificuldades na Leitura, o que pode ser uma condicionante à sua aprendizagem global;- A satisfação dos professores depende da sua capacidade de ajudar a aprender, estabelecer bom relacionamento com os alunos, manter a disciplina e ter reconhecimento pelo seu trabalho;
- O efeito “escola” foi dos mais determinantes na variação positiva dos resultados, sendo que uma grande percentagem das escolas em meios socioeconómicos mais desfavorecidos se destaca por ter conseguido melhorar de forma considerável o desempenho dos alunos.
Dá que pensar. É preciso investir nas sadias políticas educativas, cuidar da qualidade da administração da escola, combater a indisciplina, melhorar as condições de trabalho deixando respirar a escola e fazer com que a sobreamostragem seja representativa.
Em 2015 foram amostrados, para representar Portugal, cerca de 7500 alunos provenientes de 247 agrupamentos de escolas/escolas não agrupadas distribuídos por todo o território nacional. Nos Açores foi realizada uma sobreamostragem que levou à participação de 47 agrupamentos de escolas/escolas não agrupadas e cerca de 1500 alunos.
Como terão sido os resultados? Aguardamos o estudo do Conselho Nacional da Educação e gostaríamos de saber do desempenho dos alunos de 18 anos.

2016.10.30 – Louro de Carvalho

Sem comentários:

Enviar um comentário