Os exames de larga escala, especialmente os internacionais, como o Pisa, se tornaram parâmetros de qualidade para muitos gestores. Em alguns países, os resultados são até mesmo considerados pontos de partida para a formulação de políticas públicas. Muitas críticas já foram feitas quanto à capacidade desses testes de expressar o conhecimento dos alunos, o que serviu de mote para o professor Martin Carnoy, de Stanford, propor uma reflexão sobre o assunto. Em um estudo publicado recentemente, ele compilou as quatro principais falhas atribuídas ao Pisa e ao Trends in International Mathematics and Science Study, mais conhecido como TIMSS (não é aplicado no Brasil) e formulou algumas melhorias que poderiam ser feitas para que seus resultados possam ser mais bem aproveitados.
As principais críticas são: (1) embora tenham o propósito de extrair conclusões sobre os sistemas educacionais a partir de comparações feitas entre eles, as provas não levam em consideração que os alunos vêm de diferentes contextos familiares e têm acesso a diferentes recursos; (2) a evolução dos alunos americanos no TIMSS e no Pisa entre 1999-2011 é desigual, o que levanta dúvidas sobre qual dos dois seria o mais adequado para medir o conhecimento; (3) a margem de erro dos exames é maior do que o admitido pelas agências de testes, portanto, os rankings são menos confiáveis do que aparentam ser; (4) embora Xangai esteja no topo da lista no Pisa, o resultado não é representativo nem da China nem mesmo de Xangai, que exclui os jovens imigrantes de seu sistema educacional. Esses fatos por si questionam a validade do Pisa, aponta Carnoy.
Uma das maneiras de contornar alguns desses problemas seria segmentar os alunos em subgrupos, considerando elementos como acesso a livros em casa e anos de escolaridade da mãe. Outra recomendação do professor de Stanford é que os microdados sejam publicados com os resultados gerais para que os pesquisadores internacionais possam produzir análises independentes e, assim, evitar que apenas uma leitura dos resultados seja feita mundialmente.
>>> A edição de dezembro de Educação pode ser adquirida online com frete grátis para todo o Brasil. Confira