Encontro Internacional de Educação Sala Mundo, em Curitiba: avaliação em pauta

Em sua fala de abertura no Encontro Internacional de Educação SalaMundo, nos dias 17 e 18 de agosto em Curitiba (PR), o ministro Fernando Haddad chamou a atenção dos educadores presentes para a qualidade do sistema brasileiro de avaliação externa, que chamou de “robusto”. Segundo o ministro, o país alcançou o objetivo maior das aferições, batizado por ele de “formativo e informativo”.

Nas palestras que se seguiram à sua apresentação, e mesmo nos corredores do evento, a certeza positiva não era tanta. Francisco Soares, coordenador do Grupo de Avaliação e Medidas Educacionais da Universidade Federal de Minas Gerais (UFMG), e Pedro Ravela, do Instituto de Avaliação Educacional da Universidade Católica do Uruguai, faziam coro à posição de que é preciso enxergar os problemas das avaliações externa e interna, tanto no Brasil como na América Latina.

Ex-coordenador nacional do Programa Internacional de Avaliação de Alunos (Pisa) em seu país, Ravela realizou dois estudos em oito países latino-americanos (Uruguai, Argentina, Colômbia, Peru, México, Costa Rica, El Salvador e Guatemala) que explicitam deficiências das avaliações. O primeiro selecionou dez escolas, nas quais foram entrevistados, em média, dois professores do 6º ano por unidade. Participaram escolas urbanas em zona de vulnerabilidade social e que tivessem apresentado bons resultados em provas nacionais ou no Segundo Estudo Regional Comparativo e Explicativo (Serce), realizado pela Unesco. Ou seja: o corte da amostra foi feito com a expectativa de que os docentes tivessem participado das avaliações externas e recebido materiais e instrumentos das mesmas.

De um total de 167 docentes, 137 (ou 82%) afirmaram conhecer alguma avaliação padronizada externa. Em contrapartida, somente 60% deles afirmaram ter recebido materiais a respeito das provas e 28% do total conhecem bem a matriz referencial dos exames. A apropriação pedagógica dos dados é, nos casos apontados, malfeita –  isso quando ela é, de fato, realizada. “Há falhas na comunicação dos resultados. É preciso investimento financeiro para que as pessoas trabalhem os dados. Estatísticas sozinhas não servem para os professores”, explica Ravela. Outro ponto considerado central por ele para que a avaliação externa funcione é que o docente tenha tempo para discutir seus resultados. Ele lembra que em 1996, ano em que foi instituída a primeira Avaliação Nacional de  Aprendizagem de Língua Materna e Matemática dos 6º anos no Uruguai, criaram-se espaços de debate para os professores oriundos de escolas com os resultados mais baixos. “Isso aconteceu fora do horário de serviço. Eles receberam hora extra para estudar os resultados das provas. Foi essencial para que entendessem os dados”, aponta.

A partir das entrevistas com docentes, a pesquisa conseguiu compilar os impactos positivos trazidos por aqueles que fizeram a apropriação pedagógica de forma correta. Um deles é que as provas ajudam o professor a tomar consciência da importância de temas e capacidades que seus alunos devem adquirir no processo de ensino e aprendizagem. Outro é que os exames acabaram aprimorando a capacidade dos docentes no que diz respeito à avaliação feita em sala de aula. “Eles se dão conta de que muitas práticas acabam sendo rotineiras e não têm propósito claro”, explica Ravela.

Currículo x matriz referencial

No caso brasileiro, a discussão e consequente apropriação pedagógica dos resultados se tornam especialmente complicadas em razão da falta de diálogo entre o currículo escolar e a matriz de referência do Sistema Brasileiro de Avaliação (Saeb). É importante lembrar que tanto a escala quanto a matriz do Saeb pautam a grande maioria das avaliações feitas no país – a Prova Brasil é uma delas. Como aponta a diretora Maria de Fátima de Oliveira, da Emef Olavo Pezzotti, em matéria desta edição, os professores têm dificuldade de entender como os conceitos de habilidades e competências se encaixam com conteúdos como, por exemplo, frações ou números decimais. “É a falha do sistema. Quais habilidades devemos ensinar? Isso não está organizado desse jeito”, defende Francisco Soares, da UFMG. Para Soares, no fundo, o país faz avaliações com base em um modelo diferente daquele que usa para ensinar. “São duas linguagens que não brigam tanto, mas não dá para achar que o professor vai ser capaz de fazer essa
tradução”, diz. O problema é que, como os Parâmetros Curriculares Nacionais (PCNs) são genéricos, o currículo real, executado de fato em sala de aula, acaba sendo pautado pelos livros didáticos e pelos sistemas apostilados. Assim, os materiais não são organizados com as habilidades em torno das quais a verificação de aprendizagem é feita. “Nesse sentido, o Enem, apesar da fala positiva do ministro, é um horror. Não entendemos o que é para fazer. Precisávamos ser mais humildes”, opina Soares.

O especialista também critica o fato de informações específicas sobre a Prova Brasil 2011 não terem sido divulgadas até agora. O exame acontece em novembro. “Não sabemos nada de sua estrutura interna. Já deveriam ter acon­tecido workshops que mostrassem, por exemplo, a ideia de leitura que a prova traz. Não adianta divulgar simulados. Esse não é objetivo do sistema”, afirma. Um exemplo de currículo consolidado, que dialoga com a matriz referencial da avaliação, pode ser encontrado no Estado de Massachusetts, nos EUA. Citado pela educadora norte-americana Diane Ravitch em seu livro
The Death and Life of the Great American School System: How testing and choice are undermining education, o Massachusetts Curriculum Framework
(Parâmetro Curricular de Massachusetts) está integrado ao
Massachusetts Comprehensive Assessment System
(Sistema de Avaliação Abrangente de Massachusetts). Ou seja, os conteúdos ensinados e aprendidos estão conectados com aqueles cobrados
nos exames.

Avaliação interna

A outra pesquisa realizada por Pedro Ravela, do Uruguai, foca apenas as provas aplicadas em sala de aula pelo professor. O material compilado traz entrevistas com 160 professores do 6º ano do ensino fundamental e 450 registros fotográficos das propostas de provas feitas pelos docentes. O resultado da análise mostrou que mais de 85% delas carecem de contextos reais plausíveis ou situações verdadeiramente problemáticas. Ravela cita o exemplo de uma questão de matemática que simulava o uso de 5/9 de uma pizza. “Quando eu como uma pizza, nunca pego 5/9 dela”, explica. O pesquisador também encontrou provas que simplesmente “jogam” contas matemáticas no papel, sem contexto algum para o aluno. No caso da avaliação de linguagem, predominam avaliações de conhecimentos gramaticais.

O uruguaio dedicou sua palestra a um corte não usual do Programa Internacional de Avaliação de Alunos (Pisa): a apropriação do exame internacional para o processo de elaboração de questões das avaliações internas. Como as atividades propostas pelo Pisa partem de problemas encontrados pelo aluno na vida em sociedade (emissão de gases na atmosfera ou uso inapropriado de informação estatística na imprensa, por exemplo), o diálogo entre os exames é considerado interessante para o especialista. “De cada situação proposta, derivam-se várias perguntas”, diz. Ele lembra que a elaboração de questões como as do Pisa exige uma mudança na prática docente e mesmo institucional, da escola como comunidade.

O estudo também encontrou problemas no processo de atribuição de nota aos alunos. O especialista o qualifica de “poção da bruxa”. “Os estudantes vão bem na prova, chegam na hora, se portam bem, e aparece a nota. Mas ninguém sabe o que significa isso.” Ele lembra a experiência de escolas no Chile que definiram mapas de progresso, nos quais foram relacionados critérios objetivos para as notas. Exemplo: o nível “excelente” abarcaria o conhecimento em dividir frações. Ao final do ano, as notas refletiram os aspectos acordados. “Precisamos parar de pensar a nota como uma operação matemática. São 5 pontos por isso, 5 por aquilo”, alerta.