Desde a década de 1990, principalmente, as avaliações baseadas em indicadores de rendimento dos alunos começaram a se tornar, em todo o mundo, os principais referenciais para políticas públicas, orientando os investimentos dos governos em educação. Em diversos países, ainda, rankings originados desse sistema avaliativo embasaram políticas de estímulo, como a premiação dos melhores.

Mas, para um número crescente de especialistas, chegou a hora de avaliar a avaliação. Esta é a opinião, por exemplo, do pesquisador espanhol Alejandro Tiana, autor de diversos estudos sobre o tema da avaliação e ex-secretário geral de Educação da Espanha. Para Tiana, embora as provas de rendimento tenham de fato uma importância inequívoca, não estão acima do bem e do mal.

É preciso, por exemplo, questionar a ligação direta entre qualidade de ensino e rendimento escolar, já que o papel da educação é bastante mais complexo – envolvendo aspectos como o desenvolvimento de valores, a inclusão social e outros aspectos. Além disso, ressalta, seus resultados não podem ser utilizados dogmaticamente e tampouco servir de base para ranqueamentos. “Não conheço evidências de que os rankings tenham funcionado da forma como se previa”, diz.

Em Buenos Aires, onde participou do Congresso Iberoamericano de Educação, Tiana concedeu a entrevista a seguir ao repórter Paulo de Camargo .

Quando os sistemas de avaliação de rendimento começaram a ganhar força?
Embora hoje a questão da qualidade de ensino esteja muito disseminada, precisamos lembrar que não era uma tendência predominante há até poucas décadas. Foi no início dos anos 1980 que um informe da Organização para a Cooperação e Desenvolvimento Econômico (OCDE) chamou a atenção para a premência de aprimorar a qualidade na educação, na Europa. Na América Latina, o tema chegou ao discurso político ainda depois. Uma das consequências desse impulso foi a avaliação dos resultados dos alunos, com um lugar muito destacado. Essa atenção aos resultados foi uma das mudanças mais significativas nas políticas educativas na década de 1990.

Não é natural avaliar os resultados como um indicador de qualidade?
Claro que é. Mas não se pode pensar que esta seja a única forma, e sim apenas um caminho encontrado dentro de determinado contexto, e que deve se adaptar às mudanças. Ou seja, também a avaliação deve evoluir. Estamos diante de um tema complexo. A começar da questão da qualidade de ensino. Qualidade é um termo ambíguo, com muitos significados diferentes, não somente o rendimento dos alunos. Falar de qualidade é falar de eficácia, eficiência, pertinência, satisfação, igualdade. Muitos fatores vêm sendo apontados como geradores de qualidade, como o desenho do currículo, a formação dos professores, a organização da escola, entre muitos outros. Cada um deles pode ser analisado em si e dar origem a políticas completamente distintas. Além disso, todos sabem que não é o mesmo trabalhar com grupos de alunos com famílias em boa situação social e de contextos muito desfavorecidos. Se não se faz mais do que apontar quem vai mal, se não há um programa criterioso de apoio a quem não atinge os níveis desejados, a avaliação não ajuda muito e pode até mesmo ter o efeito inverso. Enfim, os dados podem ser usados das mais diferentes formas. Por isso, não se trata apenas de uma questão acadêmica, mas política.

É o caso dos rankings e das políticas deles derivadas?
Exatamente. Nos anos 90, as políticas de mercado, baseadas no prêmio a escolas bem posicionadas, não fizeram justiça às promessas que faziam. Hoje existem muitas discussões sobre a ineficácia dos rankings , por diversas razões. Há uma questão central, que se refere aos níveis obrigatórios e não obrigatórios. No ensino universitário, o mérito é o critério fundamental. Mas você pode escolher se quer fazer universidade ou não. No caso dos ensinos fundamental e médio, todas as crianças e jovens são obrigados a passar pela escola, e o objetivo precípuo é oferecer a melhor educação possível a eles, atendendo a uma complexa diversidade. Assim, temos a responsabilidade de oferecer condições iguais de aprendizagem e não se pode pensar em mecanismos que não respondam diretamente a essa finalidade.

Não há também que se discutir os parâmetros que se toma para avaliar um sistema, ou seja, o ponto de referência sobre o que se espera das aprendizagens?
Um dos pontos que vêm sendo debatidos é justamente o grau de detalhamento que esses parâmetros devem ter. O desafio desses parâmetros não é simples. Precisam ser concretos, claros quanto aos objetivos que perseguem. Têm de gerar respostas generalizáveis, mas também não podem contradizer o princípio da atenção à diversidade. O desafio de todos os sistemas de avaliação é que sejam ao mesmo tempo úteis para o processo de aprimoramento, respeitosos com a complexidade da ação educativa e justos para avaliar pessoas e instituições.

Chegamos a um ponto de saturação? Estamos avaliando demais?
Há, de fato, um fenômeno de sobre-avaliação em muitos países. Há avaliações que se superpõem e não se justificam. É preciso definir a relevância, não avaliar simplesmente por avaliar, especialmente em anos consecutivos. O sistema educativo não melhora nem piora tanto de um ano para outro. A educação é um processo de transformação lenta, e é preciso que os governos tenham cuidado. De toda forma, é preciso ressaltar que a preocupação com a qualidade é um dado muito positivo nos governos latino-americanos, e devem ser valorizados. A educação na América Latina está muito abaixo do que se poderia desejar, mas tem melhorado muito. Tenho falado da importância da generalização do acesso à escola em uma época de grande crescimento demográfico. É um esforço enorme que não pode ser esquecido.

Não é necessário evoluir tecnicamente, como no caso das avaliações de valor agregado, que tentam separar o quanto do aprendizado se deve à ação pedagógica da escola, isolando outros fatores socioculturais?
Estive no Brasil há alguns anos participando de eventos promovidos pelo Ministério da Educação sobre as avaliações de valor agregado. É um caminho muito interessante, pois permite medidas mais justas. As provas lineares de rendimento acabam comparando escolas que têm pouco em comum e trabalham sob condições muito diferentes. Embora não sejam determinantes, as condições sociais influem muito no trabalho educativo. Ao mesmo tempo, há muitas variáveis que interferem na aprendizagem, como a organização escolar, o clima, o envolvimento da comunidade de pais, alunos e professores, que são muito difíceis de medir, mas são importantíssimos. É um desafio, mas temos de trabalhar nesse sentido.

Os sistemas de avaliação têm fracassado, no que se refere à comunicação com a sociedade e com os meios de imprensa?
Não diria que têm fracassado, porque não chegaram nem a desenvolver suficientemente o aspecto da comunicação. Hoje, existe sim uma inquietude, porque não há práticas eficientes de comunicação dos resultados para a sociedade. Mas acredito também que temos avançado. Veja, por exempl
o, os dados do Pisa. Para muitas pessoas
, esses números são muito mais compreensíveis do que eram inicialmente, e cada vez mais os resultados têm chegado à sociedade.

Esse é um exemplo que vem a calhar. Poucos sabem, por exemplo, que o Pisa avalia alunos de 15 anos, o que coloca os estudantes brasileiros, que têm uma grande defasagem idade/série, em desvantagem em relação a outros países.
É verdade. O Pisa é um exame criado no âmbito de uma agência de cooperação econômica, a OCDE, e assim foca sua avaliação em um conjunto de competências consideradas fundamentais no mundo do trabalho. A cada três anos, avalia-se o desempenho em matemática, leitura e ciências. A idade é aquela em que a maioria dos países termina a escolaridade obrigatória, e não são avaliados tanto conteúdos, mas principalmente as habilidades cognitivas. Mas quando digo que o Pisa evoluiu, é porque tem havido uma preocupação técnica com os exames para que sejam comparáveis. No final do ano, teremos a divulgação dos resultados da prova de leitura, ou seja, o mesmo tema de 2000. Será possível, pela primeira vez, ver o que aconteceu ao longo de todo esse período. É como dizemos na área: se quisermos medir a mudança, não adianta mudar a medida. Isso é muito importante.

O Pisa é uma prova baseada em rendimento, mas seu questionário é bem mais amplo. Não é preciso conhecer melhor aqueles a quem avaliamos?
Sem dúvida. O Pisa de 2010 terá, por exemplo, muitas questões sobre como os jovens vêm utilizando as novas tecnologias. Esse é um aspecto fundamental, e ainda pouco conhecido. Há muitos outros. Para chegar a qualquer conclusão sobre sistemas educativos, precisamos perguntar sobre distintos aspectos. A opção pelas provas de rendimento se deve, em parte, ao fato de haver campos mais complexos para avaliar, como é o caso da educação infantil. Não existem bons modelos de avaliação de qualidade da educação infantil porque é algo muito complexo. Não é possível aplicar provas, por exemplo. Há algumas experiências internacionais em curso, como um projeto piloto, que devem ir adiante, pois há um consenso de que isso é necessário.

Temos bons modelos de avaliação docente? Por que em alguns sistemas de sucesso reconhecido, como é o caso da Finlândia, não se avaliam professores?
Há bons exemplos, sim. Na Espanha, temos avaliação de desempenho dos professores, mas no âmbito universitário. No México, existem programas para verificar competências do magistério, bem como no Equador, França e Inglaterra, cada um a seu modo. Por que não existem avaliações sistemáticas dos professores em outros lugares? Em parte, porque há questões corporativas complicadas. Mas também porque a avaliação tem que ver com o grau de confiança de um sistema educativo. Onde há mais confiança, há menos avaliação.