Brasília, 4 de dezembro de 2012.

Todo estudante tem o direito de saber se a escola onde estuda oferece uma educação de qualidade. O mesmo direito se estende aos pais e familiares. Na prática, todo brasileiro quer saber se as escolas do país são boas. Basicamente, é devido a essa (justa!) demanda que a divulgação do “Enem por escola” atrai tanta atenção da sociedade brasileira e gera tanto interesse por parte da imprensa. Em outras palavras, o clamor social pela avaliação é grande.

Contudo, é equivocado tomar o “Enem por escola” como referência sobre a qualidade do ensino médio. Dois bons artigos, publicados nas edições dos diários O Estado de S. Paulo e Folha de S. Paulo do dia 23/11, demonstram que a “nota do colégio não reflete a qualidade da educação entregue” e que o Enem por escola “gera competição descabida”. Assinados, respectivamente, pelas as professoras da Faculdade de Educação da USP Paula Louzano e Silvia Gasparin Colello, os textos criticaram a forma como vem sendo tratado o Exame Nacional do Ensino Médio pelos gestores públicos e, especialmente, privados da educação.

Sempre vale lembrar que o problema não é de hoje. Há poucos anos a pergunta seria: quais unidades escolares mais aprovavam seus alunos no vestibular das melhores universidades públicas do país? Como o Enem é hoje a principal porta de entrada dos estudantes para as boas instituições de ensino superior, naturalmente a divulgação dos dados do exame por escola dominou todo esse interesse público. E gerou novos rankings, atrapalhando toda a análise sobre a qualidade do ensino médio brasileiro, público e privado.

Política de Avaliação

A avaliação é um procedimento de gestão imprescindível. No caso das políticas públicas, deve servir ao controle social, ao replanejamento de ações e ao aperfeiçoamento administrativo constante. Ser contrário às práticas avaliativas é sinônimo de ser refratário ao bom uso dos recursos públicos e, consequentemente, à própria consagração dos direitos sociais no Brasil.

No entanto, se é consenso que as políticas de avaliação são imprescindíveis, elas necessitam ser adequadas, bem construídas e devem oferecer informações úteis, alimentando a atuação cotidiana e a tomada de decisão dos trabalhadores e gestores públicos, além de informar os cidadãos sobre como está sendo administrada a coisa pública.

É precisamente ai que reside o problema da avaliação da educação básica no Brasil. Nos últimos anos, o país tem incorrido no erro de alçar instrumentos avaliativos importantes, como o Enem, a Prova Brasil, ou ainda índices como o Ideb, ao nível de política plena de avaliação. É certo que todos devam ocupar um lugar relevante no cardápio de mecanismos que comporão o futuro Sinaeb (Sistema Nacional de Avaliação da Educação Básica). No entanto, é consenso na melhor bibliografia educacional brasileira, que todos os atuais instrumentos avaliativos possuem decantados limites, já exaustivamente problematizados.

Portanto, se é equivocado considerar o desempenho na Prova Brasil, no Enem e no Ideb (índice que combina fluxo escolar com resultados da Prova Brasil) como sinônimo de qualidade, pior tem sido a forma como todos têm sido divulgados. Ao longo dos anos, o Ministério da Educação tem incorrido no erro de publicar os resultados aferidos por esses instrumentos de modo a estimular a elaboração de rankings, mesmo que de forma constrangida.

O MEC não concorda com o ranqueamento, mas estimula…

Em 22 de novembro, em coletiva de imprensa para divulgar o “Enem por escola”, o Ministro de Estado da Educação, Aloizio Mercadante, ponderou corretamente, conforme texto publicado em diversos veículos de comunicação, que:

– O Enem não é um ranking de avaliação entre escolas. É uma avaliação dos alunos, insuficiente como instrumento de avaliação do estabelecimento escolar. Mesmo porque temos escolas cuja natureza é muito distinta. As escolas que selecionam os estudantes em geral têm um desempenho melhor do que as escolas que são porta aberta e acolhem todos os estudantes da sua região.

Contudo, na mesma coletiva de imprensa, o MEC apresentou, em um conjunto de dezesseis slides, seis listando as “30 melhores” escolas em Ciências da Natureza, Ciências Humanas, Linguagens e Códigos, Matemática, Redação e Média Geral. Não há maior estímulo para a elaboração de um ranking do que divulgar, ainda que de forma problematizada, seis listas de Top 30.

Diante dos problemas verificados na divulgação dos dados do Enem por escola nos últimos anos, a comprometida e competente equipe técnica do Inep (Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira), órgão responsável pelo exame, buscou ponderar por meio de Notas Técnicas os equívocos gerados pelo ranqueamento, estimulado pela forma como tem sido divulgado os resultados do exame.

Por que o Enem por escola não pode gerar um ranking?

Entre todos os argumentos listados por quem discorda da elaboração de rankings por meio do “Enem por escola”, especialmente considerando as opiniões da equipe técnica do Inep, os mais importantes são:

a. a ausência da preparação de uma amostra representativa para a divulgação de médias por UF, região ou Brasil;

b. o fato de a participação dos estudantes ser voluntária, o que inviabiliza aferir o desempenho médio dos alunos por escola;

c. o uso da metodologia do TRI (Teoria de Resposta ao Item), cuja escala estabelece uma variação para cada disciplina de forma independente uma da outra, de tal modo que o cálculo de uma única média envolvendo todas as áreas do conhecimento pode acarretar em grave equívoco metodológico;

d. a possibilidade de redes de escolas particulares estarem manipulando a matrícula de seus estudantes de forma a reunir apenas os melhores alunos sob o código de uma mesma escola no Censo Escolar para atingir melhores médias e com isso fazer uso comercial de seu desempenho;

e. a comparação e exposição de escolas que, uma vez ranqueadas, são rotuladas como ineficazes;

f. a inobservância ao fato de que a escola é composta por diversos fatores, além do desempenho de estudantes em provas, como fatores sociais e culturais, sem os quais qualquer leitura avaliativa pode incorrer em equívoco e em injustiça.

Na tentativa de realizar uma divulgação adequada do “Enem por escola”, foi publicada no DOU (Diário Oficial da União), no dia 1 de outubro, a Portaria No. 342, de 28 de setembro. Assinada pelo presidente da autarquia, Luiz Claudio Costa, está determinado no Art. 7 que “Os resultados finais das proficiências médias de cada uma das quatro provas objetivas e da redação, por unidade escolar, serão publicados em 26 de novembro de 2012.”

Não é possível estimar se ou o quanto o adiantamento na divulgação atrapalhou, mas não há dúvida de que o ranqueamento, da forma como tem sido divulgado pela imprensa, tem resultado em análises distorcidas sobre a qualidade do Ensino Médio brasileiro.

Resultados no Enem não refletem qualidade da educação

Os problemas na divulgação do “Enem por escola” estimularam diferentes debates. Em síntese, é entendimento comum que o melhor é dispor publicamente todos os dados possíveis, sem qualquer agregação, dando a chance a cada órgão de imprensa, pesquisador ou organização da sociedade civil de realizar sua análise sobre o exame.

Ao mesmo tempo, sem os microdados, os resultados do Enem impossibilitam uma análise mais apurada e profunda sobre a educação, inviabilizando cruzamentos socioeconômicos do alunado ou das condições das escolas. Ou seja, o Enem tem uma missão contributiva na avaliação da educação que é pouco explorada – e até mesm
o inviabilizada – quando a divulgação dos seus resultados se dá por escolas, via rankings iníquos, e nã
o de forma a estimular uma visão mais realista da área.

Devido à pressão de sua equipe técnica, somada a má repercussão dos rankings do Enem por escola, na semana passada o Inep passou a dispor dos microdados do exame em sua página na Internet. Questões mais relevantes podem agora ser exploradas. Não deixa de ser uma boa notícia.

E vale a pena divulgar o Enem por escola?

Da forma como é feito hoje, não. O modelo atual de divulgação do Enem por escola apresenta todo tipo de problema metodológico, como já foi observado pela equipe do Inep e por estudiosos da educação.

Já que se trata de avaliação, o MEC deve rever a forma como tem tratado e divulgado o Enem – e também a Prova Brasil e o Ideb. Na prática, nem deveria ser o MEC a divulgar os resultados dos instrumentos avaliativos. Fazendo um paralelo, quem divulga as pesquisas e censos empreendidos pelo IBGE é o próprio órgão, e não o Ministério do Planejamento, Orçamento e Gestão, ao qual está subordinado. O mesmo ocorre com o Ipea, que mesmo abaixo da Secretaria de Assuntos Estratégicos da Presidência da República, possui autonomia sobre seu trabalho.

Qual política de avaliação?

Mais do que aprimorar instrumentos, como Enem, a demanda avaliativa da educação brasileira exige a elaboração e implementação do Sinaeb, fruto de pressão e proposição de movimentos educacionais como a Campanha Nacional pelo Direito à Educação. Além de agregar corretamente os instrumentos avaliativos existentes, o Sinaeb deve servir mais a processos participativos e emancipatórios de avaliação, que de fato orientem as políticas públicas rumo ao cumprimento da missão educacional brasileira, disposta no artigo 205 da Carta Magna: garantir “o pleno desenvolvimento da pessoa, seu preparo para o exercício da cidadania e sua qualificação para o trabalho”.

A experiência mostra que a avaliação em larga escala do ensino médio no Brasil, da forma como tem sido feita, tem servido mais como diferencial de mercado para estabelecimentos privados de ensino – por meio de prática anti-éticas – do que como um elemento de (re)orientação e (re)planejamento das políticas públicas.

O país precisa superar o modelo do farol. Enem, Ideb e Prova Brasil, quando muito, tem servido para sabermos se o sinal está vermelho, amarelo ou verde. Há tempos está vermelho. Nunca sequer esteve amarelo. E isso preocupa. Contudo, quando muito e graças aos microdados, esses instrumentos oferecem nebulosas pistas sobre os motivos responsáveis pela insistente cor escarlate do semáforo. É possível e preciso fazer mais e melhor.

Enfim, em termos de políticas sociais, a avaliação deve ser prática constante, incisiva, profunda, determinada. E o Brasil deve ter coragem suficiente para (re)avaliar tudo, especialmente a forma como tem avaliado a educação. Não será fácil, mas um bom primeiro passo é mudar o modo como são disponibilizados os dados. E essa mudança depende apenas de vontade política.