O Indicador de Diferença de Desempenho (IDD) está de cara nova. Ou melhor, de corpo novo. Desde 2014, o IDD, que é um dos oito indicadores que compõem o Conceito Preliminar de Curso (CPC), passou a considerar a diferença entre as estimativas dos desempenhos obtidos pelo mesmo aluno no ingresso e na conclusão de seu curso superior, ou seja, no Exame Nacional do Ensino Médio (Enem) e no Exame Nacional de Desempenho de Estudantes (Enade). Além disso, nos cursos em que não houver ao menos 20% de concluintes (mínimo de dois alunos) com nota no Enem, o cálculo do IDD é substituído pelo desempenho observado no Enade.
Até 2013, a conta era realizada calculando-se a diferença entre o desempenho dos calouros no Enem, ou no Enade aplicado aos ingressantes, e o desempenho dos concluintes no Enade de maneira aleatória. Ou seja, não eram considerados os desempenhos de um mesmo estudante. Porém, a intenção do IDD sempre foi medir o quanto o curso contribuiu para o desenvolvimento acadêmico dos alunos, ou o valor agregado do processo formativo.
Claudia Maffini Griboski, diretora de Avaliação da Educação Superior do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep), explica por que as últimas alterações se tornaram viáveis. “Fomos acompanhando a taxa de recuperação de informações dos estudantes concluintes participantes do Enade na base de dados do Enem, e essa taxa atingiu um valor adequado somente no cruzamento da base de dados do Enade 2014 com os dados das edições do Enem de 2009 a 2013”, diz. O procedimento só foi possível porque o Cadastro de Pessoa Física (CPF) tornou-se variável obrigatória na inscrição do Enem a partir de 2009 – ano em que o exame foi reformulado.
A mudança é apontada pelo Inep como uma medida de maior precisão do que se quer avaliar. Mas, para gestores e professores, as alterações geram ruídos. “A pergunta que se faz é se essa mudança ocorreu pela melhoria da qualidade dos cursos ou apenas pelos impactos das mudanças metodológicas”, comenta Hélio Radke Bittencourt, professor da PUC-RS e pesquisador das medidas de avaliações institucionais do Ministério da Educação (MEC). Para o docente, as constantes mudanças nos pesos do IDD também “podem conferir certa falta de credibilidade ao processo e dificuldade de análises longitudinais”.
Para Cristina Alvim, diretora de Avaliação Institucional da Universidade Federal de Minas Gerais (UFMG), é preciso cuidado na interpretação dos conceitos gerados após as últimas alterações. “As mudanças são parte de um processo de aprimoramento contínuo, mas o valor da série histórica acaba comprometido. A mudança de um conceito 5 para 4 pode só sinalizar a mudança na fórmula de cálculo [e não uma piora no curso]”, afirma.
Com uma escala que varia de 1 a 5, o CPC, criado em 2007, é o principal medidor da qualidade das graduações. Os indicadores de maior peso no conceito são o Enade e o IDD. O medidor é utilizado pelo Inep para a composição do Índice Geral de Cursos Avaliados da Instituição (IGC). Esse Índice tem por base os CPCs trienais das IES e subsidia os atos de recredenciamento e de renovação de reconhecimento das instituições junto ao MEC.
Devido a essa dinâmica, uma comparação entre IGCs lançados antes e depois das atuais mudanças no IDD só será possível a partir da divulgação de dados do Inep em 2017 (três anos após a aplicação das alterações). Já o resultado do CPC dos cursos avaliados no Enade 2014 (primeiro após a última mudança no IDD) foi divulgado em 18 de dezembro último.
 
E o Enem com isso?
Dada a importância do CPC, alterações nos cálculos de seus indicadores podem ter consequências significativas para o futuro das IES. “No caso dos cursos que não têm 20% de alunos que fizeram o Enem, 55% do CPC estará vinculado ao conceito Enade. Assim, a depender dos estudantes de cada curso, as graduações terão notas com significados diferentes [com base só no Enade ou na diferença entre Enem e Enade]”, lembra Cristina, da UFMG.
Atualmente, o CPC é composto pelos seguintes indicadores: IDD (35% do CPC); nota dos concluintes no Enade (20%); nota atribuída a professores doutores (15%), nota atribuída a professores mestres (7,5%), nota de professores com regime de dedicação integral ou parcial (7,5%), nota referente à infraestrutura (7,5%) e nota referente à organização didático-pedagógica (7,5%). Esses dois últimos fatores são medidos a partir da opinião expressa pelos alunos no Questionário do Estudante do Enade.
O fato de o IDD considerar as notas no Enem e no Enade também gera críticas. Alguns docentes avaliam que o CPC acaba sendo muito influenciado pelo perfil dos estudantes ingressantes, e que a fórmula acaba por considerar alunos com motivações diferentes. “Por vezes, o bom desempenho no Enade não consegue ‘alcançar’ ou acompanhar um excelente desempenho tido no Enem. Em nossa instituição temos vários casos de cursos com conceito Enade 5 e CPC 4, devido ao efeito do Enem no IDD”, diz Cristina.
Claudia Griboski, do Inep, explica que o IDD “não é uma subtração entre as notas obtidas pelos estudantes no Enade e no Enem”, mas sim uma estimativa. Para esse cálculo, foram usadas diferentes medidas ao longo do tempo: o desempenho do estudante ingressante no Enade, o desempenho do estudante ingressante no Enem, e, por fim, o desempenho do estudante concluinte no Enem. “As três medidas se configuram como uma proxy [base intermediária] das condições de desenvolvimento do estudante quando de seu ingresso na graduação, uma vez que não é possível ter uma medida perfeita dessas condições”, destaca a diretora.
Mudanças vêm de longe
Mudanças nos pesos atribuídos a cada um dos indicadores que compõem o CPC, e mesmo na relação dos indicadores, não são novidade. Em sua primeira configuração, em 2007, o CPC considerava apenas três componentes, com os seguintes pesos: nota do Enade (40%), nota do IDD (30%) e nota dos insumos que retratam a qualidade do curso (30%).
O conceito passou por novas modificações em 2008, quando houve a inclusão de um novo indicador: a proporção de professores mestres vinculados ao curso avaliado. Em 2011, ocorreu uma segunda revisão. À época, decidiu-se dispensar os alunos ingressantes da realização do Enade e utilizar o resultado do desempenho do Enem para o cálculo do IDD.
O estudo Mudanças nos pesos do CPC e seu impacto nos resultados de avaliação em universidades federais e privadas, publicado em 2010 e realizado por docentes da PUC-RS, conclui que as alterações nos pesos dos indicadores, ao longo dos anos, geram diferentes impactos nas notas de cursos de instituições distintas. Considerando as mudanças feitas no CPC em 2008, o estudo aponta um aumento na ponderação destinada ao percentual de professores com titulação de mestre (de 0 para 5%) ou doutor (de 12 para 20%). Segundo a pesquisa, essa modificação aumentou de 12% para 25% o peso atribuído à titulação do corpo docente. Consequentemente, cresceu a diferença entre os CPCs de universidades federais e privadas.
“As IES públicas, em geral, possuem praticamente 100% dos docentes em tempo integral, o que as leva a atingir a nota máxima neste quesito. Já as IES privadas possuem um percentual significativo de horistas em seus quadros”, diz Alam de Oliveira Casartelli, um dos autores do estudo e professor da PUC-RS. Para ele, não é possível afirmar que um curso seja pior ou melhor em virtude do regime de trabalho dos docentes. “Ter um percentual de professores horistas, por exemplo, pode garantir uma melhor relação da formação com o mercado de trabalho”, completa.