Perícia no Inep revela vulnerabilidades na avaliação do Enem 2016

Análise especializada identifica pontos críticos na avaliação de 2016

Uma perícia realizada no Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira revelou vulnerabilidades significativas no processo de pontuação do Enem 2016, especialmente no que diz respeito à comparabilidade entre as duas aplicações do exame. A investigação, encomendada pelo Ministério Público Federal em Uberlândia após ação judicial, analisou se a discrepância no número de candidatos entre as duas datas influenciou nos resultados finais e se prejudicou os alunos que fizeram a segunda prova.

O contexto que levou à perícia Inep Enem 2016 remonta às ocupações estudantis de 2016. Por causa dos protestos em escolas públicas, o exame foi aplicado em dois momentos distintos: a primeira aplicação ocorreu nos dias 5 e 6 de novembro, com participação de 5,8 milhões de candidatos, enquanto a segunda, realizada em 3 e 4 de dezembro, teve menos de 170 mil inscritos que efetivamente realizaram as provas, considerando a abstenção de aproximadamente 40%.

Detalhes da investigação e expertise do perito

O laudo foi elaborado por Tufi Machado Soares, professor do Departamento de Estatística e coordenador do Centro de Políticas Públicas e Avaliação da Educação na Universidade Federal de Juiz de Fora. O especialista, que atua como membro do conselho científico do Enem e possui expertise em Teoria da Resposta ao Item, teve acesso a informações sigilosas do Inep e produziu um documento com 207 páginas detalhando os achados.

A análise abrangeu aspectos técnicos da metodologia utilizada nas avaliações e identificou fragilidades estruturais que poderiam comprometer a validade comparativa dos resultados entre as duas provas. O perito ressaltou que cada caso precisaria ser analisado individualmente para chegar a conclusões mais robustas sobre o impacto real das diferenças metodológicas.

Principais fragilidades encontradas na avaliação

O documento identificou quatro pontos críticos em ordem de importância. Primeiro, destaca-se o número insuficiente de itens comuns previamente calibrados nos pré-testes e fixados na prova regular do Enem. Em segundo lugar, o tamanho das amostras de calibração utilizado em alguns pré-testes mostrou-se inadequado. A terceira fragilidade refere-se à precisão com que os resultados são reportados ao público, enquanto a quarta aborda a ausência de informações sobre a qualidade dos testes e das medidas.

Quanto à Teoria Resposta Item TRI, o laudo revela que as provas de Ciências Humanas e Ciências da Natureza apresentaram níveis de precisão praticamente equivalentes em quase todos os níveis de proficiência. Contudo, a prova de Ciências da Natureza da segunda aplicação foi ligeiramente mais fácil. As maiores disparidades foram encontradas em Linguagens e Códigos e Matemática, onde candidatos da primeira prova obtiveram vantagem na primeira disciplina, enquanto aqueles da segunda aplicação tiveram melhor desempenho em Matemática.

Resposta do Inep e posicionamento institucional

Em nota enviada à imprensa, o Inep informou que não foi notificado oficialmente sobre qualquer resultado referente à perícia, realizada entre 5 e 9 de fevereiro de 2018. A instituição reafirmou sua confiança na metodologia de comparabilidade resultados prova adotada desde 2009, afirmando que a mesma é reconhecida nos âmbitos nacional e internacional. O comunicado oficial ressalvou que o laudo representa uma opinião isolada e que o Inep conta com consultoria de diversos especialistas em análise estatística e psicométrica.

A instituição argumenta que a metodologia pontuação Enem utilizada segue padrões técnicos rigorosos e que qualquer pronunciamento oficial seria feito após notificação adequada sobre os resultados da perícia. Essa postura defensiva contrasta com as preocupações levantadas por estudantes que se sentiram prejudicados pelos resultados da segunda aplicação.

Cronologia dos eventos e investigação do MPF

A investigação iniciou-se após a divulgação dos resultados em janeiro de 2017, quando estudantes de todo o país procuraram o Ministério Público relatando insatisfação com as notas obtidas na segunda aplicação. Uma análise das reclamações mostrou diferenças significativas quando comparadas com notas de candidatos da primeira aplicação. O procurador Leonardo Macedo apontou que alunos da primeira prova obtiveram notas superiores, levantando suspeitas sobre como a Teoria da Resposta ao Item foi aplicada.

Em setembro de 2017, o Inep aceitou conceder acesso aos dados sigilosos para perícia, mas posteriormente houve impasse sobre as identificações necessárias do perito. Em dezembro de 2017, o MPF ingressou na Justiça com ação civil pública para solicitar acesso aos dados. Finalmente, entre 5 e 9 de fevereiro de 2018, a perícia foi realizada com acesso aos dados confidenciais do instituto.

Próximas etapas e possíveis desdobramentos

O procurador Leonardo Macedo informou que o resultado da perícia foi encaminhado ao Inep e aos estudantes que manifestaram ter sido lesados pelo exame. O procurador destacou que o laudo é extenso e não apresenta uma conclusão única e definitiva. O primeiro passo envolveu distribuir a perícia aos principais interessados, seguido de um período para análise. Posteriormente, uma audiência pública será agendada, permitindo que todas as partes apresentem seus pontos de vista antes de o MPF decidir sobre ações futuras.

Conforme informado pelo MPF, ainda não existe previsão definida para realização da audiência. Macedo ressaltou que estão lidando com assunto delicado, agindo com cautela antes de determinar se será solicitada indenização, aumento de notas para estudantes ou outras medidas cabíveis. A investigação continua acompanhando os desdobramentos desse caso que afetou significativamente a credibilidade do exame naquele ano.