Perícia feita no Inep indica fragilidades no processo de pontuação das medidas de provas do Enem 2016

Estudo foi solicitada pelo MPF para averiguar diferença de resultados em avaliações com datas distintas; Revista foi marcado por ocupações escolares naquele ano. Instituto diz que ainda não foi notificado. Enem 2016 foi realizado nos meses de novembro e dezembro
Divulgação/Ari de Sá
Uma perícia realizada no Instituto Pátrio de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) analisou avaliações do Revista Pátrio do Ensino Médio (Enem) 2016, realizado em duas datas, e constatou fragilidades no processo de pontuação das medidas da prova.
O motivo da perícia, contratada pelo Ministério Público Federalista (MPF) em Uberlândia (MG) posteriormente ação judicial, foi verificar se o indumento de as duas aplicações do Enem 2016 terem números muito diferentes de candidatos influenciou no resultado final, e se isso prejudicou os alunos da segunda emprego.
Em 2016, por motivo das ocupações estudantis, o fiscalização foi aplicado duas vezes: a primeira em 5 e 6 de novembro, com a participação de 5,8 milhões de alunos, e a segunda em 3 e 4 de dezembro, em que fizeram as provas menos de 170 milénio candidatos.
Em nota, o Inep informou ao G1 que não foi notificado oficialmente sobre qualquer resultado a saudação da perícia, que foi realizada entre os dias 5 e 9 de fevereiro deste ano, nas dependências do instituto.
“O Inep conta com a consultoria de diversos especialistas de destacada atuação em estudo estatística e psicométrica de avaliações e exames em larga graduação e tem totalidade segurança quanto à metodologia que, desde 2009, é adotada no Enem – reconhecida nos âmbitos pátrio e internacional, e se pronunciará quando for devidamente notificado”, diz o texto.
“Vale registrar que, independentemente do seu teor, o referido laudo representa uma opinião isolada”, concluiu a assessoria de informação do instituto.
Em laudo, perícia relata fragilidades em Enem 2016
Reprodução/MPF
Resultado da perícia
A perícia foi realizada por Tufi Machado Soares que é professor do Departamento de Estatística e do Programa de Doutorado e Mestrado em Ensino, e coordenador da Unidade de Pesquisa do Núcleo de Políticas Públicas e Avaliação da Ensino (Caed) da Universidade Federalista de Juiz de Fora (UFJF).
O perito, que atuou porquê membro do parecer científico do Enem e é perito em Teoria da Resposta ao Item (TRI), metodologia usada no fiscalização, teve aproximação a informações sigilosas no Inep e produziu um laudo com 207 páginas.
Neste documento, enviado à reportagem pelo MPF, o perito relata fragilidades no processo de pontuação das medidas do Enem que poderiam prejudicar a comparabilidade dos resultados produzidos para duas provas diferentes.
No laudo, os pontos de fragilidade encontrados, por ordem de preço, foram:
Número de itens comuns previamente calibrados nos pré-testes e fixados na prova regular do Enem;
Tamanho das amostras de calibração em alguns pré-testes;
Precisão com que os resultados do Enem são reportados ao público;
Falta de informações para o público sobre a qualidade dos testes e das medidas.
Aliás, o laudo mostra que ambos os testes nas disciplinas de Ciências Humanas e Ciências da Natureza apresentam mesmos níveis de precisão em praticamente todos os níveis de proficiência. Nesse sentido, portanto, os testes foram praticamente equivalentes, embora a prova da segunda emprego de Ciências da Natureza tenha sido um pouco mais fácil.
O perito diz no texto que a maioria das diferenças encontradas ocorreu nas disciplinas de Linguagens e Códigos e na de Matemática, sendo que na primeira houve vantagem dos candidatos da 1ª prova e, na segunda, dos candidatos da 2ª prova. As menores diferenças observadas ocorrem em Ciências da Natureza.
No entanto, o Tufi Soares salvaguarda que não é provável realizar uma estudo de comparabilidade para todos os casos, individualmente, nas dimensões do Enem.
“Cada caso precisaria ser analisado individualmente e, provavelmente, não se chegaria a uma desenlace definitiva na maioria”, diz o perito no laudo.
No documento, o professor também faz sugestões de mudanças na forma de confecção e divulgação da prova.
O G1 entrou em contato com o perito nesta sexta-feira (20), para saber mais informações sobre o resultado da perícia. Por telefone, ele disse que não pretende se manifestar até a realização de uma audiência pública, qu ainda será agendada pelo MPF.
Alunos reclamam de incoformismo com as notas resultantes da primeira e da segunda emprego do fiscalização de 2016
Roberto Araujo/G1
Próximos passos
O procurador da República, Leonardo Macedo, responsável pelo interrogatório social que apura irregularidades referentes à adoção de diferentes critérios de correção das provas do Enem 2016, informou que encaminhou o resultado da perícia para o Inep e para estudantes que manifestaram que foram lesados pelo teste.
“O laudo é extenso e não tem uma desenlace única. O primeiro passo foi encaminhar essa perícia aos principais interessados e vamos dar um prazo para estudo de todos. Depois disso, vamos marcar uma audiência pública onde todos poderão colocar o ponto de vista referente ao tema e só depois o MPF vai indagar porquê agir”, explicou o procurador.
Segundo o MPF, ainda não há previsão para realização desta audiência. “Estamos lidando com um elefante de porcelana. Vamos agir com cautela e, depois da audiência, indagar se vamos pedir uma indenização, aumentar a nota de estudantes ou outras opções”, concluiu Macedo.
Aplicações do Enem
Normalmente, o delonga do Enem ocorre todos os anos, mas afeta exclusivamente alguns milhares de estudantes, por motivos externos que impedem a emprego do fiscalização, porquê queda de vigor no lugar de provas. Nesses casos, os candidatos ganham o recta de participar de uma novidade emprego durante a semana. É a mesma prova para pessoas privadas de liberdade, por isso a emprego é conhecida porquê Enem PPL.
Em 2016, porém, a vaga de ocupações estudantis em escolas públicas em 23 estados e no Região Federalista fez o Ministério da Ensino retardar a emprego do Enem para mais de 270 milénio candidatos, o que inviabilizaria uma segunda emprego durante a semana. Por isso, o Enem 2016 teve três aplicações. Na quadra, o Ministério da Ensino (MEC) assegurou que haveria isonomia nas avaliações dos candidatos, independentemente do momento em que fizessem as provas.
Apesar do grande número de candidatos afetados pelo delonga, o totalidade deles representou menos de 5% dos mais de 8 milhões de inscritos. Na primeira emprego, pouco menos de 6 milhões de candidatos fizeram as provas, com uma continência de 30%. Já na segunda emprego, do Enem posposto, a continência subiu para 40%.
Enem 2016 foi realizado em duas datas devido ocupações nas várias escolas de todo país
Denny Cesare/ Estadão Teor
Reclamação dos candidatos afetados
A investigação do MPF sobre o Enem 2016 teve início posteriormente a divulgação dos resultados das provas em janeiro de 2017. Na ocasião, estudantes de todo país procuraram o Ministério Público relatando inconformismo com as notas resultantes da primeira e da segunda aplicações do fiscalização. Eles haviam feito a segunda emprego da prova.
De consonância com o MPF, uma estudo das notas dos candidatos que fizeram a reclamação mostrou grande diferença, quando os resultados eram comparados com os de candidatos da primeira emprego. O procurador Leonardo Macedo explicou que alunos que fizeram a primeira prova tiveram notas maiores. Ele alega que o motivo suspeito é a metodologia da TRI.
“Nessa TRI, é considerado o número de candidatos. É necessário levar em conta as diferenças do percentual de ‘treineiros’ participantes de cada emprego, na maior continência da segunda emprego em relação à primeira e no tipo de candidato participante dos locais das provas da segunda emprego”, explicou o MPF na ação.
O Enem 2016 teve uma emprego extra devido às ocupações estudantis; na segunda emprego, continência foi maior e número totalidade de alunos que fizeram a prova foi menor
G1 
Cronologia do caso
3 de outubro de 2016: Uma vaga de ocupações estudantis em escolas e universidades começou no Paraná e se espalhou pelo Brasil. Os estudantes protestavam contra uma série de medidas, principalmente a reforma do ensino médio e a PEC 241. O Enem 2016 estava marcado para os dias 5 e 6 de novembro, e secção dessas escolas ocupadas seria usada pelo governo federalista porquê locais de provas.
19 de outubro de 2016: Um levantamento do MEC afirmou que ocupações em 181 escolas do Brasil comprometiam o Enem para 95 milénio alunos.
27 de outubro de 2016: Um levantamento divulgado pela União Brasileira dos Estudantes Secundaristas (Ubes) mostra que havia 1.154 ocupações em escolas, institutos e universidades estaduais, federais e municipais em pelo menos 21 estados e no Região Federalista.
4 de novembro de 2016: Na véspera da primeira emprego do Enem 2016, o MEC anunciou o delonga do fiscalização em 364 locais de prova. Segundo o governo, esses alunos fariam o fiscalização nos dias 3 e 4 de dezembro.
5 e 6 de novembro de 2016: A primeira emprego do Enem 2016 é realizada com continência de muro de 30%. Muro de 5,8 milhões de pessoas fizeram essas provas.
3 e 4 de dezembro de 2016: O Inep realiza a segunda emprego do Enem. No totalidade, 277.657 pessoas estavam inscritas para essas provas (273.524 porque foram afetadas pelas ocupações e 4.133 porque, em seus locais de prova, houve qualquer imprevisto que impediu a emprego do Enem). A continência dessa emprego foi de muro de 40%, o que quer expressar que o universo de estudantes que realizou estas provas foi de muro de 166 milénio.
18 de janeiro de 2017: O Inep divulga os resultados do Enem 2016. Porém, estudantes que fizeram a segunda emprego reclamaram que não tiveram aproximação à nota. No dia seguinte, o Inep afirmou que um erro técnico fez com que o resultado de 20 milénio candidatos ainda não tivesse sido inserido no sistema.
janeiro de 2017: Procurado por diversos candidatos da segunda emprego do Enem, que se sentiram prejudicados por notas que eles consideraram mais baixas que a de candidatos da primeira emprego, o Ministério Público Federalista começou a investigar a suspeita de que a discrepância no número totalidade de estudantes fazendo cada versão da prova pudesse ter prejudicado o grupo menos numeroso. De consonância com a ação social pública protocolada em dezembro, o MPF passou meses em contato com o Inep e o MEC para estimar a denúncia. Segundo o MPF, o Inep considera que a isonomia do fiscalização não foi ferida pela existência de duas aplicações do Enem em 2016.
setembro de 2017: Ainda de consonância com o Ministério Público Federalista, o Inep aceitou conceder a um perito na metodologia da Teoria de Resposta ao Item o aproximação aos dados sigilosos dos desempenhos dos estudantes para realizar uma perícia e verificar se de indumento o número totalidade de candidatos afetou o resultado deles no fiscalização. A ação afirma, porém, que o perito viajou até Brasília para realizar a perícia, mas foi barrado pelo Inep.
7 dezembro de 2017: Sem conseguir aproximação aos dados para realizar a perícia, o Ministério Público Federalista ingressou na Justiça com uma ação social pública para solicitar o aproximação, e com outra ação na qual denuncia diretoras do Inep por improbidade administrativa. O motivo da segunda ação é o desperdício de verba público com a viagem realizada pelo perito até Brasília. A Justiça julgou o processo extinto, pois o MPF não conseguiu provar nenhum sinal de má-fé na hipótese sob estudo.
15 de dezembro de 2017: O Inep afimou em nota que não negou o aproximação aos dados sigilosos para uma perícia solicitada pelo MPF sobre os resultados da edição 2016 do Revista Pátrio do Ensino Médio. Segundo o Inep, o perito não apresentou as identificações necessárias para que pudesse ter aproximação aos dados.
Entre 5 e 9 de fevereiro de 2018: a perícia contratada pelo MPF foi realizada em dados sigilosos do Inep.
Outras ações
A emprego do Enem 2016 em duas datas foi fim de reclamação do MPF também no Ceará. Na quadra, o órgão solicitou a suspensão e o cancelamento do fiscalização, mas a Justiça Federalista negou os pedidos e alegou que “apesar da heterogeneidade de temas que inafastavelmente ocorrerá com a emprego de provas de redação distintas, verifica-se que a garantia da isonomia decorre dos critérios de correção previamente estabelecidos”, conforme a decisão.

Fonte