Provas Do Enem

4. A PROVA, SUA ELABORA��O E CORRE��O

4.1 A REDA��O

4.1.1 A Proposta

A proposta para a reda��o do Enem tem sido sempre elaborada de forma a possibilitar que os participantes, a partir de subs�dios oferecidos, realizem uma reflex�o escrita sobre um tema de ordem pol�tica, social, cultural ou cientifica, em uma tarefa identificada como uma situa��o-problema. O comando da reda��o indica as linhas mestras para a elabora��o do texto a ser escrito pelo participante e os referenciais a serem utilizados pelos avaliadores para a corre��o das cinco compet�ncias do Enem.

4.1.2 � Metodologia e Crit�rio de Corre��o

Os crit�rios de avalia��o da reda��o t�m por refer�ncia as cinco compet�ncias da Matriz do Enem, transpostas para produ��o de texto escrito com base em uma situa��o-problema (proposta de Reda��o) e desdobradas, cada uma, em quatro n�veis (crit�rios de avalia��o da compet�ncia). Cada compet�ncia � avaliada sob quatro crit�rios, correspondentes aos conceitos: insuficiente, regular, bom e excelente, respectivamente representados pelos n�veis 1, 2, 3 e 4, associados �s notas 2,5 - 5,0 - 7,5 - 10,0. A nota global da reda��o � dada pela m�dia aritm�tica simples das notas atribu�das a cada uma das cinco compet�ncias. A reda��o que n�o atende � proposta recebe o conceito D � desconsiderada. Quando � apresentada em branco ou com at� sete linhas escritas, recebe o conceito B � em branco. Finalmente, quando a reda��o � apresentada com palavr�es, desenhos ou outras formas propositais de anula��o, recebe o conceito N � anulada. Os Quadros 4 e 5, a seguir, apresentam as compet�ncias e uma s�ntese da metodologia de corre��o da reda��o.

Quadro 3 - Compet�ncias e Crit�rios para An�lise da Reda��o do Enem 2002 Compet�ncias Crit�rios (N�veis) I Demonstrar dom�nio da norma culta da l�ngua escrita 1. Demonstra conhecimento prec�rio da norma culta: inadequa��o na escolha da variedade ling��stica, graves e freq�entes desvios gramaticais e transgress�es inaceit�veis das conven��es da escrita. 2. Demonstra conhecimento razo�vel da norma culta: problemas na escolha da variedade ling�istica; desvios gramaticais e transgress�es das conven��es da escrita pouco aceit�veis nessa etapa de escolaridade. 3. Demonstra bomdom�nio da norma culta (ainda que com pontuais desvios gramaticais ou transgress�es pontuais das conven��es da escrita). 4. Demonstra muito bomdom�nio da norma culta (ainda que com um ou outro deslize relativo � norma gramatical ou �s conven��es da escrita). II Compreender a proposta de reda��o e aplicar conceitos das v�rias �reas do conhecimento para desenvolver o tema, dentro dos limites estruturais do texto dissertativo-argumentativo 1. Desenvolve tangencialmenteo tema em um texto que apresenta caracter�sticas do tipo de texto dissertativo-argumentativo; ou apresenta embrionariamente o tipo de texto dissertativo-argumentativo (sem �fugir� do tema). 2. Desenvolve razoavelmenteo tema, a partir de considera��es pr�ximas do senso comum ou por meio de par�frases dos textos-est�mulo, e domina prec�ria/razoavelmente o tipo de texto dissertativoargumentativo. 3. Desenvolve bemo tema, mesmo apresentando argumentos previs�veis, e domina bem o tipo de texto dissertativo-argumentativo, com ind�cios de autoria. 4. Desenvolve muito bemo tema, a partir de um projeto pessoal de texto e de um repert�rio cultural produtivo; domina muito bem o tipo de texto dissertativo-argumentativo. III Selecionar, relacionar, organizar e interpretar

informa��es, fatos, opini�es e argumentos em defesa de um ponto de vista 1. Apresenta informa��es, fatos e opini�es precariamente relacionados ao tema. 2. Apresenta informa��es, fatos e opini�es razoavelmente relacionados a um embri�o de projeto de texto e/ou limita-se a reproduzir os elementos fornecidos pela proposta de reda��o. 3. Seleciona informa��es, fatos, opini�es e argumentos, relacionando-os ao seu projeto de texto. 4. Seleciona, interpreta e organizainforma��es, fatos, opini�es e argumentos, estabelecendo uma rela��o produtiva entre essa sele��o e seu projeto de texto. IV Demonstrar conhecimento dos mecanismos ling��sticos necess�rios para a constru��o da argumenta��o 1. Articula precariamente as partes do texto. 2. Articula razoavelmenteas partes do texto, apresentando problemas freq�entes na utiliza��o dos recursos coesivos. 3. Articula bem as partes do texto (ainda que apresente problemas pontuais na utiliza��o dos recursos coesivos). 4. Articula muito bem as partes do texto (ainda que apresente eventuaisdeslizes na utiliza��o de recursos coesivos). V Elaborar proposta de interven��o para o problema abordado, demonstrando respeito aos direitos humanos 1. Elabora proposta precariamenterelacionada ao tema, respeitando os direitos humanos. 2. Elabora proposta razoavelmente relacionada ao tema, mas n�o articulada ao texto desenvolvido, respeitando os direitos humanos. 3. Elabora proposta bem relacionada ao tema, mas pouco articulada� discuss�o desenvolvida no texto, respeitando os direitos humanos. 4. Elabora proposta bem relacionada ao tema e bem articulada � discuss�o desenvolvida no texto, respeitando os direitos humanos.

Quadro 4 � Aspectos Considerados na Avalia��o de cada Compet�ncia Comp. I a) Adequa��o ao registro � Grau de formalidade � Variedade ling�istica adequada ao tipo de texto e � situa��o de interlocu��o b) Norma gramatical � Sintaxe de concord�ncia, reg�ncia e coloca��o � Pontua��o � Flex�o c) Conven��es da escrita � escrita das palavras (ortografia, acentua��o) � mai�sculas/min�sculas Comp. II a) Tema � Compreens�o da proposta � Desenvolvimento do tema a partir de um projeto de texto b) Estrutura � Encadeamento das partes do texto � Progress�o tem�tica c) Ind�cios de autoria � presen�a de marcas pessoais manifestas no desenvolvimento tem�tico e na

organiza��o textual Comp. III Coer�ncia textual (organiza��o do texto quanto a sua l�gica interna e externa)

Comp. IV a) Coes�o lexical � Adequa��o no uso de recursos lexicais, tais como: sin�nimos, hiper�nimos, repeti��o, reitera��o, etc. b) Coes�o gramatical � Adequa��o no emprego de conectivos, tempos verbais, pontua��o, seq��ncia temporal, rela��es anaf�ricas, conectores intervocabulares, interpar�grafos, etc.

Comp. V Cidadania ativa com proposta solid�ria, compartilhada

Cada reda��o foi avaliada por dois corretores independentes, no sentido de um desconhecer os pontos atribu�dos pelo outro a cada compet�ncia.

Uma reda��o foi submetida � terceira corre��o quando, pontuada por um dos corretores, foi desconsiderada pelo outro, ou quando ocorreu discrep�ncia de 5 ou mais pontos entre a soma dos pontos dados por cada um dos dois corretores. Os corretores da terceira corre��o desconheciam a pontua��o dos anteriores, e o conceito atribu�do por eles foi soberano sobre os demais. Durante o processo foram elaboradas planilhas com as notas dos tr�s corretores, sendo poss�vel verificar os crit�rios dos terceiros corretores. Ainda no caso de discrep�ncia entre as tr�s notas, houve uma quarta corre��o, com resultado soberano sobre os demais. Um dos pontos mais importantes do processo de corre��o � a planilha do corretor, gra�as � qual vem-se obtendo uma uniformidade de crit�rios na avalia��o das reda��es, independentemente do n�mero de provas e de corretores envolvidos no processo.

Essa planilha, elaborada em 1999, vem sofrendo modifica��es ao longo desses tr�s anos, sempre com o objetivo de aperfei�o�-la e de obter o mais alto grau de uniformiza��o poss�vel. O "manual" de instru��es elaborado pelos Coordenadores em 2001 e revisto em 2002 traz o detalhamento da planilha e de sua exemplifica��o para orientar os corretores. A Banca de Corretores, constitu�da a partir dos cadastros e refer�ncias utilizados nos anos anteriores e ampliada significativamente em 2001 para atender o aumento dos participantes do exame, passou por pequenas reformula��es, tendo em vista a impossibilidade de participa��o de alguns corretores e a necessidade de acr�scimo de alguns nomes novos. Cada grupo de aproximadamente 10 corretores ficou sob a responsabilidade de um supervisor, escolhido por indica��o dos coordenadores. Al�m do grande n�mero de corretores e supervisores que atuaram em 2002 (600 e 60, respectivamente), destaque-se sua diversidade, tanto em termos de forma��o (apenas graduados, p�s-graduandos, mestres, doutores, etc.) e de experi�ncia no magist�rio (professores do ensino fundamental, m�dio e superior) quanto pela faixa et�ria e mesmo proced�ncia (corretores da cidade de S�o Paulo, em sua maioria; da Grande S�o Paulo e do interior , dos Estados de Minas Gerais, Rio de Janeiro, Mato Grosso, Paran�, Acre). Para atuarem como elementos de intermedia��o entre os coordenadores e os supervisores de grupo, o processo contou com a participa��o de tr�s supervisores gerais. O processo de corre��o propriamente dito se iniciou com a an�lise de uma amostra representativa de 200 reda��es dos participantes para selecionar aquelas que seriam utilizadas no treinamento. O crit�rio que orientou essa sele��o foi o da diversidade. Os textos a serem utilizados no treinamento deveriam oferecer a maior variedade de tipos e possibilidades de avalia��o, levando em conta as cinco compet�ncias. Essa an�lise permitiu que fossem feitos os ajustes dos crit�rios para a elabora��o definitiva da planilha e do �manual� do corretor. O treinamento dos supervisores foi feito sob a orienta��o dos coordenadores, com as reda��es da amostra, nos dias 29 e 30 de agosto, e os supervisores, nos dias 31 de agosto e 2 de setembro, realizaram o treinamento do grupo de corretores sob sua responsabilidade. Ainda como parte do treinamento, trabalhou-se com um pacote de reda��es

da amostra por sala. As reda��es foram xerografadas, e as anota��o para os corretores foram feitas em uma planilha espec�fica. Essas reda��es foram corrigidas pelos corretores e supervisores, em sistema de rod�zio, e depois discutidas pelo grupo/sala para ajustar crit�rios. Posteriormente, as notas definitivas foram transcritas para o local adequado.

O processo de corre��o propriamente dito ocorreu no per�odo de 3 de setembro a 3 de outubro, de segunda a s�bado, em tr�s turnos fixos (8:00-12:00; 13:0017:00; 18:00-22:00), com a participa��o de aproximadamente 60 supervisores, 600 corretores, al�m de pessoal de apoio da empresa contratada e consultores do Enem/Inep. Em cada per�odo, o corretor deveria avaliar 100 reda��es. Como j� foi mencionado, cada supervisor ficou respons�vel por acompanhar o processo de avalia��o de um grupo de aproximadamente 10 corretores. O supervisor respondia �s d�vidas na aplica��o dos crit�rios e revia todos os textos "desconsiderados" pelos corretores na Compet�ncia II (os corretores, obrigatoriamente, deveriam passar os textos que eles desconsiderassem para o supervisor respons�vel). Esse procedimento havia sido acordado no treinamento. O objetivo era permitir um julgamento menos discriminat�rio dos textos produzidos e garantir uma avalia��o segura dos textos. Al�m disso, os supervisores escolhiam, aleatoriamente, tr�s textos do pacote de cada corretor para verificar a propriedade da aplica��o dos crit�rios. Ap�s a edi��o de planilhas resultantes das corre��es, os supervisores eram chamados para uma discuss�o com os consultores sobre os crit�rios, tendo em vista a necess�ria reorienta��o de seus corretores. Reuni�es peri�dicas foram realizadas, durante o processo, entre supervisores gerais, supervisores de grupos e consultores. Algumas, para rever e acompanhar a aplica��o dos crit�rios por determinados corretores, outras, para discutir novamente as posi��es relativas � avalia��o das Compet�ncias II e V. Fez parte da rotina de corre��o a elabora��o de relat�rios semanais por parte dos supervisores. Esses relat�rios permitiram o acompanhamento mais acurado das corre��es, al�m de terem apresentado in�meras sugest�es para o aperfei�oamento do processo. Tamb�m adotou-se, como j� havia ocorrido no ano anterior, um livro de registro de ocorr�ncias, que foi de grande utilidade para que os coordenadores pudessem tomar suas decis�es. Vale ressaltar que in�meros fatores contribu�ram para o sucesso da corre��o da reda��o do Enem 2002: al�m da sistem�tica da planilha de corre��o e do �manual� do corretor, da organiza��o da Banca em grupos pequenos sob a responsabilidade sempre do mesmo supervisor, acrescente-se o apoio log�stico dado pela empresa contratada � o sistema de entrega e recep��o das provas, apoiado no uso de crach�s com c�digo de barra, foi fundamental para agilizar o processo. Finalmente, � importante ressaltar que o expressivo n�mero de profissionais

envolvido no processo e a diversidade j� mencionada n�o foram obst�culo para que o processo de corre��o alcan�asse pleno �xito, tanto pela uniformidade de crit�rios obtida quanto pelo conv�vio ao longo do per�odo de trabalho.

O processo de corre��o da reda��o do Enem 2002 provou, tal como ocorrera em 2001, que corrigir um milh�o e trezentas mil reda��es, duas vezes, com crit�rios uniformes e objetivos, � poss�vel. Provou-se que as dificuldades pr�prias do processo de corre��o n�o podem ser usadas para alijar a reda��o de exames aplicados para grandes contingentes de participantes, como � o caso do Enem.

4.2 A PARTE OBJETIVA

4.2.1 Processo de Elabora��o das Quest�es

A constru��o da parte objetiva da prova do Enem � uma a��o que tamb�m se reveste do car�ter inovador do exame, na medida que as quest�es que comp�em a prova se organizam em torno de situa��es-problema, com caracter�sticas interdisciplinares e de contextualiza��o. Al�m disso e principalmente, os conte�dos n�o s�o solicitados para avaliar apenas a sua reten��o, mas para medir como s�o utilizados a servi�o da solu��o de problemas com as caracter�sticas mencionadas. Este fato define outra peculiaridade das situa��es-problema elaboradas, a de comportar em seus enunciados o m�ximo de informa��es necess�rias para a sua resolu��o, apoiadas em conhecimentos considerados b�sicos na forma��o de jovens ao final de 11 anos de escolaridade. Desde a cria��o e edi��o do primeiro Enem, a metodologia de elabora��o das quest�es vem sendo aprimorada, avaliando-se, a cada ano, todos os aspectos da metodologia e os resultados obtidos, promovendo a corre��o necess�ria. As caracter�sticas de que se revestem as quest�es j� mencionadas t�m sido mantidas, principalmente porque o Grupo de Autores da Matriz do Enem participa de modo interdisciplinar da orienta��o e an�lise das quest�es constru�das. Ressalte-se tamb�m que, ao longo desses quatro anos, foi poss�vel identificar um conjunto de profissionais da Educa��o, professores atuantes nas escolas das redes p�blica e privada e nas universidades, ligados � pesquisa e trabalhos na �rea de Ensino, que constituem a Equipe de Elaboradores de Quest�es para o exame. A metodologia de elabora��o da prova para o Enem 2002 foi revista com base na an�lise de erros e acertos de metodologias utilizadas nas edi��es anteriores. Assim, para privilegiar o car�ter interdisciplinar das quest�es e um maior tempo de

discuss�o dos temas para 2002, das propostas de quest�es, das discuss�es entre os elaboradores, destes com a coordena��o geral da elabora��o e com os especialistas e autores da Matriz do Enem, foi adotada uma metodologia que priorizou a qualidade dos

itens em detrimento da produ��o de um n�mero muito grande de quest�es que, conforme mostraram experi�ncias anteriores, dificultam o alcance dos objetivos citados. � importante salientar que tanto os elaboradores quanto a equipe de especialistas e autores da Matriz do Enem s�o profissionais no exerc�cio de suas atividades, prestando consultoria espec�fica para o projeto, n�o dispondo, portanto, de tempo integral de dedica��o �s tarefas do Enem. Ressalte-se que, na maioria dos casos, essa condi��o de envolver profissionais no exerc�cio de suas atividades nas �reas de Educa��o e nas diversas �reas do conhecimento � um requisito exigido pela Coordena��o Geral do Enem, para garantir que a equipe de trabalho esteja no �estado da arte� em rela��o � situa��o da escola brasileira, das reformas propostas pelo MEC e das novas tend�ncias da educa��o. Considerando o bom desempenho na elabora��o das provas nas edi��es dos anos anteriores do Enem, foram selecionados 28 professores de diversas regi�es do Brasil, para, em trabalho individual e, em car�ter coletivo, durante um fim de semana de cada m�s, planejar, discutir e elaborar a parte objetiva da prova de 2002. Os professores foram agrupados por �reas de atua��o e suas tarefas distribu�das para execu��es mensais, de modo a atingir-se, no final do processo, um total de 532 quest�es. Passou a integrar a equipe um profissional da �rea de Artes, com experi�ncia na integra��o das artes no ensino, para elaborar propostas e dar suporte para os demais professores, o que gerou resultados muito bons, tanto para as discuss�es internas ao processo como para o produto final dos trabalhos. As quest�es, enviadas previamente � Coordena��o Geral da Elabora��o de Itens, eram analisadas e colocadas para discuss�o entre todos os membros de cada grupo e, posteriormente, com todos os integrantes da equipe. Os trabalhos iniciaram-se em maio de 2001, com o planejamento da a��o, reuni�es gerais preparat�rias e palestras para os elaboradores, feitas por especialistas nas �reas de C�digos e Linguagens, Ci�ncias da Natureza, Matem�tica e suas Tecnologias e Ci�ncias Humanas e suas Tecnologias. Os elaboradores apresentavam para an�lise as justificativas de solu��o e das alternativas incorretas, os distratores, possibilitando que o ajuste t�cnico dos itens fosse processado durante o processo, o que lhes permitiu um aperfei�oamento nas t�cnicas de elabora��o para melhor calibrar o instrumento.

Ap�s esse trabalho, 532 itens foram analisados pelos especialistas e autores da Matriz do Enem para aceita��o e sele��o das quest�es que passaram pela an�lise da equipe de calibradores e para o processo de identifica��o dos n�veis de dificuldade de cada item.

Os professores selecionados para a calibragem dos itens foram os mesmos que trabalharam na edi��o do Enem 2001, cujos resultados mostraram uma boa concord�ncia entre o n�vel de dificuldade previsto e o percentual de acertos em cada item.

4.2.2 Metodologia para Calibragem dos N�veis de Dificuldade

Desde a cria��o do Enem at� a edi��o do exame em 2000, os itens analisados e selecionados pelo Grupo dos Autores passaram por um processo de pr�teste. A pr�- testagem, sob crit�rios estat�sticos, permitiu que os itens fossem aplicados em alunos concluintes do ensino m�dio, amostrados significativamente, com a necess�ria manuten��o de sigilo. Os resultados submetidos � an�lise estat�stica permitiram que se conhecesse o percentual de acertos, o percentual por op��es de resposta, o �ndice de discrimina��o, o coeficiente bisserial da resposta e das alternativas, para cada quest�o. Em 2001, com a isen��o de taxa de inscri��o para os alunos da escola p�blica, somada � crescente divulga��o do exame e utiliza��o de seus resultados pela sociedade, o sigilo das quest�es ficaria comprometido com a utiliza��o do pr�teste da maneira como vinha sendo aplicado. Os assessores estat�sticos do Enem substitu�ram a metodologia tradicional pela calibra��o de ju�zes para o pr�-teste dos itens, escolhendo para a resolu��o das quest�es as pessoas mais pr�ximas dos alunos � seus professores. Participaram do processo 78 professores do terceiro ano do ensino m�dio, de escolas p�blicas e privadas, de Curitiba, Campinas, S�o Paulo e Fortaleza, distribu�dos nas �reas de Linguagens e C�digos, Ci�ncias da Natureza e Matem�tica e Ci�ncias Humanas. O processo tomou como base um conjunto de itens pr�-testados em alunos da rede p�blica no per�odo de 1998 a 2000, sobre os quais eram conhecidos todos os par�metros j� descritos, fornecidos pelo pr�-teste. As quest�es foram escolhidas de modo a cobrir os diferentes graus de dificuldade (porcentagem de acerto no pr�-teste), registrados nos intervalos [0, 10), [10, 20), ��[90, 100] e representando significativamente a abordagem dos conte�dos estruturais das �reas citadas. Cada um dos professores foi convidado a resolver 63 quest�es relativas a sua �rea, assinalando a alternativa correta, informando o percentual de seus alunos que acertariam a quest�o e registrando, quando coubesse, o distrator (alternativa incorreta) que poderia atrair seus bons alunos.

Comparando com an�lises estat�sticas apropriadas, os resultados que um professor atribuiu a cada quest�o com os equivalentes fornecidos pelo pr�-teste, foi poss�vel determinar a rela��o dos professores que poderiam julgar as quest�es selecionadas para o exame. Foram escolhidos 21 professores.

Os n�veis de dificuldade foram estabelecidos em fun��o dos percentuais de acertos que os professores atribu�ram a cada item:

N�veis de dificuldade dos itens de acordo com o percentual de acerto

[ 0 , 30 ) � Dif�cil: menor que ou igual a15% � muito dif�cil � MD entre 15% e 30% � dif�cil � D

[ 30 , 60 ) � M�dio: entre 30% e 40% � m�dio dif�cil � M+ entre 40% e 50% � m�dio � M entre 50% e 60% � m�dio f�cil � MB

[ 60 , 100 ] � F�cil: entre 60% e 80% � f�cil � F maior que ou igual a 80% � muito f�cil � MF

[0,10) � MD

[10,20) � MD DIF�CIL

[20,30) � D

[30,40) � M+

[40,50) � M M�DIO

[50,60) � MB

[60,70) � F

[70,80) � F F�CIL

[80,90) � MF

[90,100] � MF

Com os resultados da calibragem, o grupo de Autores selecionou os itens para a prova, com o crit�rio de maior pertin�ncia e representatividade da habilidade correspondente, de maior abrang�ncia e atualidade de temas, submetendo a sele��o � composi��o do exame com tr�s quest�es para cada uma das 21 habilidades.

4.2.3 Montagem da Prova

A Parte Objetiva foi montada em quatro cores � amarela, branca, verde e rosa �, alternando-se, em cada uma, a seq��ncia de apresenta��o dos itens e das alternativas. A estrutura da prova amarela � a refer�ncia utilizada nas an�lises do Inep/DACC.

4.2.4 Corre��o da Parte Objetiva

As 63 quest�es t�m igual valor numa escala de 0 a 100 pontos e foram corrigidas por meio eletr�nico. Essa parte objetiva do exame gera uma nota global que corresponde ao n�mero de quest�es acertadas pelo participante. A interpreta��o dessa nota � estruturada a partir do desempenho nas cinco compet�ncias, pelas rela��es estabelecidas com as respectivas habilidades e as quest�es a ela associadas, gerando, tamb�m, para cada compet�ncia, uma nota de 0 a 100, conforme especificado no modelo apresentado a seguir.

Quadro 5 � Modelo de An�lise de Desempenho na Parte Objetiva � Enem 2002 Compet�ncias Habilidades I Dominar linguagens

1, 2, 3, 4, 5, 6, 11, 12, 13, 14, 18 II Compreender fen�menos

1, 2, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 20, 21 III

Enfrentar situa��es-problema

1, 2, 3, 4, 7, 9, 10, 12, 14, 15, 16, 17, 19, 21 IV Construir argumentos

3, 4, 5, 6, 8, 13, 14, 15, 19, 20, 21 V Elaborar propostas

3, 5, 7, 8, 9, 10, 11, 12, 13, 14, 16, 17, 18, 19, 20