ЕГЭ за 10 лет. ИТ-история проекта

05.09.2011 |

Светлана Черемисина.

С 2009 года единый государственный экзамен (ЕГЭ) является единственной формой выпускных экзаменов в школе и основной формой вступительных экзаменов в вузы. Но работа над проектом началась задолго до этого, и он не был бы возможен без применения современных информационных технологий. Так, одной из важнейших частей проекта стала автоматизированная обработка экзаменационных бланков, участие в которой приняла компания ABBYY. Именно этому был посвящен вебинар Docflow, проведенный в формате «Успешные проекты» в последний день августа.

Проект ЕГЭ берёт своё начало в 1999 году, когда Центром стратегических разработок была поставлена задача проанализировать возможность проведения в России единого государственного экзамена. Обязательные требования к нему были сформулированы следующие: экзамен должен быть массовый, независимый, объективный и сравнимый. Задача была адресована лаборатории централизованного тестирования учащейся молодёжи МГПУ, на тот момент единственной обладавшей наработками в этой области. В то время лабораторией было разработано и проводилось централизованное тестирование – коммерческий проект, который в большей мере обладал необходимыми свойствами, в том числе использующий автоматизированную проверку бланков на основе продукта ABBYY FormReader, который представляет собой систему ввода форм, заполненных от руки или на принтере, с применением технологии интеллектуального распознавания символов.

Ведущий управляющий по корпоративным проектам компании «ABBYY Россия» Алексей Калинин рассказал о критериях единого госэкзамена более подробно. Массовый экзамен в России предусматривает около 1 млн выпускников каждый год, проживающих в различных регионах страны в разных часовых поясах. Экзамен проводится по 10-15 предметам с возможностью выбора, 1-2 из которых обязательны для всех. На обработку результатов даётся примерно 5 дней. По условиям независимого экзамена проверяющие и выпускники не должны быть связаны между собой, то есть проверять работу ученика не может его учитель. Это значит, что по возможности должна применяться автоматическая проверка или анонимная проверка. Также необходимо случайное распределение детей, экспертов, организаторов в аудиториях и т. д. Объективный экзамен предусматривает оценку учеников по одинаковым критериям – ясным и чётким, а значит, и вопросы должны соответствовать этим критериям. В итоге экзаменационные вопросы были разделены на несколько категорий: вопросы с выбором правильного ответа из предложенных; вопросы, где необходимо записать краткий ответ, например, числовой ответ на экзамене по математике либо слово без ошибок по русскому языку; а также вопросы, требующие развёрнутого ответа, например, доказательство теоремы по геометрии или эссе по литературе. Критерий сравнимого экзамена означает, что результаты различных учеников можно сравнивать между собой. Школьная пятибалльная система не является сравнимой, пояснил Алексей Калинин, так как, например, оценка «отлично» по иностранному языку в Москве и в каком-нибудь селе может означать совершенно разное владение предметом. В итоге была разработана стобалльная шкала, которая привязана в том числе к сложности выполнения заданий.

Чтобы свести воедино все организационные и технологические наработки, был создан единый документ «План операций» – некий глобальный сценарий проведения экзамена. Этот документ описывает все автоматизированные, автоматические и ручные операции, которые могли быть проведены при обработке ЕГЭ. Документ включал описание не только главного сценария обработки, но и все исключительные случаи, когда основная обработка по каким-либо причинам невозможна. Значимую часть в этом документе занимал вопрос обработки бланков: от получения и хранения заполненных выпускниками бланков до передачи их в архив. «Благодаря сведению всей имеющейся информации в единый документ уже на ранних стадиях подготовки проекта удалось избежать различных проблем и узких мест», – отметил докладчик. На основе этого документа создавались инструкции для всего персонала, участвующего в обработке.

Для автоматизированной обработки бланков ЕГЭ были разработаны машиночитаемые бланки. Анкетная часть была вынесена на отдельный бланк регистрации. Чтобы обеспечить автоматизированную проверку ответов с выбором и кратких ответов, для них выделен бланк № 1. Для развёрнутых ответов предусмотрен отдельный бланк № 2. Чтобы в процессе обработки обеспечить анонимность и в то же время привязку ответов к конкретному выпускнику, на все бланки одного комплекта помещены различные штрих-коды. Как эти бланки связаны между собой, известно только на конечном этапе обработки и только в Москве. Чтобы проверить надёжность такой связки, были проведены натурные испытания, которые прошли успешно. Благодаря такому проектированию, для обеспечения анонимности обработки достаточно перемешать бланки каждого вида, чтобы нельзя было определить, какой бланк ответов какому ученику принадлежит, либо обработать бланки каждого типа в разных местах.

Таким образом, общая схема проведения ЕГЭ выглядит следующим образом: выпускник пишет экзамен в пункте его проведения, обычно это школа. Далее бланки ответов запаковываются в специальный невскрываемый пакет и отправляются в Региональный центр обработки информации (РЦОИ) в столице региона, где они обрабатываются, переводятся в электронный вид и отправляются по каналам связи в Москву для выставления оценок. Бланки № 2 со свободными ответами оцениваются экспертами в регионе, где по единым критериям выставляются баллы в машиночитаемый протокол, который сканируется и также отправляется в Москву. В столице Федеральный центр тестирования (ФЦТ) собирает всю имеющуюся информацию и связывает её, то есть привязывает ответы и оценки экспертов к конкретному выпускнику. После чего выполняется операция по выставлению оценок сразу всем выпускникам России. Ведомость с оценками отправляется в регион в электронном виде. В РЦОИ печатаются бумажные ведомости с оценками, которые передаются в школы.

Общая схема функционирования инфраструктуры ЕГЭ

В качестве первопроходцев выступило 5 регионов и 30 тыс. учеников. В 2001 году экзамен был обработан силами ФЦТ по технологии централизованного тестирования, так как на тот момент ещё не была закуплена техника и лицензионное ПО. В 2002 году в проекте ЕГЭ участвовало уже 16 регионов и 300 тыс. учеников. Все машиночитаемые бланки сканировались, распознавались, и проводилась визуальная выверка результатов распознавания, то есть верификация. Вся обработка велась попакетно, фактически была организована конвейерная обработка по 15 бланков в пакете. Результаты обработки записывались в файлы и отправлялись в ФЦТ на обработку и выставление оценок. В этот год было выявлено две проблемы: хаос при проверке бланков № 2, потому что они распределялись между экспертами вручную, а также резкое снижение эффективности работы конвейера при нештатных ситуациях. Объясняется это тем, что, если, например, ребёнок закрасил штрих-код на бланке, работа приостанавливалась до принятия компетентными специалистами решения по данной ситуации. Нередко при этом приходилось собирать комиссию и составлять акт. В это время один из двух верификаторов простаивал, что означает снижение общей производительности этапа верификации на 50 %.

В 2003 году многие из этих проблем были решены. Тогда в ЕГЭ приняло участие 50 % всех выпускников России. В технологию обработки были введены существенные изменения. Появились конструктор автоматического распределения работ по экспертам и механизм работы с браком на конвейере. Была введена станция экспертизы, которая, оперируя отсканированными изображениями бланков № 2, сортировала и печатала их копии для экспертов. Также печатались протоколы, в которых экспертам необходимо было проставить оценки, а также завизировать протокол своей подписью. Протоколы поступали на этап сканирования, после чего распознавались, верифицировались и соединялись с работами, которые они оценивали. В итоге процесс оценивания бланков № 2 стал более организованным, а значит, уменьшилось время на обработку всего экзамена. Появилась также станция старшего верификатора, куда отправлялись все пакеты с бланками, где возникают какие-либо проблемы независимо от их природы. В этой станции был задействован самый опытный специалист, которому даны широкие полномочия и предоставлен весь необходимый инструментарий для решения возникающих проблем. Теперь на эту станцию скидывались все проблемные пакеты с бланками, а значит, основные инстанции – сканирования, распознавания, экспертизы, – не дожидаясь исправления, возвращались к своей основной работе. Старший верификатор, уже не отягощённый крайними временными ограничениями, мог спокойно решить проблему и вернуть вылеченный пакет обратно на конвейер.

Но новые технологические решения выявили и новые проблемы. В РЦОИ резко вырос объем печати копий бланков № 2, ведь по правилам каждую работу необходимо проверить минимум двум экспертам. Кроме того, работа состоит минимум из двух страниц, а иногда и из четырех. В итоге на каждого выпускника надо напечатать минимум 4 страницы, а на средний регион из 10 тыс. выпускников – 40 тыс. страниц. В зависимости от предмета от 50 до 75 % выпускников не приступают к выполнению развёрнутых заданий, потому что они самые сложные. То есть эти страницы можно было бы не печатать, если бы не одно но: все пустые страницы в аудитории перечёркиваются буквой Z, чтобы нельзя было дописать ответ за ученика. Эта проблема была решена в 2004 году. Тогда в ЕГЭ участвовало 900 тыс. выпускников, и по старой схеме надо было напечатать более 4 млн страниц. Но в 2004 году система обработки бланков научилась определять букву Z на пустых страницах, и эти страницы поступали на просмотр к экспертам в электронном виде, ведь никто не отменял правило, что каждая работа должна быть проверена минимум двумя экспертами. Это позволило снизить объём печати в 2-5 раз. Соответственно, схема обработки немного дополнилась. Определение пустоты в бланках было делегировано станции распознавания. Работа экспертов с пустыми бланками проводилась на экране компьютера при помощи двух кнопок «пустой/не пустой» – на случая ошибки системы определения пустоты. Данная схема обработки бланков в целом была признана состоятельной и достаточной и в последующие годы мало менялась по структуре. Усовершенствовались некоторые механизмы, повышалась эффективность, но общая схема обработки бланков остаётся неизменной до сих пор.

В 2007 году появилась новая станция, которая не является этапом обработки бланков. Она работает независимо и осуществляет анализ качества работы верификаторов. Дело в том, что к 2007 году ряд регионов принимал участие в ЕГЭ уже в течение нескольких лет, и некоторые опытные верификаторы позволяли себе небрежность. Чтобы стимулировать верификаторов, был разработан механизм статистической оценки вероятности ошибки в полях на бланке после верификации. Например, редко встречающееся значение в поле «Имя» – это либо редкое имя, либо ошибка верификации. Эту систему можно распространить на все поля бланков. Оператор станции контроля верификации имеет возможность визуально сверить результаты верификации с изображением на бланке и в случае необходимости отправить бланки на повторную обработку. Применение такого инструмента резко повысило качество работы верификаторов, отметил Алексей Калинин. Далее в 2008 году впервые было обеспечено проведение ЕГЭ в труднодоступных местностях. Для этого экзаменационные бланки отправлялись заранее, а задание передавалось на зашифрованном носителе. За час до экзамена сообщался пароль для расшифровки, и задания печатались. Заполненные бланки сканировались на любом имеющемся сканере и вместе с мета-информацией отправлялись по каналам связи в РЦОИ на обработку. Для обеспечения обработки бланков по данной схеме была разработана станция удалённого сканирования, которая разрабатывалась для использования оператором с условной квалификацией «учитель физкультуры». 2009 год ознаменовал новую эпоху в проведении ЕГЭ: была введена единая распределённая база данных (ЕРБД), расположенная в регионах и на федеральном уровне, обмен данными осуществляется посредством репликации. Для ведения этой базы пришлось переработать все этапы обработки бланков, но общая схема осталась неизменной. В этом же году был автоматизирован учёт экзаменационных бланков, как чистых, так и заполненных, бракованных или испорченных на экзамене. В схему проведения ЕГЭ добавилась станция приёмки, занявшая место перед станцией сканирования. Все данные с результатами пишутся в ЕРБД. Одним из существенных плюсов данной схемы является более высокая защищённость и возможность контролировать процесс обработки бланков ЕГЭ в регионах.

При первоначальном проектировании обработки бланков ЕГЭ расчёт делался на использование уже существующих наработок, которые интегрированы между собой. Это позволило в кратчайшие сроки внедрить проект. Но использование множества программ приводит к сложности обработки и перегруженности инструкций. В последующем проводилось более тесное интегрирование компонентов между собой, что позволило упростить развёртывание и использование системы. Разработка велась с применением следующих программных инструментов: основной код писался на MS Visual Basic, с 2009 года код пишется на MS Visual C#, для сложных математических вычислений использовался С++. В качестве оперативной базы данных, в которой хранятся текущие статусы обработки бланков, использовались базы MS SQL 2000 и MS SQL 2008. Эти же СУБД используются для единого распределения базы данных с результатами ЕГЭ. В качестве ядра использовался продукт ABBYY FormReader Developer Edition, сейчас он называется FlexiCapture. Всё ПО разрабатывалось для использования на операционных системах Windows 2000 и XP. Для разработки были привлечены один аналитик на полную занятость, который писал сценарии, от двух до пяти программистов, также на полную занятость, менеджер проекта, в задачи которого входили планирование и контроль сроков. Также привлекались другие специалисты: дизайнеры, интерфейс-дизайнеры, тестеры, не более 2 человек, и специалисты по дистрибутивам.

Кроме обычного тестирования функциональности ПО проводились стендовые нагрузочные испытания, которые занимали около 1 месяца. В качестве стенда использовалась группа компьютеров по схеме слабый сервер – сильные станции. Стендовые испытания проводились в автоматическом виде с применением автоматизированных средств тестирования типа RationalTest. Федеральные власти осуществляли закупку ПО и оборудования для оснащения центров обработки. Закупались сканеры, рабочие станции, серверы, сетевая инфраструктура, лицензионное ПО и базы данных. В этих конкурсах отмечалась высокая конкуренция – от 5 до 14 участников.

Обучение специалистов для проведения ЕГЭ проводилось двумя разными путями. Для обучения административного персонала (организаторов в аудиториях, в пунктах проведения, экзаменационная комиссия) Министерство образования и Федеральный центр тестирования проводили в различных регионах выездные семинары. Обучение же технических специалистов проводилось несколько другим путём. В РЦОИ выделялось 2-3 человека с оптом работы с современными информационными системами, которые обучались на специальных курсах в Москве. На этих курсах проводилась пробная настройка системы, обработка данных. На этих курсах администраторам выдавался один диск с дистрибутивом, а также диски с инструкциями и презентациями для собственного использования и для обучения операторов, которые эти администраторы обучают самостоятельно в регионах.

Основными каналами технической поддержки на первых порах были электронная почта и закрытый форум, где были зарегистрированы все специалисты региональных центров. В 2009 году была введена единая система техподдержки всего проекта, то есть фактически единое окно по всем вопросам: как технологическим, так и организационным. На сегодняшний день стоит задача адаптации системы под Windows 7. Поскольку ядро FormReader уже не способно работать под новыми ОС в полном объёме, то в недалёком будущем предстоит модернизировать систему под новые платформы. Предполагается использовать FlexiCapture Engine, так как данный продукт предлагает всю необходимую функциональность, но при этом не навязывает общепринятых сценариев обработки.