Прокторинг в онлайн-экзаменах: как это работает?

Stepik — на данный момент единственная русскоязычная образовательная онлайн-платформа, на который любой желающий может создать экзамен с прокторингом (онлайн-сопровождением и контролем учащегося).
Притом такой экзамен может иметь заданную продолжительность, ограниченное время на прохождение, точную дату начала.

В данной статье мы расскажем про то, зачем нужен прокторинг, и в подробностях опишем интеграцию системы онлайн-прокторинга ProctorEdu с платформой Stepik.

Если вы знаете, что такое онлайн-прокторинг и какие он дает преимущества для реализации процесса проведения онлайн-экзаменов, то пропускайте следующую описательную часть и сразу переходите к вопросам реализации в главе Что такое экзамен на Stepik?

Вступление

Для перевода обучающих материалов и тестовых заданий в онлайн-формат подходят практически любые области знания — от IT до HR. Например, онлайн можно можно проводить обучение новых сотрудников в компании, или осуществлять автоматическую проверку кода, или обучать работе с базами данных — и всё это непосредственно на образовательной платформе без необходимости для преподавателей или учащихся разворачивать инфраструктуру на локальных компьютерах. При этом решается проблема проверки полученных знаний, т.к. можно провести финальный экзамен по курсу в том же онлайн-формате, в котором учащийся проходил онлайн-курс. Не надо заставлять человека, желающего получить сертификат, ехать в рабочее время в Центр тестирования, нервничать из-за новой незнакомой обстановки, когда можно предоставить возможность пройти онлайн-экзамен в том же знакомом интерфейсе в удобное время, при этом сидя в комфортном кресле.

Рассмотрим IT-индустрию: например, центр сертификации Microsoft позволяет проходить сертификационные экзамены удаленно, компания Hortonworks организует получение сертификатов по администрированию собственной платформы, предоставляя доступ к удаленной виртуальной машине и список заданий, которые нужно сделать.

И, всё-таки, несмотря на неудобство для экзаменуемых, стоимость сертификатов в IT-индустрии достаточно высока, и оборудование физических помещений под цели проведения экзаменов, для которых необходимо проверять личность сдающего и осуществлять строгий контроль за процессом сдачи, может быть рентабельно. Но если посмотреть на ситуацию, когда быстрорастущей компании, которая работает в нескольких регионах, нужно массово обучать и проверять знания сотрудников, а затем на основе этой информации принимать финансовые и HR-решения, процесс организации физического присутствия сотрудников на экзаменах может стать очень дорогим и организационно сложным для масштабирования.

Как же прокторинг всех спасёт?

Давайте представим, что появился новый конкурент Uber компания Taxibus, которая называет своим ключевым преимуществом вежливость и высокий профессионализм своих водителей. Для этого водитель, сотрудничающий с компанией Taxibus, должен ежеквартально сдавать теорию по ПДД и экзамен по правилам эффективного общения. В случае успешной сдачи экзаменов водитель получает льготный тариф, который позволяет ему отдавать транспортной компании не 7, а 5% комиссии от стоимости каждой поездки. К работе с компанией Taxibus подключилось уже около 7 тысяч водителей в 15 городах страны, и чтобы не тратить деньги на аренду помещений и оплату зарплаты сотрудникам-прокторам, осуществляющим контроль процесса сдачи экзамена, компания разработала онлайн-экзамены, доступные водителям в любое время с их личных компьютеров или мобильных устройств. Однако, некоторые водители не хотят готовиться к экзаменам, но их привлекает возможность получить дополнительный бонус от компании. Поэтому они просят своих друзей, уже успешно сдавших экзамен, пройти экзамен вместо них.

Чтобы однозначно подтвердить личность сдающего и получить уверенность, что экзамен был сдан честно, без использования посторонней помощи, организаторы обучения могут подключить к экзаменам в своей обучающей платформе систему онлайн-прокторинга. Основная задача таких систем — через доступ к веб-камере, микрофону и рабочему столу пользователя подтверждать соблюдение регламента экзамена в автоматическом или полуавтоматическом режимах (о чем мы еще скажем ниже), как делал бы это реальный проктор при физическом присутствии сдающего на экзамене. Подробнее о том, как работают такие системы можно прочитать здесь.

В случае сдачи онлайн-экзаменов по IT-дисциплинам может использоваться такая же система. Системы прокторинга довольно сложны сами по себе, т.к. они требуют работы с несколькими видео-потоками, организации систем хранения видео и аудио информации, технологий распознавания лиц и речи, разработку интерфейсов проктора для управления процессом сдачи экзамена и экзаменуемого. Поэтому Stepik не стал разрабатывать свою технологию онлайн-прокторинга, а использует уже имеющиеся решения. В этом посте мы хотим рассказать некоторые технические подробности, о том, как мы интегрировали систему онлайн-прокторинга ProctorEdu для работы с нашей платформой, и как наши преподаватели курсов могут настроить прокторинг в экзаменах в своих курсах на Stepik для более надежной верификации экзаменационных сессий.

Что такое экзамен на Stepik ?

В Stepik уроки объединяются в модули или учебные недели. Любой модуль можно превратить в экзамен, выбрав в настройках тип модуля «Экзамен» и задав продолжительность экзамена. Учащиеся смогут приступить к прохождению экзамена в промежуток времени, который задает преподаватель курса, нажав кнопку «Начать экзамен». Пока длится экзамен, учащийся видит таймер с обратным отсчетом. После окончания экзамена учащийся больше не сможет набирать баллы в экзамене.

Когда пользователь приступает к экзамену, для него в базе создается запись exam-session, в которую записывается дата начала экзамена пользователем. Зная дату начала и продолжительность экзамена exam_duration_minutes, мы в интерфейсе отображаем оставшееся время пользователю. Пользователь получит только те баллы за правильные решения, которые он успел получить до окончания экзамена.

Как технически устроена интеграция с провайдером прокторинга?

Реализация возможности проходить экзамены с онлайн-прокторингом наложила дополнительные ограничения на возможность создания записи exam-session — пользователь должен иметь возможность записаться на доступный сеанс прокторинга и приступать к экзамену только, когда получил на это разрешение проктора. При этом проктор должен иметь возможность досрочно закрыть доступ к экзамену в случае нарушений, а также оценить наличие и отсутствие нарушений во время экзамена, которые могут повлиять на итоговую оценку. Для этого в Stepik мы добавили еще одну модель proctor-session, которая связана с экзаменационным модулем и позволяет создать exam-session только при наличии запущенной proctor-session (с установленной start_date).

Система прокторинга теперь сможет управлять proctor-session через API с помощью следующих команд:

Start — запуск сессии (установка start_date);
Stop — пользователь через интерфейс ProctorEdu может досрочно завершить экзамен;
Submit — завершение сессии проктором и вынос заключения (поле score, в котором сохраняется число от 0 до 1 (шкала с границами «не одобрено»/«одобрено»).

Также провайдер прокторинга может получить список экзаменов пользователя с помощью метода fetch, чтобы отобразить их в интерфейсе при записи на сеанс прокторинга.

Как мы уже упомянули выше, для учащегося отличие экзамена с прокторингом от обычного экзамена состоит в том, что на прокторинг нужно записываться заранее, когда у проктора, контролирующего экзамен, есть свободные слоты времени. В интерфейсе Stepik это решается на странице экзамена — пользователю предлагается записаться на сеанс прокторинга, для записи пользователь переходит по ссылке на ProctorEdu (в этом момент создается proctor-session для данного пользователя), регистрируется там со своим Stepik-аккаунтом через протокол OAuth2 и выбирает время, доступное для прохождения экзамена.

Учащийся сможет начать экзамен (т.е. создать exam-session) только при наличии запущенной proctor-session (для которой proctor выполнил команду start). Когда учащемуся экзамен становится доступным для прохождения, он видит активную кнопку «Начать экзамен» и может приступить к прохождению экзамена.

Для управления proctor-sessions пользователей провайдер прокторинга (которому мы назначаем специальную роль «proctor») регистрирует у нас серверное приложение по протоколу OAuth2. Данное приложение сможет управлять сессиями прокторинга учащихся на платформе Stepik, с помощью команд которые мы описали выше.

Как создать экзамен с прокторингом на Stepik?

Для преподавателя или организации, которые решили проводить экзамены с прокторингом, нужно сделать следующее:

Создать курс;
Сделать в нем модуль-экзамен, и наполнить его уроками с экзаменационными задачами;
Настроить даты начала и даты окончания экзамена, продолжительность экзаменационной сессии;
Включить для курса режим прокторинга и задать ссылку на домен провайдера прокторинга, что позволяет делать брендированный домен для разных заказчиков услуг прокторинга (пока недоступно в интерфейсе и делается по запросу администраторами платформы).

Для использования услуг прокторинга уже достаточно того, что мы рассказали, т.к. для преподавателей все настройки на этом заканчиваются. Далее мы подробнее расскажем, что происходит внутри системы ProctorEdu при взаимодействии со Stepik, т.к. здесь тоже много интересных технических моментов.

Интеграция ProctorEdu и Stepik: взгляд со стороны системы прокторинга

Автоматизированная система прокторинга ProctorEdu — облачное решение SaaS (программное обеспечение как сервис), которое позволяет организовать и провести экзамены по процедуре прокторинга. Сеансы записываются и анализируются на предмет нарушений, после чего формируются отчеты.
ProctorEdu предоставляет интерфейсы для организации рабочего пространства прокторов со стороны образовательной организации, но также может и предоставлять своих прокторов.

Как происходит интеграция ProctorEdu и LMS в общем случае?

Для более полного взаимодействия с системами электронного обучения (LMS) и с целью автоматизации некоторых функций в системе ProctorEdu предусмотрены механизмы интеграции с другими системами, включающие интеграцию на уровне API и UI. Система ProctorEdu поддерживает два варианта интеграции:

Подключение LMS к системе ProctorEdu;
Добавление функций прокторинга в LMS.

Подключение LMS к системе ProctorEdu предполагает реализацию ряда функций API на стороне LMS и настройку точки входа в систему через внешнего провайдера авторизации по протоколу OAuth2. В этом случае студент проходит экзамен через систему прокторинга, а уже система прокторинга дает доступ к интерфейсам LMS для прохождения тестов или других типов заданий под наблюдением проктора.
Другой вариант позволяет добавить функции прокторинга в саму LMS путем бесшовной интеграции на уровне интерфейсов. Для этого доступен комплект средств разработки Supervisor SDK, позволяющий использовать функции прокторинга прямо со страницы экзамена в LMS, достаточно подключить в LMS специальную JavaScript-библиотеку и настроить вызов соответствующих функций библиотеки. Это вполне просто и по сложности сопоставимо с размещением кода онлайн-консультанта на странице сайта.

Интеграция ProctorEdu и Stepik

Схема подключения Stepik к системе ProctorEdu

Для интеграции с платформой Stepik на данный момент используется первый вариант из описанных выше: был разработан специальный API, который построен таким образом, чтобы можно было гибко настраивать протокол обмена данными между LMS и системой ProctorEdu в формате JSON.

Сценарий взаимодействия с системой ProctorEdu изображен на следующем рисунке и может быть описан так:

Студент авторизуется в системе ProctorEdu через платформу Stepik по протоколу OAuth2. На странице авторизации есть кнопка для входа через Stepik. По нажатии на эту кнопку осуществляется запрос доступа к профилю текущего пользователя на платформе Stepik. После разрешения доступа автоматически происходит вход в систему без необходимости вводить логин и пароль.
Студент попадает в интерфейс ProctorEdu и заполняет профиль. Заполнение профиля не является обязательным шагом в зависит от требований конкретной образовательной организации. В профиле делается фотография лица, заполняются текстовые поля и загружаются дополнительные документы при необходимости. Фотография из профиля пользователя в дальнейшем используется для идентификации личности студента на каждом экзамене. Если фотографию в профиле не делать, то она будет сделана и сохранена в начале первого экзамена и будет использоваться в дальнейшем для идентификации личности студента.
После этого студент либо сразу может приступить к экзамену, либо будет необходимо выбрать время экзамена и приступить к экзамену в выбранное время. Планирование экзаменов является опциональной функцией и зависит от наличия прокторов онлайн. Если сценарий сдачи экзамена предполагает наличие наблюдателя онлайн, то имеет смысл использовать расписание. В этом случае прокторы составляют график своей работы, а студенты планируют свои экзамена на основе этого графика. Следует отметить, что есть ограничение числа одновременных экзаменов на одного проктора, обычно оно не превышает девяти.

(картинка кликабельна)

Сценарий взаимодействия с системой ProctorEdu

Перед началом каждого экзамена (сеанса) осуществляется автоматическая проверка связи и параметров компьютера на соответствие минимальным техническим требованиям: рабочая веб-камера и микрофон, пропускная способность сети не менее 1 Мбит/с, время отклика сети не более 1000 мс, разрешен трафик WebRTC, установлено расширение браузера (опционально).

Экзамен не будет начат пока эти требования не будут соблюдены. Во время самого экзамена осуществляется трансляция и запись веб-камеры, рабочего стола и дополнительной камеры студента, выполняется автоматическое отслеживание нарушений. В начале каждого сеанса автоматически делается фотография лица студента, эта фотография проходит процедуру идентификации личности и определяется процент схожести лица в сеансе с фотографией из профиля.
На протяжении всего экзамена осуществляется непрерывная верификация личности человека за компьютером, которая основана на методах автоматического обнаружения и распознавания лиц и методе анализа клавиатурного почерка. Проктор может наблюдать за назначенными ему студентами, видеть их трансляции, видеть уведомления о зафиксированных нарушениях. При необходимости проктор может связаться со студентом по видеосвязи или через чат. Также проктор может прервать экзамен в любой момент и указать причину в комментарии к сеансу.
После завершения экзамена формируется оценка степени доверия к результатам экзамена в процентах, формируется интерактивный протокол с видеозаписью всех трансляций, историей переписки и поминутной детализацией зафиксированных нарушений.

Интерфейс студента при прохождении экзамена на Stepik, проводящийся через систему ProctorEdu

Взаимодействие со Stepik осуществляется студентом из интерфейса системы ProctorEdu, в этом случае страница экзамена загружается через IFRAME по указанному в сеансе адресу. Экзамены импортируются из Stepik при входе студента в систему ProctorEdu.

Для взаимодействия с платформой Stepik API системы ProctorEdu включает следующие функции:

Получение списка экзаменов из Stepik.
Как только пользователь авторизуется в системе ProctorEdu, ему отображается список доступных для сдачи экзаменов на платформе Stepik. Примем эти экзамены уже могут быть запланированы на какое-то конкретное время, установленное в настройках курса и модуля Stepik, либо студент сам может записаться на удобное для себя время с учетом графика работы прокторов;
Оповещение о начале сеанса прокторинга.
Когда время экзамена наступает, студент подключается к соответствующему сеансу. В этот момент API отправляет запрос на Stepik и доступ к этому экзамену открывается. Таким образом, нельзя начать экзамен без системы прокторинга.
Оповещение о завершении сеанса прокторинга.
После прохождения экзамена студент завершает сеанс прокторинга. В этот момент API отправляет запрос на Stepik для завершения экзамена и закрытия доступа к экзамену.
Отправка заключение по сеансу на Stepik.
После проверки протокола сеанса автоматически или вручную проктором выставляется заключение по сеансу, которое может быть положительное или отрицательное. Этот результат передается на Stepik и отображается рядом с экзаменом. Если заключение отрицательное, то результаты экзамена не засчитываются.

Заключение

В окончании статьи хотим привести плюсы и минусы экзаменов с онлайн-прокторингом.

Плюсы:

Экономия денег и времени на организацию компьютерных классов для проведения экзаменов, поиск и обучение людей, которые должны следить за процессом прохождения экзаменов — автоматический прокторинг проверенный, масштабируемый и несложный в настройке инструмент. Просто создаем курс с задачами и включаем для него прокторинг. Количество экзаменуемых может быть и тысяча, и десять тысяч человек.
Удобство прохождения — экзаменуемый может выбрать время, в которое ему удобно пройти экзамен — прокторинг доступен не только в рабочее время.
Можно проходить экзамен из дома в комфортной обстановке, способствующей высоким результатам экзамена.
Минимум расходов на технику: компьютер, веб-камера и микрофон есть у всех или стоят очень дешево.
Отсутствие проблем с заинтересованностью местных организаторов в успешных результатах экзаменуемых. На ЕГЭ часто учителя помогают своим ученикам, т.к. учителей наказывают или поощряют за результаты их учащихся. Известны случаи, когда даже в классах, в которых установлены видеокамеры, учитель договаривается с учениками, чтобы они вслух задавали вопросы учителю. Тогда при отсутствии звука такой вид списывания сложно обнаружить.
Быстрое получение результатов: асинхронный прокторинг позволяет отфильтровать только подозрительные сессии, которые уже можно посмотреть вручную, и подтвердить, что экзамен был пройден честно.

Минусы:

Наличие достаточно быстрого и стабильного интернет-канала (скорость сетевого соединения 1 Мбит/c).
Проблема утечки задач — посылаем «первопроходца», который прощёлкивает и запоминает ответы и затем передает их знакомым (решается со стороны экзаменатора созданием вариаций шагов, интенсивным потоком вопросов, ответы на которые сложно запомнить).

Если вам интересно сделать свой экзамен с прокторингом на Stepik или полноценный онлайн-курс, напишите нам письмо.

Как вы считаете, достаточно ли надёжны результаты прокторинга? Если бы перед вами стояла задача проведения онлайн-экзамена, воспользовались бы вы функцией прокторинга?
ссылка на оригинал статьи https://habrahabr.ru/post/329420/