Как мы оценивали знания студентов ТОП ИТ совместно с HH.ru

От сессии до сессии живут студенты весело! А студентам ТОП ИТ ещё и независимый ассесмент подогнали… Но иначе непонятно кто и как освоил навыки. Многие проекты студенты выполняли в командах и наши менторы и кураторы иногда отмечали, что в командах есть «сачки», которые накидывают себе в Сфера.Задачи (наш таск-треккер программа для контроля и планирования задач от Т1) простенькие таски и не сильно напрягаются.

Пообщавшись с партнерами из HH.ru и других ИТ-компаний мы подобрали наиболее релевантные уровни для оценки знаний студентов по темам: git, docker, python — выбрали не самые легкие уровни и прошли тесты от коллег на платформе HH.ru. При этом набрали мало баллов, чему сильно удивились. Оказалось, что на платформе нельзя копировать вопросы, а мы накопировали самые интересные вопросы для обсуждения с коллегами и благополучно получили за них 0 баллов.

Кроме уже имеющихся отличных тестов для проверки базовых компетенций мы подготовили наборы тестов и практических заданий по профильным дисциплинам программы ТОП ИТ, в первую очередь флагманской дисциплине «Инструменты промышленной разработки», куда вошел практически весь «джентельменский набор» современного разработчика. Для формирования набора технологий был проведен ряд встреч с экспертами ИТ-индустрии — в обсуждении приняло участие более 12 экспертов. По итогам жарких споров был сформирован следующий учебный план дисциплины для первого семестра:

1. Система контроля версий Git. Команды, ветвление, workflows. (Github, Gitlab, Сфера код).

2. Виртуальные машины. Создание шаблонов, снапшоты, откаты. (Яндекс Облако, VMWare).

3. Контейнеризация. Основы Docker, отличие от виртуализации.

4. Docker. Сборка образов, volumes, networks.

5. Docker Compose. Многоконтейнерные приложения.

6. Dev-Containers. Контейнеризированные среды разработки. (DockerHub, devpod + VSCode)

7. CI/CD в GitLab. Пайплайны, автотесты, деплой.

8. Багтрекинг и управление изменениями. Сфера.Знания, Сфера.Задачи, GitHub Projects, жизненный цикл багов, фича реквест, техдолг.

По итогам обучения уже в первом семестре это позволило дать студентам минимальный набор инструментов для реализации проектов. Второй семестр углубил набор инструментов для промышленной разработки. Темы второго семестра:

1. Kubernetes: База, Pods, Deployments, k3d/k3s.

2. Kubernetes: Сети, Сервисы, Тома, Ингрессы.

3. Kubernetes: Persistence, StatefulSets, ConfigMaps, Secrets.

4. Оbservability, мониторинг.

5. Создание процессов на n8n + создание AI ботов (куда ж без них и вайбкодинга).

6. Безопасность (базовые понятия, аутентификация/авторизация, JWT, виды атак и защит, SDLC) 

7. Тестирование для взрослых (обзорная лекция про виды и инструменты тестирования — покрытие, пирамида тестирования, интеграционное и нагрузочное)

8. Gitlab advanced: создание сложных CI/CD пайплайнов.

Такая структура курса и набор технологий уже в первом году обучения гарантировано дает навыки на позицию Junior разработчика. Кстати, некоторые студенты ТОП ИТ уже стажируются в ИТ-компаниях на подобных позициях или позициях стажеров.

В целом ассесмент и тестирование нужно было спроектировать таким образом, чтобы критерии были понятны для студентов и вопросы отражали реальные требования работодателей по знанию тех или иных программных продуктов на заданных уровнях знаний. В целом удалось получить такое задание, на которое эксперты из ИТ-индустрии дали свою «добро».

Для студентов были озвучены требования к итоговому ассессменту и предложено демонстрационное тестирование с вопросами аналогичными вопросам ассессмента, но не входящими в аттестационную процедуру на ассессменте. Исходя из этого студенты смогли подготовиться к оценке и уточнить требования предъявляемые к ним. Особенно много «открытий» было по git и docker. Например, на практике не многие студенты задумывались о различии команд git add —all и git add . Второй командой пользуются чаще не всегда понимая её смысл. И таких тонкостей было довольно много. Оказалось, что студент прекрасно ведущий разработку и владеющий git не всегда задумывается о тонкостях использования тех или иных команд.

И вот, когда студенты поняли все тонкости процедуры ассесмента мы запустили его уже на платформе HH.ru.

Защита от читерства в ходе ассесмента заслуживает отдельного обсуждения — сейчас когда машинное обучение и большие языковые модели развились настолько хорошо, невозможно оставить студента без контроля при прохождении любого аттестационного мероприятия. LLM-ка может быстро решить любой тест, а по git или docker, так тем более. Поэтому на платформе HH.ru предусмотрен ряд мероприятий для защиты от читерства.

Так при любом использовании комбинации клавиш CTRL+C или Alt+TAB, даже случайно нажатых дрожащей рукой, ответ не будет засчитан, поэтому мы провели инструктаж для студентов, где объяснили все тонкости прохождения оценки знаний. Остается конечно вариант сфотографировать задание на мобильный телефон и отправить модели, но для этого и была организована очная процедура оценки.

По итогам проведенная процедура на платформе HH.ru показала высокие показатели освоения компетенций — 79% студентов полностью подтвердили компетенции, а остальные получили детальную обратную связь по своим ошибкам и «слабым местам» в своих знаниях. 138 студентов прошли  независимый ассесмент, среди них 110 человек (79% от общего количества всех студентов) полностью подтвердили знания по всем компетенциям в программах ТОП ИТ.

И для красоты мы свели результаты ассесмента с помощью одной известной LLM в симпатичные графики. Кстати, радует прогресс некоторых сервисов в работе с табличными данными в xlsx.

И, конечно, нас очень интересовали знания по базовым технологиям, которые оказались вполне приемлемыми. Из интересного, студенты показали немного более высокие результаты по прохождению практического блока ассесмента из прикладных задач, нежели теории на основе тестовых заданий. Практика 89.7%, теория 80,9%. Данное отклонение, конечно, статистически не значимое, но для нас приятное.

Оценка знаний завершилась успешно, на данный момент студенты сдают последний экзамен и уйдут на летние каникулы! Желаем им хорошего отдыха и новых сил в осеннем семестре — мы уже готовим для них много новых активностей и интересные курсы и практику!

Для тех кто дочитал до конца: А как вы считаете, нужно ли проводить подобную оценку знаний или оценки ребят по живым ИТ-проектам достаточно для подтверждения приобретённых навыков разработки?