Главная тайна IT-курсов для новичков

— это ответ на очень простой вопрос «А сколько именно студентов после вашего курса получает IT-работу?».

Для успеха любого IT-проекта важна его прозрачность. Чем более понятны и объективны метрики происходящих процессов, тем заказчику проще предсказать дальнейшее развитие событий и при необходимости повлиять на результат, приняв в нужный момент правильные решения.

В EdTech, готовящем кадры для IT, пока есть определенные проблемы с прозрачностью.
Возможно, из-за того, что IT-образование пока все еще лихорадит.
В середине 19 века возникла калифорнийская “золотая лихорадка”, когда многие устремились на прииски в надежде отыскать золото и разбогатеть.
Спустя 160 лет там же началась лихорадка EdTech, когда в Калифорнии были основаны такие известные компании как Coursera, Udacity и Khan Academy.

Последние годы внимание к IT-образованию не ослабевает. Многие хотят реализоваться в IT и получить высокооплачиваемую работу.
Да, вероятность выучиться и найти IT-работу сильно выше, чем обнаружить золотую жилу на прииске. Есть много хороших программ, курсов и предостаточно квалифицированных специалистов, которые готовы делиться своим опытом.

Но это не значит, что улучшать нечего.
Без простых и объективных критериев эффективности образования у студента есть ненулевая вероятность не получить ожидаемый результат.  

KPI

Какие могут быть показатели эффективности образовательного процесса?
Зависит от вида обучения.

Бывает обучение, где главный индикатор эффективности — это уровень комфорта и удовольствия студента от обучения. Таковы, например, курсы про выстраивание жизненного баланса, рисование или повседневное использование нейросетей. Они должны расслаблять и развлекать, а результатом будет являться тот самый комфорт, новые впечатления и умения.

Есть обучение, результатом которого должно быть изменение жизни студента и ее радикальное улучшение. Поэтому качество такого курса должно определяться главным параметром — получилось у студента изменить свою жизнь, карьеру или нет. 

В разрезе IT-образования «с нуля» результатом будет как раз ответ на вопрос «Хватило ли полученных знаний и навыков для того, чтобы начать карьеру?».
Если хватило — то значит всё отлично.
Если нет — значит деньги студента потрачены впустую, а курсу надо что-то менять.

К сожалению, некоторые мои коллеги по EdTech категорически несогласны с тем, что трудоустройство — это главный индикатор, показывающий результативность IT-курса для новичков.

“Число трудоустроенных студентов — это не тот KPI, на который мы ориентируемся. Важнее COR (NPS, иное).”.

Конечно, данные параметры тоже важны. Сложно достичь результата, если обучаться не нравится, преподаватель объясняет непонятно, а занятия скорее демотивируют, чем зажигают. 

Но эти параметры оценивают только процесс обучения, но не его результат.
А еще они имеют смысл для EdTech компании, но не для студентов. Что, например, означает для обучающегося COR 45% или NPS 60%? Как это ему поможет выбрать подходящее обучение? 

Есть три основные причины, почему многие IT-курсы занимают позицию “трудоустройство после обучения — это не KPI”:

Скрытый текст

Деньги

Если поставить в качестве основного ориентира число начавшихся карьер, то придется отказываться от постулата “каждый может в IT”.
Как не каждый может стать врачом, так не каждый может разработчиком или тестировщиком. Чтобы студент мог впитать необходимый набор знаний и навыков, у него изначально должны быть некоторые способности и склонности. 

Из этого логично вытекает то, что не нужно пытаться учить по принципу “раз смог заплатить, значит сможет работать в IT”. И нужно вводить вступительное тестирование способностей.
Увы, для курса это приводит к ощутимому падению числа студентов, а значит и денег. 

Здесь от коллег по EdTech обычно звучит контраргумент “кто придумал такой KPI” и ”вступительное тестирование — это попытка курса облегчить себе работу”.

Но число трудоустроенных студентов и успех выпускников в данной области — это одни из главных KPI любого приличного западного вуза.
И сложно представить себе качественное учебное заведение без вступительных экзаменов.

Обновление программы (и снова деньги)

Не менее частая причина отсутствия результата — это обучающая программа, оторванная от реального рынка.
Более того — при получении мощной обратной связи от работодателей «знания джуна не в нашем стеке, мы как раз перешли на ***» обновлять учебную программу придется гораздо чаще, чем раз в два года. 

С контраргументом “в тестировании тест-дизайн за последние 10 лет не менялся” я частично согласна. Тест-дизайн в понимании тестирования распространенных N-звенных приложений последние годы действительно тот же, что описан у Lee Copeland’a или даже у Mayers’a. 

Когда 20 лет назад я устраивалась на свою первую полноценную работу тестером, достаточно было тест-дизайна и хотя бы общего понимания принципов работы ПО. 
Также до 2020 года было сложно представить, что у джуна первой работой может быть проект с микросервисами.
А до 2023 года — что может потребоваться начать карьеру на проекте с AI и векторной БД.

Низкая статистика трудоустройств

Процент начинающих IT-карьеру студентов для разных курсов отличается на порядок (!). Понятно, что далеко не все курсы заинтересованы в том, чтобы к числу трудоустройств привлекалось внимание.

Большинству студентов не нужна учеба ради учебы.
Как старатели вряд ли пересекали океан, чтобы приехать в Калифорнию просто ради удовольствия покопаться в земле, так и главная жалоба, которую высказывают студенты многих курсов, это «из нашей группы почти никто не трудоустроился».

Студенты хотят начать карьеру в новой для себя индустрии.
А так как клиент всегда прав, IT-школы вынуждены публиковать статистику, хотя бы приблизительно отражающую объективные результаты их работы.

Далее поделюсь некоторым инсайдерским взглядом на IT-образование.
Про то, какие у каждого курса есть варианты рассказать про воображаемые или реальные результаты работы. 
А у студента — отличить мнимое раскрытие тайны от реального.

🔴 Число трудоустроенных на лендинге курса

Сначала — про важный психологический момент. 

По мнению обычного абитуриента, работу в IT должны получить 85-95% поступивших студентов, не меньше.

На самом деле теоретический максимум — это 81% трудоустроенных.

Почему именно 81%?

Скрытый текст

а) Даже на идеальном курсе 10% студентам помешает дойти до конца обучения:

• Внезапный рост загруженности на текущей работе или длительная командировка

• Внезапное повышение на текущей работе с привлекательными условиями

• Проблемы личного характера, развод

• Легкое личное заболевание (достаточно пару ОРЗ по десять дней, чтобы значительно отстать) или серьезное заболевание в семье

• Беременность

• Политические обстоятельства, внезапная релокация

• Финансовые проблемы

(это всё реальные примеры из практики за последние 12 месяцев.)

б) Из дошедших до выпуска 10% студентов не сможет пройти финальную дистанцию “поиск вакансий, отклики, тестовые задания, собеседования” опять же по тем причинам, что указаны выше.

90%+90% = 81%

А на практике после разных курсов получают работу от 5% до 80% поступивших. 

Это расхождение между ожидаемым и реальным, увы, вынуждает некоторые курсы пытаться завуалировать реальные цифры так, чтобы они были похожи на то, что ожидает увидеть абитуриент.

Наиболее типичные приемы подать статистику трудоустройств запутанно:

Скрытый текст

Сколько было тех, кто выполнил домашки на 90%?

50 студентов из 100?
или
5 студентов из 100?

Вторая часть «[% трудоустроившихся студентов среди тех, кто] получил оффер во время обучения» вызывает еще больше вопросов.

«Гуманитарий» прочитает это как «84% студентов нашли работу».

Человек с техническим складом как «из числа тех студентов, кто нашел работу, 84% сделали это с помощью Центра карьеры».

Для сравнения — весьма неплохой курс, Яндекс Практикум, открыто сообщает, что у них лишь 60% студентов доходит до конца обучения.
Поэтому 80% (!) трудоустроившихся, да и еще до конца курса (!) — это фантастический результат. 

Но, возможно, подобно предыдущей картинке, это следует читать как “80% из числа всех нашедших работу находит ее до конца обучения”.

Основной вопрос к указываемым на лендингах числам трудоустройств — в 99% случаев не раскрываются исходные данные.
Проверить, что именно такой процент студентов на самом деле трудоустроился, невозможно.

Итак, способ №1 “данные на лендинге курса”

Плюсы: можно верить на слово, не вдаваясь в детали
Минусы: нужно верить на слово, не вдаваясь в детали

Второй способ: 

🟡 Проверка трудоустройства внешним аудитом

Общее недоверие к статистике трудоустройств, которую курсы “считают сами о себе”, родило предложение в виде внешних аудитов трудоустройств.

Самые известные аудиты на русскоязычном рынке делает Национальный исследовательский университет «Высшая школа экономики» (НИУ ВШЭ).

Можно найти аудиты:

• Яндекс Практикум

• Skillbox

• Эльбрус

Это аудиты, которые содержат много интересной информации и дают много пищи для размышлений. 

В отчете аудита можно увидеть, как отличается обучение на разных программах и с какими полученными специальностями студенты находят работу легче, а с какими сложнее. Также дается информация о том, каким способом чаще и как быстро студенты находят работу. 

Единственный, но существенный минус аудитов НИУ ВШЭ — в них есть информация о выпускниках, но нет никакой информации о том, сколько студентов становится выпускниками. Мы можем посмотреть, сколько выпускников трудоустроилось, но не сколько из изначально поступивших дошло до конца обучения и получило работу в IT.

50 выпустилось, 25 трудоустроилось = 50%
выглядит намного лучше, чем
100 поступило, 25 трудоустроилось = 25%

Возможно, это ограничения методики или желание не делать статистику слишком сложной. Но то, что в данной статистике учитываются только “выжившие старатели”, всей полноты информации все-таки не дает. Это подобно анализу эффективности больницы только по выжившим пациентам.

Итак, способ №2 “внешний аудит”
Плюсы: проверяет внешняя компания, данным можно верить
Минусы: есть только часть статистики

Третий способ:

🟢 Поименные списки всех поступивших студентов и всех начавших IT-карьеру

Когда мы тоже прошли аудит, я задумалась. 

Может быть, есть какой-то максимально убедительный способ продемонстрировать результаты обучения?

Чтобы он был полностью открытый, прозрачный и ни у кого в результате не оставлял сомнений.

И, главное, чтобы каждый желающий мог лично проверить статистику трудоустройств.

Например, в виде открытых списков.
Вот такие-то студенты начали обучаться.
А потом из их числа такие-то в результате начали IT-карьеру.

Но раньше я никогда не видела, чтобы курсы когда-нибудь открывали подобную информацию. Очевидно, что есть какие-то подводные камни, например, персональные данные. Не каждый студент согласится, чтобы информация о нем была размещена в сети.

На практике всё оказалось не так сложно:

Первым делом необходимо найти баланс по персональным данным. С одной стороны, частично деперсонализировать данные студентов, чтобы не создавать им проблем или просто дискомфорт. С другой — оставить возможность желающим убедиться, что это всё реальные, а не нагенерированные личности.

Затем — проверить, что действующие оферта и политика персональных данных позволяют размещать нужную информацию. 

Главное — заручиться поддержкой студентов нескольких первых учебных групп. Как показал опыт, желание помочь другим («я помню, как сам выбирал обучение, пытаясь отличить качественное обучение от плохого» и благодарность к школе (если, конечно, большинство студентов нашло работу после обучения) — это то, что позволяет эту поддержку получить.

Пример открытых списков

Первый столбец — имя и первая буква фамилии каждого студента. Ссылка из этого столбца ведет на телеграм студента. 

Второй и третий столбец — это результат обучения в виде трудоустройства в конкретную компанию (или его отсутствия).

Четвертый столбец — это ссылка на LinkedIn* студента.

Заблокированный в РФ LinkedIn*, а не другая соцсеть или Habr, используется по двум причинам:

Скрытый текст

Проверка трудоустройства. В LinkedIn* проще убедиться, что трудоустройство в конкретную компанию реальное, а не виртуальное. В отличие, например, от Хабра, LinkedIn* показывает полностью весь список «заявившихся» сотрудников компании, а не его часть. 
И если ты указываешь, что работаешь в CompanyName, то начинаешь публично отображаться в списке сотрудников.

Демонстрация, что студент закончил не EdTech-фабрику фейковых резюме. Есть мнение, что не нужно ориентироваться на число трудоустроившихся после курса студентов, потому что появилось слишком много курсов-фабрик фейковых резюме. Которые готовы трудоустроить кого угодно.
Такая проблема действительно есть — отдельные курсы дают некоторые базовые IT-знания, но значительный упор делают на, как они называют, “составление легенды в резюме”, помощь в выполнении тестовых и обучение списыванию на собеседованиях. Вплоть до активной помощи с прохождением самого собеседования.
Как проверить, что выпускник конкретного курса не плод такого “образования”?
Проще всего оценить реалистичность опыта по резюме. LinkedIn* — публичная соцсеть, поэтому по открытым спискам выпускников со ссылкой на их профили легко убедиться в том, какая модель трудоустройства использовалась. Достаточно сверить месяц окончания курса с указанным опытом по специальности.

*В РФ LinkedIn заблокирован, но, как показал опыт, 90% российских студентов с регистрацией проблем не испытывают.

Вышеуказанное позволяет не раскрывать то, что раскрывать не нужно.
Для тех студентов, кто не начал карьеру в IT, персональных данных практически нет — только ссылка на телеграм-профиль. Ник редко совпадает с фамилией, а номер телефона у большинства закрыт для просмотра.
Для тех студентов, которые не только учились, но и нашли работу в IT, персональных данных больше — есть ссылка на публичный профиль в LinkedIn*  + название компании.

При этом всё это в совокупности позволяет любому желающему самостоятельно, без посредников, убедиться в том, какая реальная эффективность у обучения.

Пользуясь открытыми данными, можно выйти на контакт с любым обучавшимся. Чтобы проверить, что списки поступивших реальные («А Игорь С. учился в вашей группе?»), а выпускники действительно трудоустроились в конкретные компании именно по специальности.
И, в конечном итоге, убедиться, что % трудоустроившихся студентов взят курсом не из головы.

Итак, способ №3 “поименные списки”
Плюсы: самый прозрачный способ
Минусы: нужно отслеживать судьбу каждого студента

ИТОГО

Если бы вы на последние деньги приехали на золотой прииск и услышали, что «многие из работавших здесь в результате стали миллионерами» логично было попросить список всех когда-либо работавших на этом прииске.
С явным указанием тех, кто в результате стал миллионером.

Аналогичное имеет смысл сделать и при выборе IT-обучения — попросить у представителя курса ссылку на открытые исходные данные по трудоустройству.

Это самый простой способ узнать, а как обстоят дела на самом деле. 
Ведь как показывает опыт, у IT-курсов есть возможность максимально прозрачно продемонстрировать результаты обучения.

Про нюансы профессионального подхода к IT-образованию еженедельно говорим в телеграм-канале “Становимся тестировщиком”.
Там же появляются анонсы следующих Хабр-статей.