Нормализация образования в резюме на hh.ru

Образование – одно из самых важных и в то же время недооцененных полей резюме. На него работодатели обращают внимание в первую очередь, когда работу ищет молодой специалист. Часто именно образование склоняет выбор в пользу одного из кандидатов. Наконец, бывает, что компании ищут специалиста с вполне конкретным образованием, вплоть до факультета нужного вуза.

Соискатели, со своей стороны, указывают образование в резюме не очень охотно. Аббревиатура в поле образования – это еще хороший вариант. Часто можно встретить просто «техническое» или «именем Ленина» 🙂

На hh.ru «образование» до недавних пор было свободным текстовым полем, что не позволяло полноценно искать кандидатов по этому критерию, зрительно легко считывать информацию об образовании в резюме, а нам – строить статистику, полезную рынку. Поэтому настало время помочь пользователям, создав справочник вузов и нормализовав это поле.

О том, как мы решали эту задачу с 11 млн резюме и как реагировали пользователи, – в этой статье.

Большая цель состояла в том, чтобы, во-первых, новые пользователи при создании резюме выбирали вуз из нашего справочника, а во-вторых, чтобы существующие пользователи обновили свои резюме таким же образом.
Базу учебных заведений нам любезно предоставили коллеги из «Одноклассников». В ходе работы над созданием своего справочника мы ее существенно переработали, но основа была уже заложена, что значительно ускорило нашу работу на старте.

Шаг 1. Предложения при заполнении

Первым делом в форме создания резюме мы добавили выпадающие подсказки (саджесты) с правильными и полными названиями вузов из нашего справочника. За полтора месяца работы подобной схемы мы увидели, что только 45% новых пользователей выбирают вуз, предложенный нами, остальные же предпочитали оставлять свою версию, даже если она полностью совпадала с предложенной! В результате мы получили 200 тыс. резюме с нормализованным образованием, но этот показатель нужно было увеличивать как минимум на порядок.

Шаг 2. Маппинг

Новые резюме – это хорошо, но чтобы проект имел смысл и мог уже сегодня принести пользу, нужно было нормализовать существующую базу, составлявшую на тот момент около 10 млн. резюме. Поэтому мы решили замаппить (сопоставить) «образование», которое уже было указано в свободной форме пользователями на новый справочник вузов. При этом нужно было учитывать, что пользователи указывают образование в резюме, мягко говоря, очень приблизительно (просто слово «высшее» — тоже очень распространенный вариант).

Для маппинга использовался классический алгоритм поиска сходства двух текстов: cosine similarity. Каждый текст рассматривается как вектор в пространстве термов (слов, его составляющих). Чем большее количество раз слово встречается в тексте, тем большую координату имеет вектор по соответствующей оси. Similarity 2-х текстов есть не что иное, как cos между векторами в пространстве термов.
Использование этого алгоритма «в лоб» давало не очень впечатляющие результаты, поэтому пришлось внести некоторые поправки.

1. Координаты вектора, соответствующего тексту, могут принимать значения {0, 1} – действительно, несколько одинаковых слов в названии учебного заведения – это экзотика.
2. Пространство термов пришлось сделать анизотропным: координаты по некоторым осям вносят разный вклад в норму данного пространства.
Существуют часто используемые слова (например, «государственный», «технический»), которые могут быть опущены или присутствовать в пользовательском написании учебного заведения. И они должны оказывать меньшее воздействие на степень похожести текстов. Наоборот, такие слова, как «(им.) Куйбышева», более важны и позволяют с большей вероятностью установить соответствие. Таким образом, при определении уровня сходства слова, составляющие тексты, разбиваются на несколько групп, отличающихся степенью важности для поиска соответствия.

Вузы. Наследие
Переименования вузов – еще одна задача, которую пришлось решить. Например, то, что когда-то называлось «Педагогический институт», теперь именуется «Педагогический университет». Поэтому при маппинге учитывается возможная омонимия. Кстати, в 90-х сменили свои названия многие города, поэтому в рамках омонимии «Калининский педагогический институт» стоит замаппить на «Тверской педагогический университет». Тем более что работодатели сегодня знают, в основном только современное название учебного заведения.

Совпадающие аббревиатуры
Отдельную задачу составили совпадающие аббревиатуры. Во-первых, некоторые учебные заведения имели одинаковые аббревиатуры в разное время: например, Самарский государственный университет — бывший КГУ (Куйбышевский) и Курский государственный университет — настоящий КГУ.

Во-вторых, учебные заведения разных стран зачастую тоже имеют совпадающие аббревиатуры, например: БГУ – это и Брянский государственный университет им. И.Г. Петровского, и Белорусский государственный университет. Для разрешения таких коллизий приходилось учитывать информацию о городах, где находятся учебные заведения, их населении, странах проживания владельцев резюме. Большую помощь при маппинге также оказали многочисленные использующиеся эвристики.

Результат маппинга
В результате нам удалось «замаппить» чуть больше половины всех высших образований в наших резюме: 6 989 453 из 12 510 682. После тестирования и проверки мы решили, что пора открывать результаты пользователям и изучать их реакцию.

Шаг 3. Проверьте вуз в резюме

Нельзя у пользователя втихую поменять название учебного заведения. Мало кому понравится, если в его резюме системой будут самостоятельно вноситься правки, да и в справочнике до сих пор были неточности. Поэтому мы создали уведомление «уточните название учебного заведения в вашем резюме» на странице с откликами на вакансии. Результат – по этой ссылке переходило менее 10% пользователей, видевших ее: достигнуть цели таким способом не удалось. Вероятно, пользователи были уверены, что с «образованием» у них все в порядке и там нечего проверять.

Однако благодаря этому уведомлению мы увидели, во-первых, типичные ошибки, а во-вторых, странную закономерность: даже если мы замаппили все правильно, пользователи все равно возвращали свой вариант, который, возможно, им просто роднее и привычнее. Это стоило учесть на будущее.

В общем, за две недели работы уведомления мы получили еще 150 тыс. резюме с правильным образованием. Всего же за 2,5 месяца существования справочника вузов мы имели 450 тыс. замаппиных резюме, или около 5% от всей базы. Сей результат снова не впечатлял, и мы продолжили делать выводы и продумывать дальнейшие шаги.

Шаг 4. Как подцепить пассивных пользователей

С помощью саджестов и уведомлений мы охватили только активных пользователей, которые приходят на сайт. Чтобы достучаться до соискателей, которые не ищут сейчас работу, мы решили сделать рассылку на часть базы зарегистрированных соискателей. В письме мы написали, что внесли некоторые изменения в образование из резюме, и их нужно подтвердить, но можно и отклонить.

Логика в письме была следующая:

• если пользователь никак не прореагирует на это письмо, то образование в резюме останется нетронутым;
• если пользователь подтвердит, что название мы поменяли верно, то образование в резюме обновляется на актуальный вариант из нашего справочника;
• если пользователь отвергнет предложенный нами вариант, то перейдет в редактирование своего резюме, где сможет вернуть изначальный вариант.

Все случаи отказов от нашего варианта мы выгрузили и на их основе еще раз проверили справочник, внеся необходимые правки.

Тут надо заметить, что формулировка о внесении изменений в резюме оказалась не очень удачной, поэтому по другой части базы мы отправили письма, где говорили о новом справочнике вузов и предлагали пользователям обновить название вуза самостоятельно.

Спустя неделю после рассылки у нас в базе оказалось 1 000 052 завершенных резюме с образованием из справочника – существенная часть, но еще далеко не все. Поэтому мы продолжили рассылки с предложением обновить вуз, объясняя, зачем это нужно и что дает соискателям. В поддержку нормализации вузов мы также запустили проект «Битва вузов», чтобы стимулировать пользователей обновлять резюме, тем самым поддерживая свой вуз в импровизированной битве. На объективный рейтинг вузов этот проект, конечно, не претендует, но он, тем не менее, тоже внес (и продолжает вносить) определенный вклад в дело нормализации образования.

Буквально несколько дней назад добавили варианты названий вузов на английском (для резюме на английском). Пока не для всех, будем увеличивать их число.

В результате на сегодняшний день мы имеем 23% резюме в базе с нормализованным образованием, а это около 3,3 млн. До конца года планируем дойти до 30%.

Если вы не еще обновили образование в резюме, то сейчас самое время это сделать.

Если вашего вуза все еще нет в справочнике, то напишите нам об этом, и мы его добавим.

Шаг 5. Поиск по вузам – первое, ради чего всего затевалось

Благодаря тому, что фактически четвертая часть всех резюме теперь имеет нормализованное образование, и эта доля постоянно растет, мы выпустили первую стадию поиска по вузам. Теперь рекрутер может найти выпускников конкретного учебного заведения, просто кликнув на него в любом резюме, а с помощью поисковых фильтров выборка быстро сужается до требуемого города, профсферы, опыта работы кандидата, знания языков, желаемого типа занятости и так далее. Работодателям, которые точно знают, чего хотят, или просто привередливым (как вам больше нравится) теперь стало намного легче находить нужных кандидатов. Но это только начало.

Нормализация образования – это лишь часть проекта нормализации, в который также входит нормализация должностей, навыков, работодателей и профессиональных областей.

Если есть идеи и вопросы по этому проекту — всегда рады им в комментариях.