Из софтварного инженера в AI рисерч или история 413 «нет»

Воронеж, аутсорс и стартапы, веб, конференции. Лондон, Meta, инфра, опен-сорс. Москва, Сколтех, вторая магистратура, первые публикации. Обратно в Лондон, Mistral AI и Revolut, индустриальный AI рисерч, постоянное чувство собственной тупости и предвкушение кучи приключений впереди. Впрочем, обо всем по порядку.

В прошлых сериях

Шел 2024 год. Нет, 2023. Может быть, что-то между. Я работал синьором-помидором в лондонском офисе Meta уже третий год. Успешно перекладывал JSONы с целью порадовать наших мобильных разработчиков и сделать разработку приложений чуточку удобнее. После череды экзистенциальных страданий, так или иначе связанных с разводом, и, как следствие, поиском новых жизненных ориентиров, я пришел к тому, что надо рвать когти из веба и бежать в ML. Бежать вчера. Да еще и в рисерч. Без меня AGI не сделают. Точнее, сделают — и без меня! Беда!

Если вам интересно как я вообще попал в Лондон из Воронежа, то об этом тут

Учиться в параллель с работой не получилось. Скорее всего, я просто плохо пытался, но, если отставить спекуляции о причинах, надо было признать провал. И что-то поменять. Что ж, если не получается учиться самому, то надо найти коллектив. С дедлайнами и палкой над головой. Когда морковка спереди перестает работать, надо присмотреться к морковке сзади.

Прикинув стоимость обучения и жизни в Лондоне и грустно посмотрев на циферки на счетах, я начал искать альтернативы. Посовещавшись с кукухой, порядочно придавленной разводом, решил двинуть поближе к родным и друзьям — в Москву. Да-да, после Лондона Москва кажется дешевой! Вдобавок, тут можно было получить бесплатное образование в крутейших технических школах.

Поступал везде: ШАД, Сколтех, ВШЭ, ИТМО (был готов на Питер). Успешно завалил ШАД еще на самом первом этапе — мне не хватило чертовой половинки балла! Поплакал, собрался, поступил в Сколтех. Также пришел оффер по конкурсу портфолио в ИТМО, но к тому моменту я уже успел посмотреть на кампус Сколтеха и недюжинно пропереться. К тому же на вступительных я успел познакомиться с ребятами. Вокруг сплошь и рядом были олимпиадники-физтехи-супер-умники, которые хоть и приводили моего внутреннего самозванца в ужас, но также обещали заряженную атмосферу в душном (правильно душном!) гиковском кружочке. Продано!

Сколтех

Учеба началась не совсем с учебы, а симулятора стартапа — Innovation Workshop. В первый месяц студентов на целый день загоняют под одну крышу без разбивки на специальности, рассказывают кучу бизнесовых штук и кулстори из стартапов, и в добровольно-принудительном порядке организовывают нетворк. Перезнакомились все со всеми. Даже самые стеснительные не остались в стороне. Попутно было несколько однодневных кросс-дисциплинарных воркшопов, а в конце командный спринт, где мы на коленке собирали полуработающие прототипы из скотча и соплей.

Плюс в копилку настроения и весело проведенного времени. А вот дальше началась настоящая учеба. Сложная учеба. Первое же задание по ручному расчету какого-то монструозного градиента подвесило меня почти на целый день. В домашней работе таких градиентов было пять. А потом еще парочка доказательств. И это только один предмет из трех. Начали закрадываться смутные сомнения в том, что мой бекграунд софтварного инженера как-то поможет.

Пожалев себя пару недель, я не нашел ничего лучше, чем начать что-то делать. Что-то одно. Забил на все дополнительные активности кроме спортзала (штанга — святое). Забил на все технические долги. Забил на все текущие пары кроме одной. И… Что-то начало получаться.

Дальше добавил научную работу в лаборатории. Опять же, без желания успеть все и везде. Пришел туда с весьма расплывчатым запросом понять, почему вообще модели такие, какие есть. Мой руководитель помог сформулировать намного более узкий вопрос об измерении сложности данных и предложил первое направление исследований. И снова что-то получилось. Не идеально, но ведь получилось!

Как я завалил все собесы. Ну, почти

Еще зимой после первого семестра жизнь проехалась по моему ЧСВ пачкой отказов на летние стажировки. Я послал около 100 заявок в бигнеймы в Лондоне. Отказали все.

Понадеявшись что дело было по большей части в локации (как можно догадаться, Москва нынче пугает 146% зарубежных рекуртеров еще на стадии беглого просмотра резюме) и вооружившись первой опубликованной статьей, я отправился в Лондон искать первую работу на месте.

Смена локации прокатила. Меня стали звать на собесы. Не очень часто, но это было уже намного лучше, чем зимнее гробовое молчание.

К сожалению, моим первым же собесом оказались Isomorphic Labs. И первые собесы, как водится, заваливают. Как и вторые, и третьи. Таким образом, мимо меня проскочили еще Huawei и AISI. Было чертовски обидно, но к четвертому разу я наконец раздуплил, где у меня пробелы в знаниях и что от меня вообще хотят услышать. Плотненько поботав и выбросив 20 на удачу, вырвал оффер на стажировку в Mistral AI!

Как мне кажется, со мной вообще стали говорить из-за того, что в резюме была Meta. И рекрутеры даже не разбирались, что в Мете я занимался совсем не ML. Так что капитанский совет всем будущим вкатунам — вам будет сильно проще жить, если в резюме будет бигнейм. Неожиданно, правда?

На стажировке, увы, не получилось поработать над тренировкой моделей. Дали задачу писать инфру для генерации синтетических данных. Из плюсов — познакомился с кучей умнейших людей, проникся атмосферой в топовой индустриальной лабе, в очередной раз осознал, какой я воробушек и как много еще предстоит узнать. Из минусов… А их и не было! То есть, да, я бы очень хотел поработать над архитектурой модели и самому прогнать какие-то эксперименты, но как бы грешно жаловаться на возможность поработать над фронтиром, пусть и в инфре. Особенно, когда я еще даже не закончил второй год магистратуры.

Стажировка пролетела стремительно. Пришло время снова искать работу. Мистраль в резюме обеспечил куда большую воронку собеседований. Я пытался залететь во фронтир большого AI: FLAIR в Oxford/Meta, Deepmind, Waymo, Anthropic, Reflection AI, россыпь более мелких стартапов. В этот раз у меня даже получилось первыми поставить те собесы, куда я хотел меньше всего. Это помогло в большинстве процессов дойти до финала.

Увы (снова увы!), я опять получил россыпь нет. Где-то не справился с нервами, но в большинстве случаев банально не хватило опыта. Мало хорошо пройти собесы. В больших лабах всегда будет несколько кандидатов, успешно прошедших все этапы. Надо еще и обладать опытом, релевантным позиции. У меня за плечами было 10 лет инженерного опыта, пара публикаций (одну даже взяли на EACL) и продолжающаяся магистратура. У моих конкурентов было 10 лет опыта в ML, россыпь публикаций на A* конфах и зачастую PhD. Выбор очевиден.

Светлое буду… настоящее

Мне нужен был менеджер, который готов брать риск. Команда, которая готова взять человека с нетрадиционным бекграундом, но горящими глазами. Другими словами, нужно было небольшое чудо.

Почти к самому дню рождения оно случилось — я получил оффер в новую небольшую рисерч команду в Revolut. Ребята только-только выпустили foundation model для финансовых транзакций и стремительно набирали обороты. Лучшего нельзя было и ожидать! Скилловые ребята вокруг — как мотиватор для роста, но небольшой размер — значит возможность брать столько ответственности и объема задач, сколько буду способен унести.

Интереснее всего то, что изначально я вообще не думал про Revolut. Не ожидал, что в банках могут тренить свои модели с нуля. Но в личку пришла знакомая (спасибо, Таня!) и скинула LinkedIn-пост о найме в команду — и понеслось! Так что еще один важный урок — обрастайте нетворком, господа.

Итак, куда мы приплыли? На сегодняшний день я успел выкатить PRAGMA в прод, податься с командой на EMNLP, а теперь разбираюсь с графовыми моделями и следующим поколением PRAGMA. В параллель закончил Сколтех. Планирую продолжать академический рисерч парт-тайм (part-time PhD), но уже с одним из лондонских вузов — хочу копать mechanistic interpretability of uncertainty. Все еще чувствую себя очень тупым, но это хорошо. Значит, вокруг меня правильные люди. Значит, впереди много сложной “правильной” работы — той самой, которая в конце приносит подлинное глубокое удовлетворение.

Советы вкатунам

1. Попробуйте сделать переход в ML внутри компании — даже если сначала вы будете в команде работать над инфрой с опцией брать MLные таски. Это сильно проще. Вы сохраняете доход. Жертвуете скоростью перехода и возможностью застрять в инфре. В Мете у меня не получилось.

2. Если вам, как и мне, проще учиться в коллективе, то магистратура — отличный вариант! Только поступайте в вуз той страны, где хотите потом работать. Мне было бы проще получить стажировку в Лондоне, если бы в CV был не Сколтех, а тот же UCL.

3. Ищите своего научника и начинайте с ним работать как можно раньше. Пожалуй, самое ценное, что я вынес из Сколтеха, — это работа с руководителем лаборатории, Алексеем Зайцевым, и нетворк с другими студентами.

4. Люто нетворкайте. Создавайте ридинг группы, ходите на хакатоны, ботайте вместе в библиотеках. Самые заметные сдвиги в мышлении у меня происходили после общения с одним из PhD-студентов Сколтеха (спасибо, Никита!)

5. По поводу собесов почитайте этот пост. Лучше я не напишу.

6. Попробуйте залететь в одну из рисерч программ.

7. Морально готовьтесь к тому, что вам будут говорить “нет” много-много раз. Будет тяжело. Я думал, что готов, но “прожить” и “думать” оказались фундаментально разными вещами.

8. Ну и удачи! Она вам пригодится!