Как прошел первый учебный год Data Mining Track

5 октября лаборатория интеллектуального анализа данных Data Mining Labs запускает новый семестр обучения. Что это такое, как туда попасть и какие возможности получают студенты — добро пожаловать под кат.

Идея запуска нашей программы возникла из желания создать полноценный курс, который позволял бы, с одной стороны, понять как и для чего используются методы data mining, а с другой — как применять их на практике. В феврале 2013 года мы запустили пилотную версию такого проекта, названного нами Data Mining track, на базе программы GameChangers (Санкт-Петербург). Для участия в программе нам удалось привлечь экспертов из крупных компаний (IBM, EMC, Siemens, Yandex и пр.) и представителей университетов Санкт-Петербурга.

В результате у нас выступило 19 экспертов, в том числе из США (Microsoft, Denver) и Германии (институт робототехники fortiss при Техническом университете Мюнхена).

Курс был основан на занятиях с экспертами из различных индустрий (лекции, круглые столы и домашние задания), интенсивной командной работе, индивидуальных квестах и проектах.

Представители компаний рассказывали про свой опыт анализа данных и построения решений на основе Big Data. Например, эксперты из Siemens вели занятие по анализу сигналов для обслуживания безопасности дамб и электрических сетей, Yandex — технологии поиска, Yota Bank — скоринговым алгоритмам, HP Labs — распознаванию образов и т.д.

В качестве квестов ребята в том числе готовили статьи для Хабра по задачам, которыми они занимались в рамках домашней работы: препроцессинг скоринговых данных и решение задачи по распознаванию рукописных образов с использованием Python и scikit.

На этапе командной работы мы разделили ребят на 2 группы и дали каждой тему проекта и ТЗ сроком выполнения на один месяц. Мы моделировали ситуацию работы с капризным заказчиком, который очень криво ставил задачи и периодически не выходил на связь. С таким стрессовым заданием студентам помогали справиться опытные тех.лиды из компании Netrika и Yandex.

В итоге студентами были выполнены 2 командных проекта:
1. Анализ компании на предмет выявления ключевых персон, которые способны «привести» команду или группу людей. Проект был основан на анализе профилей пользователей соц. сети Мой Круг.
2. Разработка системы распознавания реальных аккаунтов конкретных людей в Twitter.

Выполнение выпускной работы являлось последней частью обучения. Сначала студенты представляли темы своих исследований перед экспертами, которые давали обратную связь по поводу адекватности и актуальности задачи. После этого некоторые эксперты пожелали стать менторами и курировать подготовку выпускной работы нашего студента. Среди интересных тем исследований отдельного внимания заслуживают проект прогнозирования паттернов поведения пользователя ВКонтакте (об этом проекте мы напишем отдельную статью) и создание модели прогнозирования банкротства предприятий.

Во многом этот год был экспериментальным (мы издевались над студентами и они над нами как могли)), но он помог нам пересмотреть всю систему обучения в целом: сейчас выделили отдельно курсы по Big Data, Machine Learning, R; хотим протестировать геймификацию (об этом также можем подготовить отдельную статью); пересмотрели ролевую модель в классе и пр.

Сейчас у нас активно идет набор на новый учебный год в рамках уже самостоятельной программы Data Mining Labs.
Если тема нашей образовательной программы интересна хабрсообществу, то мы будем рады и дальше расскрывать детали прошедшего года обучения и делиться новостями о нынешнем курсе.
Как авторы любого начинания, мы хотим услышать комментарии по программе и советы более опытных коллег. Пожелания и конструктивная критика принимаются и приветствуются!