Как мы обучаем коллег исследованиям: подход ecom.tech

Привет! Меня зовут Костя Коваленко, я руководитель отдела продуктовых исследований в ecom.tech. Мы разрабатываем ИТ для ритейла реального времени, на наших технологиях работают Самокат и Мегамаркет. Последние 2,5 года я развиваю практику и отдел исследований в компании. 

С самого начала существования отдела продуктовых команд и синтезируемых ими гипотез по доработке / разработке продуктов было больше, чем ресурсов исследователей. Мы, как компания, стремимся протестировать любое решение прежде чем реализовать его, и запрос на тесты всегда больше количества тестов, которые могут провести исследователи. Поэтому команда исследователей ecom.tech давно работает над передачей своих знаний дизайнерам, аналитикам, продактам и другим ролям в компании и развиваем подходы к обучению. 

В статье поделюсь опытом о том, какие методы обучения исследованиям мы применяли, зачем это делали, какие допустили ошибки и к чему пришли.

Подход первый — вебинары и ревью

Сейчас в нашем отделе больше 40 человек, а 3 года назад в компании было всего два исследователя — но и компания была гораздо меньше. Вместе с ростом и продуктовым развитием компании росло и количество исследователей. Несмотря на то, что мы постоянно росли, мы никак не успевали исследовать все, где нужно было проверить продуктовую гипотезу, поэтому с самого начала в компании активно проводили исследования продуктовые дизайнеры и аналитики.

Несмотря на то, что многие дизайнеры обладали высокими исследовательскими компетенциями, особенно в области юзабилити-тестов, мы видели, что некоторым не хватает теоретической базы и практического опыта, который есть у исследователей. Поэтому мы консультировали дизайнеров и аналитиков при выборе метода, составлении дизайна исследования и гайда, делились шаблонами, фреймворками и сопровождали их во время тестов и интервью.

Мы заметили, что часто делимся одним и тем же контентом с разными коллегами, поэтому начали проводить вебинары по глубинным интервью и модерируемым юзабитилити-тестам. Эти вебинары состояли из теоретической части, практических советов, мемов и интерактива. Чем больше таких вебинаров мы проводили, тем больше хотелось предоставить информации, рассказать про разные аспекты, чуть углубиться. Однако такого формата было мало, потому что полноценно обучить методу и внедрить практику в полуторачасовое занятие невозможно, так что назревало понимание, что нам нужно сделать более комплексное обучение. Исследователей тогда было меньше десяти и успевать получалось примерно один вебинар в месяц, ну а ревью шли почти безостановочно. Вдобавок, заинтересованных в обучении сотрудников становилось все больше, и проводить для всех вебинары мы не успевали.

Подход второй — полноценный курс

Продуктов и продуктовых менеджеров в компании становилось все больше, в каждой команде появлялась своя специфика. Мы много общались с продуктовыми командами и видели, что большинство дизайнеров, продактов и аналитиков понимают ценность исследований и пытаются их применять, но рук исследователей не хватало, чтобы помочь всем, при этом опыта самостоятельных проведений исследований у коллег не было. То есть, темп роста команды исследователей все еще не поспевал за ростом количества продуктов и data-driven политикой принятия продуктовых решений. 

Мы поняли, что запрос на исследования все еще сильно больше, чем наши ресурсы, а локальные обучения помогают только на небольшом участке. Тогда в команде было меньше 10 человек. Мы провели несколько сессий брейншторминга и осознали, что почти каждый из нас имеет опыт преподавания, упаковки своих знаний в образовательные продукты и обладает большой теоретико-практической базой исследований. При этом у нас есть множество людей с запросом на обучение, которые готовы погружаться, учиться и осваивать исследования. Решили, что будем передавать знания оптом и сделаем полноценный образовательный курс, посвященный исследованиям.

Разработка и реализация курса

Определили целевую аудиторию курса. Сначала предстояло решить, кого именно мы будем обучать. Решили набирать тех, кто проводит исследования, но ощущает недостаток знаний или не проводит, но хочет. Список таких людей мы получили, во-первых, вспомнив, кто приходил к нам с запросом на помощь, во-вторых, обратившись к лидам дизайна. Больше всего в списке обучающихся оказалось продуктовых дизайнеров, но были дизайнеры и из других направлений, аналитики, копирайтеры, рекрутеры респондентов и продуктовые менеджеры. Список все пополнялся, и когда количество записавшихся достигло 60, мы закончили набор. Эти 60 человек стали студентами первого потока нашего курса (и, спойлер, последнего в таком формате).

Выявили потребности и контекст. На весь поток мы запустили опрос, чтобы понять, какие методы люди применяют уже сейчас, с какими сталкиваются проблемами в процессе исследований, каких знаний не хватает и какие вообще у них есть сформулирванные запросы. Оказалось, что интервью и модерируемые ЮТ уже проводит большая часть людей, а самым востребованным для изучения методом стал количественный опрос. Самой актуальной проблемой/вопросом было составление гипотез и понимание, когда вообще их нужно формировать.

Создали план обучения. Как видно на картинке выше, создавая план обучения мы опирались, во-первых, на результаты этого опроса и другой контекст компании, во-вторых, на наше экспертное мнение. Например, мы видели запрос на обучение немодерируемым юзабитили-тестам, но решили, что сначала мы сфокусируемся на модерируемых и других методах, а немодерируемые, как более сложный и неконтролируемый тип теста, пока трогать не будем.

Собрали рабочую группу и продумали детали. Финальный план обучения получился таким — 5 тем, за каждой прикреплены 1-2 исследователя, которые создают учебный контент, проводят занятия и проверяют домашние задания. В каждой теме от 1 до 4 уроков. Урок — это созвон на 1,5–2 часа с теоретическим рассказом и интерактивов. После каждого урока домашнее задание, которое студенты делают в группах по 4 человека на рабочих задачах. Занятие, следующее за домашним заданием, начинается с того, что исследователь дает обратную связь на домашки. Есть чат, в котором студенты могут задавать вопросы касательно обучения и домашних заданий.

В первом блоке, введении, мы погружали в тему исследований в целом, объясняли ценность исследований для бизнеса и делились советами, как доносить эту ценность до коллег, с какими возражениями можно столкнуться и как их парировать.

Второй блок посвящен выбору методологии исследования и формированию гипотез.

Блоки про глубинные интервью и модерируемые ЮТ посвящены целиком этим методам. В них мы рассказывали, в каких случаях и зачем использовать метод, как проводить брифинг и правильно заполнять бриф, как составлять дизайн исследования, формировать выборку, проведить собственно само исследование, как анализировать и интерпретировать полученные данные, делились классическими и кастомные фреймворами для представления результатов исследования.

В блоке про опросы мы на самом деле вещали не столько об опросах, сколько в целом о количественных исследованиях и различных метриках. Например, про метриках юзабилити. Обращали внимание, что в количественных исследованиях много тонкостей и возможностей допустить ошибку, искажающую результаты, и поэтому лучше всего за количественным исследованием обращаться к исследователю.

Оценивать эффективность курса мы решили тремя паралелльными способами:

1. У дизайнеров, как и у исследователей, есть матрица компетенций, по которой коллеги оценивают сотрудника. В матрице компетенций продуктовых дизайнеров, которые были основной аудиторией обучения, есть отдельный раздел оценок, посвященный исследованиям. Исходная волна оценок прошла перед обучением, а закрывающая была запланирована через пару месяцев после него. То есть первый критерий измерения эффективности курса — изменения исследовательских навыков дизайнеров, прошедших курс. 

2. Перед началом обучения мы запустили тест, в котором студентам нужно было определить правильно составленную гипотезу, размер выборки, метод исследования и так далее. То есть сделали срез уровня знаний. Похожий срез запустили после завершения курса — и сравнили результаты. 

3. Последний критерий — опрос на всех студентов для получения субъективной оценки самими учащимися каждого урока — насколько был понятен и усваиваем материал, его практическая польза. То есть что-то вроде декомпозированного CSI. Такие опросы мы проводили после каждого урока и внимательно изучали результаты, чтобы понять, что можно улучшить на ходу, не дожидаясь завершения обучения.

Шишки

Сложности и проблемы, с которыми мы столкнулись при создании и проведении курса:

1. Отполированность материала и следование плану.
   Первую лекцию, вводную, проводил я. Казалось бы – что могло пойти не так: у меня был хоть и небольшой, но опыт публичных выступлений и преподавания, а презентация была отрепетирована заранее с тестовой группой. Но когда в зум-комнату зашло 50 коллег, заряженных на обучение исследованиям, я впал в некий профессиональный романтизм. Каждый слайд перезентации мне хотелось раскрыть и углубить словами на несколько уровней, я озвучивал множество деталей и нюансов, которые изначально рассказывать не планировал. Из-за этого я ужасно нарушил тайминги и затянул занятие на 40 минут. На некоторых слайдах я показывал материал, который в припадке энтузиазма уже рассказал в предыдущих частях, и мне приходилось либо дублироваться, либо пытаться быстро и рвано озвучить то, что представляло ценность. Да и самого материала оказалось слишком много для запланированного тайминга. Все это вызвало у части студентов фрустрацию и недовольство подачей материала.

   Однако, благодаря опросу после урока, мы сразу отловили этот негатив. Мы договорились, что далее мы внимательно следим за таймингом и заготовленным материалом на каждом слайде и придерживаемся плана. Также стало понятно, что на этапе подготовки и теста выступления нужно критичнее смотреть на материал и срезать все, что можно срезать без драматических последствий. Благодаря этому последующие презентации в основном укладывались в тайминг, стали более структурированными и понятными. 

2. Сложность и академичность.
   В одном из следующих уроков мы решили чуть погрузить студентов в социологию и статистику. Некоторые наши исследователи имеют мощный научный бэкграунд и в этом уроке мы пытались передать немного этих знаний. На самом уроке студенты задавали слишком много похожих вопросов, а опрос после показал, что студентам было трудно усвоить информацию такой глубины.

   Однако попытка передать больше теоретических деталей удлиняет материал, а передать всю полноту знаний в рамках 3-месячного курса невозможно. Оказалось, что некоторые вещи, которые мы включали в рассказ, самими студентами воспринимались как неприменимые на практике и избыточные. Понятно, что эти знания помогают провести исследование правильно и понять, почему именно это правильно. И все же если речь идет о коротком курсе, то важно сократить материалы до тех, которые имеют наибольшее практическое значение и могут быть полезны в ежедневной работе. Так мы и поступили.

3. Потеря мотивации студентами.
   Курс длился три месяца. На первых занятиях присутствовали почти все записавшиеся 50 человек. Однако с каждым занятием посещающих становилось все меньше: кто-то пропускал отдельные занятия, а кто-то переставал ходить вовсе. На последних занятиях присутствовало в среднем 20 человек. Конверсия в 40% окончивших курс от начавших – отличный показатель, когда речь идет о платных онлайн образовательных продуктах, но все же нашей целью было обучить как можно больше коллег. 

   Такой же спад случился и с активностью студентов – с течением курса все меньше посещающих включали камеры, задавали вопросы и отвечали на опросы после. Из-за этого мы даже не смогли понять удовлетворенность финальными занятиями и сравнение уровня знаний до и после курса. Из этого можно сделать вывод, что чем дольше длится обучение, тем менее активно люди будут посещать и участвовать в обучении. А это в свою очередь снижает результативность обучения (ведь смысл курса именно в массовом обучении) и мотивацию преподающих. 

4. Затраты огромных ресурсов.
   Все предварительные шторминги и обсуждения, создание всех аспектов плана, его реализация, подготовка материлов, их прогон, проведение самих уроков (они проходили в рабочее время), проверки домашек, ответы в чатах, проведение и обработка опросов после. Все это в совокупности превратилось в очень много часов, которые мы могли бы направить на проведение собственно исследований.

   Важно понимать, что человеко-часы исследователей — лишь часть потраченных ресурсов. 60 записанных студентов, часть из которых дошла до конца, а часть — подключалась и отключалась на протяжении обучения — это тоже сотрудники, которые ходили и слушали теорию, а потом делали домашки вместо работы. Обучение повысило компетенции десятков сотрудников и до сих пор приносит пользу (об этом позже). И тем не менее, мы не до конца уверены, что эти затраты полностью окупились.

5. И главное — неполное решение проблемы.
   Несмотря на частичное достижение цели курса, мы не решили основную проблему, которую хотели — недостаток ресурсов для проведения всех необходимых исследований. Мы научили небольшую часть коллег неплохо проводить юзабилити-тесты и интервью, но даже те, кто прошел курс до конца, не смог освоить эти навыки на том же уровне, что опытный исследователь. И это совершенно логично, ведь для полного освоения навыка 3 месяца — слишком короткий срок, большинство исследователей и некоторые опытные дизайнеры проводят годы фултайм работы, оттачивая эти навыки, и попытка передать все эти знания за месяцы — утопия.

   Если же говорить о количественных опросах, немодерируемых тестах и других количественных методах, а также сложных качественных методах вроде фокус-групп и триангуляции всего этого, то тут на целесообразность обучения можно посмотреть под двумя углами. С одной стороны, попытка обучить этому коллег может принести больше вреда чем пользы. Передать достаточный уровень знаний, чтобы человек мог удовлетворительно провести такое исследование, достаточно сложно, но из-за самого факта обучения и получения фрагментов знания у обучающегося может сложиться представление, что он обладает достаточным уровнем экспертизы. До попытки обучения такой сотрудник бы пошел к более опытному коллеге, и они вместе провели исследование или отложили отложили бы его в бэклог. В худшем случае продуктовое решение могло быть принято вообще без исследования, но зато с пониманием, что это решение не основано на фактах, и нужно как можно скорее его проверить.

С другой стороны, в большинстве случаев человек, который хочет проверить гипотезу, вынужден это делать, даже если он не умеет, а рядом нет опытного коллеги, готового подхватить. В таком случае исследование так или иначе произойдет — и тогда любой объем знаний, который можно передать сотруднику, будет лучше, чем вообще ничего.

Положительные последствия обучения

Из текста выше может показаться, что идея оказалась со всех сторон провальной, но это не так: на самом деле курса принес и ощутимые плюсы.

1. Повышение исследовательских компетенций коллег.
   Около 60 сотрудников компании за 3 месяца повысили свои знания и навыки, связанные с исследованиями. Даже те, кто посетил пару занятий, лучше понял, что такое исследования и как вообще к ним подступиться. Это повышает ценность исследований в компании и помогает аргументировать, почему нужно провести исследование, даже когда отдельным членам команды может казаться, что исследование излишне. Те дизайнеры, которые и так неплохо исследовали, смогли подчерпнуть для себя что-то новое и интересное, а потом передать своим коллегам. А там, куда исследователи не дотягиваются своими ресурсами, люди начали исследовать качественнее. Чем больше исследовательские компетенции в компании, тем лучше и больше будет проверено гипотез. А чем лучше проверяются гипотезы, тем лучше мы делаем продукты, что в конечном счете положительно влияет на бизнес.

2. Разгрузка исследователей.
   Конечно, мы инвестировали много часов исследователей в курс, но зато после обучения десятки людей смогли самостоятельно проводить исследования, даже если и допускали некоторые ошибки. После курса мы поняли, что есть дизайнеры, которые отлично умеют проводить исследования и когда исследователю одновременно нужно сделать больше одной задачи, он может со спокойной совестью оставить одну из них дизайнеру, понимая, что тот справится сам. Там, где раньше исследователю нужно было провести 3 исследования друг за другом, теперь он может проводить одно, а по двум другим просто дать дизайнеру консультацию или ревью. Однако не стоит переоценивать этот эффект — после курса мы поняли, что все-таки обучением охватить все продукты у нас не получится и мощно интенсифицировали найм, но это уже совсем другая история.

3. Опыт и командная работа.
   Нет лучше тимбилдинга, чем совместное решение рабочих задач. Эта задача была большой, сложной, нетривиальной и даже колумбовой (никто из нас раньше не делал полноценный учебный курс в рамках компании). Мы постоянно сталкивались с массой вопросов и проблем и вместе решали их, поддерживая и заботясь друг о друге. Трудно представить команду более подходящую, чем ту, что была у нас, для решения такого масштаба задачи. После такого смотришь на коллег и радуешься, что тебя окружают настолько классные и надежные люди. Желаю каждому быть частью такой прекрасной команды.

4. У нас появилась Годзилла!

Подход третий. Мини-курсы + Годзилла + вебинары

Весь курс был записан, а потом аккуратно сложен в папочки и опубликован в нашей базе знаний.  Также мы перенесли его на корпоративный портал, где собраны различные обучающие материалы. С завершения курса прошло больше года и до сих случается, что к некоторым исследователям, которые его записывали, подходят коллеги в офисе или на корпоративе и благодарят за это. То есть за этим курсом тянется шлейф просмотров и обучений, который уже не требует нашего вмешательства – курс может посмотреть любой сотрудник компании. Лиды дизайна иногда ставят новым дизайнерам задачу изучить этот курс, а еще его смотрят сотрудники, которые до того с исследованиями не были знакомы или были, но хотят глубже. Также мы направляем на изучение курса исследователей-стажеров и рекрутеров респондентов, то есть он стал еще и элементом онбординга. А так как курс огромный и вообще это — самое масштабное, что мы делали на эту тему, иногда между собой мы называем его Годзиллой. Формат предзаписанных видео имеет свои слабости — отсутствие домашек и обратной связи, например. Но вкупе с тем, что он уже записан и не требует дополнительного включения больше на него не надо тратить ресурсы, получается неплохая штука.

Пока что мы обкатываем новый формат — мини-курсы. Это такой же по сути курс, но гораздо короче. Прошла у нас волна найма дизайнеров — берем 20 человек плюс-минус схожего уровня компетенций и обучаем одному конкретному, наиболее востребованному сейчас методу — модерируемым ЮТ, например. Или поняли, что большая группа бизнес-аналитиков проводит глубинные интервью — проводим курс про глубинки конкретно для них. Такой формат съедает меньше ресурсов, мы обучаем конкретные группы сотрудников конкретным методам, которые им необходимы, учащиеся не успевают перегореть, не получают лишнюю информацию. Сплошные плюсы!

И, конечно же, в нашем обучающем чемоданчике инструментов остались старые добрые вебинары, когда мы собираем людей и быстро, за одну встречу, рассказываем им самые ключевые вещи. Такое бывает полезно, когда у людей уже есть опыт, но они хотят чуть углубить или освежить знания.

Получается, что на текущий момент в нашем распоряжении три метода передачи знаний — Годзилла, которой можно поделиться с любым, кто не имеет опыта исследований; мини-курсы, которые мы проводим для решения конкретных, самых приоритетных для бизнеса задач на короткой дистанции; вебинары и остальные малые форматы вроде консультаций, передачи шаблонов ЮТ и глубинок, а также ревью исследования. 

Мы ведем бэклог обучений — это таблица, в которой каждая команда может оставить свою заявку на обучение. Для этого надо указать, какой метод команда хочет освоить, когда и как это поможет команде и бизнесу в целом. Потом мы смотрим на этот список и думаем, каким форматом, кто и когда сможет этот запрос закрыть.

Заключение 

За 2.5 года наша команда выросла в 10 раз, мы провели десятки обучений различных форматов, обучив и передав знания где-то 200 коллегам. Наши опыты создания и проведения различных форматов обучения показали, что любая передача знаний – это хорошо, потому что поднимает компетенции коллег других ролей и в целом повышает исследовательскую культуру в компании. Однако важно найти баланс между затратами на обучение и его эффектом. 

Наша команда совершенно не умеет (и не хочет) довольствоваться тем, что есть. Что бы мы ни сделали, мы постоянно находим точки роста, пограничные ситуации, слабые стороны и думаем, как можно сделать лучше. Так же у нас получилось и с обучением — сколько мы ни пробуем разные форматы, нам кажется, что можно еще лучше. Начали мы с вебинаров и ревью, посмотрели, как это работает, как можно попробовать по-другому — и запустили курс. Провели курс, поняли, что это не панацея — решили попробовать совместить с другими форматами обучений. Теперь все эти форматы комбинируем и применяем в зависимости от ситуации и целевой аудитории. И одновременно с этим анализируем имеющийся опыт, проблемы и плюсы каждого из методов обучения, думаем, как стандартизировать наши обучения или, быть может, придумать еще какой-нибудь формат.

Еще мы не любим работать над тем, что не приносит пользу или что можно не делать, поэтому мы стараемся максимально переиспользовать все, что мы делаем — записываем видео, сохраняем ссылки, структурируем и отсылаем на эти материалы. Такой подход позволяет экономить массу времени и не делать одно и то же несколько раз.

Конкретно в нашем случае получилось примерно понять, какое обучение когда использовать, но то наша компания, наши процессы, наши дизайнеры и весь остальной контекст. В вашей команде и компании может оказаться, что все работает совершенно иначе и все же наш опыт может быть оказаться вам полезен, чему я был бы очень рад.

Рассказывайте в комментариях к статье, как процесс обучения устроен у вас в компании?