Компания торжественно отчиталась: новой фичей воспользовались десять тысяч раз за месяц. Праздник. Слайд на совете директоров — график вверх и вправо. Продуктовой команде выписали премию. В квартальном письме инвесторам — строчка про «успешное внедрение».
Потом кто-то тихий — обычно это аналитик, которому стало любопытно, — открыл сырые данные и посмотрел не «сколько», а «кто и как». Из десяти тысяч «использований» девять тысяч оказались людьми, которые ткнули кнопку один раз, получили результат, пожали плечами и больше не вернулись. Никогда. Из оставшейся тысячи половина — сотрудники самой компании, которых попросили «потестить», и внутренние демо для тех же директоров.
Знаете, что произошло с отчётом? Ничего. В отчёте осталось «10 000». Слайд не отозвали, премию не пересчитали, строчку инвесторам не поправили. Цифра уже сделала свою работу — всех порадовала. Зачем её трогать.
Я вхожу в чужие компании со стороны и навожу порядок, и эту сцену я видел столько раз, что перестал считать. Меняются названия фич и масштабы, не меняется главное: компании систематически путают активность с ценностью — и делают это не по глупости, а потому что так устроены стимулы. Разберём механику.
Usage — это не ценность. Это активность
«Сколько раз ткнули» и «скольким это было полезно» — два разных числа. Иногда они близки. Чаще — нет. Но мерить первое легко: счётчик событий, готовый график, красиво растёт. А мерить второе трудно и страшно: нужно определить, что такое «полезно», построить когорты, посмотреть возвраты — и рискнуть узнать, что полезно оказалось никому.
Поэтому выбор, что мерить, почти никогда не делается честно. Он делается по принципу наименьшего сопротивления: мерим то, что легко посчитать и что хорошо выглядит на слайде. Usage идеален по обоим пунктам. Так «активность» тихо подменяет «ценность» в отчётах — и через пару кварталов уже никто не помнит, что это разные вещи.
Тест на подмену простой. Спросите у владельца метрики: «а сколько из этих людей пришло во второй раз?» Если в ответ пауза — вы только что нашли театр.
Дальше включается Гудхарт
Пока usage — просто число в аналитике, оно безвредно. Опасным оно становится в момент, когда превращается в цель: когда за него премируют, когда оно стоит в KPI, когда по нему отчитываются наверх.
С этого момента метрику начинают накручивать. Не обязательно злонамеренно — в этом и коварство. Достаточно воткнуть фичу в онбординг, чтобы каждый новый пользователь «воспользовался» ею один раз, — и метрика поползёт вверх сама, без единого обмана. Показать кнопку на главной. Добавить нотификацию. Засчитывать наведение мыши. Каждый шаг по отдельности невинен и даже называется «улучшением discoverability». Сумма шагов — график, который растёт, ничего не означая.
Это закон Гудхарта в дикой природе: как только мера становится целью, она перестаёт быть мерой. В продуктовых метриках он работает безотказно, потому что между «пользой» и «событием в аналитике» всегда есть зазор — и оптимизация утекает в зазор.
Почему «adoption» — самое опасное слово на совете
Потому что оно звучит как результат, а является процессом. «Внедрили», «adoption растёт» — фразы, после которых вопросы обычно заканчиваются. Хотя ровно тут их надо начинать: приняли — и что изменилось? Кто перестал делать по-старому? Что бы сломалось, если выключить?
Опасность в том, что usage-театр обманывает не только совет. Он обманывает саму команду. Люди, которые полгода видят растущий график, искренне верят, что делают нужную вещь. Роадмап строится на «успехе», следующие фичи наследуют логику первой, найм планируется под «растущий продукт». Компания принимает настоящие решения на основе ненастоящей цифры. Вот где убыток — не в премии продуктовой команде, а в годе разработки, направленном туда, где никого нет.
Три вопроса, отличающие ценность от активности
Их стоит задавать про любую метрику «использований», свою или чужую:
Сколько вернулись во второй раз? Ценность возвращается. Активность — нет. Возврат — самый дешёвый прокси пользы: человек, которому помогло, приходит ещё, его не надо заманивать нотификацией. Разрыв между «попробовали» и «вернулись» — это и есть размер театра.
Что эти люди перестали делать по-старому? Настоящая фича что-то замещает: старый процесс, обходной путь, Excel. Если люди «пользуются» новым, но старое живо и здорово — новым не пользуются, его пробуют. Замещение проверяется, и это неудобный вопрос — потому его и не задают.
Кто-нибудь расстроится, если выключить завтра? Самый честный. У ценного продукта есть люди, которые придут ругаться. Если фичу можно выключить и тишина — тишина и есть ответ. Я предлагал этот эксперимент вслух в нескольких компаниях; по лицам в комнате всё понятно ещё до всякого выключения.
Что с этим делать, если метрика — ваша
Не отчитываться голым usage — добавлять к нему возвраты и замещение, даже если их никто не спрашивал. Да, график станет скромнее. Зато решения, принятые по нему, будут стоять на чём-то настоящем.
Не вешать премию на счётчик событий. Любая метрика, к которой привязаны деньги, начнёт накручиваться в течение квартала — не потому что люди жулики, а потому что оптимизация течёт туда, куда смотрят деньги.
И если вы наверху — научитесь слышать слово «adoption» как сигнал копнуть, а не как повод похлопать. Один вопрос «сколько вернулись?» экономит годы разработки в никуда.
Цифра «10 000» из начала этой истории, кстати, дожила до следующего года — её ещё дважды показывали на советах. Фичу тихо выпилили при редизайне. Не расстроился никто.
Я вхожу в чужие инженерки под NDA и навожу порядок — оттого пишу без лица и без названий компаний. Таких историй у меня накопилось на книгу, и я её пишу — по главе выкладываю в Telegram вместе с другими разборами. Ссылка в профиле.
ссылка на оригинал статьи https://habr.com/ru/articles/1054864/