Когда экономика продукта не сходится, команда почти всегда делает одно и то же: смотрит в воронку. Видит, что просела конверсия. Идет чинить эту конверсию: меняет интерфейсы, добавляет мотиваторы. Или видит низкий ретеншн и низкий LTV, экономика не складывается, и начинает пытаться двигать ретеншн с помощью геймификационных механик. Логично, измеримо, под каждый шаг можно подвести цифру.
Меня зовут Александр Козуб, в симптомах вижу систему, об этом и пишу. Ранее я уже разбирал, как лучшие практики сужают рамку продакта, и собирал методики оценки пользователя в одну систему. Сегодня про метрики.
Тезис простой, но неудобный: деньги не могут быть целью продукта. Деньги это запаздывающий отчет о его работе. По отчету нельзя рулить. Кто управляет продуктом по выручке, тот пытается ехать вперед по зеркалам заднего вида.
Сразу уберу легкое прочтение: это не «продукт против денег» и, ни в коем случае, не призыв забыть про экономику. Деньги обязательны, но они приходят последними и уже как результирующий все действия итог. Рулить надо тем, что приходит раньше. А раньше всего приходит ценность для пользователя, и видна она в качественных сигналах, а не в рублях.
Сцена, в которой все при деле, а денег нет
Вернемся к команде из вступления статьи.
Экономика не сходится, низкая конверсия, и команда берется за конверсию. Полгода работы: новые экраны, мотиваторы, прогресс-бары, бонусы за первое действие. Дашборды шевелятся. Локально метрика даже подрастает. Денег больше не становится.
Почему? Потому что если пользователь не покупает и не остается, он не увидел ценности. И причина может лежать вообще не там, где просела метрика. Низкая конверсия это не сама болезнь, это температура, индикатор болезни. Команда полгода сбивала температуру, не разобравшись, что воспалилось.
Это и есть имитационная деятельность. Не лень, не низкая квалификация. Наоборот, усердная, дорогая, хорошо документированная работа, которая не двигает результат, потому что бьет по симптому. Воронка и ретеншн это симптомы. Ценность это система под ними.
Дальше разберем, почему так устроены сами метрики, и чем это лечится. А в конце вернусь к этой сцене и покажу обратный случай из своей практики.
Опережающие и запаздывающие: короткая рамка
Разделение метрик на опережающие и запаздывающие не продукт продуктовой моды последних лет. Его оформили Роберт Каплан и Дейвид Нортон в концепции Balanced Scorecard: статья в Harvard Business Review в 1992 году, книга в 1996-м. Там они противопоставили запаздывающие показатели, то есть финансовые результаты, опережающим, то есть драйверам, которые эти результаты предопределяют.
Запаздывающие метрики фиксируют то, что уже случилось: выручка, LTV, отток. Опережающие предсказывают то, что случится: удовлетворенность, готовность рекомендовать, паттерны вовлечения. Между ними есть связь, но она проходит через несколько колен и почти никогда не бывает прямой.
Дальше держите в голове одну иерархию. Сверху выручка. Ее опережающие это размер аудитории и LTV. Опережающее для LTV это ретеншн. Опережающее для ретеншна это удовлетворенность и лояльность. Чем ниже спускаемся, тем раньше во времени появляется сигнал и тем он качественнее.
Опережающие метрики продукта почти всегда качественные
Вот первое, что важно увидеть. Чем ближе метрика к деньгам, тем она количественнее и тем позже приходит. Чем ближе к пользователю, тем она качественнее и тем раньше приходит.
Удовлетворенность, ощущение ценности, готовность рекомендовать. Это плохо ложится в рубли и поэтому раздражает менеджмент, который привык управлять числами. Но именно это приходит первым. Деньги это эхо этих сигналов, отстающее на недели и месяцы.
Здесь смыкается с системой, которую я разбирал отдельно. Потребность пользователя читается удовлетворенностью. Решенная в контексте задача читается удержанием. Работающий мотив читается вовлеченностью. Это и есть опережающие метрики продукта, разнесенные по слоям. Пересказывать ту систему не буду, кому нужно, посмотрит. Важно одно: опережающий сигнал почти всегда качественный, и попытка слишком рано оцифровать его в деньги убивает сам сигнал.
Почему юнит-экономика слепа: метрика это проекция
Юнит-экономика это мощный инструмент, но это проекция. Она проецирует всю сложность продукта на одну его ось, денежную. Все, что не выражается в деньгах напрямую, при этой проекции теряется.
А ценность для пользователя не одномерна. Она складывается из нескольких слоев: экономического, функционального, эмоционального, и из затрат, которые пользователь несет, чтобы эту ценность получить. Само определение ценности как выгод за вычетом затрат описал еще Зайтамл в 1988 году, и это стало давно консенсусом в маркетинге. Положить эту ценность в разговор с P&L помогает методология Роджера Беста. Моя часть только в том, чтобы связать слои ценности с потребностью, работой и мотивом, и в эту статью я ее тащу не целиком, а ровно настолько, насколько нужно для метрик.
Так вот. Юнит-экономика видит экономический слой и слепа к функциональному и эмоциональному. Это исключительно финансовая оптика.
Но и обратное верно. Возьмем поведенческие фреймворки вроде HEART от Google. Они видят счастье и успешность сценариев, то есть эмоцию и функцию, и при этом слепы к экономике и к деньгам. Это поведенческая оптика.
Получается симметрия, которую стоит проговорить вслух: каждый одноглазый фреймворк слеп ровно там, где видит соседний. Полную картину не держит ни юнит-экономика, ни HEART. Ее держит только модель ценности, потому что в ней все слои собраны вместе.
Отсюда вывод, ради которого все писалось. Дерево метрик и HEART это проекции пространства ценности на ось денег и на ось поведения. Любая проекция теряет измерения. А управление по проекции это управление по неполной информации. И тогда хак симптома это не ошибка отдельной команды, а следствие самой оптики. Если вы смотрите на продукт через одну проекцию, вы по построению будете чинить то, что в ней видно, а не то, что сломалось.
Что происходит, когда цель ставят на деньги
Менеджмент любит ставить цели прямо на запаздывающую метрику. На выручку, на LTV, на cross-sell. Это понятно: деньги это то, ради чего все затевается. Но как только цель ставится на запаздывающий показатель, включается закон Гудхарта.
Чарльз Гудхарт сформулировал его в 1975 году: когда статистический показатель становится целью, он перестает быть хорошим показателем. Люди начинают двигать не реальность, а ее отражение в метрике.
Классическая иллюстрация это советская промышленность. Когда план по гвоздям давали в тоннах, заводы делали сверхтяжелые гвозди. Когда давали в штуках, делали миллионы микроскопических. Метрика выполнялась идеально, а реальных гвоздей не было.
И отдельный случай, про корреляцию, которую приняли за причинность. eBay годами покупал платную рекламу по брендовым запросам, видя корреляцию между рекламой и продажами. Полевой эксперимент Блейка, Носко и Таделиса (Econometrica, 2015) показал: при отключении этой рекламы почти весь трафик просто перетек в органику, а возврат на инвестиции оказался отрицательным. Команда годами оптимизировала метрику, которая коррелировала с продажами, но их не порождала.
Во всех случаях работает одно. Цель на запаздывающий результат рождает имитацию, потому что хакнуть отражение всегда дешевле, чем создать реальность за ним.
Деньги отстают: временной лаг
Есть и чисто физическая причина, по которой рулить по деньгам нельзя. Они приходят с задержкой, и задержка эта зачастую весьма большая.
В B2B SaaS поведенческий сигнал, например падение частоты сессий, виден за недели, а расторжение контракта и падение выручки приходят через месяцы, а полная окупаемость привлечения растягивается на год-полтора. На товарных маркетплейсах от визита до сделки дни, а лояльность отстает на месяцы, а LTV на полгода и больше. В медиа доход от показа признается мгновенно, а влияние на продажи живет в атрибуционном окне в недели. В кредитном финтехе поведенческий сигнал виден сразу, доход течет месяцами, а убытки от дефолта отстают на месяцы и кварталы, создавая иллюзию высокой маржи в ранние периоды.
Вывод из этого ровно один. Если вы ждете, пока ценность или ее отсутствие проявятся в деньгах, то вы реагируете на полгода позже, чем нужно. К моменту, когда цифра в P&L изменилась, решение надо было принять давно. Управлять можно только опережающим сигналом, потому что только он приходит вовремя.
Дерево, пирамида и почему оба не видят ценность
Метрики обычно организуют одним из двух способов, и спор между ними идет постоянно.
Дерево метрик выросло из идеи North Star: одну ведущую метрику раскладывают на драйверы, те на субдрайверы, вплоть до тактических рычагов, сохраняя математическую связь между уровнями (Эллис и Браун, Hacking Growth, 2017; Amplitude, The North Star Playbook, 2020). Дерево сильно в каузальной операционализации: из уравнения видно, за какой рычаг тянуть, и кто за него отвечает. Ломается оно на межфункциональных конфликтах. Команда роста, оптимизируя конверсию, может убить удержание, и дерево этого не схватит без специальных противовесов. Так Uber в 2015 и 2016 годах гнался за числом поездок и выдавливал водителей низкими тарифами, разрушая экосистему ради метрики транзакций.
Пирамида метрик это потомок того же Balanced Scorecard: бизнес-результат раскладывается на функциональные слои, финансы, клиенты, процессы, развитие. Сюда же относится HEART от Google (Родден и коллеги, CHI 2010), который раскладывает пользовательский опыт по слоям. Пирамида хорошо защищает от однобокой оптимизации, потому что держит баланс перспектив. Слаба она в обратном: исследование Иттнера и Ларкера (HBR, 2003) показало, что компании с BSC не обгоняют конкурентов, если не выстроена явная причинная связь от нижних слоев к деньгам. Пирамида говорит, что мерить, но не говорит, что делать.
Можно совместить, и это работает, но не само собой. Гибрид это стратегическая карта Каплана и Нортона: дерево, разнесенное по слоям пирамиды. Так была устроена модель Spotify, где команды держали метрику-драйвер, а уровень выше держал сбалансированный набор показателей здоровья. У тех, кто копировал это поверхностно, получался красивый слайд: несвязанные метрики висели на дашборде и ничем не управляли.
Но вот что важно для нашего разговора: и дерево, и пирамида это всего лишь два способа разложить проекцию. Дерево раскладывает денежную проекцию по каузальной цепочке. Пирамида раскладывает ее по слоям. Ни то ни другое не показывает, какой слой ценности под метрикой треснул. Вы можете построить идеальное дерево и аккуратную пирамиду и все равно чинить симптом, потому что обе схемы живут над ценностью, а не внутри нее.
Кейс: как мы вырезали тридцать процентов продукта и ничего не сломалось
В одном из продуктов мы провели полный аудит функционала. Отскорили все фичи и через ухудшающие тесты проверили вклад каждой в реальные метрики. Ухудшающий тест это когда ты не добавляешь, а убираешь или ослабляешь функцию и смотришь, изменилось ли что-нибудь.
По итогам мы вырезали около тридцати процентов всего функционала.
Дальше самое интересное. Пользователи не почувствовали негатива. Оттока не было. Основные поведенческие показатели сохранились. Денежные тоже.
Получается, что мы на самом деле вырезали заплатки. Тот самый слой, который годами нарастал в ходе симптоматического лечения: локальные доработки под просевшую метрику, мотиваторы поверх непонятой проблемы, костыли под частные случаи. Каждая из этих фич когда-то добавлялась как осмысленная работа под конкретную цифру. В сумме они не несли ценности, и продукт, лишившись их, даже не заметил.
Я не выдаю это за контролируемое доказательство теоремы. Это косвенное подтверждение, и я честно его так и называю, но оно показывает то, ради чего затевалась вся статья. Симптоматическая работа, которая выглядела как развитие продукта, была измеримо пустой. А держали продукт не заплатки, а закрытая потребность и решенная ключевая задача пользователя. Мотивы и мета-сценарии идут уже после.
Отсюда практический разворот первой сцены. Если экономика не сходится и надо что-то чинить, не бросайтесь на просевший узел воронки. Сначала вычлените потребность и ключевую задачу и проверьте, решены ли они. Узел будете тюнить потом, и совсем по-другому.
Что с этим делать в понедельник
Не ставьте цель на запаздывающую денежную метрику. Цель на деньги порождает имитацию по Гудхарту. Ставьте цель на опережающий сигнал ценности, на удовлетворенность, на решенность задачи, на готовность рекомендовать. И каждый раз заново простраивайте мост от этого сигнала к деньгам юнит-экономики, не считая мост построенным навсегда.
Это не делает экономику менее важной, а меняет точку приложения усилия. Деньги остаются способом проверить, что мост стоит. Целью становится ценность, которая по этому мосту течет.
Где это не работает
Честная остановка, без которой статья была бы проповедью.
Опережающие метрики тоже подводят, и здесь свои ловушки. Метрики тщеславия: рост регистраций и показов, который не превращается в удержание, создает иллюзию масштаба. Или корреляционный порог активации, который превращают в догму и через который начинают силой проталкивать пользователя, ухудшая при этом первый опыт. Переобучение на прокси: оптимизация краткосрочного индекса, который перестает транслироваться в целевую переменную. Качественный сигнал не индульгенция, его так же легко превратить в фальшивку, как и денежный.
И второе, принципиальное. Все, что здесь описано, это линза, а не формула. Она не считает за вас, на сколько именно вырастет удержание, и не заменяет discovery, кастдев и работу с данными. Она убирает один конкретный класс ошибок: лечение симптома вместо системы. Что делать дальше, по-прежнему решаете вы. Серебряной пули тут нет, и было бы странно искать ее в статье, которая написана против поиска серебряных пуль.
Метрика это проекция. Деньги это запаздывающий отчет. А ценность это то, что отбрасывает и проекцию, и отчет. Смотреть надо на нее.
Александр Козуб. CPO в финтехе. В симптомах вижу систему.
ссылка на оригинал статьи https://habr.com/ru/articles/1050472/