Арифметика резкого повышения продуктивности: почему «рост на 40%» — это почти всегда неправда?

Почему громкие обещания, касающиеся роста продуктивности труда, чаще всего не дают ожидаемых результатов? Может, что-то сильно не в порядке с теми программными продуктами, применение которых должно приводить к улучшениям? А может — сами числа скрывают какую-то тайну?

Введение: пустые обещания?

За всё то время, что я работаю консультантом и менеджером в сфере, связанной с обработкой данных, я вволю насмотрелся на слайды во время презентаций. Причём, я и сам их показывал, и выступал в роли зрителя. Автор любой уважающей себя презентации что-то кому-то обещает. Часто обещания касаются эффективности или продуктивности труда. Вы, наверное, и сами сталкивались с чем-то подобным:

• Этот инструмент сделает ваших дата-сайентистов продуктивнее на 40%!

• Если вы будете так поступать — затраты времени на устранение ошибок снизятся на 30%. На самом деле — сможете перейти на 6-часовой рабочий день и всё равно всё успевать!

• Благодаря нашему решению вы сможете написать код для двух проектов за то время, за которое раньше успевали сделать всего один. Его применение вдвое сокращает время, необходимое для вывода вашей разработки в продакшн!

Иногда подобные обещания не приводят к реальным результатам просто из-за низкого качества того инструмента, который в них фигурирует. Но почему они, похоже, не выполняются и тогда, когда речь идёт о реально хороших продуктах? Некто может перейти на использование некоей программы, которая ему по-настоящему нравится, но в итоге так и не дождаться обещанных улучшений. Может — цифры, которые показывают в презентациях — это ложь?

Моя степень PhD по математике, похоже, так или иначе, повлияла на всю мою жизнь. И одно из самых серьёзных последствий её получения заключается в том, что мне всегда нужно хорошо понимать то, что именно означают числа. Все те числа, которые упоминались выше, описывают одно и то же, а вот если присмотреться к ним повнимательнее, подумать над ними, то окажется, что они совсем о другом.

Хотя в презентациях о продуктивности, определённо, встречается и настоящая ложь, чаще всего в них можно столкнуться с информацией, вводящей зрителя в заблуждение. При таком подходе к маркетингу исходят из предположения о том, что зритель, которому дают некие цифры, не будет их критически осмысливать. Давайте вместе надо всем этим как следует поразмышляем и посмотрим, что из этого получится.

Ложь, грубая ложь и маркетинг

Так в чём проблема обещаний, касающихся продуктивности?

Главная проблема в том, что заявления касаются оптимизации определённого аспекта некоего процесса, а на самом деле (косвенно) даются обещания относительно общего роста продуктивности.

Рассмотрим простой пример для того чтобы с этим разобраться.

Предположим, вы — крупный игрок из сферы искусственного интеллекта. Недавно вы выпустили продукт, который отлично помогает дата-сайентистам подбирать параметры моделей. Чудно! Первичные опросы указывают на то, что его применение даёт 20% рост продуктивности при решении задачи подбора параметров. Изначально этот факт вы описываете такими словами:

Наш инструмент, применяемый дата-сайентистами, улучшил продуктивность подбора параметров на 20%.

Вы, воодушевлённые столь серьёзным результатом, шлёте свой отчёт маркетинговой команде, а она дорабатывает его, внося в него лишь мелкие правки:

Наш инструмент улучшил подбор параметров модели, сделав дата-сайентистов на 20% продуктивнее.

Вы пожимаете плечами, задумываясь о том, за что вообще платят этим товарищам, если вся их деятельность сводится к тому, чтобы поменять местами несколько слов. На самом же деле они превратили ваш отчёт из «умеренно впечатляющего» в «просто потрясающий».

Почему они это сделали? Поправка, которую они внесли, создаёт у читателя отчёта впечатление о том, что продукт повышает общую продуктивность дата-сайентистов на 20%. А результаты опроса, на самом деле, говорят лишь о продуктивности труда дата-сайентиста во время подбора параметров модели. В чём же разница между этими видами продуктивности?

Дело в том, что дата-сайентист решает множество задач, в число которых входят, кроме прочего, прототипирование, взаимодействие с заинтересованными лицами, координационные встречи. Хотя машинное обучение обычно занимает главное место в ответах дата-сайентистов на вопросы о том, чем именно они занимаются, многие из них тратят лишь примерно 40% времени на решение типичных для них задач. Большой кусок этих 40% приходится на решение проблем с некачественными данными, на настройку конвейеров для обработки данных, на валидацию данных. А подбор параметров модели может занимать лишь 10% от тех 40% времени, которое уходит на подобные задачи. Прибегнув к умножению, выясняем, что это — лишь 4% от общего рабочего времени.

Если дата-сайентист внедрит инструмент, который повышает продуктивность подбора параметров моделей на 20%, это даст экономию общего рабочего времени примерно на 1%. Этого, в масштабах рабочей недели, можно и не заметить. А на самом деле, в начале, когда специалист тратит время на изучение нового инструмента, он даже может столкнуться с падением продуктивности.

Какие из этого можно сделать выводы? Внимательно смотрите на то, что вам обещают:

Наш инструмент улучшил подбор параметров модели, сделав дата-сайентистов на 20% продуктивнее.

Прочитав такое заявление, вполне логично предположить, что общая продуктивность дата-сайентистов выросла на 20%. Но это — лишь одна из интерпретаций подобного текста. Если поспрашивать об этом специалиста по маркетингу, он выкрутится и скажет, что подразумевается рост продуктивности только при подборе параметров модели.

Получается, что специалист отдела маркетинга может сказать одно, а если в его словах будет обнаружено нечто, вводящее в заблуждение, может опереться на что-то другое. Так за что же им платят, этим сотрудникам отдела маркетинга? За то, что они хитро тасуют правильные слова!

Что делать? Обращать внимание на когнитивную нагрузку, а не на продуктивность

В чём истинный смысл разобранного нами примера? Если кто-то должен решать множество различных сложных задач (так обычно и бывает у дата-сайентистов), тогда стремление к росту продуктивности в решении каждой из этих задач не особенно сильно влияет на всю его деятельность.

Не поймите меня превратно. Если у вас появилась возможность без особых затруднений стать на 20% продуктивнее в решении одной из ваших задач — пользуйтесь этой возможностью! Но не ждите, что это повысит общую продуктивность больше, чем на один-два процента.

Что же тогда делать в том случае, если имеется множество различных задач, которые, к тому же, ещё и являются сложными? Тут, в качестве интересующего нас показателя, можно использовать показатель когнитивной нагрузки и стремиться к его снижению, а не к росту продуктивности.

Предположим, компания-конкурент разработала собственный инструмент для подбора параметров моделей. Но вместо того, чтобы ускорять этот процесс, их инструмент нацелен исключительно на снижение когнитивной нагрузки на дата-сайентиста. В результате процесс подготовки модели к работе занимает столько же времени, как и раньше, но, после подбора параметров, специалист чувствует прилив сил и готовность к решению новых задач.

Итоги

Большинство людей, включая меня, не могут работать по 8 часов в день и всё это время бить рекорды. В некоторые из дней у меня бывает что-то около 6 эффективных часов. А иногда возникает такое ощущение, что таких часов всего 2. Если некое задание не вызывает слишком большой когнитивной нагрузки — я могу дольше работать, показывая высокую эффективность. Часто это даёт те же несколько процентов прироста общей продуктивности, но бонусом к этому идёт, так сказать, повышение боевого духа.

В результате, когда в следующий раз кто-нибудь предложит вам «Рост продуктивности на 40%», задайте ему следующие вопросы:

• Какую часть всего рабочего времени затрагивает это улучшение?

• Как предлагаемое улучшение влияет на когнитивную нагрузку? Уменьшает оно её, или увеличивает?