Почему оценить стоимость датасета не так просто, как кажется на первый взгляд

Представьте, что вы получили заказ на разметку датасета из 1,000 изображений. Вы берете 20 картинок из сета, проводите тесты и получаете примерную стоимость 1 изображения. В итоге вы оцениваете проект, основываясь на количестве изображений, и устанавливаете цену за каждое. Однако, когда данные приходят, оказывается, что на каждом изображении не один объект к разметке, как было на тестах, а десятки! В итоге вы тратите гораздо больше времени и средств, чем планировали в начале.

Как избежать таких распространенных ошибок и защитить свой бизнес от неожиданных затрат и задержек? Давайте обсудим, какие ошибки чаще всего возникают при оценке проектов по сбору и разметке данных для машинного обучения, и на что важно обращать внимание, чтобы гарантировать корректную оценку ваших проектов. Узнайте больше в статье Романа Фёдорова, эксперта в области подготовки датасетов для машинного обучения.

Кто я такой

Меня зовут Фёдоров Роман и в нейробизнесе я успешно пребываю с 2020 года. Свою карьеру тут я начинал маркетологом, но не спеши закрывать статью! В этой должности я проработал меньше полугода, доказав свою полную неэффективность в этой роли, однако там где кончается одна история – начинается другая. На деле я доказал, что гораздо полезнее, как говорится, «в поле». Я убил в себе маркетолога и родил себя управленцем: сначала я на год превратился в проджект-менеджера, а чуть позже позже из-за интереса к процессу преобразился в эффективного операционщика, который постоянно работал с данными, с клиентами, с сотнями исполнителей, создавал инструкции, производил расчеты стоимости проектов, придумывал сложнейшие пайплайны в числе которых всевозможные проекты по созданию датасетов для бизнесов из абсолютно разных сфер. Я помогал создавать датасеты для беспилотников, помогал собирать биометрию тысяч людей, работал с промышленным оборудованием и ездил по разным странам мира, чтобы собрать данные на местах. Я создал бесчисленное количество инструкций и работающих инструментов, и что немаловажно – совершил столь же бесчисленное количество ошибок, из которых постарался извлечь опыт. Суммарное количество проектов, которые я помог успешно закончить перевалило за 500: от маленьких заказов с чеком до 100к рублей, до заказов где количество нулей способно поднять волосы дыбом. Квинтэссенция положительного и негативного опыта, которую я получил в ходе своей деятельности, уверен, будет полезна всем компаниям-поставщикам и энтузиастам, которые трудятся на поле интеграции ИИ в повседневность, а также тех, кто достаточно умен, чтобы извлекать из этого коммерческую выгоду. Отдельным блоком стоит выделить другую целевую аудиторию моих статей – Заказчики. Обещаю, если вы внимательно прочитаете то, о чем я пишу – вы сходу сможете отличать надежных поставщиков от ненадежных, тем самым обеспечив выполнение своих проектов в указанные сроки, а ваши алгоритмы наиболее высоким качеством данных для обучения.

А теперь, приступим к сегодняшней теме – « Почему оценить стоимость датасета не так просто, как кажется на первый взгляд?»

Ошибка начинающего

Т.к. сфера бизнеса у нас специфическая, т.е. продаем мы данные, а не пылесосы, то каждый запрос клиента всегда уникален, а вариантов совершить ошибку – великое множество. При этом в зависимости от типа задачи сбора или разметки меняется тип ошибок, которые можно совершить.

Например, возьмем задачи Computer Vision. К нам приходит клиент и просит разметить на чудесном датасете коровок. Самая частая ошибка – это оценивать задачу изображениями, а не количеством полигонов/ббоксов/тегов/подставь что угодно. В чем проблема данного подхода? К примеру вы выяснили, что картинка клиента стоит 5 рублей. Опустим пока подробности, но вы получили эту стоимость замерив KPI скорости разметки в час. К примеру, ваша ставка 300 рублей в час, следовательно KPI разметки составит 60 картинок в час. 

Итак. Когда вы подписали документы и получили данные с которыми предстоит работать – вам присылают картинки, где не одна корова, как вы планировали изначально, а 60 коров. Таким образом, одна картинка (стоимостью 5 рублей, напомню!) будет размечаться целый час! В итоге такая оценка проекта приведет к тому, что размечать данные будете вы сами, либо никто. Разметчики могут отказаться работать с вами и будут совершенно правы. 

Чтобы защитить себя от этого, привязывайте оплату объемов по работе над датасетом к четким, надежным величинам: полигоны, ббоксы, точки, теги и т.д.

В данном случае было бы правильно выслать клиенту КП не на изображения, а на количество размеченных объектов, в данном случае – полигонов. Таким образом клиент заплатит за каждую размеченную корову, ни больше, ни меньше, а ваши разметчики будут довольны справедливой оплатой труда.

Не удивляйтесь. Такие ошибки совершаются и по сей день, а некоторые крупные компании в тендерных гонках не оставляют иных вариантов, кроме как вписывать стоимость за изображение. В таких случаях советуем включать агента Моссада и вынюхивать всё возможное про продовые изображения, либо, если вариантов нет – закладывать в стоимость картинки возможные риски, параллельно балансируя на волнах своей жадности и неизбежной возможности того, что клиент удивленный ценником больше никогда не захочет с вами общаться.

Критическая роль бесплатных тестов в оценке проекта и защите интересов клиента и бизнеса

Практика бесплатных для клиента датасетов – это то, что поможет вам оценить проект по созданию датасета наилучшим, насколько это возможно, образом. Это спасет вас от бессонных ночей, а клиенту даст уверенность, что вы – это лучший подрядчик в работе над его датасетом.

Компания, которая оценивает проекты разметки и сбора без тестов, либо неопытная, либо слишком самоуверенная, а там где появляется излишек уверенности, так же часто появляются бессонные ночи, выгорания и несправедливая оплата труда разметчиков. При первом приближении тест дает вам:

• Точное понимание трудозатрат на единицу разметки/сбора;

• От трудозатрат считается точная и справедливая экономика проекта;

• В ходе выполнения тестов у вас есть шанс обсудить ключевые для проекта аспекты выполнения разметки.
  *Поверьте, не каждый клиент указывает все важные пункты в своем ТЗ.

Отдельным блоком стоит выделить так называемые  «подводные камни» проекта. Например, в ходе тестов вы можете выяснить что после 20 слоя полигона на 1 картинке инструмент разметки на среднестатистическом компьютере начинает безбожно тормозить, либо что компетенций среднестатистического разметчика для выполнения задачи не хватает – надо искать экспертов.

Для клиента выполненный тест дает следующий ряд ценностей:

• У него складывается представление о том, как будет вестись работа;

• У него складывается впечатление о том, какое качество датасета способна дать компания;

• У вас складываются общие взаимоотношения на этапе выполнения тестов.

В ходе работы над идеальным тестом клиент зачастую выказывает наиболее высокую включенность в калибровку процесса, что дает вам возможность положить начало хорошим трудовым отношениям, где обе стороны процесса преследуют общую цель – выдать максимально хороший датасет, который будет отвечать всем требованиям разработки нейросетей. Далее работа по проекту идет по инерции – вы уже отладили процесс согласований, корректировок и сдачи датасета. Идеальный сценарий, к которому многие компании идут годами – иметь возможность сдавать итоговый датасет без бесконечных итераций правок после сдачи, риск которых возрастает при отсутствии тестов и кратно понижается при их наличии. 

По итогу всего вышесказанного компаниям, предоставляющим услуги разметки и сбора датасетов выгодно взять на себя финансовую нагрузку по выполнению бесплатных тестов: стоимость теста можно заранее закладывать в КП в случае конвертации. Обычно речь идет не более чем от 2-3 тысячах рублей. 

Кроме того, качественный тест увеличивает шанс конверсии. Подробнее об этом в рамках отдельной статьи, а сейчас лишь скажу, что три года назад рынок позволял выдавать разные по качеству наборы данных – сейчас же компании-поставщики соревнуются в качестве выполнения теста: кто лучше, качественнее и эстетичнее выполнил тест, тот и получает заказ. Влияние теста на шанс конверсии нельзя недооценивать. Лично я первым делом при работе в компаниях над заказами разметки и сбора смотрю как выполняются тесты – зачастую процесс создания теста содержит множество недостатков. Исправление недочетов обычно мгновенно дает результат, который выражается в более высокой конверсии.

На что обратить внимание при оценке проекта?

Как говорилось выше, для каждого типа задачи будут свои аспекты, на которые стоит обращать внимание при оценке. Для краткости перечислю основные моменты в формате: тип услуг – на что обращать внимание. Для более подробного обсуждения каждой услуги дождитесь статьи, либо задайте вопрос в комментариях – буду рад ответить. Итак, начнем:

1. Polygon segmentation: привязываем оплату к объектам разметки, а не к изображениям, проверяем работоспособность интерфейса при большом количестве объектов на 1 изображении. Иными словами, надо убедиться что ничего не глючит. Если это не учесть, разметчики на которых вы рассчитываете могут попросту не включиться в задачу, либо быстро потерять к ней интерес. В экспертных проектах, где нужны разметчики обладающие особыми навыками – мы изучаем ставку, за которую готов работать специалист, мотивируем его выполнить тест, смотрим KPI и преобразуем в итоговый ценник для КП. Важно также адекватно оценивать свои возможности привлечь нужное количество разметчиков для проекта;

2. Bbox object detection: идентично полигонам;

3. Audio classification: в таких проектах очень важно поймать «коннект» с Заказчиком, т.к. в такого рода задачах существенную роль играет субъективное восприятие того или иного аудио файла. Ключ к успешной сдаче проекта – синхронизировать восприятие клиента и команды разметки. Привязываем оплату к количеству минут, которые предстоит разметить, а также к трудозатратам минут разметчика на 1 минуту готовой разметки аудио;

4. Text classification: аналогично работе с аудио – синхронизируемся с клиентом. Субъективный фактор играет важную роль;

5. Keypoints and landmarks + LIDAR: при большом количестве точек на 1 изображении – проверяем работоспособность интерфейса. В задачах где надо пространственное мышление, например, когда мы ставим точки в предполагаемом месте наличия целевого размечаемого объекта без прямого визуального контакта – делаем поправку, что подойдет не каждый разметчик. То же самое справедливо и для других задач object detection, где требуется пространственное мышление;

6. HTML classification: не ленимся выполнять полный пайплайн разметки для каждой размечаемой строки. Если проверять ссылку не полностью, велик риск, что итоговое качество датасета не устроит клиента. В процесс разметки закладываем полную проверку ссылок, даже когда итоговая разметка кажется очевидной. Клиент заплатил за каждую строку, он имеет право требовать просмотр каждой строки на 100%, а не на 50% или 30%;

7. Любой сбор с участием респондентов: учитываем побочные траты на реквизит, доставки, почасовую оплату менеджеров сбора, будет плюсом если будут заложены мотивационные акции для респондентов (приведи друга), делаем оплату многоуровневой: А — идеальная оплата; Б — завышенная оплата; С — оплата последнего шанса, на случай если отклик респондентов ниже ожидаемого. Если цена вышла слишком большой, то можно сделать среднее между всеми оплатами и включить итоговый ценник в КП, но так вы повысите риск для компании. Учитывайте время, которое придется потратить на обработку всех респондентов – тут зарыта собака и велик шанс некорректно оценить проект по итоговым срокам выполнения. Детальная проработка пайплайна перед сдачей КП – это правильно, даже если клиент по итогу не согласился с вами работать. Иначе как вы можете выставить КП на то, что не в состоянии собрать? 

8. Любой сбор, который подразумевает парсинг, поиск информации в интернете: критически важна предварительная оценка доступных источников для сбора, а также прогноз о том, сколько получится данных вытащить из источника по ТЗ. Велик шанс, что источники закончатся раньше, чем датасет будет собран. Учитывайте это при оценке проекта сборов.

Вооружившись данными советами вы сможете оценить 80% входящих задач по сбору и разметке датасетов более корректно.

Итоги

В заключение, оценка стоимости датасета — это сложный и многогранный процесс, который требует внимания к деталям и учета множества факторов. Ошибки, которые часто совершаются при оценке проектов могут привести к значительным проблемам как для бизнеса клиента, так и для команды, выполняющей подготовку датасета. Для защиты от этих ошибок важно привязывать оплату к четким величинам, таким как количество полигонов, ббоксов или тегов, а не к изображениям.

Бесплатные тесты являются ключевым инструментом для точной оценки проекта. Они помогают определить трудозатраты, обсудить ключевые аспекты выполнения разметки и выявить потенциальные подводные камни. Для клиента тесты дают представление о том, как будет вестись работа и какое качество данных он получит, что способствует установлению доверительных отношений.

Мои планы

В рамках серии статей, которые я планирую написать, будут следующие темы:

• Почему оценить стоимость датасета не так просто, как кажется на первый взгляд (+ интро-знакомство и обозначить будущий план по публикациям) – ты находишься тут 🙂;

• Как посчитать проект и как защитить свой бизнес от некорректной оценки проекта по работе над датасетом;

• Что влияет на конверсию при общении с клиентом на этапе подготовки КП (спойлер – много всего);

• Вопросы клиентов в ходе работы над заказом;

• Какие виды сбора бывают и в чем их отличия при оценке стоимости (+ подводные камни при оценке);

• Какие виды разметки бывают и в чем их отличия при оценке стоимости (+ подводные камни при оценке);

• Как организовать работу над заказом разметки (какие роли задействованы, от входящей заявки до выполнения и сдачи);

• Как организовать работу над заказом сбора какие роли задействованы, от входящей заявки до выполнения и сдачи);

• Какие разметчики работают лучше всего, как удерживать разметчиков, что мотивирует разметчика;

• Как лучше всего совместить 2 и более задачи разметки в рамках одной команды разметки;

• Инструменты учета и важность учета в заказах разметки и сбора (+ делимся инструментами).

Буду рад если вы зададите вопросы, которые по итогу могут либо вылиться в отдельную статью по теме, либо послужат началом интересного обсуждения в комментариях. Буду также рад обоснованной критике.

Если у вас возникнут вопросы или предложения по сотрудничеству, пишите на мой рабочий почтовый ящик: r.fedorov@neuro-core.ru, либо оставляйте комментарии к посту.

А пока, применяйте полученные знания на практике и достигайте новых высот в интеграции ИИ в ваш бизнес. Удачи!