Как мы размечали более 800 часов аудио: от бытовых диалогов до шумных медицинских записей

Многим может показаться, что может быть сложного в аудиоразметке? Надел наушники, включил запись — и вперед, переписывай все, что слышишь. Но, как показал этот проект, даже такая на первый взгляд стандартная задача превращается в настоящее испытание, когда дело доходит до сотен часов сложных записей с медицинских устройств и фоновым шумом.

Рассказываем, как нам удалось не только качественно обработать более 800 часов аудио, но и выстроить процесс так, чтобы он оставался эффективным и прозрачным даже в самых сложных условиях.

Задача: научить нейросеть понимать речь в любых условиях

Клиент обратился к нам с амбициозным запросом — подготовить большой датасет для обучения модели распознавания речи. Всего — более 800 часов аудио, которые делились на два типа:

• Легкие записи — 480 часов бытовых диалогов с чистым звуком и минимальными шумами.

• Сложные записи — 320 часов диалогов из медицинских учреждений. Их особенность — запись с помощью аудиобейджей, сильный фоновый шум, переменное качество звука и несколько говорящих одновременно.

При этом требования к качеству были строгими: каждая секунда аудио должна быть размечена точно и корректно.

Вызовы проекта: шумы, голоса на фоне и огромный объем

Сложность задачи заключалась не только в количестве аудиофайлов, но и в условиях, в которых велась запись. В медицинских диалогах присутствовали:

• шумы оборудования;

• голоса на фоне;

• перебивающие друг друга собеседники;

• технические термины и сокращения.

Решение: система, которая работает

Чтобы справиться с объемом и сложностью, мы выстроили процесс в несколько этапов.

1. Подбор и обучение команды

Мы понимали, что этот проект нельзя отдать на поток. Поэтому запустили двухэтапный отбор разметчиков:

• Первый тест — базовая проверка навыков: восприятие речи в разных акустических условиях, внимательность.

• Второй тест — практическое задание по реальным данным с последующей проверкой по стандартам проекта.

После отбора каждый специалист проходил обучение, где изучал:

• правила транскрибации и оформления числовых данных;

• работу с фонетическими сокращениями («щас» вместо «сейчас»);

• принципы выделения ключевых реплик;

• как различать основных собеседников и прохожих на фоне.

Для новичков мы внедрили систему обратной связи: их первые задания проверяли опытные модераторы и давали подробный разбор ошибок.

2. Инструменты под задачи клиента

Мы использовали специализированный инструмент для аудиоразметки, который адаптировали под требования проекта:

• встроили функцию автоматического распознавания речи — разметчики могли не переписывать запись вручную, а исправлять готовый текст;

• добавили автоматические метрики качества, чтобы на раннем этапе находить и устранять ошибки;

• обеспечили безопасную обработку данных, так как записи содержали конфиденциальную информацию.

3. Честная и прозрачная система учета работы

Один из неожиданных вызовов — учет объема работы. Изначально заказчик предлагал оплачивать количество файлов, но длительность аудио варьировалась от 3 до 30 секунд. Это приводило к перекосам в оплате.

Мы предложили перейти на систему оплаты по минутам размеченного аудио. Чтобы упростить подсчет, наши специалисты написали скрипт, который:

• автоматически считал количество размеченных минут для каждого специалиста;

• формировал отчетность;

• помогал гибко перераспределять нагрузку между разметчиками.

4. Многоуровневый контроль качества

Качество в таком проекте — вопрос №1. Поэтому мы внедрили три уровня контроля:

1. Внутренняя проверка — модераторы вручную проверяли случайные выборки размеченных файлов.

2. Автоматизированная проверка — алгоритм сравнивал разметку с установленными правилами.

3. Финальное согласование — сверяли итоговые данные с эталонными примерами клиента.

Результаты: система, которая выдержала нагрузку

Мы обработали более 850 часов аудиофайлов в строгом соответствии с требованиями клиента.

В проекте участвовали 50+ обученных специалистов, которые работали бесперебойно на протяжении нескольких месяцев.

Система учета снизила вероятность ошибок в расчетах и обеспечила прозрачность оплаты.

Автоматизация и обучение позволили нам достичь высокой точности разметки, даже на самых сложных медицинских записях.

Этот кейс показал, что качественная аудиоразметка — это не только про технологию и инструменты. Это про людей, процессы и внимание к деталям. Только когда все три элемента работают слаженно, можно добиться стабильного результата даже в самых непростых условиях.

А какие сложности в работе с аудиоданными встречались у вас? Поделитесь своим опытом — обсудим!