Серийное производство электроники в России. Как мы делали телеметрию для вендинга

Часто встречаемся с мнением, что производить в России электронику – занятие бессмысленное. Дорого, долго, плохо и вообще лучше делать в Китае.

В этой статье мы бы хотели поделиться опытом разработки и серийного производства коммерческой электроники – модулей МТУТА. Мы расскажем с чем столкнулись при переходе от опытной партии к серии, про важность выбора правильных технологических партнеров, сколько времени занял переезд из Калининграда в Питер и чего нам удалось добиться.

Что за МТУТА?

Вендинг – это модель продажи товаров и услуг с помощью автоматизированных систем. Это огромный рынок, где признанным лидером является Япония. C помощью вендинговых аппаратов продают как базовые товары — еду, сувениры, простую электронику, так и очень нишевые, например червей для рыбалки. Но одни из самых популярных автоматов – кофейные. Раньше мы думали, что кофе из автомата – всегда дрянь. Оказалось, что так бывает только когда владелец аппарата экономит на сырье. У тех, кто не пожадничал, вкус получается не хуже, чем из хорошей офисной кофе-машины. Они даже устраивают конкурсы у кого вкуснее и гордятся качеством своего напитка. Вот так выглядят вендинговые аппараты изнутри:

Эти аппараты требуют постоянного обслуживания – досыпа/долива ингредиентов, съёма кассы и т.д. МТУТА — это модуль телеметрии и управления торгового аппарата, который интегрируется во внутренние шины обмена данными.

Он подслушивает переговоры устройств, отдаёт команды, снимает отчёты, заливает прошивки и может притворяться, например, купюроприёмником. Модуль выступает мостом между аппаратом и сервером, который позволяет эффективно следить за всем этим хозяйством. В результате работы системы персонал может выезжать на обслуживание только при необходимости, а наличка не пропадает в карманах техников.

Интерфейсы и протоколы аппаратов регламентируются специальным стандартом, разработанным Европейской Вендинговой Ассоциацией EVA. Так что (в теории) внутрь аппарата могут устанавливаться устройства от разных производителей. А наша МТУТА, с поддержкой стандарта, должна была одинаково работать на разных аппаратах. На практике оказалось, что аппараты, зачастую, отличаются очень сильно. Производители трактуют и дополняют стандарт каждый на свой манер, так что поддержку разных аппаратов нужно прорабатывать отдельно.

На момент запуска производства разработка велась уже более года. Все шло по плану. Железо заработало сразу на экспериментальном образце. Потом был этап оптимизации себестоимости и доработки функционала и несколько версий опытных образцов. Как итог, на руках мы имели МТУТА ревизии 4.1 и данные о пятимесячной опытной эксплуатации нескольких десятков устройств. В общем, нам казалось, что всё готово для массового выпуска. Пришла пора изготовить 8000 изделий!

Первое производство

Перед нами была непростая задача: из Санкт-Петербурга наладить и поддержать контрактное производство в Калининграде, где располагался наш заказчик.

Прежде у нас уже был взаимодействия с контрактными производствами — произвели тысячу штук плат Черника, а также несколько сотен Пастильд в США.

С Черниками всё прошло гладко только благодаря тестированию (мы немного про это писали в статье), а печальный опыт с Пастильдами подсказывал: нужна максимальная автоматизация контроля качества на производстве.

Поэтому, пока подрядчик занимался закупкой комплектующих, мы начали проектирование стенда для функционального тестирования. Про то, как устроен стенд, мы подробно расскажем как-нибудь в другой раз. А пока вот фотография развёрнутого рабочего места на производстве в Калининграде:

Грабли №1. Опытная серия выпускалась как срочная и на другом производстве. Начинать сотрудничество с производством следовало ещё на стадии опытных образцов, имея в запасе время на наладку линии и внесение в плату необходимых изменений.

Компоненты были закуплены, время шло, но производство буксовало. Почему? Нам попался начинающий контрактник, который пытался сделать свою первую партию. Закупка неверных компонентов, отсутствие налаженных технологий, отсутствие технологического запаса … В общем, первые 500 штук вылупились только спустя 6 месяцев. Всё это время мы доводили софт самого устройства и стенды функционального тестирования. Стенды сыграли в нашей истории важную роль. Производство не могло отгрузить устройства без этикеток, которые стенд выдавал только при удачном прохождении тестов. Брак возвращался обратно на сборочный участок. В итоге стенд оказался единственным участком производства, на котором происходил строгий учёт выпущенных устройств. Вот как выглядит график тестирования по дням:

Диаграмма с накоплением показывает, сколько устройств в конкретную дату прошло или не прошло тестирование на стенде функционального контроля.

Доработка стендов функционального тестирования

Надо признать, что на этом графике видны не только ошибки монтажа, но и сбои нашего стенда. Например, несколько первых плат, попавших в стенд, получили одинаковый серийный номер. А всё потому, что стенды в офисе прогонялись на одних и тех же платах, и этот шаг в тестах всегда пропускался. Этот баг мы исправляли из-за нехватки времени прямо в гостиннице:

Потом почти месяц мы боролись за устойчивую работу оборудования, уже удалённо. Для этого абсолютный близнец стенда работал у нас в офисе. Несмотря на это, при удалённой отладке мы повеселились на славу.

Некоторые платы отказывались нормально работать в стенде, не прошивались или не запускались. Хотя без стенда всё шилось и работало. Голову ломали долго, пока не обратили внимание вот на такую особенность монтажа этих плат:

Кнопка Reset смонтирована с небольшим наклоном. Этого достаточно, чтобы она нажималась, когда плата в стенде, потому что она оказалась как раз напротив ловителя (белый цилиндр на фото). Случайно получилась механическая проверка правильности монтажа кнопки.

Но самое неприятное – стенды работали не одинаково. Кроме понятных проблем, повторяемых на нашем стенде в офисе, были и мистические, разобраться с которыми было трудно. Например, плата два раза не проходит тестирование, показывая ошибки на разных шагах. Третий раз проходит успешно. Ошибка повторяется периодически в Калининграде, а у нас в офисе – не возникает никогда, при том что наш стенд работает значительно интенсивнее (практически каждую ночь идёт автотестирование софта). У контрактника возникла версия о шумной сети питания, потому что ночью тесты проходили успешнее, чем днём. Возможно, ведь ночью на заводе меньше источников помех. Посмотрим, так ли это на самом деле. Вот нормированная диаграмма с процентом удачных и неудачных тестов по времени суток:

Да, есть аномалия с 0 до 3 часов утра, соотношение удачных и неудачных попыток лучше. Перейдём к диаграмме с распределением количества удачных и неудачных тестов по времени суток:

Всего тестов, сделанных с 19 до 6 утра (предположительно, производство в это время спит) – 307. Положительные – 45%. Всего тестов, сделанных в рабочее время – 1150. Положительные – 37%. Ночью и впрямь лучше! Но добавление сетевого фильтра и UPS проблему не решило, дальше копать мы не стали т.к. сменили подрядчика.

Второе производство

Статистика тестирования на первом производстве говорила о низком качестве выпускаемой продукции, которое не улучшалось со временем, а темпы производства не позволяли выпустить партию 8000 устройств в разумные сроки. Кроме всего вышеперечисленного, оказалось, что контрактником были закуплены и установлены не те аккумуляторы (вполовину меньшей ёмкости) и бракованные карты памяти, умиравшие при форматировании. После получения первых 500 собранных устройств (валом, в коробах от компонентов) было принято волевое решение о переносе производства в Санкт-Петербург.

Доработка устройства

Переход на новое производство потребовал изменения документации. Мы исправили формовку светодиодов и перенесли маленький компонент (акселерометр) на другую сторону платы.

• Перенос акселерометра на другую сторону платы связан с толщиной шаблона для нанесения паяльной пасты. Когда компоненты разного размера расположены на одной стороне, иногда возникает проблема с нанесением паяльной пасты. При выборе более тонкого трафарета может недоставать припоя под крупными компонентами. При более толстом возникают перемычки под компонентами с малым шагом. Есть, конечно, многоуровневые трафареты. Но, по словам технологов, их применение ведёт к другим проблемам, которых стоит избегать.
• Формовка светодиодов. При проектировании мы применили формовку, рекомендуемую Kingbright См. картинку:

  

  При проверке платы у нас была дискуссия насчёт оптимальности именно такого изгиба ножек. Первый контрактник не настаивал, а для второго сделали технологичнее:

  

  Такая формовка выводов требует значительно более простой оснастки и происходит быстрее.

Доработка стендов и внедрение

Грабли №2 При смене производства заниматься отладкой тестового оборудования придётся заново.

Мы считали, что стенд у нас готов, ведь он протестировал уже 500 устройств. Но на новом производстве были налаженные процессы внутреннего контроля качества, в которые надо было интегрироваться. Проследим процесс производства с самого начала.

Попадая на линию, мультизаготовки с печатными платами в первую очередь получают уникальные QR-коды. Их наносит лазерный гравировщик (1). Эти коды используются сборочной линией для идентификации каждой мульти-заготовки и платы в её составе. Если в дальнейшем будет обнаружен брак — он получит привязку к плате. Далее на платы наносится паста (2), расставляются компоненты (3). При загрузке в установщик коды на упаковках всех компонентов также сканируются. Таким образом, всегда известно, что на какие платы попало. В случае массового брака можно понять, кто поставлял конкретную партию компонентов, и устранить проблемы. После установки компонентов платы проходят сквозь печь (4). Пайка готова. Вторая сторона платы – ещё один проход по линии, выводные компоненты паяются отдельно.

Полностью собранные печатные узлы попадают на тестирование. Оператор размещает плату в оснастку и сканирует QR-код на плате.

После тестирования микроконтроллеру платы присваивается рабочий серийный номер, принтер стенда распечатывает этикетки. В случае успешного прохождения тестирования печатаются три этикетки, две из которых наклеиваются на плату, а одна на транспортировочную упаковку. Если устройство не проходит тестирование — печатается одна этикетка с надписью FAIL, номером шага/номером ошибки, серийным номером и QR-кодом. Это помогает сортировать и ремонтировать брак.

На следующем участке окончательной сборки в корпус оператор считывает этикетку для генерации наклейки на корпус.

Таким образом, про каждое изделие известна абсолютно вся история его создания. Какая печатная плата, из какой бобины компоненты, как прошло тестирование по каждому пункту методики испытаний.

Трудности интеграции

Считать QR-код с платы сканером стенда нам удалось лишь спустя несколько часов экспериментов. При этом с бумажки код того же размера читался на ура. Оказалось, надо было перенастроить считыватель на инверсную картинку. Настраивается он считыванием нужных кодов из инструкции!

Потом мы взяли образцы собранных плат к себе в офис для тестирования стенда тестирования (простите за каламбур). Через некоторое время с чтением кода опять возникли проблемы. Ха! Сейчас настроим считыватель! Но на этот раз это были микроцарапины, незаметные глазу, но нарушающие картинку для сканера. На производстве QR-коды оперативно увеличили.

Как-то раз вдруг сгорело реле, отвечающее за подачу питания в стенде. Реле заменили, но то же повторилось на другом стенде (нашем, лабораторном), который к тому времени успел отработать несколько тысяч раз. Дело оказалось в коммутации ёмкости источника питания на входную ёмкость устройства. Pogo-pin, подающий питание, тоже страдал от такой коммутации. Нам всегда казалось, что наш лабораторный источник умеет ограничивать выходной ток. Оказалось, его выходная ёмкость настолько велика, что при напряжении 27В энергии разряда хватает, чтобы плавить прутик припоя, если им замкнуть накоротко выход. Для ограничения пикового тока мы добавили дроссель, зашунтировав его диодом.

В результате мы выпустили ещё один комплект оборудования стенда, в дополнение к существовавшим двум, и основательно переписали софт. Два стенда работали на производстве под предводительством одного тестировщика, один стенд дежурил в офисе. Время тестирования печатного узла удалось снизить: с 2м 51с в Калининграде до 2м 04с в Питере, в среднем. Вот распределение по времени тестирования на первом и втором производстве:

Больше стендов!

Помимо стендов для тестирования печатных узлов мы разработали и выпустили мини-стенд «Гидра», для проверки кабельных сборок. Вот он:

Устроен просто – втыкаем кабель всеми разъёмами, жмём кнопку. Он ничего никуда не записывает, зато классно пищит и меняет цвет кнопки на красный при ошибке. Вот гифка

Отзывы с производства были просто отличные.

Чего удалось добиться

Удалось интегрировать стенд в производственный цикл и получить полную прослеживаемость на всех стадиях производства изделия. Зачем нужна прослеживаемость? Чтобы можно было управлять качеством на всех этапах.

Для контроля за происходящим в реальном времени мы сделали web страничку, где есть возможность отслеживать производительность и возникающие проблемы.

Посмотрим подробнее как шли дела на втором производстве и сравним с первым. Графики тестирования по дням:

Видим, когда тестирование встало (отмечено кругами) – первый раз это был отказ реле стенда, второй – задержка отгрузки давальческого сырья. Видим, что кроме этих двух моментов скорость работы второго производства значительно выше. Неудачные тесты тоже есть, но теперь это в основном проблемы с GSM сетью и не отформатированные SD карты. Брака именно сборки печатных узлов мало.

Сравним распределения устройств в партии по количеству проведённых тестов:

Только 66% устройств слабого производства успешно прошли тест с первого раза. На сильном производстве таких 83%. Со второго раза — 13% и 11% соответственно. В инструкции к стенду допускается проход теста со второго раза. Учитывая это, можно сказать, что на доработку было отправлено 21% устройств первого производства и 6% — второго. Разница в качестве в 3,5 раза.

В отсутствии результатов тестирования единственным критерий оценки работы двух производств был бы только один — скорость отгрузки. А так у нас появляется возможность оценить качество продукта, причём в реальном времени.

Напоследок – сводный график тестирования устройств за всё время:

Качество печатных узлов, попадающих на функциональное тестирование, будет очень разным. И оно не будет идеальным ни на одном производстве, брак неизбежен.

Про разное другое

Корпус

При проектировании модуля мы сперва взяли готовый корпус от всем известной китайской компании на букву Г, отверстия под разъёмы и светодиоды фрезеровались.

На этапе закупки для производства готовый корпус с обработкой оказался самой долгой позицией, и было принято решение производить собственные корпуса. Разработку и литьё корпусов взяла на себя компания из Польши. Вышло у них в целом неплохо:

Итоговый вариант сделали серым:

Калининград

Мало кто знает, но Калининград — это не просто территория России, отделённая другими странами. С точки зрения логистики это самая настоящая «заграница» и любые перемещения материальных ценностей туда или обратно требуют надлежащего таможенного оформления. Поляки по договору доставляли корпуса в Калининград, к первому контрактнику, но после переноса производства в Питер расходы на растаможку и ввоз легли на нас, чего мы не ожидали.

Итоги

Суммарно на разработку стендов, наладку и поддержку производства мы затратили около 2000 человеко-часов. Много это или мало? На разработку самого устройства к моменту старта производства мы затратили порядка 3000 часов. То есть этап постановки на производство занял около 40% всех ресурсов разработчиков. Вклад автоматизированного тестирования в себестоимость первой партии составил около 15%.

На момент написания статьи более 7000 модулей телеметрии отгружены заказчику — компании Вавилон-Вендинг. Они разъехались по всей стране и помогают владельцем аппаратов зарабатывать немного эффективнее. Суммарные затраты заказчика на проект составили, по нашим оценкам, около 50% от стоимости подобных готовых устройств. При этом стоит отметить, что без подписки на конкретный сервис телеметрии закупка готовых модемов — нетривиальная задача.

Что касается временных затрат, то мы могли бы начать отгрузку серийных изделий через 17 месяцев после начала разработки, но в реальности (главным образом из-за переноса производства) это заняло 25 месяцев. Не надо жалеть времени и сил на выбор надёжных партнёров.

Производство в России может быть очень разным. Подвальным и профессиональным, мелкосерийным и массовым, дорогим и доступным, хорошим и не очень. Какое бы вы ни выбрали, получить много качественных устройств быстро не получится.

Осенью мы планируем провести онлайн и оффлайн встречи, посвящённые разработке и производству электроники в России. Если вам интересно — запишитесь по ссылке.

Расскажите про ваше производство в комментариях. Будем рады советам и критике.