Эффект видеоаналитики брака равен сокращению потерь за вычетом ложной отбраковки и содержания системы. В пилоте сначала фиксируют, какой дефект должна увидеть камера и на каких изделиях проверяют результат. Мы в Синтел считаем высокий процент на красивом ролике слабым аргументом для покупки: производство продолжит работать и после окончания показа.
Для оценки обнаружения подходит F1, но вместе с отдельным учетом пропущенного брака. В документации scikit-learn, доступной на 26 октября 2026 года, F1 определяется через precision и recall. Метрика описывает качество модели. Денежный эффект она не измеряет.
Что камера действительно должна обнаружить?
Камера должна обнаружить согласованный видимый признак дефекта. Если брак определяется внутренним состоянием изделия, обычное изображение поверхности может не содержать нужного признака. Этот вопрос выясняют раньше, чем выбирают нейросеть.
Представим учебную сцену: на линии ищут скол кромки. На неподвижном образце его видно. На конвейере кромку закрывает держатель. Модель не увидит то, что не попало в кадр, поэтому сначала придется разбираться со съемкой.
Какие метрики нужны кроме общей точности?
Нужны метрики, которые различают пропуск брака и ошибочную тревогу на годном изделии. Если хороших деталей значительно больше, общая доля правильных ответов может скрыть пропуски редких дефектов.
Для решения «брак или годное»: TP означает обнаруженный брак, FN означает пропущенный брак, FP означает годное изделие с ошибочной тревогой. По определениям из документации scikit-learn precision = TP / (TP + FP), recall = TP / (TP + FN), а F1 = 2 × TP / (2 × TP + FP + FN).
| Показатель | Какой вопрос закрывает | Что нужно рядом |
|---|---|---|
| Precision | Какая доля тревог относится к реальному браку? | Число ложных тревог |
| Recall | Какая доля реального брака обнаружена? | Число пропусков по типам дефекта |
| F1 | Как сочетаются precision и recall? | Обе исходные метрики и объем теста |
| Ложные тревоги на объем выпуска | Сколько годных изделий потребует разбора? | Фактическая доля брака в потоке |
| Задержка решения | Успевает ли система отреагировать? | Скорость линии и путь до отбраковщика |
Одинаковый F1 может скрывать разную цену ошибок. Для дорогого годного изделия ложная отбраковка способна съесть эффект. Для критичного дефекта опаснее пропуск. Поэтому мы считаем нужным согласовать отдельные ограничения на эти ошибки до финального теста.
Как прочитать результат F1 на конкретном примере?
F1 читают вместе с исходными счетчиками. Учебный расчет на 26 октября 2026 года: в тесте 100 бракованных изделий, система нашла 90 и пропустила 10. Еще на 30 годных изделиях подняла ложную тревогу. Эти числа заданы для примера и не являются результатом испытаний Синтел.
Precision равна 90 / 120 = 75%, recall равна 90 / 100 = 90%, F1 равна 180 / 220 ≈ 81,8%. Результат показывает и обнаружение, и лишнюю проверку. Для частоты ложных тревог на выпуск понадобится и общее число годных изделий в тесте.
Как ограничить выборку, чтобы пилот не обманул?
Границу выборки задают по условиям производства и независимым изделиям. Соседние кадры одной детали похожи друг на друга. Если их разделить между настройкой и финальным тестом, оценка может оказаться завышенной.
Мы предлагаем фиксировать такие условия:
- В финальный тест попадают изделия, которых не было при настройке.
- Каждая партия и условия съемки имеют отметку в протоколе.
- По каждому существенному виду брака известен объем проверки.
- Порог тревоги фиксируется до окончательного теста.
Раздельную проверку поддерживает методика scikit-learn, доступная на ту же дату. Разделение по партиям и сменам здесь является нашей рекомендацией для пилота: оно отделяет похожие кадры одного изделия.
Кадры одной детали легко выдать за большой тест, но новых деталей от этого не прибавится. Редкий дефект может не попасть в короткую запись. Поэтому отсутствие пропусков еще не доказывает надежность. В протоколе нужны число проверенных дефектов, неопределенность оценки и границы применимости результата.
Как провести пилот и посчитать деньги?
Сначала пилот работает в наблюдении, решения сверяют с контролером. Затем проверяют отбраковку: нужно успеть убрать нужную деталь с линии.
- Описать дефект и согласовать эталон с технологом.
- Проверить видимость признака на рабочей скорости линии.
- Собрать разметку и отделить финальную проверку по партиям.
- Зафиксировать модель и порог, затем измерить ошибки.
- Испытать реакцию оборудования и сравнить экономику с нынешним контролем.
Для учебной экономики на 26 октября 2026 года примем снижение потерь от пропусков на 120 000 рублей в месяц. Дополнительная ложная отбраковка стоит 20 000 рублей, содержание системы еще 30 000 рублей в месяц. Тогда чистый расчетный эффект равен 120 000 - 20 000 - 30 000 = 70 000 рублей в месяц. Все суммы являются условными входными данными.
Для реальной экономики нужно измерить изменение потерь относительно действующего контроля. Брак, который уже находил контролер, нельзя повторно записать в эффект новой системы.
Связь факта с производственным учетом разобрана в статье о маршруте производственных данных. Место автоматизации в процессе описано в решениях Синтел.
Частые вопросы
Достаточно ли высокого F1 для запуска?
Нет. Нужны ограничения на опасные ошибки и проверка всей цепочки от съемки до реакции оборудования.
Можно ли использовать существующие камеры?
Возможно, если нужный признак виден на рабочей скорости. Это проверяют на реальном изображении до выбора модели.
Заменит ли система контролера сразу после пилота?
Такой вывод из пилота автоматически не следует. Сначала определяют покрытые дефекты и работу при отказе камеры или модели.
Что означает хороший результат на одной партии?
Он подтверждает качество в проверенных условиях. Новые изделия и измененная съемка требуют дополнительной оценки.
Мы бы принимали решение по ошибкам на независимой партии и действию линии. Тогда результат можно проверить и после окончания показа.