Машинное зрение имеет схожие черты с человеческим: камере нужно запечатлеть объект, выполнить обработку полученного изображения и извлечь из него необходимую информацию. Благодаря внедрению камер машинного зрения в промышленный сектор можно существенно улучшить автоматизацию производственных процессов, сделав их более точными и воспроизводимыми.
Принцип работы систем машинного зрения
В общем случае система машинного зрения состоит из нескольких основных компонентов (рис. 1), которые позволяют осуществлять эффективный контроль за качеством продукции на конвейере и своевременно выявлять бракованное изделие:
Рисунок 1 – Основные элементы мониторинговой системы на базе камер машинного зрения
• промышленная камера, играющая главную роль в получении изображения инспектируемого изделия;
• элементы освещения, необходимые для получения высокого качества изображения;
• система обработки данных и вычислительный блок, использующиеся для анализа изображения на предмет наличия брака у изделия;
• система передачи данных и устройства связи, передающие результаты сравнительного анализа для дальнейшей приемки или отбраковки изделия.
Промышленная камера является сердцем системы и используется для получения изображения конвейерной или иной продукции. Она напрямую связывается с другими элементами системы и обеспечивает передачу полученных данных для последующей обработки и анализа. В зависимости от поставленной задачи необходимые функции могут выполнять линейные (1D), матричные (2D) или триангуляционные (3D) камеры, а также тепловизоры и лидарные системы.
Области применения систем машинного зрения
Все больше промышленных предприятий оптимизируют свои производственные процессы с помощью камер машинного зрения. Мы приведем примеры наиболее значимых сфер деятельности, где подобные камеры смогли уменьшить долю нагрузки на штатных работников и значительно ускорить процесс выполнения сбора и анализа данных.
Морские грузоперевозки
Одним из наиболее успешных примеров внедрения камер машинного зрения является оптимизация процесса морских грузоперевозок с ISO-контейнерами (рис. 2). До недавнего времени процесс сбора данных о грузах производился вручную, что требовало большого количества времени и влекло за собой риск возникновения ошибок и неточностей. Кроме этого, отдельные сложности при инспекции контейнеров возникают в связи с их однотипным внешним видом и единой цветовой гаммой.
Рисунок 2 – Морские перевозки контейнеров
Внедрение камер машинного зрения позволяет упростить процесс регистрации контейнеров и делает данную процедуру более быстрой и точной. Среди основных задач, решаемых с помощью камер машинного зрения, можно выделить:
• поддержку автоматического ввода данных о количестве контейнеров, их ISO-кодов и номерных знаков;
• идентификацию положения дверей контейнера, а также проверку наличия защитной пломбы;
• получение HD-изображений контейнера с нескольких сторон для проверки на предмет внешних повреждений и дефектов;
• хранение в системе всех необходимых данных и изображений, позволяющих отслеживать груз на протяжении всего пути.
Логистическая сортировка
С каждым годом популярность онлайн-магазинов неизменно растет, что напрямую влияет на увеличение загрузки курьерских и почтовых сервисов по доставке посылок. Теперь адресат и адресант всегда в курсе последней информации о посылке: трек-номер позволяет проследить за всем маршрутом отправления и спрогнозировать приблизительную дату его получения. В большинстве логистических компаний сбор данных об отправлении товара осуществляется вручную: оператор отделения самостоятельно измеряет размеры посылки, определяет ее вес и проводит проверку штрих-кода, нанесенного на внешнюю часть коробки (рис. 3). Все эти процедуры, необходимые для контроля за состоянием посылки на протяжении всего пути, требуют огромного количества временных затрат и людских ресурсов.
Рисунок 3 – Подготовка посылки к отправлению
Для оптимизации логистических процессов и снижения стоимости доставки была разработана система DWS (Dimensioning Weighing Scan), включающая камеры машинного зрения. В общем случае для реализации задач по измерению массы и размеров посылки, а также сканированию индивидуального штрих-кода системой DWS необходимы камера машинного зрения с подходящим разрешением, источник света, электронные весы и объектив.
Внедрение таких систем позволяет автоматизировать процесс взвешивания, определения размеров и штрих-кодов посылок. Благодаря подобному нововведению удалось снизить нагрузку на сотрудников логистических компаний, которые проводили замеры вручную. Кроме этого, технология DWS сумела свести к минимуму время, необходимое для обработки посылки, что благоприятно отразилось на конечных сроках доставки.
Интеллектуальные транспортные системы
Интеллектуальная транспортная система (Intelligent Transportation System, ITS) объединяет различные инновационные решения, которые позволяют управлять автомобильными потоками и предоставляют наиболее полную информацию обо всех участниках дорожного движения.
Камеры машинного зрения представляют огромный интерес для ITS и дают возможность выполнять широкий спектр задач – от мониторинга автомагистралей до взимания платы за проезд по высокоскоростным трассам. Такие камеры обеспечивают четкое и высококачественное изображение даже в сложных климатических условиях, что делает их весьма привлекательными для внедрения в целый ряд приложений ITS.
Важнейшими характеристиками, которыми должны обладать камеры машинного зрения для внедрения в ITS, являются низкий уровень шума в условиях недостаточного освещения, широкий динамический диапазон и высокая частота кадров для захвата быстродвижущихся объектов. Также значимую роль играет скорость передачи данных, напрямую влияющая на оперативную обработку и анализ получаемой информации о ситуации на дороге.
Одна из приоритетных задач систем машинного зрения в ITS – обеспечение связи между транспортными средствами путем создания единого слаженного «механизма» на дороге. Кроме того, большое значение имеет повышение уровня автономности коммерческих и пассажирских транспортных средств, что в дальнейшем может привести к созданию единого блока информации, необходимой для обеспечения безопасности на дорогах, анализа экологической ситуации и предотвращения автомобильных заторов.
Так, например, результатом совместной работы датчиков приема данных, камер машинного зрения и программного обеспечения может быть своевременная передача информации водителям о том, как близко находятся пешеходы, велосипедисты, мотоциклисты и другие участники движения (рис. 4). После получения такой информации водитель сможет вовремя сбавить скорость или выбрать другой маршрут, чтобы снизить риски столкновения или возникновения затора. Еще одной перспективной идеей внедрения камер машинного зрения в ITS является отслеживание маршрутов с наибольшим количеством туристов. Такая информация позволит сократить количество транспортных средств в тех районах, где наблюдается небольшой приток туристов. В долгосрочной перспективе данное решение может внести значительный вклад в сокращение количества топливных выбросов и снизить транспортную нагрузку на дорогах.
Рисунок 4 – Распознавание участников дорожного движения с помощью систем машинного зрения
Пищевая промышленность
Камеры машинного зрения нашли широкое применение и в пищевой индустрии, где особое внимание уделяется качеству и безопасности продукции. В связи с большим объемом производимых товаров проверка на предмет наличия брака или истекшего срока годности, выполняемая вручную, может оказаться затратной и малоэффективной. В свою очередь, «машинный» контроль точно определяет целостность упаковки, срок годности изделия, а также фиксирует малейшие изменения цвета и формы продукта. Благодаря такой автоматизированной системе производители могут поставлять только свежие товары на прилавки магазинов, гарантируя их безопасность для конечного потребителя.
Из наиболее важных функций, которые выполняют мониторинговые системы на базе камер машинного зрения в этой отрасли, можно выделить:
• обнаружение дефектов и вскрытия упаковки выпускаемых товаров (рис. 5);
• автоматическое считывание сроков годности и других печатных символов;
• проверка наличия и правильного размещения продукции в упаковке;
• мгновенное считывание 1D и 2D штрих-кодов, акцизных марок и другой буквенно-цифровой маркировки;
• проверка соответствия цвета и формы товара для исключения бракованных и испорченных продуктов.
Рисунок 5 – Определение дефекта упаковки чайного пакетика
Автомобилестроение
Еще одной ключевой отраслью, где активно внедряются системы машинного зрения, является автомобилестроение. Получив мировое признание в качестве разработчика и производителя высокотехнологичных транспортных средств, немецкий автопром первым опробовал камеры машинного зрения для автоматизации производственного процесса. Особая скрупулезность при проверке составных элементов конструкции позволяет создавать по-настоящему надежный и долговечный автомобиль, но существенно увеличивает время и расходы на его производство. Для автоматизации системы контроля за качеством производимых деталей мировые автомобильные гиганты активно внедряют системы машинного зрения на своих заводах и дочерних предприятиях, расположенных по всему миру.
На данный момент системы машинного зрения позволяют определять размер, цвет, направление резьбы и прочие характеристики составных компонентов будущего автомобиля в режиме 24/7 (рис. 6). Такая круглосуточная система мониторинга практически исключает возможность возникновения ошибок и обеспечивает высокую скорость проверки даже при больших производственных объемах.
Рисунок 6 – Использование камер машинного зрения при сборке автомобиля
Камеры НПК «Фотоника» как элемент систем машинного зрения
Несмотря на значительный объем рынка камер машинного зрения, большинство доступных вариантов представлены импортным оборудованием, которое имеет весьма высокую цену и может попасть под ограничения на ввоз в Россию. В качестве альтернативы НПК «Фотоника» предлагает высокотехнологичные отечественные аналоги, которые не только не уступают заграничным решениям, но и превосходят их по ряду пунктов.
Семейство камер FCM249 (рис. 7) обладает рядом уникальных характеристик и может быть интегрировано в системы машинного зрения. Все камеры семейства выполнены на индустриальной, а не коммерческой элементной базе, что позволило существенно расширить температурный диапазон их работы.
Рисунок 7 – Камера FCM249
Камеры FCM249 представлены как в монохромном, так и в цветном исполнении с различными видами интерфейсов (таблица 1). Универсальные стандарты CameraLink, SDI и GigE обеспечивают высокую скорость передачи данных для быстрого анализа изображения и выявления бракованного изделия. Пользователь может осуществлять регулировку яркости и контраста изображения, а также проводить коррекцию экспозиции и режима работы автоматической регулировки усиления (АРУ). Кроме этого, в данные камеры внедрен алгоритм локального контрастирования, который существенно расширяет динамический диапазон в условиях плохой видимости.
Таблица 1. Основные характеристики камер FCM249
|
|
|||
|
Интерфейс камеры |
PAL |
LVDS |
PAL, SDI |
|
Цветность |
Цвет/Моно |
||
|
Сенсор |
IMX249LQJ (Цвет) / IMX249LLJ (Моно) |
||
|
Разрешение, пиксели |
1920 х 1200 |
||
|
Тип затвора |
Кадровый (Global) |
||
|
Размеры пикселя, мкм |
5,86 x 5,86 |
||
|
Максимальная кадровая частота, Гц |
25 |
||
Благодаря работе в видимом и ближнем ИК-диапазонах, такая камера может осуществлять наблюдение за дорогой или каким-либо промышленным объектом в любое время суток. На рис. 8 показан пример работы камеры в условиях низкой освещенности. На фотографии отчетливо видны номера машин, название улиц и эмоции людей.
Рисунок 8 – Пример работы камеры в условиях недостаточной освещенности
Еще одним успешным проектом наших инженеров является использование тепловизионного модуля FLM640 (рис. 9) для определения дефектов поверхности различных объектов.
Рисунок 9 – Тепловизионный модуль FLM640
Данный модуль разработан на базе современного поляризационного сенсора, и с помощью него можно увидеть даже малозаметные дефекты и неоднородности, которые могут говорить о браке или некачественном исполнении изделия. Для достижения еще большей детализации можно использовать комплексированное изображение, получаемое путем наложения тепловизионного и поляризационного изображений и дающее исчерпывающие сведения о геометрии исследуемого объекта (рис. 10).
Рисунок 10 – Пример использования тепловизионного модуля для выявления дефектов поверхности металлического корпуса
Анализ состояния поверхности по комплексированному изображению нашел успешное применение, например, в области контроля за качеством гидроизоляционных материалов (рис. 11).
Рисунок 11 – Пример использования тепловизионного модуля для выявления дефектов поверхности фрагмента гидроизоляционного материала металлического корпуса
Сегодня системы машинного зрения успешно применяются в целом ряде областей, где необходим строгий контроль за качеством выпускаемой продукции. Использование подобных систем на базе современных камер, работающих в широком спектральном диапазоне, обеспечивает значительное повышение уровня автоматизации производства и уменьшение процента брака конечной продукции.
Статья опубликована в журнале: Control Engineering Россия июнь 2022
Для получения дополнительной информации по условиям поставки продукции пишите нам на почту info@npk-photonica.ru или звоните по номеру +7 (812) 209-20-20.
