EyeBot – 비전 가이드 로봇

"스마트 그리핑"을 위해서는, 서로 다른 규칙들이 최적으로 적용되어야 합니다. 예를 들어, 로봇을 이용하여 다양한 크기, 모양, 재료, 또는 품질의 제품들을 분류하는 작업이라면, 제품들을 집는 것뿐만 아니라 미리 식별하고, 분석하며, 제품의 위치를 파악해야 합니다. 특히 작은 배치 크기에서 규칙 기반 이미지 프로세싱 시스템을 이용하면, 시간이 많이 소요될 뿐만 아니라 경제적으로도 거의 실현하기 어렵습니다. 그러나 AI 기반 추론과 결합하여, 산업용 로봇은 이미 숙련된 작업자의 필요한 기술과 제품 지식을 갖출 수 있게 되었습니다. 사실, 개별 하위 작업을 위해 휠을 더 이상 재발명할 필요가 없습니다. "스마트 로봇 비전 시스템"으로 여러 분야를 고려한 방식의 적절한 제품들이 충분합니다."

EyeBot 사용 사례

생산 라인에서 물체는 컨베이어 벨트에 무작위로 흩어져 있습니다. 물체는 감지되고, 선택되어야 하며, 추가 처리 또는 분석 단계를 위해 포장되도록 놓여지거나 올바른 위치로 전달되어야 합니다. 소프트웨어 회사 urobots GmbH는 물체를 감지하고 로봇을 제어하는 PC 기반 솔루션을 개발했습니다. urobots의 훈련된 AI 모델은 로봇에 대한 그립 좌표가 결정된 카메라 이미지에서 물체의 위치와 방향을 인식할 수 있었습니다. 목표는 이 솔루션을 IDS Imaging Development Systems GmbH의 AI 기반 임베디드 비전 시스템으로 변경하는 것이었습니다. urobots의 경우 솔루션에 가장 중요한 두 가지가 있었습니다.

  1. 사용자는 특별한 AI 전문 지식 없이도 다양한 사용 사례에 대하여 시스템을 쉽게 조정할 수 있어야 합니다. 이는, 조명, 물체의 모양, 또는 추가적인 물체 유형이 통합되어야 하는 경우와 같이 생산 과정에서 무언가가 변경되는 경우를 의미합니다.
  2. 비용 효율적이고 가벼우며 공간을 절약하기 위해, 전체 시스템은 장치 구성 요소들의 직접 통신을 통해 PC가 전혀 필요하지 않았습니다.

이러한 요구 사항은 IDS NXT Experience Kit 추론 카메라 시스템을 통해 이미 충족 가능합니다.

Alexey Pavlov(urobots GmbH 전무이사)는 다음과 같이 설명합니다:
"모든 이미지 프로세싱은 이더넷을 통해 로봇과 직접 통신하는 카메라에서 실행됩니다. 이는 IDS NXT AI 코어를 사용하는 IDS NXT Vision App Creator로 개발된 Vision App으로 실행 가능합니다. Vision App을 사용하면 카메라가 이미지 정보에서 사전 훈련된 (2D) 물체를 찾아내고 식별하는 것을 가능하게 합니다. 예를 들어 평면에 놓여 있는 도구를 올바른 위치에서 잡고 지정된 위치에 놓을 수 있습니다. PC가 없는 시스템은 비용, 공간, 및 에너지를 절약하고, 쉽고 비용 효율적인 피킹 솔루션을 가능하게 합니다."

위치 감지 및 직접 기계 통신

훈련된 신경망은 이미지의 모든 물체를 식별하고 위치와 방향도 감지합니다. AI는 항상 동일하게 보이는 고정된 물체뿐만 아니라, 음식, 식물, 또는 기타 유연한 물체와 같이 자연적인 변화가 많은 경우에도 이것을 수행합니다. 그 결과 물체의 위치와 방향이 매우 안정적으로 인식됩니다. urobots GmbH는 자체 소프트웨어와 지식으로 네트워크를 훈련시킨 후, IDS NXT 카메라에 네트워크를 업로드했습니다. 이렇게 하기 위해 "연결된 목록”과 유사한 특수 최적화 형식으로 변환되어야 했습니다. 추론 카메라에서 사용하기 위하여 훈련된 신경망을 이식하는 것은, IDS에서 제공된 IDS NXT ferry 도구를 이용하여 매우 쉽게 수행 가능합니다. 이 과정에서, CNN 네트워크의 각 레이어는 각 레이어를 정확하게 설명하는 노드 디스크립터(node descriptor)가 됩니다. 최종 결과는 이진법으로 표현된 CNN의 전체 연결 목록입니다. 카메라를 위해 특별히 개발된 FPGA 기반의 CNN 가속기 IDS NXT Experience Kit core는 이 범용 CNN을 최적으로 실행할 수 있습니다.

그 이후에, urobots에 의하여 개발된 Vision App은 감지 데이터로부터 로봇에 대한 최적 그립 위치를 계산합니다. 그러나 이것은 작업을 완수하지 못했습니다. 무엇을, 어디서, 어떻게 집어야 하는지에 대한 결과 외에도, IDS NXT 카메라와 로봇 사이에 직접 통신이 설정되어야 했습니다. 특히 이 작업을 과소평가해서는 안 됩니다. 이것은 종종 솔루션에 얼마나 많은 시간, 자금 및 인력을 투자해야 하는지를 결정하는 중요한 포인트입니다. urobots는 구체적인 작업 지시를 로봇에 직접 전달하기 위해 IDS NXT Vision App Creator를 사용하여 카메라의 Vision App에 XMLRPC 기반 네트워크 프로토콜을 구현했습니다. 최종 AI Vision App은, 약 200ms 내에 물체를 감지하고 +/- 2도의 위치 정확도를 달성합니다.

IDS NXT 카메라의 신경망은 물체의 정확한 위치를 파악하고 감지합니다. 이 이미지 정보에 기초하여, 로봇은 독립적으로 물체를 잡고 배치할 수 있습니다.
IDS NXT 카메라의 신경망은 물체의 정확한 위치를 파악하고 감지합니다. 이 이미지 정보에 기초하여, 로봇은 독립적으로 물체를 잡고 배치할 수 있습니다.

PC 없이 가능한 인공 지능

이 사례를 스마트하게 만드는 것은 인공 지능만이 아닙니다. 이 솔루션이 추가적인 PC 없이도 완벽하게 작동한다는 사실 또한 두 가지 측면에서 흥미롭습니다. 우선 카메라가 단순히 이미지를 전달하는 것이 아니고, 자체로 이미지 프로세싱 결과를 생성하기 때문에, PC 하드웨어 및 모든 관련 인프라가 필요하지 않습니다. 궁극적으로 이는 시스템의 구입 및 유지 관리 비용을 줄여줍니다. 그러나 종종 프로세스 결정이 생산 현장에서 "늦지 않게" 즉시 내려지는 것도 중요합니다. 따라서 후속 프로세스를 지연 없이 더 빠르게 실행할 수 있으며, 이는 어떤 경우에는 클럭 속도를 증가시킬 수도 있습니다.

또 다른 측면은 개발 비용에 관한 것입니다. AI 비전 또는 신경망 훈련은 기존의 규칙 기반 이미지 프로세싱과는 완전히 다른 방식으로 작동하고, 이것은 이미지 프로세싱 작업의 접근 방식과 핸들링 방식도 변화시킵니다. 결과의 품질은 더 이상 이미지 프로세싱 전문가와 어플리케이션 개발자들이 수동으로 개발한 프로그램 코드의 산물이 아닙니다. 즉, 어플리케이션이 AI 기반으로 해결될 수 있다면, IDS NXT Experience Kit도 해당 전문가의 비용과 시간을 절약할 수 있습니다. 포괄적이고 사용자 친화적인 소프트웨어 환경을 통해, 각 사용자 그룹이 신경망을 훈련하고, 해당 Vision App을 설계하며, 카메라에서 실행할 수 있기 때문입니다.

EyeBot 사용 사례는 어떻게 컴퓨터 비전이 PC가 없는 임베디드 AI 비전 어플리케이션이 될 수 있는지를 보여주었습니다. Vision App 기반 개념을 통한 확장성, 다른 대상 그룹에 대한 어플리케이션 개발, 및 종단 간 제조업체 지원은 소형 임베디드 시스템의 또 다른 장점입니다. EyeBot을 통해 능숙함이 어플리케이션에 더해집니다. IDS와 urobot이 이미지 프로세싱 및 로봇 제어를 위한 AI 훈련 및 실행에 집중하는 동안, 사용자는 자신의 제품에 집중할 수 있습니다. 추가 이점 - 이더넷 기반 통신 및 개방형 IDS NXT 플랫폼을 통해, Vision App은 다른 물체, 다른 로봇 모델 및 기타 많은 유사한 어플리케이션에도 쉽게 적용될 수 있습니다.

urobots의 EyeBot 영상