"게임 체인저" IDS NXT
이해하기 쉽고, 사용이 쉬운 AI 접목 이미지 프로세싱 어플리케이션에 대한 엔지니어와의 인터뷰
"저는 소프트웨어 개발자가 아닌 엔지니어입니다. 그러나 AI를 통해 이미지 프로세싱이 가능합니다. " 라고 Kempten 응용 과학 대학교의 Marco Ullrich는 말합니다. 그는 생산 및 정보학 연구소의 연구원으로서, AI를 이용한 Mill 보드게임 로봇을 개발하는 석사과정 학생들을 지도했습니다.
이미지 분석은 올인원 지능형 카메라 시스템 IDS NXT에 의해 구현되었습니다. 인터뷰에서 이번 도전 경험, 그리고 솔루션에 대해 자세히 확인해 보세요.
이 프로젝트의 과제는 무엇이었습니까?
이 프로젝트의 목표는 독일 보드 게임 "Mill(Mühle)"을 서로 다른 위치에서 할 수 있는 로봇을 개발하는 것이었습니다. 독일 Kempten과 오스트리아 Salzburg에 위치한 로봇이 서로 경쟁하는 것입니다. 비전 시스템을 활용하여 게임 보드의 변경 사항을 감지하여 개발에 성공했습니다. 지능형 IDS NXT 카메라는 이 시스템의 필수적인 구성 요소입니다.
프로젝트 작업 중에 겪었던 어려움이 있습니까?
초기에는 기존의 Raspberry Pi 카메라를 산업용 카메라로 대체해야 했습니다. 또한 적합한 이미지 프로세싱 알고리즘, 조명 및 카메라 설치 위치를 선택해야 했습니다. 또한 카메라를 비스듬히 설치했지만 사용자 인터페이스에 하향식 보기가 필요했기 때문에 HMI(사용자가 기계와 통신할 수 있는 휴먼 머신 인터페이스)를 위한 이미지 균등화 방법을 찾아야 했습니다. 전반적으로, 기존 로봇 시스템에 카메라를 통합하는 것이 중요한 과제였습니다.
어플리케이션에서 비전 시스템이 맡은 역할은 무엇이었습니까?
비전 시스템의 임무는 게임 보드의 변경 사항을 안정적이고 안전하게 감지하는 것이었습니다. 소프트웨어 개발자가 아닌 엔지니어로서, 사용자 친화적이고 쉽게 사용할 수 있는 시스템을 개발하고자 했습니다. 카메라는 혁신적이고, 최첨단 기술의 산업용으로 적합해야 했고, 인공지능을 이용한 이미지 프로세싱이 필요했습니다. 그러나 사용자가 AI 전문가로만 구성된 것이 아니기 때문에 AI 어플리케이션이 다루기 쉽고 이해하기 쉬운지도 확인해야 했습니다.
왜 IDS 카메라 기술을 선택하셨습니까?
IDS NXT 시스템이 바로 이 프로젝트의 모든 요구 사항을 충족하는 적합한 모델이었습니다. 첫 번째이자 가장 중요한 요인으로, IDS는 실제 어플리케이션에서 인공 지능을 사용하는 장벽을 줄이는 데 초점을 맞추고 있어 소프트웨어 개발자가 아닌 엔지니어도 접근하기 쉬웠습니다. 또한 이미지 프로세싱을 위한 추가 컴퓨팅 리소스가 필요하지 않아 기존 시스템에 쉽게 통합할 수 있습니다.
모든 것이 카메라 자체에서 실행되므로 추가 처리 장치가 필요하지 않습니다.
우리는 사용자에게 최상의 비전 경험을 제공하고자 합니다. 그렇기 때문에 "it's so easy"라는 모토로 카메라 기술을 쉽게 사용하는 데 초점을 맞추고 있습니다. IDS NXT 시스템이 왜 사용하기 쉬운지 설명해 주시겠습니까?
앞서 말씀드렸듯이, 저는 소프트웨어 개발자가 아닌 엔지니어입니다. 그렇지만 IDS NXT 시스템을 통해 이미지 프로세싱을 위한 AI 및 신경망 작업이 가능했습니다. 모든 것이 카메라 디바이스 자체에서 진행되기 때문에 이미지 프로세싱을 위한 컴퓨팅 리소스에 많은 투자를 필요로 하지 않으며, 임의의 추가 프로세싱 유닛이 필요하지도 않습니다. 이렇게 하면 시스템을 기존 설정에 쉽게 통합할 수 있습니다.
IDS 카메라가 프로젝트 환경과 통신하는 데 사용하는 인터페이스에 대해 알려주시겠습니까?
우리는 REP 인터페이스 및 cockpit 소프트웨어를 포함하여 IDS 카메라와 통신할 수 있는 몇 가지 옵션을 살펴보았습니다. 그러나 결국 OPC UA 프로토콜을 활용하기로 결정했습니다. OPC UA 프로토콜이 현재 시스템의 표준 통신 방식이기 때문입니다. 스위치를 통해 카메라를 이더넷 케이블을 통해 PLC에 연결했습니다.
IDS NXT 카메라의 앱 접근 방식을 어떻게 사용하셨나요? 그리고 그 사용 소감은 어떤가요?
우리는 "분류기(Classifier)"와 "물체 감지기(Object Detector)"라는 두 가지 Vision app을 테스트했습니다. 두 Vision app을 통해 충분한 이미지로 (거의) 100%의 성공률을 달성할 수 있었습니다. 물체 감지기(Object Detector)는 성공률이 다소 낮고, 분류기(Classifier)보다 약간 더 복잡하지만, 이를 부정적으로 보지는 않습니다. 전반적으로 앱 접근 방식은 매우 직관적입니다. 특히 프로그래머가 아니고, AI 알고리즘에 익숙하지 않은 경우에는 더욱 그렇습니다.
이 프로젝트의 해결책 중 하나는 요구 사항 사례를 미리 잘 분석해야 개발 시간을 절약하고 다른 방법도 바로 사용할 수 있다는 것이었습니다. 그 이유가 무엇이라고 생각하시나요? AI 기반 이미지 프로세싱은 정말 다른가요?
그 해결책은 우리의 사용 사례에서 AI와 관련이 없습니다. 우리는 프로젝트를 시작하기 위한 올바른 접근법이나 방법의 중요성을 과소평가했습니다. 비전 시스템에는 카메라와 알고리즘보다 훨씬 더 많은 것이 있다는 것을 기억하는 것이 중요합니다. 우리는 전문가가 아니었기 때문에 올바른 카메라 위치, 조명, 기타 요인 등을 평가하는 것이 성능에 상당한 영향을 미치는 것을 깨닫지 못했습니다.
이 프로젝트에서 카메라 위치는 복잡한 작업이었습니다. 기존에 사용했던 카메라 시스템이 게임 보드 바로 위에 있었기 때문입니다. 카메라가 비스듬하게 설치되면서 여러 어려움을 가져왔습니다.
IDS 비전 시스템의 구현이 AI 평가 기능을 통한 토큰 감지 및 프로세스 모니터링에 이점으로 작용했습니까?
경험에 따르면, 이는 이점으로 작용했습니다. IDS 카메라 이전에는 사용성이 제한된 Raspberry Pi 카메라와 Python을 통해 이미지 프로세싱 작업을 수행했습니다. 따라서 IDS 카메라의 이점은 광범위한 전문 지식이 없이도 원활하게 통합되고 사용이 편리하다는 것입니다.
방금 전 코드 리딩 기능 및 다단계 이미지 평가가 어플리케이션을 개선하는 데 유용할 것이라고 말씀하셨습니다. 제게 흥미로운 소식이 있습니다. 이제 IDS NXT 시스템은 블록 기반 에디터(Block-based Editor)에서 두 기능을 모두 지원합니다. 지금 이 프로젝트를 다시 수행하게 된다면 이 도구를 사용하여 어플리케이션을 다르게 계획해 보시겠습니까?
그것은 정말 좋은 소식입니다! 실제로 그러한 기능에 대한 제안이 학생들에게서 나왔었기 때문입니다. IDS가 우리의 제안을 신속하게 반영할 수 있었던 것은 정말 인상적이었습니다. 네, 만약 오늘 이 프로젝트를 다시 수행한다면, 그동안 많은 것들이 바뀌었기 때문에 여러가지가 달라질 것입니다.
현재 동일한 IDS 카메라를 Sonthofen의 연구소의 공장에 통합할 계획이며, 그 과정에서 새로운 기능과 기능을 테스트할 것입니다. 또한, 다양한 연구 프로젝트에서 IDS 팀과 계속 협력할 계획입니다. 앞으로 계속 흥미로운 주제에 대해 함께 작업할 수 있게 되어 기쁩니다.
인터뷰가 끝났습니다. 귀중한 통찰력과 향후 계획을 공유해 주셔서 감사합니다. 계속 협력할 수 있기를 기대하며 연구가 성공하기를 기원합니다.
추가 정보
IDS Vision Channel 또는 YouTube에서 카메라 및 이미지 프로세싱 기술에 대한 인터뷰 및 다른 동영상을 확인할 수 있습니다.