Ensenso로 향상된 3D 비전

IDS는 3D 카메라 데이터 작업을 단순화합니다.

오늘날 3D 카메라 데이터를 통한 환경 인식은 이전에는 인간만이 할 수 있었던 많은 혁신적인 어플리케이션을 가능하게 합니다. 따라서 로봇 공학은 인간과 같은 방식으로 물체를 인식하고 다양한 상황들에 독립적으로 반응할 수 있습니다. 공간적 차원과 작업 현장의 위치 외에도 기준 오브젝트와 비교하여 편차 또는 결함에 대한 정확한 결론을 도출할 수 있습니다.

3D 카메라 및 그 데이터로 작업하는 것은 매우 복잡하며 어플리케이션을 개발할 때 많은 준비 및 설정 시간이 필요합니다. 특히 다중 카메라 어플리케이션 또는 로봇 공학과 함께 사용하는 경우 데이터를 효과적으로 사용하려면 여러 좌표계의 복잡한 보정이 필요합니다. 강력한 시스템 종속성으로 인해 사용 가능한 데이터를 생성하려면 종종 시스템 수준에서 직접 어플리케이션을 개발해야 합니다. 또한 많은 3D 카메라의 시야와 해상도는 더 큰 작업 공간이 있는 어플리케이션에는 충분하지 않습니다.

이러한 요구 사항은 새로운 Ensenso SDK 2.2 및 Ensenso X 시리즈의 새로운 5MP 변형을 개발할 때 고려되었습니다. 세부 사항이 많이 개선되어 통합이 훨씬 쉬워졌습니다.

속도와 품질에 최적화된 광범위한 모델

Ensenso 3D 카메라는 정적 어플리케이션 및 움직이는 어플리케이션 모두에 적합합니다. 정교한 시퀀스 상관 관계(SC, sequence correlation) 알고리즘 과 결합된 FlexView 기술은 빈 피킹 또는 고정밀 오브젝트 비교를 위해 카메라 모델 N35, X36 1.3 MP, X36 5 MP의 결과 정확도를 최적화합니다. 조정 가능한 장착된 고성능 프로젝터는 무작위 패턴을 생성하여 테스트 오브젝트의 다양한 표면 구조들로 이미지를 생성합니다. SC 알고리즘은 이 출력을 사용하여, 증가된 정확도를 위한 각 추가 이미지 쌍 (최대 16 개)의 덕을 본, 3D 오브젝트 데이터를 계산합니다.

Ensenso는 또한 연속 컨베이어 벨트와 같이 움직이는 오브젝트가 있는 어플리케이션이나 카메라 모델 N30, X30 1.3 MP, X30 5 MP를 사용하여 카메라가 스스로 움직이는 경우에 대해서도 완벽하게 준비되어 있습니다. 최적화된 SGM 알고리즘 (세미-글로벌 매칭)은 단일 이미지 쌍으로부터도 이미 깊이 정보의 상당한 정확도를 달성할 수 있습니다. IDS 웹 사이트의 Ensenso 카메라 선택기는 모든 어플리케이션에 적합한 카메라를 찾는 데 도움이 될 수 있습니다.

더 넓은 시야를 위한 더 큰 눈

두 개의 Sony IMX264 5MP 이미지 센서들이 통합되어 Ensenso 3D 카메라 제품군의 3D 이미지 해상도가 이전 1.3MP 버전에 비해 약 35 % 증가하는 동시에 시야가 약 20 % 증가합니다. 부피가 120 x 80 x 100cm 인 포장된 유로 팔레트를 완전히 캡처하기 위한, 카메라와 테스트 오브젝트 사이의 거리가 1.5m에서 1.25m로 감소될 수 있습니다. 결과적으로 기본 센서 해상도도 훨씬 더 효과적으로 사용됩니다. 소니 센서의 낮은 픽셀 노이즈와 함께 계산된 깊이 정보 (Z 정확도)가 0.43mm에서 탁월한 0.2mm로 향상됩니다.

가속화된 계산을 통한 임베디드 어플리케이션 준비

더 강력한 센서는 자연스럽게 더 많은 양의 데이터를 생성하므로 결과가 나올 때까지 처리 시간이 더 길어질 수 있습니다. 5MP 모델을 사용한 기준 측정은 이미지 쌍 또는 시간의 이미지를 완전한 3D 이미지에 일치시키기 위해 약 4배 더 긴 처리 시간을 확인했습니다. 그럼에도 불구하고 16개의 고해상도 5MP 이미지 쌍과의 시퀀스 상관 관계에 대한 완전한 3D 이미지 계산에 걸리는 시간은 약 2.5초에 불과합니다. 이는 대부분의 어플리케이션에 완전히 충분합니다. 더 빠른 속도 요구 사항이 있는 어플리케이션의 경우 5MP 이미지 쌍을 사용한 세미 글로벌 매칭은 계산 시간이 1.1 초에 불과한 충분한 정확도를 제공합니다.

중요한 계산들은, 더 큰 데이터 볼륨 및 관련 시간 손실에 대응하기 위해, CUDA에 최적화되었습니다. NVIDIA GPU의 추가 컴퓨팅 성능은 사용된 GPU와 해당 알고리즘의 매개 변수화에 따라 처리 속도를 약 5 배까지 높여줍니다.

CUDA 지원을 통해 3D 어플리케이션은 임베디드 환경에서 흥미로워집니다. 예를 들면 NVIDIA Jetson TX2 보드 같은 적절한 플랫폼이 있습니다. 스테레오 계산은 256 CUDA 코어에 액세스 할 수 있지만 HALCON for Embedded Devices를 사용한 후속 이미지 처리는 사용 가능한 ARM CPU에서 실행됩니다.

다중 카메라 능력

Ensenso 소프트웨어 라이브러리는 여러 카메라가 하나의 어플리케이션에서 함께 작동할 수 있도록 여러 가지 유용한 기능을 제공합니다. 서로 다른 뷰와 위치를 사용하여, 여러 카메라의 좌표계들이 서로 또는 실제 세계의 고정된 지점으로 조정되고, 균일한 오브젝트 좌표계로 보정되어야 합니다. 카메라가 로봇과 함께 작동하고 그 움직임이 카메라 데이터와 조정되어야 하는 경우 손-눈 보정도 수행할 수 있습니다. 통합 보정 마법사는 실행 중에 사용자와 동반합니다.

추가 Ensenso 스테레오 카메라 외에도, SDK는 동일한 어플리케이션에서 단안(monocular) 2D-uEye 카메라의 매우 간단한 통합 및 보정을 가능하게 합니다. 3D 어플리케이션의 검사 및 측정 결과의 품질은 2D 카메라의 능력으로 크게 향상될 수 있습니다. 스테레오 카메라가 경계 영역에서 오브젝트를 식별하는 데 어려움이 있는 경우, 2D 카메라는 엣지 검출 또는 색상 인식을 완벽하게 지원합니다. 또한 2D 카메라를 사용하면 바코드 콘텐츠와 같은 추가 정보를 수집할 수도 있습니다. 따라서 Ensenso 소프트웨어는 두 기술의 통합을 최적화합니다. 특별히 개발된 보정 패턴은 멀티 카메라 시스템의 설정 및 조정을 용이하게 합니다. NxLib 라이브러리는 여러 보정 플레이트를 사용하여 아무 크기의 오브젝트 좌표계와 서로 상대적인 카메라 위치를 인식하며, 그 중 일부는 카메라에 의해 커버되고 서로 동기화할 수 있습니다.

손쉬운 개발 및 디버깅을 위한 가상화

어플리케이션 개발자는 특히 "파일 카메라"및 "가상 카메라" 확장의 덕을 볼 수 있습니다. 알고리즘과 프로세스를 개선하려면 동일한 데이터를 여러 번 디버깅 해야 합니다. 파일 카메라는 실제 카메라처럼 시스템에서 작동하지만, 저장된 데이터 세트를 보관하는 로컬 폴더에서 그 이미지가 나온다는 차이점이 있습니다. 이러한 방식으로 실제 시스템에 액세스하거나 상황을 재현할 필요없이 어플리케이션 시퀀스를 반복해서 시뮬레이션 할 수 있습니다. 또한 이상적인 디버깅 도구: 사용자는 문제가 있는 데이터 세트를 저장하고 이미지 처리 전문가에게 배포할 수 있습니다. 이를 통해 오류를 쉽게 재현할 수 있습니다.