임베디드 3D 비전
카메라로부터 직접 얻은 고해상도 3D 데이터
예를 들어, 자동차 산업에서 지속적으로 운영되는 생산 라인과 같이, 3D 카메라에 의해 대용량 또는 여러 오브젝트 뷰를 자동으로 체크해야 한다면, 고해상도 3D 결과 데이터는 신속하게 생성 및 처리되어야 합니다. 대형 5MP 센서와 가변 기준선을 갖는 스테레오 카메라 시스템은 이상적인 출력 데이터를 제공합니다. 그러나, 인터페이스와 CPU 전력은, 이러한 고성능 3D 어플리케이션에서 빠르게 병목 현상을 발생시킬 수 있습니다.
과제: 데이터 품질에 대한 타협 없이 시스템 구성 요소에 대한 데이터 레이트 및 성능 요구 사항을 줄이는 것입니다. 동시에, 시스템은 공간을 절약하고 효율적이어야 합니다. 따라서, 데이터 프로세싱이 통합된 Ensenso XR 시리즈의 임베디드 3D 카메라는, 논리적으로 다음 단계입니다.
공간 비전 (스테레오 비전)의 원칙에 따라 작동하는 3D 카메라를 갖는 머신 비전 어플리케이션에서, 카메라 이미지는 가능한 한 빨리 추가 프로세스에서 결과 데이터를 사용할 수 있기 위하여 높은 해상도 및 프레임 레이트로 처리됩니다. 스테레오 카메라의 이미지 자료에서 "포인트 클라우드"라 불리는 3차원 데이터를 계산하려면 여러 복잡한 프로세스 단계가 필요합니다. 이 프로세스 단계는, 이전에 강력한 산업용 PC들(IPCs)에서 수행되었습니다. 이 결과 데이터의 품질과 속도에 대한 요구가 증가함에 따라, Ensensox시리즈와 같은 최신 3D 스테레오 카메라는 Gigabit Ethernet 인터페이스가 장착된 고해상도 2D 카메라를 사용합니다. 그러나, 2D 출력 데이터를 프로세싱 IPC로 전송하려면 시간 지연이나 데이터 손실을 방지하기 위해 네트워크 대역폭을 최적으로 활용해야 합니다. 이에 추가하여, 전체 시스템을 제한하지 않으려면, IPC 하드웨어의 프로세싱 능력이 지속적으로 증가해야 합니다.
고품질 구성 요소들을 사용함으로써, 이러한 3D 카메라 시스템의 성능을 더욱 증가시킬 수 있습니다. 교환 가능한 2D 카메라 덕분에, Ensensox시리즈의 유연한 디자인은, 특정 데이터 인터페이스 및 센서 해상도와 관련이 없으며, 속도, 오브젝트 크기 및 품질에 대한 요구 사항에 맞추어 계속 성장할 수 있습니다. 그러나 고해상도의 고속 GigE 카메라, 특수 차폐 케이블, 고성능 네트워크 기술 및 강력한 PC 하드웨어는 일부 어플리케이션에 비해 너무 비쌉니다. 더욱이, 이러한 주변 장치를 위한 충분한 공간이 있어야 합니다.
새로운 XR 카메라 시리즈를 통해, Ensenso는 상이한 접근 방식을 추구하고 있습니다. "사물 인터넷"(IoT)의 원리에 따라, "분산 시스템"의 각 개별 구성 요소는 특정 작업을 수행하고 다른 시스템에서 직접 사용할 수 있는 결과를 생성합니다. 3D 카메라의 경우, 실제 오브젝트의 픽셀의 3차원 좌표입니다.
온보드 3D 프로세싱
Ensenso XR 프로젝터 장치에 통합된 SoC (System-on-Chip)를 통해, 카메라가 스테레오 분석을 포함한 3D 프로세스 자체를 실행할 수 있습니다. 렌즈 왜곡을 교정한 후, 2D 출력 이미지는 카메라의 가상 회전 (렉티피케이션(rectification))을 통해 축-평행 스테레오 시스템으로 전송되고, 이는 모든 후속 분석들을 크게 단순화합니다. 그런 다음, 정적인 또는 움직이는 장면에 대하여 매우 최적화된 매칭 알고리즘이 기록된 이미지 쌍에서 대응하는 픽셀들을 검색합니다. 카메라의 서로 다른 관점들 때문에, 이 픽셀들은 이미지 평면에서 상이한 수평 이동들의 대상으로, "디스패리티"로 알려집니다. 병렬 스테레오 시스템에서 기하학적 관계 때문에, 이 디스패리티는, 알려진 시스템 파라미터(예를 들어, 스테레오 시스템의 기본 길이, 픽셀 크기, 및 초점 거리)를 알고 빔 세트들을 적용한 후, 밀리미터 단위로 3D 포인트의 공간 깊이의 측정을 나타냅니다.
이러한 시간 및 계산 집약적 픽셀 작업은, 카메라의 지원 FPGA에 의해 병렬로 수행됩니다. 이를 통해, Intel Core i7 Quad CPU가 탑재된 데스크탑 PC에서 스테레오 분석을 수행하는 Ensensox시스템과 비슷한 3D 데이터 레이트를 실현할 수 있습니다.
"통합 데이터 프로세싱과 FlexView2 기술을 결합함으로써, 정확하고 빠른 이미지 세부 정보 획득이 함께 수행됩니다."
"임베디드" 기능의 이점
FlexView2 기술과 결합에서, XR36 시리즈 모델은, 원시 데이터를 호스트 PC로 전송하는 추가 지연 없이 정적 장면의 3D 데이터 세트에 대하여 최대 16개의 빠른 순차 이미지들을 처리할 수 있습니다. FlexView2에 의한 프로젝터 패턴의 변위로, 각 이미지 쌍마다 서로 다른 3D 포인트들이 생성되고, 이는 매우 고해상도 3D 표현에 기여합니다.
계산 집약적인 프로세스를 카메라로 재배치하기 때문에, 더 이상 강력한 산업용 PC로 이러한 작업을 수행할 필요가 없습니다. 추가로, 고해상도 2D 원시 데이터 대신 3D 결과 데이터를 전송하는 것은 네트워크 부하를 감소시킵니다. 이미지 획득과 처리 사이에 빠르고 직접적인 메모리 액세스로, 고해상도 3D 데이터에 관한 이 어플리케이션은 산업용 PC에서 외부 프로세싱에 비해 결과 속도와 대역폭 감소 측면에서 엄청난 이점을 제공합니다.
특히 멀티-카메라 시스템은 새로운 XR 시리즈의 리소스 절약 기능을 활용합니다. 여러 고해상도 2D 카메라로부터의 원시 데이터가 네트워크 상에서 전송되어야 하면, 대역폭 병목 현상이 빠르게 발생하고, 이는 전반적인 성능에 부정적인 영향을 미치는 프레임 레이트 저하가 발생할 수 있습니다. 여기에서, XR 시리즈의 초기 평가 및 동시의 데이터 감소는, 신뢰할 만한 결과 속도, 주변 부품의 컴퓨팅 성능 요구 사항 감소 및 이에 따른 공간 요구 사항 감소에 비추어 탁월합니다. Ensenso XR 카메라가 장착된 3D 어플리케이션은 필요한 요구 사항에 따라 확장하기가 훨씬 쉽습니다.
데이터 레이트를 더 줄이기 위하여, 카메라는 디스패리티 맵만을 전송합니다. 16비트 1채널 이미지는, 완전한 "포인트 클라우드"보다 상당히 작고, 포인트 클라우드는, 컬러 오버레이를 갖는 32비트 RGB 이미지입니다. 산업용 PC에 많은 컴퓨팅 부하를 주지 않고, Ensenso SDK로 간단한 변환을 수행할 수 있습니다.
새로운 독립
다른 3D 카메라들에 비해 Ensenso XR 스테레오 카메라의 높은 자율성은, 속도 측면뿐 아니라 3D 어플리케이션에 대한 중요한 선택 기준이 됩니다. 네트워크 주변 장치 및 IPC 하드웨어에 대한 성능 요구 사항 감소는, 3D 어플리케이션의 전체 구성을 단순화하고, 특히 멀티-카메라 시스템에서 비용을 절감합니다.
더욱이, 새로운 Ensenso XR 프로젝터 장치에는 전면 조명이 통합되어 있습니다. 전면 조명은, 사용할 때 주변 조명이 부족하거나 외부 조명을 사용할 수 없으면 2D 카메라 이미지의 이미지 품질을 향상시키거나 작업 환경의 보정을 지원합니다. GigE 데이터 연결 외에도, 추가 WiFi 인터페이스가 계획되어 있고, 이는 배선이 어렵거나 비용이 많이 들 때 데이터 및 파라미터에 임시로 액세스하는 데 매우 유용할 것입니다.
Ensenso XR 시리즈의 많은 개선 사항들은 3D 카메라 기술에 대한 어플리케이션의 새로운 분야들을 열었습니다. 통합 데이터 프로세싱은 데이터 교환을 최적화하는 논리적인 다음 단계입니다.