Ensenso 스테레오 비전 방법 | 삼각측량 | 3D 포인트 클라우드

스테레오 비전

Ensenso 스테레오 비전 카메라는 인간의 시각을 모방합니다. 두 대의 카메라가 다른 두 위치에서 동일한 장면의 이미지를 획득합니다.

카메라는 동일한 장면 콘텐츠를 보지만 카메라의 투사 광선에 따라 오브젝트 위치가 다릅니다. 특수 매칭 알고리즘은 두 이미지를 비교하고 해당 지점을 검색하며 디스패리티 맵(Disparity Map)에서 모든 지점 변위를 시각화 합니다.

렌즈 초점 거리 외에 카메라의 거리와 시야각을 알고 있는 Ensenso 소프트웨어는 삼각 측량(triangulation) 원리를 사용하여 이 디스패리티를 길이 단위로 변환합니다. 따라서 각 이미지 픽셀의 3D 좌표를 결정할 수 있습니다. 그 결과 3D 오브젝트 정보를 기반으로 한 추가 어플리케이션의 기반이 되는 3D 포인트 클라우드가 생성됩니다.

Ensenso 스테레오 비전에 대해 더 알아보기

이미지 비교 중 매칭 프로세스(matching process)는 센서 픽셀의 콘트라스트- 및 밝기 눈금을 기반으로 합니다. 따라서 스테레오 비전 품질은 장면의 조명 상태와 오브젝트 표면 텍스처에 직접적으로 의존합니다. 질감이 덜하거나 반사되는 표면에서 해당 지점의 좌표를 찾고 계산하는 것은 매우 어렵습니다. 디스패리티가 고유하게 결정될 수 없습니다. 그 결과 장면의 깊이 정보가 불완전합니다.

Ensenso 카메라는 더 좋은 품질의 깊이 정보와 더 정확한 측정 결과를 위해 추가 패턴 투영으로 기존의 스테레오 비전 원칙을 개선합니다. 결과적으로 스테레오 비전은 더 광범위한 어플리케이션에서 사용될 수 있습니다.

패턴 프로젝터

빛을 많이 사용하는 프로젝터는 어려운 조명 조건에서도 패턴 마스크를 사용하여 오브젝트 표면에 고-대비 텍스처를 생성합니다. 투사된 텍스처는 약하거나 존재하지 않는 오브젝트 표면 구조를 보완합니다.

따라서 이 원리를 "투사된 텍스처 스테레오 비전(Projected Texture Stereo Vision)"이라고도 합니다. 그 결과 더 상세한 디스패리티 맵과 장면의 더 완전하고 균일한 깊이 정보가 생성됩니다.

컵 표면에 투사된 보조 패턴은 보다 완전하고 균일한 깊이 정보를 제공합니다.

FlexView

FlexView 기술은 정적 장면의 디스패리티 맵의 세부 레벨을 더욱 향상시킬 수 있습니다. 투사 광선에서 패턴 마스크의 위치는 압전 액추에이터(piezoelectric actuator)를 사용하는 기계 시스템에 의해 작은 단계로 변환될 수 있습니다. 그 결과 오브젝트 표면에 다양한 질감이 생깁니다. 동일한 오브젝트 장면에서 서로 다른 텍스처로 여러 이미지 쌍을 획득하면 훨씬 더 많은 이미지 포인트가 생성됩니다. 해상도가 증가합니다. 매칭 알고리즘은 캡처된 모든 이미지 쌍을 사용하여 크게 개선된 디스패리티 맵을 계산합니다.

광택이 나거나 어둡거나 반사되는 표면에 추가적인 구조 정보를 생성하는 텍스처 변위의 결과로, 해상도와 결과 데이터의 견고성도 증가합니다. 많은 처리 알고리즘이 더 높은 해상도와 더 낮은 노이즈의 이점을 얻습니다. FlexView는 포인트 클라우드의 사후 처리 단계와 추가 3D 처리 시간을 줄여줍니다.

어플리케이션, 예를 들어, 측정 작업 또는 기어 톱니 계산과 같은 품질 검사에 필요한 세부 정보를 제공하는 FlexView를 사용한 이미지 획득

높은 데이터 레이트로 FlexView없이 이미지를 획득하며, 빈 피킹 또는 존재 감지와 같은 어플리케이션에 사용됩니다.

FlexView1, 2 및 단일 샷 데이터 비교

Ensenso는 FlexView 기술이 있거나 없는 카메라를 제공합니다. 각 솔루션은 특정 어플리케이션에 최적화되고 조정됩니다. 이 점에서 오브젝트 움직임이 결정적인 역할을 합니다.

FlexView가 없는 카메라와 각각 FlexView1 기술이 적용된 카메라는 무작위 도트 패턴을 사용하여 고-대비 텍스처를 생성합니다. 하나의 이미지 쌍으로도 깊이 정보를 매우 빠르게 계산할 수 있습니다. 두 카메라 변형들 모두 움직이는 오브젝트가 있는 어플리케이션에 동등하게 적합합니다.

정적 오브젝트 사용하여, FlexView1 카메라는 변환된 도트 패턴으로 획득한 여러 이미지 쌍을 결합하여 더 높은 해상도를 생성하는 알고리즘의 이점을 추가로 제공합니다. 3 내지 5 개의 이미지 쌍만으로 X-, Y- 및 Z- 해상도를 두 배로 늘릴 수 있습니다. 그러나 각 이미지 쌍이 추가될 때마다 획득 및 처리가 증가합니다. 약 8개의 이미지 쌍으로 결과 품질은 FlexView1에서 더 이상 향상되지 않습니다.

FlexView2 기술을 구현하는 카메라는 FlexView1과 비교하여 정적 오브젝트의 X-, Y- 및 Z-방향에서 해상도를 두 배로 늘릴 수 있는 적절한 알고리즘과 함께 특별히 설계된 패턴 마스크를 사용합니다.

제약 : 특수 패턴으로 인해 최적화는 최소 5개의 이미지 쌍에서만 효과적입니다.

FlexView 1에서 각각 FlexView가 없는 카메라의 프로젝터 마스크로 사용되는 무작위 도트 패턴. 단일 샷 데이터에 최적화됨.

FlexView 2 패턴의 추가 밝기 그라디언트는 최소 5개의 이미지 쌍으로 오브젝트 깊이 정보를 계산하여 적절한 알고리즘을 지원합니다. 이러한 밝기 그라디언트는 단일 샷 데이터에서 패턴의 효과를 감소시킵니다.

FlexView없이

(싱글-샷-데이터)

적합:

빠른 어플리케이션 및 움직이는 오브젝트

하나의 이미지 쌍만 사용하여 매우 빠른 이미지 획득 및 처리

움직이거나 서 있는 오브젝트에 사용 가능

싱글 샷 데이터에 최적화된 프로젝터 패턴

FlexView1 및 FlexView2

(다중 획득 모드에서)

적합:

정적인 서 있는 오브젝트가 있는 어플리케이션과 더 높은 정확도 결과에 대한 필요

정적 장면에 대한 깊이 정보의 크게 향상된 해상도와 품질.

미세한 오브젝트 세부 사항 및 윤곽

어둡고 반사가 적고 질감이 적은 표면에 더 견고함

정적인 서 있는 오브젝트에만 적합

더 긴 획득 및 처리 시간

임베디드 3D-Vision

새로운 Ensenso XR 시리즈의 통합 데이터 처리는 특히 정적 장면에서 최대 16 개의 이미지 쌍으로 FlexView 2 기술 사용을 최적으로 지원합니다. Ensenso 스테레오 프로세싱의 계산 집약적인 작업은 하드웨어 가속을 통해 카메라에서 완전히 실행됩니다. 이를 통해 네트워크 전송으로 인한 대기 시간 없이 이미지 획득 및 처리가 함께 작동할 수 있습니다. FlexView 2 기술과 카메라의 FPGA에서 스테레오 처리의 높은 병렬화를 결합하면 매우 높은 프레임 레이트로 고정된 오브젝트의 고해상도 포인트 클라우드를 생성할 수 있습니다. 생성된 3D 데이터의 품질은 호스트 PC 로의 데이터 전송으로 인한 추가 시간 지연없이 이미지 해상도 및 각 이미지 쌍에 따라 향상됩니다.

임베디드 3D 비전과 그 장점에 대해 더 알아보기

Ensenso 스테레오 3D 카메라의 어플리케이션에 대해 자세히 알아보세요