프레임률 그 이상의 이벤트 기반 카메라

이미지가 아닌 변화에만 집중

이미지 기반 센서는 항상 전체 센서 표면의 전체 데이터를 일정한 간격으로 전송하는 반면, 이벤트 기반 카메라는 같은 시간 동안 매우 적은 양의 데이터만 생성하는 경우가 많습니다. 즉, 애플리케이션 개발자는 빠른 속도의 이벤트를 정확하게 캡처하기 위해 높은 프레임률과 대량의 중복 데이터 사이에서 타협할 필요가 없습니다. EVS 카메라에서 생성되는 데이터의 양은 시야의 활동에 따라 달라지고 장면 조건이 변경되면 자동으로 조정되기 때문입니다. EVS 픽셀은 프레임률이 고정된 이미지 기반 센서와 달리 시야에 변화가 발생할 때만 정보를 전송하고 데이터 트래픽을 생성합니다.

모션 블러 없는 선명함

기존 센서는 기술 특성상 빠르게 움직일 때 모션 블러가 발생할 수 있습니다. 노출되는 동안 대비 경계(예: 물체 가장자리로 인해)가 인접한 여러 픽셀을 가로질러 이동할 때 발생합니다. 각 픽셀은 움직이는 물체의 다른 위치에서 빛을 포착합니다. 움직임이 빠르거나 노출 시간이 길수록 왜곡 없이 선명한 이미지를 얻기가 더 어려워집니다. 반면, EVS 픽셀은 입사광을 지속적으로 분석하여 빛의 양이 증가하거나 감소한 것만 비교기에 등록합니다. 설정된 임계값을 초과하면 약 1마이크로초의 시간 정확도로 켜짐 또는 꺼짐 변경 이벤트를 생성합니다. 아무리 빠른 움직임도 EVS 기술을 사용하여 픽셀 단위로 스캔합니다. 이렇게 하면 모션 블러 없이 모션 경로를 설명하는 독립적인 픽셀 이벤트의 고해상도 시퀀스(스트림)가 생성됩니다.

정보로서의 시간

마이크로초 단위의 정밀한 타임스탬프와 각 개별 픽셀 이벤트의 위치를 기반으로 완전히 새로운 애플리케이션의 가능성이 열립니다. 변화 이벤트는 이미 그 자체로도 가치 있는 정보를 담고 있으며, 이로부터 더 많은 중요한 정보를 도출할 수 있습니다. 고정된 프레임률을 가진 기존 카메라는 샘플링 속도가 일정하기 때문에 이러한 데이터를 캡처할 수 없고, 출력 형식상 많은 양의 중복 데이터가 손실됩니다.

이벤트 데이터를 사용해 슬로 모션 영상을 생성하는 것도 매우 흥미로운 분석 방법입니다. 캡처된 픽셀 이벤트를 시간 그리드에 누적하고 이를 통해 완전한 센서 이미지를 생성함으로써, 노출 시간을 가변적으로 조정할 수 있는 슬로 모션 영상이 만들어집니다. 재생 속도는 선택된 누적 시간 및 디스플레이 프레임률에 따라 가변적으로 유지됩니다. 실시간(이벤트당 프레임 하나의 슈퍼 슬로 모션)부터 실제 이동 속도(약 33ms당 프레임1개)와 정지 이미지까지 다양하게 조절할 수 있습니다. 모든 이벤트를 시간 기준으로 누적하면, 전체 움직임의 이력이 시각화됩니다.

속도 및 방향 정보 또한 정확하고 수치적으로 분석할 수 있어 복잡한 이미지 프로세싱이 더 이상 필요하지 않습니다. 반면, 3D 시각화로 특정 시간 범위에 걸쳐 여러 픽셀 이벤트의 위치와 시간을 누적하면 동작 경로의 질적 표현이 결과로 나타납니다. 이 방법은 예를 들어 유체 및 기체의 고정밀 흐름 분석(flow analysis)에 활용되어, 어떻게 그리고 어떤 경로로 객체들이 시간 영역 내에서 이동하는지를 이해하는 데 도움이 됩니다.

새로운 데이터, 새로운 처리 방식

이러한 새로운 센서 정보를 제대로 활용하려면, 개발자들은 기존의 주기적인 이미지 기반 처리 방식과는 다른 접근이 필요합니다. 물론 여러 이벤트 데이터를 기존 프레임으로 묶어서 일정한 프레임률로 기존 이미지처럼 처리하는 것도 가능합니다 하지만 이 방법은 데이터 동적 특성을 제대로 활용하지 못하기 때문에 반드시 최적이라고 할 수는 없습니다. 예를 들어, 빠른 움직임을 위한 높은 시간 정밀도, 에너지 소비를 낮출 수 있는 적은 데이터의 효율적인 처리 등의 이점을 살리지 못하는 것입니다. 이벤트 데이터에서 패턴, 움직임, 시간, 구조 등을 빠르고 효율적으로 추출하고 처리하려면, 그에 적절한 기능, 도구, 알고리즘이 필요합니다. 현재까지 알려진 표준vision framework(이미지 기반)에는 이러한 기능이 제공되지 않고 있습니다.

그러나 이 새로운 센서 기술의 제조사인 Prophesee와 Sony는 이에 맞는 적절한 처리 방식을 개발하여, 소프트웨어 개발 키트 Metavision SDK에서 유용한 기능을 상세한 문서와 다양한 샘플과 함께 제공하고 있습니다. 사용자는 이 혁신적인 기술을 바로 시작하고 활용할 수 있습니다.

IDS의 EVS 카메라 의"uEye XCP-E”를 사용하기 위해서는 호스트 PC에 IDS HAL 플러그인만 설치하면 됩니다. 이후 카메라는 Prophesee의 Metavision SDK에서 바로 사용할 수 있습니다. 사용 방법 영상 보기: