컬러 센서에 대한 더 높은 해상도

배경

18MP onsemi AR1820HS와 같은 디지털 이미지 센서의 원리는 밝기 정보만 획득하고 색상 정보는 획득하지 않음을 의미합니다. 그 결과, 컬러 센서의 제조 과정에서 각 픽셀에 컬러 필터가 적용됩니다. 이것은 Bayer 매트릭스로 알려져 있습니다.

Bayer 매트릭스에서 컬러 필터의 배열
Bayer 매트릭스에서 컬러 필터의 배열
RGB 필터 레이어는 특정한 파장의 빛만을 투과시킵니다.
RGB 필터 레이어는 특정한 파장의 빛만을 투과시킵니다.

4개의 픽셀 중, 2개의 픽셀에는 녹색 필터가, 한 픽셀은 적색 필터, 한 픽셀은 청색 필터가 제공됩니다. 이 색상 분포는 인간의 눈의 인식에 해당하며, Bayer 매트릭스라고 합니다. 하나의 픽셀은 한 가지 색상에 관한 정보만을 나타냅니다.

각 픽셀에 대하여 완전한 RGB 값을 얻기 위하여, 누락된 원색은 적절한 알고리즘을 사용하여 인접한 네 개의 픽셀에서 보간됩니다. 이 색상 보간은 같은 색상의 인접한 두 픽셀 간에 약간의 색상 차이만 있다고 가정합니다. 엄밀히 말하면, Bayer 매트릭스를 갖는 센서는 원래 센서 해상도의 1/4에 불과한 해상도를 가집니다.

센서 모노 모드

Bayer 매트릭스는 모노 모드에서 단순히 보이지 않게 렌더링될 수 없지만, 다음 두 가지 솔루션들은 어떻게 어플리케이션 유형에 따라 원하는 결과를 얻을 수 있는 지를 보여줍니다.

1) … "회색 장면"의 경우

18MP 컬러 센서를 흑백 장면에 모노 모드로 사용하면, 광대역 광원 (백색광)을 계속 사용해야 합니다. 이는 센서의 Bayer 매트릭스때문입니다. 이 센서로, 단색의 (단일 색상) 빛은, 사용된 RGB 필터 레이어로 인해, 빛의 파장에 따라 개별 픽셀이 정보를 전혀 전송하지 않거나 적게 전송하게 됩니다 (그림 2 참조). 이로 인해 개별 픽셀들에서 다른 밝기 인식이 발생할 수 있습니다. 이 경우, RGB 개선은 R, G 및 B에 대해 각각 보정되어야 합니다. 결과적으로 모노 센서에서와 같이 모든 픽셀에 대해 동일한 밝기 인식을 얻을 수 있습니다.

RGB 개선의 보정 없으면, Bayer 매트릭스가 명확하게 보입니다 (왼쪽). < br > RGB 보정 후 (오른쪽의 RGB 히스토그램 참조), 모노 센서에서와 같이 균일한 밝기 인식을 가집니다.

주의: 이 RGB 보정은, 이 특정 광원과 "회색" 장면에 대해서만 유효합니다. 광원 (파장)이 변경되면, RGB 개선 팩터들을 재조정해야 합니다.

어떻게 uEye Cockpit을 사용하여 Bayer 매트릭스를 "보이지 않음"으로 전환하는 지:

  • 백색 광원으로 장면을 비추세요.
  • "Bayer RGB 보기" 옵션으로 히스토그램을 보세요.
  • 이미지의 주요 부분들이 과도하게 노출 (클리핑)되지 않도록 노출 시간을 선택하세요. 수많은 픽셀들이 값 255를 가지면, 이것을 히스토그램에서 볼 수 있습니다. 카운터 측정, 예를 들어, AES ("AES/AGC" 탭)를 사용하여 128로 조절하세요.
  • 그런 다음 AWB (Auto White Balance)를 "그레이 월드"로 수정합니다. 히스토그램에서, 색상 곡선이 서로 어떻게 정렬되는지를 확인할 수 있습니다.
  • 8비트 RAW 모드 ("형식" 탭)에서 확인하세요. Bayer 매트릭스는 보이지 않아야 합니다.
  • 보인다면, RGB 개선 팩터를 수동으로 조정하세요 ("이미지" 탭).


보정 후, "단색" 장면에서 더 이상 Bayer 매트릭스를 볼 수 없을 것입니다. 대조적으로, 색이 있는 오브젝트를 장면으로 가져오면 Bayer 매트릭스에서만 보일 것입니다.

RGB 보정 후, RGB 필터 레이어가 빛의 파장에 따라 정보를 전혀 전송하지 않거나 적게 전송하기 때문에, Bayer 매트릭스는 이미지의 색상이 있는 부분에서만 볼 수 있습니다. (그림 2 참조)

2) … "색상 또는 회색 장면"의 경우

어플리케이션에서 색상 장면으로 작업하면, 개별 Bayer 픽셀의 밝기 감도는 색상 구성 성분들에서의 변화에 따라 지속적으로 변경됩니다. 이 상황에서 진짜의 모노 모드를 달성하는 방법도 있습니다. 해결책은 18MP onsemi AR1820HS의 색상 스펙트럼에 있습니다.

약 900nm의 파장 이상에서 개별 픽셀에 대한 컬러 필터들는 유사한 스펙트럼 특성을 가지고 있습니다. 이 임계 값을 넘어서면, 센서의 모든 픽셀들은 전용 모노 센서와 마찬가지로 다시 입사광에 거의 동일하게 반응합니다. 즉, 이 방법을 사용하여 컬러 장면과 회색 장면 두 경우 모두 Bayer 매트릭스를 보이지 않도록 할 수 있습니다.

AR1820HS의 색상 스펙트럼은 900nm 이상의 색상 필터와 유사한 스펙트럼 특성을 보여줍니다.
AR1820HS의 색상 스펙트럼은 900nm 이상의 색상 필터와 유사한 스펙트럼 특성을 보여줍니다.

설명된 바에 따라 센서의 이 스펙트럼 속성을 사용하려면 다음 사항을 준수해야 합니다:

  • 정의된 조명 조건들을 보장하세요. 즉, 가능한 한 900nm보다 짧은 다른 파장의 빛을 차단하세요.
  • AR1820HS 센서가 장착된 uEye 카메라를 특히 GL 필터 (유리)와 함께 주문하세요. 이 센서와 함께 일반적으로 주문되는 HQ 필터는, 여기에 필요한 장파 빛을 차단합니다. 대조적으로, GL 필터는 900nm 이상의 빛이 거의 약화되지 않고 통과될 수 있도록 합니다. 따라서, 가능한 가장 높은 신호 강도가 센서에 도달합니다.

적합한 렌즈들

설명된 조건에서, 모노 모드의 AR1820HS 센서가 장착된 uEye 카메라는, 컬러 모드보다 훨씬 더 높은 이미지 해상도를 위한 모든 요구 사항들을 충족합니다. 그러나 압도적으로 많은 경우들에서, 카메라는 렌즈와 결합하여 사용됩니다. 이 경우, 달성 가능한 공칭 센서 해상도가 18MP로, 렌즈는 전체 시스템의 해상도 성능을 제한하는 요소입니다.

렌즈의 광학 해상도는 일반적으로 수 메가 픽셀로 지정됩니다. 이 수치는 렌즈가 설계된 가장 큰 센서 형식과 관련이 있습니다. 렌즈가 투과할 수 있는 구조의 얼마나 미세한 지를 결정합니다. 즉, 센서 형식이 작을수록 렌즈에 필요한 해상도가 더 높아집니다. 광학 해상도가 충분하지 않은 렌즈를 사용하면, 센서 픽셀이 언더 스캔됩니다. 묘사될 수 있는 세부 사항들은 더 인접한 픽셀들로 퍼집니다. 결과적으로, 센서 해상도가 허용하는 전체 이미지 선명도를 얻지 못합니다. 그러나, 관련 센서보다 이미지 쪽에서 더 높은 해상도를 갖는 렌즈가 포함된 조합들은 피해야 합니다. 이는 원치 않는 에일리어싱(aliasing)/모아레(moiré) 효과가 이미지에 표시되도록 할 수 있습니다.

실제로는, 약 2 픽셀로 가장 작은 세부 사항을 재현하는 것이 권장됩니다. 전반적으로, 이는 적절한 렌즈를 식별하는 것이 재현 스케일에 따라 다르고, 또한 사용되는 센서의 픽셀 크기에 따라서도 크게 좌우된다는 것을 의미합니다.