실시간 편광
IDS 편광 카메라의 온-카메라 데이터 전-처리 사용
편광된 빛에 대한 지식으로, 산업 이미지 처리에서 반사 및 하이라이트를 줄이거나 미세 구조의 대비를 높일 수 있습니다. 표면 아래에서 작용하는 물질 장력과 같은 물리적 성질도 시각화될 수 있습니다. 편광 정보를 결정하기 위해 편광 필터의 방향이 다른 최대 4개의 순차적 이미지와 후속 PC 처리가 필요했습니다. 소니의 Polarsens 기술을 사용하면 한 번의 녹화만으로 충분합니다. 추가 데이터 전-처리는, 호스트 PC에서 보다 효과적인 추가 처리 또는 평가를 위해, IDS 편광 카메라로부터의 실시간 원시 데이터를 유용한 이미지 형식으로 변환합니다.
IDS 편광 카메라와 일반 카메라의 차이점은 무엇입니까? 카메라에서 편광 정보를 전-처리할 수 있는 가능성은 무엇입니까? 이러한 특수 카메라의 어플리케이션을 이해하려면 짧은 기술 견학이 필요합니다.
우리에게 보이는 빛의 특성을 설명하는 모든 중요한 정보를 내포하는, 빛이 전자기파라는 것을 우리는 이미 알고 있습니다. 사람의 눈과 카메라의 이미지 센서 모두는 빛의 방향, 강도 (진폭) 및 색상 (파장)을 캡처하여 이미지 처리를 위해 디지털화 할 수 있습니다. 빛의 파장 범위는 전체 전자기파 스펙트럼의 작은 부분에 불과합니다.
편광된 빛
지금까지 특수 조명, 필터 유리 및 광학을 사용한 이미지 처리에 주로 사용된 또 다른 특징은 파동의 편광입니다. 편광은 광선 자체의 방향이 아니라 빛 입자(광자)가 전파 방향에 수직으로 진동하는 파동 진폭의 방향을 설명합니다. 편광되지 않은 빛의 파동은 다른 방향으로 진동합니다. 백열등이나 햇빛이 그 예입니다. 만약 광자가 한 방향으로만 움직인다면, 선형적으로 편광된 빛을 말합니다. 특수 편광자는 하나를 제외한 모든 평면-편광 축-에서 진동하는 입사광을 흡수하거나 감쇠시켜 거의 선형 편광을 생성합니다.
선형 편광 필터의 동작
선형 편광 필터를 통과할 때 초기 강도 I 0인 광파의 결과 강도에 대한 영향은 프랑스 물리학자 Étienne Louis Malus 에 의해 1808년에 이미 입증되었고 "말루스의 법칙"으로 수학적으로 설명되었습니다: I = I0.cos²(Φ)
따라서, 편광자의 광축을 기준으로 꼬인 광파는 일반적으로 차단되지 않지만, 그 강도는 각도에 따라 감쇠되고 필터 방향으로 편광됩니다. 선형 편광자의 동작은 종종 잘못 설명되거나 표현됩니다. 안타깝게도, 위의 그래픽은 이것의 또 다른 예입니다.
반사는 편광과 어떤 관련이 있습니까?
유리와 같이 반사율이 높은 표면에서는 광선이 반사될 수 있습니다. 물체의 시야각에 따라 관찰자의 방향에서 원치 않는 반사가 발생할 수 있습니다. 다음 자동차 예제는 이러한 빛 반사로 인해 자동차 창문이 어떻게 불투명 해지는지 보여줍니다. 러므로 내부에 있는 물체나 사람은 거의 알아볼 수 없으며 - 거의 "보이지 않게"됩니다.
비금속 표면 (여기서는 유리)에서 빛 반사가 발생하면 물리적 프로세스로 인해 빛이 자연적으로 편광됩니다. 이는 특수 편광된 빛 성분을 의미하므로, 적절한 편광 필터를 사용하여 섬광 효과를 줄일 수 있습니다. 빛의 편광되지 않은 부분은 여전히 필터를 통과할 수 있습니다.
윈드쉴드 상의 빛 반사는 편광 필터에 의해 제거될 수 있습니다.
금속 표면 상의 반사는 편광 필터만으로 제거할 수 없습니다! 금속 표면 상에서는 빛이 편광되지 않고, 반사됩니다. 따라서 편광 카메라에도 불구하고, 방해되는 빛 반사를 억제하기 위해서는 어플리케이션에 따라 조명에 추가 편광 필터를 장착하는 것이 절대적으로 필요합니다.
이미 편광된 빛을 사용하면 (예: 편광 필터 포일을 통해) 표면의 반사 생성이 더욱 줄어듭니다. 따라서 (터치 기능이 없는) 특수 컴퓨터 디스플레이에는 “반사-방지” 영상이 제공됩니다. 좁은 시야각에서는 빛의 강도가 감소하지만 반사는 생성되지 않습니다. 이 디스플레이를 거의 평행하게 보면 화면이 어두워 보입니다!
이미지 처리를 위한 편광의 중요성
빛의 순수한 인식 또는 디지털화를 위해 편광되거나 비 편광된 빛을 다루는 것은 기술적 차이가 없습니다. 디지털 이미지 처리에서 특정 특징을 보이는 데 필수적인 것은 주로 장면의 조명입니다. 그러나 조명으로 사진을 찍은 사람은 누구나 장단점을 알고 있습니다. 원치 않는 그림자는 다른 방향으로부터의 추가적인 또는 더 강한 조명으로 제어하기가 쉽습니다. 확산기 스크린과 함께 사용하면 장면의 보다 균일한 조명을 얻을 수 있습니다. 그러나 빛과 관련하여, 항상 방해가 되는 반사와 페이딩과 싸워야 하는데, 이로 인해 중요한 특징이 종종 발견되지 않습니다. 예를 들어, 자동차 운전자의 얼굴이 윈드쉴드에 반사되어 빛을 발하기 때문에 미러링으로 정보가 지워지면 이미지를 획득한 후에는 어떤 이미지 처리 기술로도 복원될 수 없습니다. 특히 산업 이미지 처리에서 확산 산란광은 방해 영향을 최대한 줄이기 위해 자주 사용됩니다. 그러나 어플리케이션에 따라 최적의 조명은 매우 비쌀 수 있습니다.
그러나 항상 더 많은 것이 더 낫거나 더 적합한 것은 아닙니다! 빛의 경우, 방해 영향을 대상으로 필터링하여 필수 요소를 가시화할 수도 있습니다. 편광된 빛에 관한 지식, 생성 방법 및 영향을 미치는 방법은 솔루션에 대한 접근 방식을 제공합니다. 편광 필터는 이미지 처리에서 반사 또는 하이라이트를 줄이면서 대비를 높이는 데 사용됩니다. 또한 표면 아래의 물리적 성질을 시각화 하기 위한 응력 분석에 유용합니다.
Advantage polarization
빛은 표면적일 뿐만 아니라 기계적 응력이나 빛 굴절과 같은 다른 물리적 성질에 의해서도 편광되기 때문에 일반 이미지 센서로는 감지할 수 없는 물체 특징과 결함을 보이게 할 수 있습니다.
보이지 않는 것을 보이게 만들기
찾고자 하는 물질적 결함이나 물체 특징은, 더 많은 빛을 통해 또는 방해 영향을 제거하더라도 항상 보이게 되지는 않습니다. 다음 그림 예에서는 우리에게 중요한 내용이 더 많이 노출되거나 빛의 강도가 증가하는 것처럼 보입니다. 그렇지 않습니다. 빛은 얼룩과 스크래치로부터 반사된 빛에 의해 편광됩니다.
편광 정도를 사용하여 유리 검사 중에 얼룩 및 스크래치가 보이게 됩니다.
지문과 스크래치는 "편광도"를 시각화해야만 매우 선명하게 보여질 수 있으며, 편광되지 않은 빛보다 편광된 광선을 더 선명하게 보이게 합니다. 그러나 일반 카메라 센서는 빛의 편광을 기록하지 않습니다. 이는 정보가 획득 중에 손실됨을 의미합니다. RAW-파일에서도 어느 각도와 편광도로 빛이 캡쳐됐는지 더 이상 인식할 수 없기 때문에, 이미지 처리에 의한 시각화 또는 후속 편광 보정은 더 이상 적용될 수 없습니다.
이러한 이미지를 계산하려면 이 장면의 빛의 편광을 다수로 캡처할 필요가 있습니다. 이를 통해 이미 디지털화된 이미지를 나중에 처리하거나 "보이지 않는" 특징을 보이게 할 수 있습니다. 이러한 편광 양자화는 예를 들어 소니의 Polarsens 기술을 사용하면 매우 쉽게 달성될 수 있습니다. 즉, Sony IMX250MZR 모노 Polarsens 센서가 포함된 GV-5080CP-P (GigE Vision) 또는 U3-3080CP-P (USB3 Vision)와 같은 카메라를 사용하면 편광 정보를 단일 이미지로 캡처할 수 있습니다.
4x 선형 편광자를 갖는 IDS 카메라
Sony IMX250MZR 모노 편광 센서가 있는 IDS 편광 카메라는 GigE Vision 및 USB3 Vision 버전으로 제공됩니다.
기술 데이터 시트
- U3-3080CP-P-GL Rev.2
- GV-5080CP-P-GL
웹 사이트에서 다운로드 할 수 있습니다.
단일 이미지는 이미지 콘텐츠와 함께 편광 정보를 캡처하는데 충분합니다. 편광된 광원 또는 편광 필터와 같은 특수 액세서리가 필요하지 않습니다. 이것은 소니 센서의 혁신적인 설계 덕분에 가능합니다.
포토 다이오드와 마이크로 렌즈 사이에 위치한 "4 방향 편광자"는 선형 편광 필터의 원리에 따라 하나의 이미지에서 4 개의 편광 방향 (0 °, 45 °, 90 ° 또는 135 °)으로 센서 원시 이미지를 생성합니다. 편광 필터의 각 각도에 대해 다른 강도가 측정됩니다. 4개의 서로 다른 편광 필터가 있는 2x2 클러스터의 인접한 4개의 픽셀이 "계산 유닛"을 형성합니다. 따라서 센서의 실제 5메가 픽셀은 각각 하나의 편광 각도에 대해 4개의 보다 작은 이미지로 분할되지만 이미지 내용은 동일한 순간을 반영합니다. 즉, 카메라가 편광 정보를 계산하기위한 최적의 출력 데이터를 가집니다.
4개의 단일 이미지들은 감소된 해상도와 밝기에서 1.26MP로 가용하며, 이는 경계 영역에서 다음 편광 결정 중에 결과 값의 강한 노이즈를 유발할 수 있습니다. 따라서 이미지를 캡처할 때 적절하고 충분한 조명이 있는지 확인하십시오.
각 센서 계산 유닛의 편광 상태에 대한 수학적 계산 기준은 Stokes vector입니다. 4가지 구성요소의 도움으로, 편광 정도와 편광 각도가 4개의 측정된 빛 강도로부터 결정될 수 있습니다.
OnCamera 편광
산업용 카메라는 디지털 처리를 위한 이미지 자료를 제공합니다. 이미지 센서의 원시 형식이 후속 이미지 처리에 가장 많은 가능성을 제공하지만, 예를 들어 직접 육안 검사에는 적합하지 않습니다. 전처리를 통해 중요하고 자주 필요한 결과를 직접 계산할 수 있습니다. 또한 시간과 PC 컴퓨팅 부하를 절약합니다. 따라서 Sony Polarsens 기술과 결합하여 센서 원시 형식 외에 다른 유용한 이미지 형식을 사용할 수 있으므로 PC에서 이미지 처리를 위한 최적의 출력 데이터를 제공할 수 있습니다.
카메라 펌웨어 버전 2.4부터 uEye CP 편광 카메라는 픽셀 전처리를 통해 "4 방향 편광자"의 원시 이미지 데이터를 사용하여 단일 이미지 획득에서 편광의 방향과 정도를 독립적으로 결정할 수 있습니다. 이를 통해 새로운 이미지 정보를 계산하고 편광 데이터로 시각화하여, 예를 들어, 대비가 보이게 할 수 있습니다. 미리 정의된 선택 가능한 이미지 구성 요소를 사용하여, 사용자는 예를 들어, 이미지가 PC로 전송되기 전에 단 한 번의 클릭으로, 거의 완전한 어둠 속에서도 반사 물체 특징을 보이게 하거나 센서 원시 데이터로부터 직접 방해되는 빛 반사를 필터링할 수 있습니다!
"온카메라 데이터 전-처리"의 장점
-매우 쉽습니다 - 카메라에서 추가 처리를 위한 최적의 데이터를 이미 수신한 이미지 처리 엔지니어의 작업을 단순화합니다.
-효율적 - PC 리소스를 절약합니다. 카메라와 PC는 작업을 효과적으로 공유합니다.
-비전-호환 - 카메라로부터의 결과 데이터는 추가 또는 특수 소프트웨어 없이도 모든 표준 비전 어플리케이션에서 사용할 수 있습니다.
어플리케이션 특화 이미지 형식
가장 중요한 어플리케이션의 경우 8 가지 이미지 형식이 선택을 위해 제공될 수 있으며, 이는 카메라의 FPGA에서 실시간으로 계산됩니다.
Raw
Image format: 8 비트 모노, 2448 x 2048 픽셀 (전체 센서 해상도)
원시 모드에서 카메라는 전체 5MPixel 해상도에서 전처리없이 8 비트 회색조 이미지로 센서 데이터를 전달합니다. 다르게 편광된 픽셀 필터의 강도 값으로 선형 편광된 빛의 각도와 편광 정도를 모두 결정할 수 있습니다. 따라서 원시 데이터 형식은 고객 어플리케이션에서 자체 PC 기반 평가 및 계산에 대한 기초입니다.
Intensity
Image format: 8비트 모노, 1216 x 1024 픽셀 (센서 해상도의 1/4)
"강도"는 4 개의 편광 방향들 0 °, 45 °, 90 ° 또는 135 ° 인 "4 방향 편광자"를 통과한 후 측정된 4 개의 빛 강도의 평균 값 (m)에 해당합니다. m = (I_0 ° + I_45 ° + I_90 ° + I_135 °) / 4로 계산됩니다.
이미지 형식은 빛의 편광 정보가 없는 밝기를 나타냅니다. 따라서 일반 모노 이미지 센서가 캡처하는 강도 값과 가장 비슷합니다.
IntensityNonPolarized
Image format: 8비트 모노, 1216 x 1024 픽셀 (센서 해상도의 1/4)
이 강도 값 (I_min)은 이미지에서 편광되지 않은 빛의 비율에만 해당합니다. 빛의 편광된 부분은 I_min = m * (1-DoP)로 계산됩니다. 이 이미지 형식을 사용하여 빛의 반사가 이미 효과적으로 감소됩니다.
IntensityOnlyPolarized
Image format: 8비트 모노, 1216 x 1024 픽셀 (센서 해상도의 1/4)
이 회색값 이미지 (I_amp)는 빛의 편광 부분만 포함합니다. I_amp = I_max-I_min을 사용하여 계산됩니다. 편광된 빛이 없는 영역은 더 어두워집니다. 개별 픽셀의 현재 밝기가 이미지에 완전히 통합됩니다. 노출 변화는 디스플레이에 영향을 미칩니다. 여기서 절대값들이 출력되고 상대 부분들이 출력되지 않기 때문에, 이 모드는 편광도(DoP) 모드와 구별됩니다.
DegreeOfPolarization (DoP)
Image format: 8비트 모노, 1216 x 1024 픽셀 (센서 해상도의 1/4)
편광도는 전체 강도에 대한 편광된 빛의 퍼센트를 나타냅니다. 상대적인 값으로 인해 DoP 계산은 클리핑이 발생하지 않는 한 노출 변화에 의해 약간만 영향을 받습니다.
- 편광 정도가 높을수록 각도가 더 잘 결정되어 후속 계산 및 분석에 적합합니다.
- DoP 값이 너무 낮으면 편광 정보가 분석에 쓸모없게 됩니다. 이미지 정보에 많은 노이즈가 있습니다.
편광된 빛이 있는 어플리케이션에서 DoP는 결과 품질에 중요한 값이거나 장면의 올바른 조명 조건을 검증하기위한 좋은 척도입니다.
PolarizationAngle
Image format: 8비트 모노, 1216 x 1024 픽셀 (센서 해상도의 1/4)
이 이미지 모드는 계산된 모든 편광 각도 (2x2 픽셀의 "4 방향 편광자"당 1 각도)를 그레이 스케일 이미지로 표시합니다. 각도는 0-180 ° 범위에서 출력되도록 내부적으로 조정됩니다. 따라서 음의 출력 값은 발생하지 않습니다.
편광된 빛이 매우 적은 영역에서는 "4 방향 편광자"의 각도 정보가 노이즈에 의해 깨끗하게 추출될 수 없기 때문에 각도 결과가 크게 달라집니다. 이것은 종종 안정적인 각도 계산이 불가능함을 의미합니다.
어플리케이션에서 계산된 편광 각도를 사용하는 경우, 편광도 (DoP, degree of polarization)에 의한 사전 검증이 권장됩니다.
각도와 편광도 정보의 조합
HSV 색 공간을 사용하여, 카메라는 하나 이상의 정보를 갖는 조합 이미지 형식을 생성할 수 있습니다. 예를 들어 이미지의 편광 각도와 정도를 연결하면 결과를 특히 잘 해석할 수 있습니다. 이것은 또한 관계를 시각화 하는 거짓 색상 디스플레이를 초래합니다.
특히 각도 정보를 노이즈에 의해 깨끗하게 추출할 수 없는 경우 편광된 빛이 매우 적기 때문에 결과는 의미 있는 추가 처리에 거의 쓸모가 없습니다. 이 경우 조합 형식은 각도 값과 함께 동일한 이미지에서 유효성 검사를 위한 척도를 제공합니다!
IDSHeatMap
Image format: 24 비트 RGB, 1216 x 1024 픽셀 (센서 해상도의 1/4), HSV 기반 (H = 각도, V = DoP, S = 100 %)
이 조합 형식에서 결정된 편광 각도는 편광 정도와 결합됩니다. 결과 이미지의 밝기는 DoP에 의해 조정됩니다. 결과적으로 어두운 영역은 편광 성분이 매우 낮아 각도 계산이 부정확 할 수 있기 때문에 각도 정보가 신뢰될 수 없음을 나타냅니다. 반면 밝은 영역의 경우 편광 성분이 매우 커서 각도를 안정적으로 결정할 수 있습니다.
IDSColorMap
Image format: 24 비트 RGB, 1216 x 1024 픽셀 (센서 해상도의 1/4), HSV 기반 (H = 각도, V = abs (모노-DoP), S = DoP)
이 조합 형식에서 결정된 편광 각도는 편광 정도와도 연결됩니다. 그러나 여기에서는 실제 회색값 이미지가 계산에 포함됩니다. 여기서 밝기는 회색조 이미지와 DoP 간의 차이에 해당합니다. 이렇게 하면 밝은 모노 이미지 영역 뿐만 아니라 높은 DoP로 인해 전체적으로 이미지가 더 밝아집니다. 밝기 정보나 높은 DoP 정보가 없는 영역만 어둡거나 검게 됩니다. 또한 DoP는 포화로 사용됩니다. 따라서, 강한 색상은 이미지 영역에서 높은 비율의 편광된 빛을 나타냅니다.
Vision Cockpit을 통한 구성
IDS 편광 카메라의 이미지 형식은 GenICam 호환 소프트웨어와 함께 설정되고 사용될 수 있습니다. 소프트웨어 개발 키트 IDS peak와 함께 설치할 수있는 Vision Cockpit의 도움으로 카메라 파라미터의 설정을 설명합니다. 이미지 형식은 ImageFormatControl 노드에서 개별적으로 선택 가능한 이미지 구성 요소로 찾을 수 있습니다. 펌웨어 2.4로 카메라를 연 경우 검색 필드에 예를 들어 "Component"를 입력하여 설정을 찾을 수 있습니다.
다음과 같이 Vision Cockpit으로 개별 이미지 형식을 활성화합니다:
- 이미지 획득을 비활성화하세요.
- "Component Selector"로 원하는 이미지 형식을 선택하십시오.
- "구성 요소 활성화"를 사용하여 이미지 형식 활성화하세요.
- 이미지 획득 다시 시작하세요.
카메라는 필요한 이미지 형식 (예 : "8 비트 모노"또는 "24 비트 RGB")으로 자동 전환됩니다.
IDS peak로 프로그래밍
자신의 어플리케이션에서 새 이미지 형식을 사용하려면 몇 줄의 소스 코드만 필요합니다. 다음 소스 코드 블록은 프로그래밍 언어 C #에서 IDS peak가 있는 이미지 형식의 프로그래밍을 보여줍니다.
사용 가능한 모든 이미지 구성 요소 검색
var imageComponentsNode = nodeMapRemoteDevice.FindNode<peak.core.nodes.EnumerationNode>("ComponentSelector");
var availableImageComponents = imageComponentsNode.Entries();
foreach (var entry in availableImageComponents)
{
display(entry.StringValue());
}현재 활성화된 이미지 구성 요소를 질의
var activeImageComponent = "";
foreach (var entry in availableImageComponents)
{
imageComponentsNode.SetCurrentEntry(entry);
if (nodeMapRemoteDevice.FindNode<peak.core.nodes.BooleanNode>("ComponentEnable").Value() == true)
{
activeImageComponent = entry.StringValue();
}
}
display(activeImageComponent);이미지 구성 요소를 선택하고 및 활성화하세요.
imageComponentsNode.SetCurrentEntry("IDSHeatMap");
nodeMapRemoteDevice.FindNode<peak.core.nodes.BooleanNode>("ComponentEnable").SetValue(true);요약
편광은 사람의 눈과 "일반"이미지 센서에 보이지 않는 물체 속성을 인식할 수 있는 빛의 성질입니다. 따라서 반사 또는 반투명 표면이 있는 어플리케이션에서 디지털 이미지 처리를 위한 중요한 도구가 됩니다. SONY IMX250MHzR 센서와 온카메라 픽셀 전-처리를 통해, IDS 편광 카메라는 단일 영상 획득으로 이미지 장면의 필요한 모든 편광 정보를 결정하고, 추가 처리 또는 직접 평가를 위해 이 정보를 호스트 PC에 다른 픽셀 형식으로 제공할 수 있습니다.
FPGA 가속 알고리즘은 카메라를 순수한 센서 데이터 공급자 그 이상으로 만듭니다. 실시간으로 GigE 또는 USB3 비전 인터페이스를 통해 GenICam 호환 어플리케이션에서 사용할 수 있는 유의미한 평가를 이미 제공합니다. 따라서 IDS 편광 카메라는 이미지 처리의 일부가 되어 호스트 PC의 컴퓨팅 부하를 줄입니다.
이미지가 PC로 전송되기 전에 클릭 단 한 번으로 물체 속성을 보이는 것이 얼마나 쉬운지 직접 테스트하십시오.