신중히 다룹니다
원자력 폐기물의 안전한 처리를 위한 Ensenso 3D 카메라의 로봇 지원 시스템
원자력 시설의 해체는 사용자에게 매우 중대한 과제입니다. 원자력 폐기물의 양은 그 해체와 안전한 봉쇄 여부를 떠나 전 세계적으로 압도적으로 증가하고 있습니다. 원자력 폐기물 처리에 자동화가 점점 더 요구되고 있지만, 원자력 산업에서는 안전상의 이유로 완전 자율 로봇 제어 방법을 주저하고 있고, 위험한 환경에서는 원격 제어 산업용 로봇을 선호합니다. 그러나 조이스틱 및 비디오 감시 카메라를 활용하여 알 수 없는 물체를 원격 제어로 집거나 자르는 것과 같은 복잡한 작업은 제어하기 어렵고 때로는 불가능하기도 합니다.
이 과정을 단순하게 하기 위해, 영국 버밍엄대학교의 Extreme Robotics Lab이 이끄는 국립 원자력 로봇 센터는 원자력 폐기물 자동 처리 옵션을 연구하고 있습니다. 이곳에서 개발된 로봇 지원 시스템은 Ensenso 3D 카메라가 제공하는 햅틱 피드백과 시각 정보를 통해 ”공유된” 제어가 복잡한 조작 작업을 수행할 수 있도록 합니다. 사용자는 공유된 정보를 실시간으로 확인함으로써 시스템 오류가 발생할 경우 로봇의 자동화된 작업을 제어할 수 있습니다.
어플리케이션
박람회에서 그랩(grab) 장비를 보셨던 분들은 아실거라 확신합니다. 그랩 암(grab arms) 을 수동으로 제어하는 것은 결코 쉬운 일이 아닙니다. 토끼 인형을 잡다가 실패하는 것이 별 문제가 없는 것과는 달리, 방사성 폐기물을 처리할 때 실패한 시도는 극적인 결과를 초래할 수 있습니다. 로봇은 인간과 환경에 심각한 결과를 초래하는 피해를 방지하기 위해 현장의 방사성 물체를 극도로 정확하게 감지하고 정확하게 작동할 수 있어야만 합니다. 말 그대로 사용자의 손에 그것이 달려 있으며, 정확한 잡을 위치를 식별하는 것이 그에게 달려 있습니다.
동시에 사용자는 역운동학(역변환)을 올바르게 평가하고 로봇 팔 요소의 관절 각도를 정확하게 결정하여 올바르게 배치하고 충돌을 방지해야 합니다. 영국 연구진이 개발한 지원 시스템은 평행 턱 그리퍼와 Ensenso N35 3D 카메라가 장착된 표준 산업용 로봇을 사용하여 이 작업을 크게 단순화, 가속화합니다.
이 시스템은 불분명한 폐기물을 자율적으로 스캔하고 그것으로 포인트 클라우드 형태의 3D 모델을 생성합니다. Ensenso 3D 카메라는 인간의 눈을 모방하여 공간시(입체시)의 원리에 따라 작동하기 때문에 이것은 매우 정확합니다. 두 대의 카메라가 서로 다른 위치에서 물체를 봅니다. 두 카메라 이미지의 이미지 내용은 동일하게 보이지만, 물체가 보여지는 위치의 차이를 발견할 수 있습니다. 카메라의 거리, 시야각과 광학의 초점 거리를 알고 있기 때문에 Ensenso 소프트웨어는 각 개별 이미지 픽셀에 대한 물체 점의 3D 조정을 결정할 수 있습니다. 이 경우, 그 장면은 모든 시야각에서 완전한 3D 표면을 얻기 위해 카메라의 다른 스캔 위치를 사용하여 캡처됩니다. Ensenso의 캘리브레이션 루틴은 개별 포인트 클라우드가 완전한 가상 이미지를 향상시키는 글로벌 조정 시스템으로 변환할 수 있도록 도와줍니다. 따라서 결과값 포인트 클라우드에는 올바르게 집거나 자르는 위치를 로봇에 전달하는 데 필요한 모든 공간 물체 정보가 포함됩니다.
Ensenso 3D 카메라는 Ensenso 소프트웨어로 깊이 정보에 대한 인식와 평가를 수행합니다. 이는 사용자가 인식하고 처리하는 부담을 상당히 줄여줍니다. 보조 시스템은 집으려고 하는 대상 물체의 햅틱 기능을 특수 그리핑 알고리즘과 결합합니다. “장면 클라우드는 시스템에서 여러 안정적 그립 위치를 자동으로 생성하는 데 사용됩니다.
3D 카메라로 캡처한 포인트 클라우드는 고해상도이고 밀도가 높기 때문에 장면에 보여지는 각 개체에 대해 매우 정밀한 그립 위치 생성이 가능합니다.
이를 바탕으로, 우리의 "가설 순위 알고리즘"은 로봇의 현재 위치를 기반으로 선택할 다음 물체를 결정합니다.”라고 국립 원자력 로봇 센터 선임 연구원 Naresh Marturi 박사는 설명합니다.
원칙은 다른 스틱을 움직이지 않고 한 번에 하나의 스틱을 제거해야 하는 스킬 게임 미카도의 원리와 유사합니다. 결정된 경로 유도를 통해 로봇은 원하는 경로를 따라 목표한 그립 위치까지 부드럽고 균등하게 이동할 수 있습니다. 내비게이션 시스템과 같이, 이 시스템은 로봇 팔이 안전하게 물체를 집을 수 있도록, 필요한 경우 다른 알려지지 않은 위험한 물체도 지나칠 수 있도록 사용자를 서포트합니다. 이 시스템은 이를 위해 안전한 통로를 계산하고 사용자가 햅틱 피드백을 통해 그 위치를 벗어나지 않도록 도와줍니다.
이 시스템은 사용자의 자연스러운 손 움직임을 로봇의 해당 움직임에 실시간으로 정확하고 안정적으로 매핑합니다.따라서 사용자는 항상 수동 제어를 유지하고 구성 요소에 오류가 발생할 경우 전달받을 수 있습니다. 그는 단순히 AI를 끌 수 있고 "force feedback 모드"를 꺼서 인간 지능으로 돌아갈 수 있습니다. 사람과 기계 사이에 공유되는 제어 원칙에 따라 시스템은 위험 수준이 가장 높은 환경에서 필수적인 제어 상태를 항상 유지합니다.
카메라
“모든 자율 그립 진행, 원격 제어 및 시각적 물체 추적 작업을 위해 우리는 다른 도구와 함께 로봇의 엔드 이펙터에 파란색 LED (465nm)가 장착 된 Ensenso N35 3D 카메라를 사용합니다.” 라고 Naresh Marturi 박사는 말합니다. Extreme Robotic Lab의 대부분의 시스템에는 지금까지 단일 3D 카메라가 장착되어 있었습니다. "그러나 최근에 3D 모델 구축 프로세스의 속도를 높이기 위해 우리는 시스템을 Ensenso 3D 카메라와 온보드 로봇을 통해 세 개의 추가 장면을 사용하도록 업그레이드하였습니다.”
Ensenso N 시리즈가 이 작업을 수행할 것입니다. 이 제품은 특별히 열악한 환경 조건에서 사용 가능하도록 설계되었습니다. N 시리즈는 컴팩트한 디자인 덕분에 움직이는 물체와 고정 물체의 3D 감지를 위한 로봇 팔의 이동식 또는 공간을 절약하는 고정식 사용에 모두 적합합니다. 어려운 조명 조건에서도 통합 프로젝터는 임의의 도트 패턴이 있는 패턴 마스크를 사용하여 이미지화 할 대상에 고 대비 텍스처를 투사하고, 이렇게 하여 표면에 존재하지 않거나 약하게 존재하는 구조를 보완합니다. N30 모델의 알루미늄 하우징은 전자 부품의 방열을 최적으로 유지하게 하고, 극한의 주변 조건에서도 안정적인 광 출력을 보장합니다. 이는 3D 데이터의 일관된 고품질 및 견고성을 보장합니다. 어려운 조명 조건에서도 통합 프로젝터는 임의의 도트 패턴이 있는 패턴 마스크를 사용하여 이미지화 할 대상에 고 대비 텍스처를 투사하고, 이렇게 하여 표면에 존재하지 않거나 약하게 존재하는 구조를 보완합니다.
Ensenso N 카메라 모델들은 Ensenso SDK로 쉽게 설정하고 작동시킬 수 있습니다. 이것은 더욱 빠른 3D 데이터 처리를 위해 GPU 기반 이미지 처리를 제공하고, 멀티 카메라 작동에 사용되는 모든 카메라의 단일 3D 포인트 클라우드의 출력을 가능하게 합니다. 이는 이 경우에 다양한 시점에서의 3D 포인트 클라우드의 라이브 구성과 더불어 요구됩니다.
지원 시스템의 경우 연구원들은 카메라로 촬영한 3D 포인트 클라우드를 처리하기 위해 C ++의 자체 소프트웨어를 개발했습니다. “저희의 소프트웨어는 Ensenso SDK (멀티 스레드) 및 캘리브레이션 루틴을 사용하여 고해상도 포인트 클라우드에 텍스처를 오버레이 한 다음 이러한 텍스처된 포인트 클라우드를 월드 조정 시스템으로 변환합니다.” 라고 Naresh Marturi 박사는 말합니다. “Ensenso SDK는 저희의 C++ 소프트웨어와 쉽게 통합 할 수 있습니다. 이것은 포인트 클라우드와 카메라 이미지를 캡처하고 처리하는 다양한 간단한 기능과 방법을 제공합니다. 또한, CUDA 지원을 통해 SDK 루틴을 사용하면 여러 고해상도 포인트 클라우드를 등록하여 글로벌 프레임에서 고품질 장면 클라우드를 생성 할 수 있습니다. 이것은 우리에게 매우 중요한데, 특히 수집 가설을 생성하는데 중요합니다.”
시스템의 주요 장점:
- 사용자는 화면의 깊이를 측정하거나 물체에 도달하는 방법 또는 물체를 잡을 위치에 대해 걱정할 필요가 없습니다. 이 시스템은 백그라운드에서 모든 것을 파악하고 사용자가 로봇이 물체를 가장 잘 집을 수 있는 위치로 정확하게 이동할 수 있게 도와줍니다.
- 햅틱 피드백을 통해 사용자는 로봇이 앞에 있지 않아도 손으로 로봇을 느낄 수 있습니다.
- 햅틱과 그립 방식을 결합함으로써 사용자는 인식하는 데 큰 부담 없이 원격 장면에서 매우 쉽고 빠르게 물체를 이동할 수 있습니다.
이는 시간과 비용을 절약하고, 오류를 방지하며 안전성을 높입니다.
전망
Birmingham에 있는 Extreme Robotic Lab의 연구원들은 현재 평행 턱 그리퍼 대신 여러 손가락을 갖춘 손을 사용할 수 있도록 하는 방법을 확장하기 위해 노력하고 있습니다. 이렇게하면 복잡한 물체를 잡을 때 유연성과 신뢰성이 높아질 것입니다. 사용자는 물체를 잡을 때 원격 제어 로봇의 손가락 힘이 노출되는 것을 느낄 수도 있을 것입니다. 로봇 팔이 AI에 의해 제어되고 자동 비전 시스템에 의해 안내되는 완전 자율 수집 방법도 개발되고 있습니다. 이 팀은 또한 "공유 제어"시스템을 통해 원격 로봇 제어를 위한 인간-로봇 협업을 개선하기 위해 시각화 도구를 개발하고 있습니다.
이것은 우리 모두의 안전과 건강을 위해 나아가는 것입니다. 원자력 폐기물과 같은 위험물을 다루는 것은 궁극적으로 우리 모두가 관심을 가져야 하는 부분입니다. 관련 물체에 대한 정보를 안정적으로 캡처함으로써, Ensenso 3D 카메라는 전 세계적으로 점점 더 긴급해지는 이 문제에 큰 기여를 하고 있습니다.
Ensenso N35 - 빠르고 정확한 3D 비젼
- 다양하고 유연한 GigE 인터페이스 -
- 컴팩트하고 강력한 알루미늄 하우징
- IP65/67
- 글로벌 셔터 CMOS 센서와 패턴 프로젝터, 청색 및 적외선 LED
- Max. fps (3D): 10 (2x Binning: 30)와 64불일치 수준
- Max. fps (오프라인 처리): 30 (2x Binning: 70)와 64 불일치 수준
- 최대 3,000mm (N35) 의 작동거리와 다양한 영역 설정이 설계 가능합니다.
- 멀티 카메라 모드에서 사용되는 모든 카메라의 데이터로 단일 3D 포인트 클라우드 출력
- 어려 방향에서 3D 포인트 글라우드의 라이브 구성
- 울퉁불퉁한 표면에서 3D 클라우드의 포인트 정확도와 3D 데이터의 견고성을 보다 정확하게 나타내기 위한 통합 FlexView 기술
- 질감이 없는 표면을 포착하는 “투영된 텍스처 스테레오 비전” 프로세스
고객사 / 대학교
영국 버밍엄대학교 Extreme Robotics Lab은 원자력 관련 작업을 로봇화하려는 노력이 증가함에 따라 필요해진 다양한 부품 시장을 선도하고 있습니다.