지능형 드론을 이용한 중요 인프라 점검

오스트리아 연방 기후 행동, 환경, 에너지, 이동성, 혁신 및 기술부(BMK)의 지원을 받아 수행된 이번 연구 프로젝트에서는, 드론이 전봇대와 그 위의 절연체를 스스로 식별하고, 절연체 주위를 약 3미터 거리로 비행하며 사진을 촬영하는 것이 목표입니다. “정확한 위치 파악이 가능해야 여러 차례의 점검 비행에서 동일한 지점의 카메라 영상을 비교할 수 있습니다.”라고 Klagenfurt 대학교의 박사 과정 학생이자 네트워크 시스템 제어 연구 그룹의 일원인 Thomas Georg Jantos가 설명합니다. 이를 위한 전제 조건은 객체 상대 탐색 기능이 카메라가 캡처한 원시 감각 데이터로부터 해당 객체에 대한 의미 정보를 추출할 수 있어야 한다는 것입니다. 의미 정보는 원시 데이터(카메라 이미지)를 이해할 수 있는 수준으로 변환하여 환경을 단순히 캡처하는 데 그치지 않고, 중요한 객체를 식별하고 정확한 위치와 방향까지 파악할 수 있게 해줍니다.

예를 들어, 이미지 픽셀이 독립적인 색상 값(예: RGB 값)으로만 인식되는 것이 아니라, 객체의 일부(예: 절연체)로 해석되는 것을 의미합니다. 이 방식은 기존의 GNSS(글로벌 위성 항법 시스템)와는 달리, 우주에서의 위치뿐만 아니라 검사 대상 물체에 대한 정확한 상대 위치와 방향도 제공합니다 (예. "드론은 상단 절연체 왼쪽 1.5m에 위치").

핵심 요건은 이미지 프로세싱과 데이터 해석이 지연되지 않아야 하는 것이며, 이를 통해 드론이 실시간으로 검사 작업의 특정 조건과 요건에 맞춰 탐색과 상호작용을 조정할 수 있어야 합니다.

지능형 이미지 프로세싱을 통한 의미 정보

객체 인식, 분류, 자세 추정은 이미지 프로세싱 과정에서 인공지능 알고리즘을 사용하여 수행됩니다. “GNSS 기반 드론 점검과 달리, 의미 정보를 갖춘 AI를 사용하면 특정 재현 가능한 관점에서 인프라 검사를 수행할 수 있습니다."라고 Thomas Jantos는 설명합니다. “또한, 선택된 접근 방식은 대규모 인프라나 계곡으로 인해 발생하는 다중 경로 및 신호 저하와 위험을 초래할 수 있는 음영 현상과 같은 일반적인 GNSS 문제가 발생하지 않습니다.”

소형 쿼드콥터에 얼마나 많은 인공지능이 탑재될 수 있을까요?

하드웨어는 TWINs Science Copter 플랫폼에 Pixhawk PX4 오토파일럿, 온보드 컴퓨터 NVIDIA Jetson AGX Orin 64GB DevKit, 그리고 IDS의 USB3 Vision 산업용 카메라로 구성되어 있습니다. "인공지능을 소형 헬리콥터에 탑재하는 것이 도전 과제입니다. 드론에 장착된 컴퓨터는 인공지능 훈련에 사용되는 컴퓨터에 비해 아직 너무 느립니다. 첫 번째 실험은 성공했지만, 이는 여전히 연구 중인 주제입니다."라고 Thomas Jantos는 고성능 AI 모델을 온보드 컴퓨터용으로 사용하기 위해 더욱 최적화하는 문제에 대해 설명합니다.  

반면, 카메라는 대학 내 드론 실험장에서의 테스트에서 보여주듯이 완벽한 기본 데이터를 즉시 제공합니다. 적합한 카메라 모델을 선택할 때, 속도, 크기, 보호 등급, 가격 등의 요건을 충족하는 것만이 문제가 아니었습니다. “카메라의 성능은 점검 시스템의 혁신적인 AI 기반 알고리즘에 핵심적입니다.”라고 Thomas Jantos는 설명합니다. uEye LE 제품군의 공간 절약형, 합리적인 가격의 프로젝트 카메라 U3-3276LE C-HQ 모델을 선택했습니다. 여기에 통합된 Sony Pregius IMX265 센서는 최고의 고품질 CMOS 이미지 센서로 3.19 MP(2064 x 1544 px)의 해상도와 최대 58.0 fps의 프레임률을 제공합니다. 롤링 셔터와 달리 짧은 노출 시간에서도 '왜곡된' 이미지를 생성하지 않는 통합 1/1.8" 글로벌 셔터는 센서 성능에 결정적인 요소입니다. “안전하고 견고한 점검 비행을 위해서는 높은 이미지 품질과 프레임률이 필수입니다.”라고 Thomas Jantos는 강조합니다. uEye LE는 내비게이션 카메라로서 내장된 AI에 검사 대상 물체에 대한 상대적 위치와 방향을 계산하는 데 필요한 포괄적인 이미지 데이터를 제공합니다. 이 정보를 바탕으로 드론은 실시간으로 자세를 수정할 수 있습니다.

IDS 카메라는 USB3 인터페이스를 통해 온보드 컴퓨터에 연결됩니다. “IDS peak SDK를 사용하여 카메라 및 그 기능을 로봇 운영 체제 (ROS, Robot Operating System)와 드론에 매우 쉽게 통합할 수 있습니다.”라고 Thomas Jantos는 설명합니다. IDS peak는 효율적인 원시 이미지 처리뿐만 아니라 자동 노출, 자동 화이트 밸런싱, 자동 게인, 이미지 다운샘플링과 같은 촬영 매개변수를 쉽게 조정할 수 있도록 지원합니다.

연구원들은 높은 수준의 자율성, 제어, 임무 관리, 안전 모니터링 및 데이터 기록을 보장하기 위해 온보드 컴퓨터에서 소스를 사용할 수 있는 CNS Flight Stack을 사용합니다. CNS Flight Stack은 내비게이션, 센서 융합 및 제어 알고리즘을 위한 소프트웨어 모듈을 포함하며, 재현 가능하고 사용자 맞춤화된 임무를 자율적으로 수행할 수 있도록 지원합니다. “CNS Flight Stack의 모듈성과 ROS 인터페이스를 통해 위치 감지를 위한 센서와 AI 기반 '상태 추정기(state estimator)'를 전체 스택에 원활하게 통합할 수 있으며, 이를 통해 자율형 UAV 비행을 실현할 수 있습니다.” 이 기능은 Klagenfurt 대학교 드론 실험장에서 송전탑 주변 점검 비행을 예로 들어 분석 및 개발되고 있습니다.” 라고 Thomas Jantos는 설명합니다.

CNS Flight Stack 정보
드론 실험장 정보

센서 융합을 통한 정밀 자율 정렬

드론의 고주파 제어 신호는 IMU(관성 측정 장치)에서 생성됩니다. 카메라 데이터, LIDAR 또는 GNSS(글로벌 항법 위성 시스템)와 센서를 융합하면 위치 수정이나 점검 대상에 대한 정밀 정렬 등 드론의 실시간 탐색 및 안정화가 가능합니다. Klagenfurt 드론의 경우, PX4의 IMU는 EKF(확장 칼만 필터) 내의 동적 모델로 사용됩니다. EKF는 마지막으로 알려진 위치, 속도 및 자세를 기반으로 현재 드론의 위치를 추정하고, 그 후 IMU, GNSS 또는 카메라에서 최대 200Hz로 기록하여 상태 추정 프로세스에 반영합니다.

이 카메라는 50 fps 프레임률로 이미지 크기 1280 x 960 px의 원본 이미지를 캡처합니다. “이것이 현재 드론의 온보드 컴퓨터에 탑재된 AI 모델이 처리할 수 있는 최대 프레임률 입니다.”라고 Thomas Jantos 는 설명합니다. 카메라가 시작될 때 자동 화이트 밸런스 및 게인 조정이 한 번 수행되며, 자동 노출 제어는 비활성화된 상태로 유지됩니다. EKF는 예측값과 실제 측정값을 비교하고 그에 따라 추정치를 수정합니다. 이를 통해 드론은 안정적으로 비행 위치를 유지하며, 높은 정밀도로 자율적인 위치 제어가 가능합니다.

전망

"모바일 로봇 분야의 연구에 있어 산업용 카메라는 다양한 애플리케이션과 알고리즘을 위해 필수적입니다. 이러한 카메라는 견고하고, 컴팩트하며, 가볍고, 빠르면서도 고해상도를 제공해야 합니다. 또한 장치 내 비닝과 같은 사전 처리 기능은 모바일 로봇의 귀중한 연산 시간과 자원을 절약할 수 있어 매우 중요합니다."라고 Thomas Jantos는 강조합니다. IDS 카메라는 이러한 요건을 충족함으로써, 핵심 인프라의 자율 점검이라는 유망한 연구 분야에서 안전성, 효율성 및 데이터 품질을 크게 향상시키는 새로운 표준을 제시하고 있습니다.