잡초(독)를 관리하는 새로운 방법
uEye+ 산업용 카메라가 장착된 지능형 로봇으로 제초제가 필요 없어집니다.
식물을 보호하는 제품은 오늘날 농업에서 매우 중요한 부분입니다. 작물을 보호하고 잡초와 해충을 방지해야 하기 때문입니다. 독일 연방 환경청(German Federal Environment Agency)에 따르면 2019년에 제초제(잡초 제거제)가 유통되는 식물 보호 제품의 50.6%를 차지했습니다. 그렇지만 안타깝게도 제초제에는 기대하는 효과 외에도 인간과 환경에 대한 수많은 위험 요소가 있습니다. 그들은 인접 지역의 생물 다양성과 수질을 위협합니다. 생물다양성이 감소하고 있습니다. 2019년 여름, 스위스 연방 공과 대학(ETH)에서 과도한 제초제 사용 없이 지속 가능한 농업을 위한 로봇 개발을 목표로 Rowesys 학생 프로젝트가 시작되었습니다. 로봇 밑면에는 IDS Imaging Development Systems GmbH의 GigE 비전 인터페이스의 uEye+ 산업용 카메라가 있습니다.
어플리케이션
전기 공학, 기계 공학 및 산업 디자인을 전공하는 열명의 학생으로 구성된 팀은 단 9개월 만에 Rosie 라는 최초의 기능적 프로토타입을 제작했습니다. 로봇은 하우징 내부의 모든 구성 요소를 보호하는 외부 쉘로 구성됩니다. 내부에는 두 개의 강력한 배터리와 대부분의 시스템 전기 구성 요소가 들어 있는 제어 상자가 있습니다. 알루미늄 프로파일로 만들어진 구조는 로봇의 골격을 형성합니다. 개별적으로 튀어나온 작은 거위발 스페이드 4개를 사용하여 Rosie는 완전히 기계적인 방식으로 식물 사이의 잡초를 제거합니다. 그들은 로봇 뒤에서 식물의 왼쪽과 오른쪽으로 잡초를 뽑습니다. 이는 환경에 유해한 제초제를 사용하지 않아도 된다는 것을 의미합니다. 로봇이 자율적으로 이동하여 농부의 수고를 덜어줍니다. 또한 조이스틱을 사용하여 부드럽고 직관적으로 제어할 수 있습니다.
자율적으로 탐색하기 위해 Rosie는 먼저 정확한 위치와 식물 행렬의 끝을 인식할 수 있어야 합니다. 이를 위해 로봇에는 경로 및 위치 인식을 위한 알고리즘뿐만 아니라 여러 카메라와 센서가 탑재되어 있습니다. 수집한 데이터를 기반으로 항상 필드 내에서 인식된 행을 따라 이동합니다. 끝에 도달하면 선회 모드로 전환되어 다음 행을 찾습니다. 전체 면적에 이 작업이 수행됩니다. 4개의 모터 덕분에 각 바퀴를 개별적으로 제어할 수 있습니다. 이를 통해 Rosie는 매우 유연하게 움직이고 무엇보다도 그 자리에서 완전한 회전이 가능합니다.
이 팀은 현재 시스템의 추가 개발 및 최적화 작업을 하고 있습니다. 다양한 모니터링 작업을 앞두고 있습니다. 그들의 목표는 농부 또는 육종가에게 식물의 성장 행동에 대한 정보를 제공하기 위해 더 오랜 기간 동안 식물을 관찰하는 것입니다. 이를 위해 Rosie는 견고한 IDS 산업용 카메라를 추가로 장착했습니다. "제초제 없이 잡초를 제거하기 위해 이미지를 사용하여 잡초와 작물을 구별합니다." 로봇 아래에 있는 도구는 식물 주변의 잡초도 직접 제거할 수 있어야 합니다. "미래에는 수확량 추정을 위한 데이터에서 식물 질병의 조기 감지에 이르기까지 지능형 이미지 프로세싱의 도움으로 훨씬 더 많은 정보를 얻을 수 있을 것입니다."라고 취리히 ETH의 Timo Schönegg가 Rowesys 프로젝트의 초점에 대해 설명합니다.
카메라는 로봇의 아래쪽에 장착되며 수직으로 아래쪽을 향하고 있습니다. 로봇이 움직이는 동안 위에서 식물을 포착합니다. 신경망을 사용하면 응용 프로그램에 따라 위의 다양한 분석을 수행할 수 있습니다. 이러한 정보는 농부들이 곰팡이 감염과 같은 문제에 빠른 조치를 취할 수 있도록 도와줄 것입니다. Rosie는 지금까지 사탕무, 밀 및 옥수수밭에서 현장 시험에 사용되었습니다.
카메라
사용되는 카메라 모델은 현장에서 사용하기 위한 특수 사양을 충족해야 합니다. "평가를 위해서는 로봇의 끊임없는 움직임에도 선명한 이미지를 획득하기 위해 고해상도 컬러 센서와 낮은 노출 시간을 갖춘 카메라가 필요합니다. 또한 카메라가 날씨에 따라 가혹한 조건에 노출될 수 있기 때문에, 먼지와 튀는 물로부터 보호해야 합니다." 라고 Timo Schönegg는 설명합니다. 다른 선택 기준은 Linux/ROS와의 호환성, 소형 크기 및 짧은 응답 시간에 대한 빠른 데이터 전송이었습니다. 광각 렌즈를 사용할 가능성도 필요했습니다.
Rowesys 팀은 uEye+카메라 GV-5040FA-C-HQ 모델로 결정하였습니다.
우리는 우리가 선택한 카메라에 매우 만족합니다. 우리의 요구 사항이 완전히 충족되었으며 지난 몇 개월 동안 많은 데이터를 수집할 수 있었습니다. 이 데이터를 소프트웨어를 추가로 훈련하는 데 사용할 것입니다.
이 모델은 uEye FA 제품군에 속하며, IP65/67 보호등급으로 특히 견고하고 까다로운 환경에 이상적입니다. 픽셀 사전 처리, LUT 또는 감마와 같은 기능이 이미 카메라에 통합되어 있으므로 필요한 컴퓨팅 성능이 감소합니다.
저조도에서나 빠르게 움직이는 피사체를 촬영할 때에도 뛰어난 이미지 품질을 위해, GV-5040FA-C-HQ 모델에는 Sony Pregius 제품군의 IMX273 글로벌 셔터 CMOS 센서가 장착되어 있습니다. 이는 특히 감도와 높은 동적 범위의 장점을 갖고 있습니다. 센서의 해상도는 1.58MPixel(1456 x 1088 픽셀)이고 프레임률은 78.0fps입니다.
로봇은 제어되고 센서는 로봇 운영 체제 라이브러리 ROS를 통해 프로그래밍 언어 C++로 판독됩니다. IDS 카메라를 위한 기능적 ROS 드라이버가 이미 존재하기 때문에 통합이 간단하고 어렵지 않았습니다. 추가 이미지 프로세싱을 위해 ETH 팀은 위에서 설명한 대로 잡초와 작물을 구별하기 위해 자체 개발한 알고리즘을 사용합니다. "현재 기록된 데이터를 활용한 수확량 추정 및 질병 감지를 위한 머신 러닝 알고리즘을 계획하고 있습니다.”라고 Timo Schönegg는 이야기합니다.
전망
농업 로봇은 미래에 점점 더 중요한 역할을 할 것입니다. 수많은 환경, 조명 및 기상 조건에서 다양한 작업을 안정적으로 수행하기 위해 우수한 이미지 프로세싱 소프트웨어뿐만 아니라 무엇보다도 안정적인 카메라가 필요합니다. 미래 로봇 분야에서 이러한 카메라 시스템의 사용은 3D에서부터 다중 스펙트럼 카메라에 이르기까지 매우 다양해질 것입니다. Rowesys팀은 앞으로 특히 지능형, 카메라 기반 솔루션에 대해 계속해서 작업하고, 혁신적인 기술로 보다 지속 가능하고 효율적인 농업에 기여할 것입니다. 잡초를 제거할 수 있습니다! 제초제가 필요하지 않습니다! 친환경적입니다!
GigE uEye FA - 강력하고 견고합니다
- 모델: GV-5040FA
- 인터페이스: 이더넷
- 센서 타입: CMOS
- 제조사: Sony
- 프레임률: 78.0 fps
- 해상도: 1.58 MPixel
- 셔터: 글로벌 셔터
- 센서 포맷: 1456 mm x 1088 mm
- 치수: 41.0 mm x 53.0 mm x 42.7 mm
- 무게: 173g
- 커넥터: GigE M12, 나사식
- 어플리케이션: 머신 비전, 기계 공학, 계측, 표면 검사, 물류, 공장 및 공정 자동화 등
고객
Rowesys 로봇 제초 시스템은 제초제의 남용을 줄이는 것이 목표인 학생들의 프로젝트입니다. 이를 실현하기 위해 10명의 학생, 8명의 전문 코치 및 후원자로 구성된 팀이 취리히 ETH에 모였습니다. 그들은 시각적 센서를 사용하여 잡초를 감지하고 제거하는 자율 제초 로봇을 개발했습니다. 결과는 어떨까요? 사용이 쉽고 시간을 절약하는 잡초 관리 시스템. https://rowesys.ethz.ch/
