뉴럴 네트워크와 전이 학습을 통한 미지 환경에서 변형된 물체의 강건한 인지 및 자율 탐사를 위한 수중 로봇 시스템

Abstract

Unmanned underwater vehicles have been performing various underwater tasks such as marine environment investigation, construction and inspection of submarine structures, and underwater surveillance. To perform these missions autonomously, recognizing and understanding the underwater scene is one of the essential technologies. However, robust perception of the underwater environment has the following challenges. First, visibility is limited due to turbidity and attenuation of light. Next, there are many unknown factors that are difficult to predict, such as variability due to strong ocean currents and occlusion due to biofouling and marine snow. This paper proposes technologies that allow the AUV to explore the unstructured underwater environment reliably, tackling these challenges. This study proposes robust sonar-based underwater perception methods using neural network (NN), knowledge transfer methods for handling environmental and secular changes, and a three-dimensional (3D) mapping and localization method based on the perception result. This study also proposes an underwater robot system composed of an autonomous underwater vehicle and buoy grid for reliable exploration of unknown underwater environments. First, methods to perceive the underwater environment, where visibility is limited, using a sonar sensor was proposed. The sonar sensor can be used in an extreme underwater environment; however, it has disadvantages in that it provides only geometric information in which color information is lost, and the resolution and signal-to-noise ratio are low. The proposed NN models could accurately recognize underwater objects and terrains, removing noise and improving the quality of sonar signals. Training data is required to develop these NN models. However, there are few open-source datasets of sonar images, and it is also challenging to construct custom datasets through preliminary experiments due to the variability of the underwater environment. Implementing an underwater simulator and knowledge transfer method using a generative adversarial network made it possible to generate prior knowledge for underwater perception. The NN models trained with the generated prior knowledge could robustly recognize the underwater environment in the field. An underwater robot system consisting of an AUV and buoy grid was developed for exploration of the underwater environment using the proposed perception method. For AUV's online underwater exploration, methods for sonar-based 3D mapping, perception based on the generated 3D map, and localization of AUV using the perception result were proposed. Elevation information is lost in the sonar imaging mechanism, so different objects may appear the same in the sonar images depending on the position of the AUV. By analyzing the sonar images scanned sequentially by moving AUV, the proposed method could restore the elevation information of the underwater scene and generate a 3D map. More accurate underwater perception was then possible based on the reconstructed 3D model. The sonar imaging mechanism also has the characteristic that the shape of an object changes rapidly according to viewing direction. With the prior knowledge predicting the shape of an object according to all angles of the objects, it was possible to estimate the relative bearing information between the AUV and the object, as well as recognize the object. This allowed the AUV to calculate its location while generating the underwater map. Buoy grid, a surface platform equipped with an optical camera, long-range communication model, and landmark of characteristic shape, was also designed to assist AUV’s exploration of an unstructured environment. The proposed method was first verified by prior experiments in the simulation world. Then, it was possible to develop knowledge transfer models by constructing initial training data through indoor water tank experiments. Finally, prior knowledge was equipped into the AUV through the knowledge transfer, and the whole scenario of the proposed system’s underwater exploration was verified through experiments in the engineering basin and field.

기술의 발전에 따라 AUV와 같은 무인 수중 플랫폼이 개발되어 해양환경 조사, 해저 구조물의 건설 및 검사, 군사적 목적의 항만 감시 등 다양한 임무를 수행하고 있다. 수중 로봇이 주어진 임무를 자율적으로 수행하기 위하여 수중의 물체와 지형을 인식, 이해하기 위한 기술이 필수적이다. 하지만, 수중 환경은 대표적인 극한 환경 중의 하나로, 수중 환경의 인식에는 다음과 같은 어려움이 있다. 첫 번째로, 물의 탁도와 빛의 감쇄로 인해 시계가 제한적이다. 다음으로 수중 환경에는 조류로 인한 변동성, 생물 오손(bio fouling)이나 해중설(marine snow)로 인한 물체의 은폐, 엄폐 등 예측하기 어려운 요인들이 많이 존재한다. 본 논문에서는 이러한 어려움을 극복하고 비정형 수중 환경의 신뢰도 높은 탐사를 위한 수중 로봇 관련 기술들이 제안되었다. 본 논문은 수중 로봇의 비정형 환경의 탐사를 위한 핵심 기술로써 인공지능을 이용한 소나 기반 물체 인식 방법, 변동성 높은 수중 환경에서의 인식을 위한 지식 전이 방법, 인식 결과를 이용한 3차원 맵핑 및 위치 인식 방법을 제안한다. 먼저 시계가 제한적인 수중 환경에서 소나 센서를 이용하여 주변 환경을 인식하는 방법을 제안하였다. 소나 센서의 경우 탁도에 강인하여 수중의 극한 환경에서 사용이 가능하지만, 색상 정보가 소실된 지오메트리 정보만을 제공하고, 해상도 및 신호 대 잡음비가 낮다는 단점이 있다. 인공 신경망을 이용하여 소나 센서에서 발생하는 잡음을 제거하고 신호의 품질을 올리고, 소나 이미지에 나타난 물체를 정확하게 인식하는 방법을 제안하였다. 인공 신경망을 적용하기 위해서는 네트워크를 학습시키기 위한 학습 데이터가 필요하다. 하지만 수중 소나 센서의 경우 육상의 광학 카메라와는 달리 오픈 소스 데이터가 적으며, 수중 환경의 비정형성 및 변동성으로 인해 사전 실험을 통해 데이터를 획득하는 것도 어렵다. 수중 시뮬레이터를 구현하고 생성적 적대 신경망 기반의 지식 전이 기법을 통해 물체 인식을 위한 사전 지식을 생성할 수 있었고, 제안하는 방법을 통해 생성한 데이터로 학습된 인공 신경망은 실해역에서 환경적 요인에 강인하게 주변 환경을 인식할 수 있었다. 제안하는 주변 환경 인식 방법을 이용해 수중 환경을 탐사하기 위한 시스템으로 AUV와 수상 플랫폼으로 이루어진 수중 로봇 시스템이 개발되었다. AUV는 이동성을 이용, 소나 센서 기반 3차원 맵핑, 생성한 3차원 맵 기반의 환경 인식, 인식한 랜드마크를 기반으로 자신의 위치를 파악 기술을 통해 수중 환경을 능동적으로 탐사한다. 소나 센서에서는 고각 정보가 소실되어 AUV의 위치에 따라 다른 모양의 물체가 2차원 소나 이미지에서는 동일하게 나타날 수 있다. AUV가 이동하며 연속적으로 획득한 소나 이미지를 분석하여 해저 지형의 고각 정보를 복원, 3차원 지도를 형성할 수 있었고, 생성된 3차원 형상을 이용하여 더 정확한 인식이 가능하였다. 또한, 소나 센서는 바라보는 각도에 따라 물체의 형상이 급격히 변하는 특성을 가지고 있다. 물체의 모든 각도에 따른 형상을 사전 지식으로 탑재하여 2차원 소나 이미지, 3차원 맵으로부터 수중에서 물체를 인식하고 AUV와 물체 사이의 상대 각도를 추가로 추정할 수 있었다. 이를 통해 AUV가 지형 지도를 생성함과 동시에 자신의 위치를 계산할 수 있었다. 수상 플랫폼은 광학 카메라, 장거리 통신 모듈, 특징적인 형상의 랜드마크를 탑재하여, AUV와 상호작용하며 AUV의 비정형 수중 환경 탐사를 보조할 수 있다. 제안하는 방법은 구현된 시뮬레이션 환경에서의 사전 실험으로 검증되었다. 이후에 소형 수조에서의 실험을 통해 초기 학습 데이터를 획득하고 지식 전이 모델을 구현할 수 있었다. 최종적으로 지식 전이를 통해 소형 수조로부터의 사전 지식을 AUV에 탑재하여 공학 수조와 실해역에서의 실험을 통해 제안하는 방법을 검증하였다.