원격제어 로봇 시스템을 위한 가상물체 생성 프레임워크의 개발

Abstract

Telerobotic system is intermediate technology between manually operated machine and fully automated robot. At the current state of robot and artificial intelligence technology, telerobotic systems have various advantages over fully automated robot system in the applications which follow great responsibility or require flexible decision-making process. However, operating multi-DOF robot in free 3D space is highly unintuitive and confusing due to misaligned cameras and unfamiliar joint configuration. Thus, the development of intuitive user-friendly interface is necessary for broad and practical application of telerobotic system.

In telerobotic system, haptic feedback accompanied by visualization greatly enhances an operator's telesense, but it is impractical to use force torque sensors to measure every interactive force applied on a robot. Thus, an algorithmic solution is a good substitution to render haptic feedback: the 3D reconstruction of environment using RGB-D sensor and the virtual fixture (active constraint).

In this research, a remote robot operation environment is configured at two separated areas, and a telerobotic system is constructed on network based ROS framework. To connect the robot workspace area and the operation area, a virtual space is constructed, and used as a user interface. To construct the virtual space, the workspace environment is observed by RGB-D sensor, and it is rendered in the virtual space with the robot model. The measured depth map data is processed using KinectFusion framework for the stable world model construction, and the polygonal meshes are extracted from the world model in real time to render virtual interaction force.

A 3-DoF haptic device is utilized to render haptic feedback induced by interaction in the virtual space, and the device is also utilized as a 6-DoF command input device in the developed interface. Using the haptic device, an operator can interact with the reconstructed workspace environment and can generate virtual fixtures by pointing out a few reference points in the virtual space. The user defined virtual fixtures give physical constraints on the operator's movement like a ruler in the real world, and it makes the teleoperation process easy and intuitive.

The teleoperation experiments showed the effectiveness of using virtual fixtures in telerobotic system, and offers a guideline to combine 3D reconstruction techniques with the guidance virtual fixture algorithm in telerobotic systems. The haptically enabled virtual environment is automatically generated virtual fixture itself, so it can be a good reference for pointing out specific positions for virtual fixture generation, but it is not suitable to guide continuous manipulation path because its rough surface gives misperception to the operator. On the other hand, the user defined virtual fixture cannot be generated automatically because it needs to reflect the user intention, but it is effective to enhances the accuracy and consistency of teleoperation process, so the teleoperation can be more intuitive and accurate with the combination of two different virtual fixture algorithm.

The telerobotic system and the user interface developed in this research contains only virtual fixtures with basic geometries for simple robotic manipulation tasks, but the concept can be extended to the tasks for more complex situations by adding more geometry templates to the user interface database. In addition, the virtual fixtures can be utilized to cooperative robot systems which requires collision avoidance as well as telerobotic systems, so the developed virtual fixture interface can be extended to the interface for robot teaching demonstration task.

원격제어 로봇 시스템은 수동으로 작동하는 기계와 완전히 자동화 된 로봇 시스템의 중간 단계에 해당하는 기술로서, 다양한 환경에서 로봇이 사람의 역할을 대신하지만, 사용자의 의도가 실시간으로 반영된다는 특징을 지닌다. 이러한 특징은 아직 완성되지 않은 현 시점의 인공지능과 자동로봇 기술에 비해 막중한 책임이 따르는 작업이나 환경이 매우 유동적으로 변화하는 작업에서 큰 장점으로 활용될 수 있다. 하지만, 3차원 공간에서 시각 정보만을 바탕으로 다자유도 로봇을 조정하는 것은 쉽지 않은데, 그 대표적인 이유는 카메라와 사용자의 자세 불일치 또는 로봇 팔과 조종기구의 구조 불일치에서 생기는 정신적인 혼동 때문이다. 이러한 문제는 원격제어 로봇 시스템이 다양한 분야에서 활용되는 것에 큰 걸림돌로 작용하며 이를 해결하기 위해서는 사용자 친화적인 인터페이스의 개발이 필요하다.

단순히 시각 정보만을 이용하여 로봇을 원격으로 조종하는 것은 쉽지 않지만, 사용자의 조종하는 손에 촉각 정보가 더해지게 되면 사용자는 훨씬 더 직관적으로 로봇 주변의 환경을 이해할 수 있게된다. 하지만, 로봇의 많은 부분에 직접 센서를 부착하여 측정된 힘을 사용자에게 전달하는 것은 비용 측면에서도 비효율적이며, 로봇이 충격을 받을 경우 센서가 쉽게 망가질 수 있다는 점에서 실용적인 방안이 될 수 없다. 따라서 센서 없이도 촉각 정보를 제공하기 위해, RGB-D 센서를 이용하여 로봇 주변 환경의 3차원 기하학적 정보를 획득하고 이를 KinectFusion 알고리즘을 통해 가상 현실로 재구성한 뒤, 가상으로 사용자에게 촉각 감각을 부여하였다. 추가적으로 사용자의 작업을 도울 가상의 물체(virtual fixture)를 생성하여 가상 현실에 구현, 사용자가 이를 시각, 촉각적으로 느끼면서 로봇의 원격 조종에 활용할 수 있도록 하였다.

실험적으로 구성된 인터페이스를 검증하기 위하여 사용자와 로봇이 각자 물리적으 분리된 환경에 구성되었으며, 시스템의 모든 구성요소는 ROS 프레임워크에 기반하여 네트워크로 연결되었다. 사용자는 6 자유도를 가진 펜 형태의 조종 장치를 통하여 로봇을 조종하거나 원격 조종에 활용하기 위한 가상 물체를 제작할 수 있다. 앞서 알고리즘을 통해 구현된 가상 현실과 가상 물체는 모니터와 조종 장치를 통해 사용자에게 시각적, 촉각적으로 전달된다. 가상 물체의 제작은 사용자가 지정하는 소수의 위치 정보(점)를 기반으로 제작되며, 사용자의 의도에 맞게 배치된 가상 물체는 3차원 가상 현실 내에서 사용자의 행동을 부분적으로 제한하여 로봇의 원격제어를 보다 수월하고 정밀하게 수행할 수 있도록 한다.

기울어진 평면 위의 도형을 따라그리는 간단한 실험을 수행한 결과, 로봇의 원격제어에 가상 현실 기반의 인터페이스와 가상 물체를 활용하였을 때 그 정확도와 안정성이 증대되는 것을 확인할 수 있었다. 또한, 가상으로 구현된 로봇 주변 환경의 촉각 정보는 사용자의 공감각적 이해를 증대시키고 가상 물체를 제작하기 위한 기준점으로 활용할 수 있지만, 실제 로봇을 조종할 때에는 재구성된 표면의 거칠기로 인하여 오히려 사용자를 혼란스럽게 한다는 사실이 확인되었으며, 로봇의 원격제어에는 매끄럽게 구현된 가상물체의 촉각 정보만을 구현하는 것이 사용자가 로봇을 정확하고 안정적으로 조종하는 데 도움이 된다는 결론이 도출되었다.

본 연구에서 개발된 원격제어 로봇 시스템을 위한 가상 현실 기반의 인터페이스는 간단한 동작에 대해서만 검증되었으며, 구현된 가상 물체 또한 매우 간단한 형태의 도형들만이 활용되었지만, 추가적인 개발을 통하여 얼마든지 더 복잡한 환경과 업무에 대한 로봇의 원격 제어에 활용될 수 있을 것이라 기대되며, 다양한 원격제어 로봇 시스템의 실질적인 활용 분야를 넓힐 수 있을 것이다.