강화학습을 이용한 엣지 컴퓨팅 환경에서의 Live Migration 정책 제어 연구

Abstract

5G 시대의 다양한 서비스 요구 사항을 충족시키기 위한 엣지 컴퓨팅(edge computing)은 서비스 공급자에게는 자원 관리의 효율성을, 사용자에게는 향상된 서비스 품질을 제공한다. Live migration 기술은 서비스 가용성을 유지하면서 임의의 서비스 인스턴스(instance)를 원격 호스트 서버로 이동시키는 기능을 지원하며, 이를 통한 동적 서비스 배치(dynamic service placement)는 변화하는 환경에 따라 서비스 배치를 최적화하는 지속적인 의사 결정 프로세스를 의미한다. 그러나 오늘날 다양한 서비스 요구 사항과 데이터 센터 네트워크의 계층 구조는 엣지 컴퓨팅의 관리 복잡성을 증가시키며, 이는 동적 서비스 배치 결정을 어렵게 만든다. 본 논문에서는 Deep Reinforcement Learning (DRL)을 이용한 엣지 컴퓨팅 환경에서의 동적 서비스 배치 방법론을 제안한다. 제안하는 DRL 알고리즘은 환경에 대한 강화학습 에이전트(agent)의 반복 경험(학습)을 통해 서비스 인스턴스를 보다 적절한 호스트 서버로 migration시킴으로써 서비스 지연시간 및 서비스 가용성을 개선시킨다. 또한 서버 장애 및 migration 비용에 대한 모델링을 통해 각 서비스의 가용성에 대한 Service-Level Agreement (SLA)를 고려한다.