빠르고 정확하고 효율적인 컴퓨터 시스템 성능 모델링: 프로세서부터 데이터센터까지

Abstract

Performance models are the most essential tools for improving computer systems. Speed, accuracy, and efficiency are the primary factors determining the usefulness of a performance model as they significantly affect system development latency, quality, and costs. Unfortunately, developing a system performance model excelling in all three domains is extremely challenging due to the complexity, diversity, and scale of modern computer systems and applications.

To address the challenges and allow fast, accurate, and efficient system evaluation, we propose three novel performance modeling methodologies covering from processors to datacenters. First, we propose a fast and accurate out-of-order processor design space exploration methodology. The method quickly estimates the performance of multiple processor designs and allows to find the optimal points in the wide design space. Second, we propose a method to quickly model the first-order high-level performance of full-system applications. The method allows to stress an in-development system with the most realistic application behaviors to encourage accurate system development. Third, we propose a performance evaluation method for live production datacenters. We find that the existing benchmarking practices become invalid for such environments as they consist of a wide variety of jobs with performance fluctuations. The proposed method allows to accurately derive the comprehensive datacenter performance with minimal evaluation setups leveraging statistical guarantees.

Our evaluation results show that the proposed methods successfully enhance the performance analysis and evaluation procedures, to facilitate the development of next-generation computer systems.

성능 모델은 컴퓨터 시스템의 개발, 평가, 분석 과정에서 가장 핵심적인 역할을 하는 도구이다. 컴퓨터 아키텍트들은 성능 모델을 이용해 현재 시스템의 문제를 분석하고 개선 방안들을 검토하여 차세대 시스템 개발을 진행한다. 이러한 측면에서 볼 때, 성능 모델의 속도와 정확도 그리고 효율을 향상시키는 것은 성공적인 차세대 시스템 개발을 위해 핵심적인 요소이다. 그러나 컴퓨터 시스템이 더욱 복잡해지고, 다양해지고, 거대해짐에 따라 이와 같은 시스템 성능 모델을 개발하는 것이 점점 더 어려워지고 있다.

본 학위 논문에서는 빠르고 정확하고 효율적인 시스템 평가를 위한 세 가지 성능 모델링 기법을 소개한다. 첫 번째는 Out-of-order 프로세서 디자인을 효율적으로 평가하고 탐색하는 방법이다. 해당 방법은 성능을 결절지을만한 주요 프로그램 실행 경로들을 기억하고 활용함으로써, 추가적인 시뮬레이션을 실행하지 않고서도 다양한 프로세서 디자인들의 성능을 정확하게 예측한다. 두 번째는 개발 중인 시스템에 대해 Full-system 프로그램들의 성능 지표들을 효율적으로 도출하는 방법이다. 기존의 시뮬레이션 기법들은 속도가 너무 느리거나 모델링 범위의 한계를 가지고 있어 프로그램이 제공하는 성능 지표들을 제대로 관측할 수 없었던 반면, 제시한 방법은 프로그램 내에 존재하는 중복성을 제거하고 성능에 영향을 미치는 주 요소들만을 빠르게 분석하여 정확하게 성능 지표들을 도출해낸다. 이와 같은 지표를 이용하면 개발 중인 시스템을 보다 사실적인 사용 환경에서 평가하여 정확한 시스템 성능 분석을 수행할 수 있다. 마지막은 효율적이고 정확한 데이터센터 성능 평가 기법이다. 일반적인 컴퓨팅 환경과 달리, 데이터센터는 수천개의 서로 다른 프로그램들을 동시에 공유된 하드웨어에서 실행하기 때문에 기존의 성능 평가 및 분석 방법들로 정확히 다룰 수 없다. 이에 본 논문은 다양한 프로그램들의 성능을 정확하고 공정하게 포괄하는 데이터센터 성능 지표를 제시하고 통계적 기법을 바탕으로 한 성능 지표 도출 방법을 고안하여 적은 비용으로도 데이터센터들의 성능을 정확하게 비교할 수 있도록 하였다.

본 논문은 제시된 세 가지 성능 모델링 기법을 다양한 기준 및 환경에서 평가하였으며, 그 결과 이들이 기존의 성능 평가 및 분석 기법들에 비해 월등히 높은 속도, 정확도, 효율을 가짐을 확인하였다.