Mutual Information-based Multi-output Tree Learning Algorithm

Abstract

최근 인공지능 기술의 비약한 발전에 따라서 인공지능 기술을 산업 및 제조업에 적용하려는 시도가 늘어나고 있다. 포스코도 스마트 팩토리(Smart Factory)라는 명분하에 제철소 여러 공정에 인공지능 기술을 적용하는 사례가 보고되고 있다. 제조업에서 인공지능 기술의 활용도를 높이기 위해서 필요한 요구사항은 크게 2가지를 들 수 있다. 첫째, 모델의 해석이 용이해야 한다. 둘째, 제조업에 사용되는 인공지능은 Big-data와 같이 사이즈가 큰 데이터를 학습하는 것이 일반적이기 때문에 시간 효율적인 학습 모델 및 알고리즘이 필요하다. 상기 2가지 요구조건을 모두 만족 시키는 학습 모델은 트리 (Tree) 모델을 들 수 있다. 여러 제조 공정에서 다중 출력의 분류, 회귀 문제가 일반적이며 본 논문에서는 다중 출력의 트리를 시간 효율적으로 학습하는 알고리즘을 개발하는 것이 목적이다. 변수 선택 기반의 트리 알고리즘은 시간 효율을 극대화 시킬 수 있다. 하지만 기존의 다중 출력 트리 알고리즘은 범주형 데이터를 다루지 못하거나, 출력의 차원이 큰 데이터를 학습할 때 시간효율이 떨어지는 문제점을 가지고 있다. 본 논문에서 제안하고자 하는 알고리즘은 크게 2파트(변수 선택, 분지 최적화)로 나누어져 있다. 변수 선택은 학습하고자 하는 데이터의 각 입력 변수와 전체 출력변수를 이산화 하고, 이산화된 입력 변수와 출력변수간의 상관관계를 상호의존정보(Mutual information)를 이용하여 변수를 선택한다. 이산화는 k-means/k-modes 알고리즘을 사용하여 변수의 종류에 상관없이 시간효율적으로 수행될 수 있도록 한다. 선택된 변수에서 분지 최적화를 위해서 k-means 알고리즘(k=2)을 적용하여 두개의 그룹으로 나누고 두 그룹의 양 끝단값 평균값을 최적 분지로 설정한다. 이상의 2파트에서 다음과 같은 2개의 알고리즘을 제시한다. Proposed1: 상호의존정보기반 변수 선택(입력, 출력을 각각 4개의 그룹으로 이산화), 선택된 변수에서 완전 검색을 통한 분지 선택 Proposed2: 상호의존정보기반 변수 선택(입력, 출력 각각 2개의 그룹으로 이산화), k-means 알고리즘(k=2)기반 분지 최적화 제안된 알고리즘을 공개 데이터셋에 적용한 결과 제안된 알고리즘은 사이즈가 큰 데이터셋에서 기존의 CART(Classification And Regression Tree)대비 유사한 수준의 정확도를 가지며, 시간 효율이 높음을 확인할 수 있었다. 특히 데이터 인스턴스, 입력변수의 개수, 출력변수의 차원이 클수록 시간효율이 높아짐을 확인할 수 있었다. 제안된 알고리즘을 포스코 압연기 셋업(Mill setup) 모델에 적용한 결과 종전의 신경망 모델 대비 1/10수준으로 학습시간이 줄어들고, RRMSE도 통게적으로 유의하게 낮아짐을 확인 할 수 있었다. 특히 학습 시간이 압연 생산시간 보다 작어져서 온라인 학습도 적용 가능할 것으로 판단된다. 제안된 알고리즘을 이용하여 매 코일 업데이트된 학습 모델을 통해서 셋업이 계산되고, 이로 인하여 작업자의 수동개입이 줄어 들것으로 예상된다. 압연기 셋업의 정확도 향상에 따라서 압연 생산성이 올라가고, 균일한 표면 품질을 가지는 제품을 생산할 수 있을 것으로 판단된다.

A tree model with low time complexity can support the application of artificial intelligence to industrial systems. Variable selection based tree learning algorithms are more time efficient than existing Classification and Regression Tree (CART) algorithms. However, variable selection algorithms cannot handle categorical variables and are not suitable to large datasets. In this paper, we propose a mutual information-based multi-output tree learning algorithm that consists of variable selection and split optimization. The proposed method discretizes each variable based on k-means into 2–4 clusters and selects the variable for splitting based on the discretized variables using mutual information. This variable selection component has relatively low time complexity and can be applied regardless of output dimension and types. The proposed split optimization component is more efficient than an exhaustive search method because it finds the split based on a k-means algorithm. The performance of the proposed tree learning algorithm is similar to or better than that of a multi-output version of CART algorithm on a specific dataset. In addition, with a large dataset, the time complexity of the proposed algorithm is significantly reduced compared to a CART algorithm. To evaluate the performance of the proposed algorithms, we applied them to the set-up of the rolling reduction rate of a tandem cold mill for stainless steel in POSCO. In a tandem cold mill for stainless steel, an optimum reduction rate is necessary for each stand. A conventional mill set-up uses a lookup-table to optimize the rolling schedule. However, reflecting all input conditions and manual interventions on a model is difficult. In this thesis, we propose a mill set-up model that can efficiently predict the reduction rate for each stand by considering various input conditions. The newly proposed reduction rate learning model can give rise to multi-output regression problems. According to the experiment results, the proposed algorithm exhibits a higher level of RRMSE and time efficiency compared with the existing neural network model. As a result, it is considered that on-line learning can be implemented by applying the proposed algorithm in the set-up problem of the rolling. Also, the proposed model is easy to interpret, so it will be highly useful in the actual practice.