Rating Scheme Analysis for Recommendation System

Abstract

With the growth of Internet, the huge and ever increasing amount, complexity and heterogeneity of available digital information overwhelm the human processing capabilities in a wide array of information seeking and several tasks. To cope with information overload recommendation systems have been introduced to filter those items that are of low relevance or utility for the user, and present only a small selection better suiting the user's tastes and interests. Usually they used rating information which is given a user to develop methods or improve accuracy.Although the rating system is close to recommendation system, they do not verify whether original rating scheme is appropriate to their methods. In this paper, we suggest various forms of rating scheme for recommendation system to verify the effect of them. The proposed schemes include three concepts: filtering, scaling and biasing. To validate the idea, we run experiments under existing CF approaches for recommendation consisting of k-nearest neighbor, ItemRank and matrix factorization with various parameters which are matched to each method. The results are explained as three evaluation measures: RMSE, Precision-recall and Kendall's tau. Analyzing results, we confirmed that matrix factorization and RMSE are sensetive to biasing scheme, and filtering helps relative ordering or choosing top-k items which are correlated to two methods, KNN and ItemRank, and two measures, F1-score and Kendall's tau. Future researches will be able to extend these results to various directions by optimizing methods and parameters.

인터넷의 발달과 함께 디지털 정보가 점차 방대해지고 복잡한 구조로 나아가면서, 사람들이 원하는 정보를 직접 찾고 활용하는 것이 점차 힘들어지고 있다. 이러한 정보량 증가에 따른 어려움을 해결하기 위해, 불필요한 정보를 제거해주고 사용자의 취향에 적합한 아이템들을 제시해주는 추천 시스템이 나타나게 되었다. 이러한 추천 시스템들은 일반적으로 유저로부터 받은 평점 정보를 활용하여 새로운 알고리즘을 개발하고 그 성능을 향상시킨다.이렇게 평점 정보가 추천 시스템과 밀접하게 연관되어 있음에도 불구하고, 그 동안의 연구들은 주어진 평점 체계가 과연 그들의 방법론에 적합한지에 대해서는 고려하지 않았다. 따라서 본 논문에서는 추천 시스템에서의 평점 정보 체계에 따른 효과를 분석하기 위해 여러 형태의 평점 체계 변화를 제안한다. 우리는 filtering, scaling, biasing의 평점정보 변화 방법론을 그 후보로 결정하였다. 그리고 이 제안을 검증하기 위한 실험에는 Collaborative Filtering 추천 방식에서 대표적인 k-nearest neighbor, ItemRank, matrix factorization 등의 3가지를 여러가지 고유 파라미터들과 함께 활용한다. 또한, 그 결과를 비교하기 위해서 평가 수단이 필요한데 기존 추천 시스템에서 많이 활용되는 RMSE, precision-recall, kendall's tau를 이용하여 평가했다. 그 결과를 분석하여, biasing 방법은 전체 점수의 활용을 중시하는 matrix factorization과 그에 상응하는 RMSE에 큰 영향을 끼치는 것으로 파악하였다. 또한 filtering은 상위 아이템들에 대한 순서 및 몇 개의 아이템을 추출하는 경우에 좋은 결과를 보여주었는데, 이는 KNN, ItemRank 등의 추천 방법과 F1-score, Kendall's tau 등의 평가 수단에 적합함을 보여주었다. 본 연구는 추천 시스템 연구에 있어서 다양한 추천 방식들과 파라미터 설정을 위한 초석이 될 것이라 생각한다.