동적 손 스캔 데이터의 인간공학적 분석을 위한 변형 가능한 손 모델 개발

Abstract

Digital hand model은 인간공학적 그립 제품 설계를 위한 자세, 크기, 형상과 같은 손 특성의 인간공학적 분석에 활용되고 있다. 기존 digital hand model들은 실시간 자세 추적을 목적으로 개발되어 자세 분석만 수행할 수 있어 제품 설계 적용을 위한 손 치수 및 형상 분석에 활용되지 못하는 한계를 지닌다. 기존의 직접 측정 방법 및 3차원 손 스캔을 이용한 손 치수 및 형상 분석 방법들은 정확도 높게 치수를 분석할 수 있으나, 편 상태로 측정된 기본 자세에서만 측정 가능하며 3차원 손 스캔을 분석하기 위해 참조점을 기입하거나 데이터를 처리하는데 많은 자원 및 노력이 요구되는 한계점이 있다. 본 연구는 동적 손 스캔의 자세, 형상, 치수 특성을 효율적으로 분석하는 변형 가능한 손 모델을 개발하고 분석 성능을 검증하였다. 이를 위한 세부 연구목표는 다음과 같이 구성되었다. (1) 동적 손 스캔 분석에 적용 가능한 변형 가능한 손 모델 개발 (2) 동적 손 스캔의 자세 분석 방법 개발 (3) 손 모델 정렬을 통한 자세, 치수, 형상 분석 방법 개발 (4) 변형 가능한 손 모델의 자세, 치수, 형상 분석 성능 평가 첫째, 동적 손 스캔 데이터를 분석하기 위해 손 스캔 데이터에 정렬 및 변형 가능한 손 모델이 개발되었다. 변형 가능한 손 모델은 CT-scan 분석을 통해 평균 크기의 한국인 손 형상 메쉬, 정교한 관절 회전 중심 및 관절 구조, 손 해부학을 고려한 구획 및 인체 측정 기준점을 포함하여 구성된다. 변형 가능한 손 모델의 자세 변경을 위해 25개 관절 각도 측면의 자유도가 적용되었으며 자세 변경에 따른 자연스러운 형상 변형을 위해 컴퓨터 비전 분야의 DQS (dual quaternion skinning) 방법이 적용되었다. 변형 가능한 손 모델은 인체 치수 측정 및 분석을 위해 83개의 인체 측정 기준점, 부피 측정을 위한 15개의 부위, 체표 면적 측정을 위한 30개의 표면적 부위가 적용되었다. 둘째, 기계학습 모델 및 변형 가능한 손 모델을 이용하여 동적 손 스캔의 자세를 효율적으로 분석하는 방법이 개발되었다. 본 연구는 정확도 높은 손 자세 분석 방법을 개발하기 위해 선행 연구의 손 표면 및 관절 회전 중심이 포함된 CT-scan dataset을 이용하여 손가락 관절 회전 중심 추정 모델을 개발하였다. 또한, MediaPipe Hands 기계학습 모델을 이용하여 동적 손 스캔 데이터의 초기 자세를 자동으로 분석하고 손가락 관절 회전 중심 추정식이 적용된 변형 가능한 손 모델을 연동하여 손가락 관절 회전 중심 추정 및 손 자세 분석을 수행하였다. 셋째, 손 모델 정렬을 통해 손의 크기, 형상, 자세의 인간공학적 분석 기법이 개발되었다. 손 모델의 정렬 기법은 자세 분석 결과 및 초기 참조점 정보를 기반으로 DQS 기반 자세 및 형상 변경, BBW 및 CPD 방법 기반 1차 정렬, 변형 가능한 ICP 방법 기반 2차 정렬 과정을 통해 수행된다. 동적 손 스캔 데이터로 정렬된 변형 가능한 손 모델은 변형된 표면 메쉬, 변환된 관절 중심, 측정 기준점, 그리고 구획 정보를 활용하여 72종 손 치수, 15개 부위별 부피, 30개 부위별 체표면적을 자동으로 측정한다. 변형 가능한 손 모델은 다양한 동적 손 스캔 데이터로 성공적으로 정렬 가능한 것으로 확인되었다. 단일화된 데이터 구조를 유지하며 동적 손 스캔 데이터로 정렬된 손 모델 정보는 손 형상의 기계학습에 활용될 수 있고, 분석된 손 특성은 인간공학적 제품의 설계에 유용하게 활용 가능할 것으로 기대된다. 마지막으로, 변형 가능한 손 모델의 성능 평가 기준이 제안되었으며 기존의 자세, 형상, 크기 분석 방법과 비교 평가되어 향상된 성능이 검증되었다. 관절 회전 중심 추정 성능 평가 결과, 변형 가능한 손 모델은 CT-scan data을 기준으로 동작분석시스템이 대비 추정 오차를 2.1 ~ 2.2 mm (52.4% ~ 55.3%) 정도 줄였다. 관절 각도 추정 성능 평가 결과, 변형 가능한 손 모델의 성능은 기계학습 모델 및 인체 측정 참조점 기반 관절 모델 대비 자세 분석 정확도가 5% ~ 8% 정도 높게 분석되어 향상된 성능이 검증되었다. 형상 분석 성능 평가 결과, 변형 가능한 손 모델의 메쉬 전반 정렬 오차는 0.72  0.35 mm, 측정 기준점 추정 오차는 0.53 mm로 파악되어 허용 가능한 수준으로 검증되었다. 크기 분석 성능 평가 결과, 변형 가능한 손 모델의 치수 분석 성능은 길이 측정 항목에서 0.9 mm, 둘레 측정 항목에서 0.8 mm의 오차를 보이며 허용 가능한 수준으로 검증되었다. 부피 및 면적 분석 성능 평가 결과, 변형 가능한 손 모델의 측정 성능은 CAD S/W를 이용한 실측값 대비 측정 오차가 1% 이하로 확인되어 허용 가능한 수준으로 검증되었다. 본 연구의 의의는 인간공학적 제품 설계에 활용하기 위한 동적 손 스캔의 자세, 크기, 형상을 자동으로 분석할 수 있는 변형 가능한 손 모델을 개발하고, 기존의 분석 방법들과 비교하여 향상된 인간공학적 분석 성능을 검증한 것이다.

Digital hand model is used for ergonomic analysis of hand characteristics such as posture, size, and shape for ergonomic grip product design. Existing digital hand models are developed for real-time hand tracking purposes and can perform posture analysis, but they have limitations that cannot be used for hand dimension and shape analysis for product design application. Existing direct measurement methods and 3D hand scan analysis methods can accurately analyze dimensions, but they can only be measured in the basic posture measured in a straight posture and require a lot of resources and effort to input reference points or process data to analyze 3D hand scan. This study developed a deformable hand model that efficiently analyzes the posture, shape, and dimensional characteristics of dynamic hand scans and verified the analysis performance. The detailed research objectives for this purpose were organized as follows: (1) Development of a deformable hand model applicable to dynamic hand scan analysis, (2) Development of posture analysis method for dynamic hand scan, (3) Development of posture, size, and shape analysis method by hand model registration, (4) Assessment of posture, size, and shape analysis performance of the deformable hand models. First, a deformable hand model has been developed to analyze dynamic hand scan data. The deformable hand model consists of an average-sized Korean hand shape mesh, joint structures with sophisticated joint rotation centers, segmented parts considering hand anatomy, and landmarks for measurement through hand CT-scan analysis. The 25 degrees of freedom joints were applied for posture changes in deformable hand models, and the dual quaternion skinning (DQS) technique in the field of computer vision was applied for natural shape deformation according to posture changes. A total of 83 human measurement reference points, 15 areas for volumetric measurement, and 30 surface areas for body surface measurement were embed to the deformable hand model for hand measurement. Second, a method for efficiently analyzing the posture of dynamic hand scan using a machine learning model and a deformable hand model has been developed. This study developed finger joint rotation center estimation models by analyzing CT-scan dataset, which includes the hand surface and joint rotation centers of previous studies, to develop an accurate hand posture analysis method. In addition, the initial posture of the dynamic hand scan data was automatically analyzed using the MediaPipe Hands machine learning model, and the finger joint rotation centers and hand posture were analyzed by the deformable hand model with the finger joint center of rotation estimation equation. Third, ergonomic analysis techniques of hand characteristics of size, shape, and posture have been developed through hand model registration. Deformation hand model registration was performed in the order of DQS-based posture and shape change, BBW and CPD method-based primary alignment, and deformation ICP method-based secondary alignment, referring to posture analysis results and initial reference point information. The deformable hand model, aligned to dynamic hand scan data, automatically measures 72 hand dimensions, 15 area volumes, and 30 area body surface areas using modified surface mesh, transformed joint centers, measurement reference point, and hand segment information. The deformable hand model is found to be successfully aligned with various dynamic hand scan data. Hand model information registered in the dynamic hand scan data while maintaining a uniform topology of the data structure can be utilized for hand-shaped machine learning. The analyzed hand characteristics are expected to be useful in the design of ergonomic products. Finally, the performance evaluation criteria for deformable hand models are proposed and the improved performance is verified by comparing the deformable hand model with conventional posture, shape, and size analysis methods. As a result of evaluating estimation performance of joint centers, the deformable hand model reduced the joint centers estimation error by 2.1-2.2 mm (52.4%-55.3%) compared to the motion analysis system. As a result of performance evaluation of the joint angle estimation, deformable hand model showed 5%–8% higher posture analysis accuracy compared to existing methods of the machine learning model and the hand link model based on reference points and the improved performance was verified in this study. As a result of evaluating shape analysis performance, the mesh overall alignment error of the deformable hand model was found to be 0.72  0.35 mm and the landmark estimation error was found to be 0.53  0.34 mm and verified to an acceptable level. As a result of evaluating the size analysis performance, the dimensional analysis performance of the deformable hand model was verified to an acceptable level with an error of 0.9  0.7 mm in the length measurement item and 0.8  0.9 mm in the circumference measurement item. As a result of evaluating the volume and area analysis performance, the measurement performance of the deformable hand model was verified to an acceptable level, with a measurement error of less than 1% compared to the actual measurement value using CAD S/W. The significance of this study is to develop a deformable hand model that can automatically analyze the posture, size, and shape of dynamic hand scans for use in ergonomic product design, and to verify improved ergonomic analysis performance compared to existing analysis methods.