[Human Pose Estimation] 스포츠 현장에 필요한 인공지능 기술과 3D 운동 동작 분석

스포츠 현장에서 Human Pose Estimation의 적용

스포츠 현장에서 운동 동작을 분석하는 것은 부상을 예방하고 퍼포먼스를 향상하는데 중요한 요소입니다. 인공지능이 발달하면서, 스포츠 현장에서의 적용도 지속적으로 증가하고 있습니다. 오늘은 컴퓨터가 인간의 관절을 추정하는 Human Pose Estimation과 스포츠 현장에서 어떻게 적용할 수 있을지, 그리고 향후에는 어떤 과제가 필요한지에 대해 소개하겠습니다.

 

1. 인간의 움직임 분석

인간의 움직임은 복잡하지만 근골격계의 뼈, 인대, 관절 그리고 근육 사이에 아주 협동적이고 기계적인 상호작용에 의해서 수행됩니다. 이중 근육은 인간의 관절에서 지레로서 인장력을 발생시키고 관절에 모멘트를 적용하도록 도와주는 아주 중요한 역할을 하고 있습니다. 근육의 이러한 역할은 우리 몸이 중력이나 다른 무게에 적용하여 잘 움직일 수 있도록 합니다. 따라서, 스포츠 현장에서는 부상을 예측하고 운동선수의 퍼포먼스를 향상하기 위해 올바른 움직임과 근육의 힘을 측정하고 평가하는 것의 중요성이 강조되고 있습니다.  

 

2. 인간의 움직임 분석 방법

인간의 움직임을 분석하기 위해 다양한 방법들이 활용되고 있습니다.

 

1) IMU(Inertial Measurment Unit) 센서

 

첫 번째로, IMU 센서입니다. IMU 센서는 장치 안에 가속도계, 자이로스코프, magnetometers를 통해 위치 정보를 획득하는 방법입니다. 하지만, 장치가 상당히 민감해서 에러를 쉽게 일으킬 수 있습니다. 

 

IMU 센서

 

2) EMG (Electromyography) 센서

 

두 번째로는 근전도(EMG) 센서입니다. EMG센서는 피부의 표면에 부착해서 근육의 화성도를 측정하는 방법입니다. 하지만, 이 방법도 장비를 세팅하는데 시간이 소요되고,  심부 근육의 활성도를 측정하기 어렵다는 한계가 있습니다. 

근전도

 

 

 

3) OMS(Optical Motion Sensing) 장비

 

마지막으로, OMS 장비를 활용하는 것입니다. 우리가 잘 알고 있는 3D 모션캡처 방법으로 인체에 빛을 반사하는 마커를 붙이고, 다수의 적외선 카메라를 통해 움직임을 분석하는 방법니다. golden standard로 가장 정확하다는 장점이 있습니다. 하지만, 장비가 상당히 고가의 장비이고, 촬영을 위해 세팅된 실험실에 가야 한다는 단점이 있습니다.

OMS 모션 캡쳐 시스템

 

3. Human Pose Estimation 

따라서, 최근 딥러닝을 활용한 Human Pose Estimation(HPE)가 등장하였습니다. 이 방법은 컴퓨터 비전 분야에 속하며, 사진(이미지)나 동영상에서 사람의 관절들을 추정하는 방법입니다. HPE의 가장 큰 장점은 기존에 마커나, 센서를 부착해야 하는 한계를 보완하여 마커 없는(Markerless) 방법으로 인간의 움직임을 분석할 수 있다는 것입니다. 현재 2D, 3D 다양한 방법의 연구들이 이미 다수 보고되었습니다.

 

2D HPE

3D HPE

 

HPE는 액션 예측, 온라인 코칭, 영화, 게임, 헬스케어 등 다양한 분야에서 활용되고 있습니다. 

HPE 적용 분야

 

4. 스포츠에서 적용 방법

그러면, HPE을 스포츠 현장에서 어떻게 활용하고 있는지 몇가지 연구들을 통해 소개해드리겠습니다. 

 

아래는 배드민턴 선수의 다양한 스윙 자세를 촬영한 후 키포인트를 추출하여 자세를 감지한 연구입니다. 스윙 자세와 감지된 자세의 정확도는 85% 였습니다.

배드민턴 스윙 자세 분석

 

테니스 선수의 스윙 자세를 HPE하여 특정한 스윙 후 테니스 공의 방향을 예측하는 연구도 진행되었으며, 정확도는 66.8% 높지는 않았지만 재미있는 연구도 보고되었습니다.

테니스 스윙 자세를 통한 공 방향 예측

 

타이치 자세를 분석했습니다. 기존의 타이치 트레이너의 강의 영상과 배우는 사람의 자세를 함께 2D HPE 하여 두 자세를 비교하여 시각적 피드백에 대한 가능성도 제시하였습니다.  

 

푸쉬업, 바이셉 컬 등의 다양한 맨몸운동 동작을 올바른 자세와 틀린 자세로 수행하고 2D HPE를 통해 컴퓨터가 올바른 자세와 틀린 자세를 예측하는 연구도 수행되었습니다. 정확도(F1-score)는 0.85 정도로 괜찮게 나타났습니다. 

2D HPE exercise posture

 

 

그 외에도 3D 모션 캡처 장비인 vicon과 2D HPE를 통해 보행 시 하지 관절 각도의 변화를 비교한 결과, 엉덩이, 무릎, 발목 각도에는 유의미한 차이가 발생하지 않았다고 하였습니다.

Vicon vs DL during walking

5. 향후 과제

이처럼, HPE가 스포츠에서도 상당히 많이 활용되고 있는 것을 알 수 있습니다. 하지만, 대부분 HPE는 2D로 분석하였으며, 인간의 움직임은 x, y, z의 3축으로 발생하기 때문에 3D에서 분석하는 것이 매우 중요할 것으로 생각됩니다. 인공지능을 활용하기 위해서 움직임에 대해 '정답'이 많이 필요하며, 3D에 대한 정답은 많이 부족하다고 생각됩니다. 3D 마커리스 자세 추정 연구를 위해 대부분 3M Dataset을 활용하고 있습니다. 이 데이터 셋은 실험실에서 무용수들의 다양한 움직임을 측정하였기 때문에 실제 현장이나 다양한 움직임에 반영하기 어려운 부분도 있는 것 같습니다. 

아래는 저희 연구소에서 진행했던 실험의 부분입니다. Vicon 모션 캡처와  2D 단일 카메라를 설치해 동시에 스쿼트 자세를 촬영하였습니다. 아래 3D 공간을 보시면, 파란색 plot은 vicon 모션 캡처의 마커 좌표이고, 빨간색은 DL을 통한 HPE의 마커 좌표입니다. 유사한 위치의 좌표가 나타난 것처럼 보이지만, 정확해 보이지는 않습니다.

 

HPE 2D to 3D

Vicon vs DL marker

---

HPE와 관련해서 필요성과 적용 그리고 향후 과제에 대해 간단히 소개해 드렸습니다. 기술의 원리에 관해서는 기회가 된다면 천천히 더 소개해드리면 좋겠습니다.