매일 보기만 하다가 이렇게 질문을 올리게되었습니다.
저는 Kinect v2와 Unity3d를 이용하여 손,손가락을 추적해보려하고있습니다.
처음엔 Kinect v2 SDK자체에 WPF(c#) 프로젝트용 예제가 있어 관절 추적을 해보았습니다.
관절 좌표가 x, y 가 나오는 것을 확인하였습니다.
그리고 깊이 값도 받아와 보았습니다.
그리고 WPF 프로젝트에서 확인한 결과를 가지고 Unity3d에서 아바타에 값을 적용하여
움직이도록 해보았습니다.
이 과정에서 Kinect v2 with MS-SDK 라는 플러그인을 사용하여 적용하였습니다.
큰 동작은 인식이 잘 됩니다.
그리고 손까지는 인식이 됩니다. 그러나 손가락은 되지 않습니다.
그래서 방향을 바꾸어서 마이크로소프트에서 제공하는 유니티용 플러그인을 받아와
컬러뷰와 뎁스뷰 InfraredView, 바디인덱스등을 받아와 화면에 뿌려보았습니다.
그리고 손추적을 위해 자료를 조사해보았습니다.
제가 조사한것은 컬러뷰에서 RGB -> YCbCr 변환하여 피부톤을 찾아 표시되도록하는 것까지는
어떻게든 적용을 하였습니다.
현재 상태는 하나는 바이인덱스정보를 이용하여 배경을 빼고 몸만 나오는것과
컬러뷰에서 피부부분과 그외 부분을 나누어 표시 되는 정도입니다.
그러나 여기서부터 막혔습니다.
제가 필요한 부분은(Unity3d, c#)
1. 화면에 양쪽 손부분만 나오게 하는것
2. 손의 중심점을 표시
3. 각 손가락의 관절 좌표 찾기 및 표기(손끝점, 시작점, 손가락 마디별 좌표 등)
참고로 조사중 나왔던 알고리즘들은
convexhull, 루카스 카나데 추적 알고리즘, chamfer matching(이건 미리 정의된 것과 비교하는것이라 아닌것 같습니다.), chain code, douglas packer, DAM-Shift 등이였지만
제 실력과 이해력이 따라가지 않아 적용하지 못하였습니다.
논문등도 보았지만 공식이 정말 수학 공식으로만 되어있어 현제 저로써는 이해도 코드로 풀수도 없었습니다.
그리고 제가 조사했던 알고리즘들이 맞는것인지도 알지못합니다.
그래서 이곳에 질문을 올리게 되었습니다.
제가 필요한 부분에 대하여 도움을 받고 싶습니다.
감사합니다.
질문 | 1833명이 읽었어요. 18.119.105.239
