[떠오르는 특허 기술④] 가상·증강현실(VR/AR)용 HMD

특허뉴스이성용 기자 | 기사입력 2019/04/27 [17:52]

[떠오르는 특허 기술④] 가상·증강현실(VR/AR)용 HMD

특허뉴스이성용 기자 | 입력 : 2019/04/27 [17:52]
▲ VR hand-held controller     © 특허뉴스

 

가상·증강현실(VR·AR) 기술은 향후 스마트폰에 버금가는 비약적인 보급이 예상된다. 또 스마트화·플랫폼화·서비스화를 통해 제조, 의료, 유통 등 전체 산업 확산으로 우리 삶의 일대 변혁을 가져올 것으로 기대된다. <편집자>

 

4차 산업혁명 기반기술 가상·증강현실

 

4차 산업혁명은 초연결·초지능·초실감정보통신기술과 다양한 과학기술의 융합에 기반한 차세대 산업혁명으로, 핵심은 O2O (Online 2 Offline)융합이다. 이러한 O2O 융합의 최종 결정판이 가상·증강현실이다. 가상·증강현실은 사용자와의 접점에 있는 기술로 시간과 공간 그리고 신체적/상황적 제약을 극복하고 언제 어디서나 현실적 경험의 제공이 가능해 사용자에게 초융합적 가치를 제공한다. 이를 통해 온라인과 오프라인의 경계를 허물고 글로벌 사용자들과 디지털 공감과 소통을 통해 4차 산업혁명의 촉진과 확산을 이끌 핵심기술로 부상했다.

 

▲ 2020년 VR 분야별 시장 점유율 예상(골드만삭스)     © 특허뉴스

 

VR 시장은 시장조사기관마다 전망치가 상당한 차이가 난다. Digi-CapitalVR/AR 시장이 201650억 달러에서 20201,500억 달러로 급격히 성장할 것으로 전망했다. 이는 2016년 전망치 대비 10배 이상 급성장한 수치로, 각각 VR시장은 300억불, AR시장은 900억불 규모를 보일 것으로 내다봤다. 글로벌 시장조사 기관 IDCVR/AR 시장이 201633억 달러에서 2020848억 달러로 성장할 것으로 내다봤다. KREZOHWSW를 합친 시장이 201641억 달러에서 201886억 달러로 증가할 것으로 예상했다. 특히 VR/AR 시장과 홀로그램 시장은 인터랙션 기술이 적용되는 2020년 이후 시장이 급증할 전망이다.

현재는 하드웨어 중심의 시장이 형성되어 있지만, 다수의 컨설팅 업체들은 2018년 시장이 역전되면서 VR 콘텐츠 시장 규모가 더 커질 것으로 보고 있다. 시장조사 업체 트랙티카(Tractica)VR 관련 하드웨어와 콘텐츠 구매 규모가 2020년에 218억 달러에 달할 것으로 예상했다.

VR SW의 적용가능 시장별 예상 규모를 보면, 2025년에 VR은 게임분야 적용 예상액이 116억 달러로 전체의 33%를 차지할 만큼 게임은 VR 산업에서 큰 비중을 차지한다. 골드만삭스는 VR에 대해 언급하는 사람들의 93%가 게이머라는 조사결과도 발표했다. 유통, 교육과 같은 산업적 적용 외 게임, 엔터테인먼트와 같은 문화 분야가 총 예상수입의 절반 이상(54%)을 차지한다.

최초의 상업적 VR 게임이자 게임 플랫폼 Steam 판매 차트 1위를 기록한 첫 VR 게임 ‘RAW DATA’100만 달러 이상의 매출을 올리며 VR 콘텐츠 시장의 가능성을 열었다. 또 새로운 게임 개발과 더불어 기존 콘텐츠를 VR로 리메이크한 작품들이 등장하면서 사용자들이 양질의 VR 콘텐츠에 대해서 충분한 구매 의사가 있음을 증명했다. 지난 12월 출시된 폴아웃4 VR’59.99 달러의 높은 가격임에도 수십만 다운로드를 가볍게 돌파해 1개월 만에 100억원 이상의 매출을 올리며 단독 1위로 우뚝 섰다.

VR 콘텐츠 전문가들도 양질의 VR 게임에 대한 사용자들의 갈증이 크며, 이를 위해서는 Hands-free하고 현실감 있는 높은 퀄리티의 인터페이스에 대한 요구도 높아질 것으로 예상했다. 실제로 스마트 콘텐츠 서비스는 하드웨어와 소프트웨어 양 영역에서 혁신을 맞이할 것으로 보이며 삼성전자 기어360Oculus Rift VR 기기는 인터랙션 강화실감 콘텐츠 획득 및 재생을 구현하는 방향으로 발전할 것으로 전망된다.

 

 

불편한 VR/AR 인터페이스 장치

 

VR/AR 시장과 핵심 장치인 HMD(Head Mounted Display) 등 헤드셋 보급이 확대되면서 이러한 장치에 최적화된 사용자 입력 인터페이스 기술에 대한 요구도 높아지고 있다.

PC 기반의 키보드나 마우스, 스마트폰 기반의 터치 인터페이스 등 기존 입력 인터페이스 장치들은 헤드셋 형태로 자리 잡아가고 있는 VR/AR 지원 기기들의 입력 인터페이스로 활용하기엔 불편하거나 적용이 어렵다. VR/AR 기술 특성상 앉은 자리에서는 물론이고 일어선 상태에서 사용이 빈번하게 일어날 수 있고, HMD에 의해 사용자 눈이 가려져 현실 공간의 시야를 확보할 수 없기 때문에 기존 입력 인터페이스를 사용하기 어렵기 때문이다.

이러한 문제를 해결하기 위해 기존 VR/AR 기기 대부분이 양손에 쥐는 형태의 리모컨이나 헤드셋 측면에 달린 버튼 등 별도의 입력장치를 사용한다. 실제로 최근 VR 붐을 이끈 OculusHTC등은 자사 HMD와 연동되는 리모컨 형태의 인터페이스 장치를 제공한다. 리모컨 형태의 인터페이스는 일반적으로 몇 개의 버튼과 자이로 센서를 이용해 VR/AR 공간에서 사용자가 원하는 행동을 할 수 있게끔 구성된다. 삼성의 Gear VR이나 구글의 구글 글라스, VuzixAR Glass등은 헤드셋 측면에 버튼과 터치패드 등을 장착했다.

이외 음성 인식도 VR/AR 기기를 위한 입력 인터페이스 장치로 사용된다. 하지만 이러한 입력 인터페이스 장치들은 헤드셋을 착용하여 외부에 대한 시야가 없는 상태의 사용자들에게 불편할 수밖에 없다. 이로 인해 VR/AR을 위한 입력 인터페이스 장치는 아직 최적의 형태를 찾지 못한 상태이다.

 

▲ Hand-free Natural User Interface 개요     © 특허뉴스

 

사용자 표정인식 인터페이스 기술

 

스마트 VR 콘텐츠 서비스는 하드웨어와 소프트웨어 양 영역에서 혁신을 맞이할 것으로 보인다. 삼성전자 기어360Oculus Rift VR 기기는 인터랙션 강화실감 콘텐츠 획득 및 재생을 구현하는 방향으로 발전할 것으로 전망이다. 콘텐츠 서비스 역시 데이터마이닝을 통해 사용자 선호를 정교히 겨누는 맞춤형 서비스로 진화가 예상된다.

주요 플레이어들이 사용자 상황·선호·장소 등에 적합한 맞춤형 콘텐츠 제작을 중심으로 사업을 전개하는 점을 고려할 때, 향후 광고도 개인정보상황기반으로 발전할 전망이다. 콘텐츠 제작 및 출력 제품의 경우는 사용자와의 인터렉션 기능 강화와 실감영상 획득 및 구현 기술을 통해 차세대 미디어 콘텐츠를 구현한다. 콘텐츠 관리 및 분석 기술은 사용자 분석과 데이터마이닝을 통해 개인 맞춤형 콘텐츠를 제공하는 방향으로 기술이 개발될 전망이다.

이런 가운데 연세대 김시호 교수팀이 개발한 VR/AR HMD의 사용자 표정인식과 Hand-free Natural User Interface(NUI/NUX) 기술은 별도의 컨트롤러 없이 Hands-free한 인터페이스를 제공하며, 사용자의 얼굴 표정 제스처(Gesture)를 입력 명령으로 사용한다. 인체에 무해한 적외선의 전파 특성을 이용해 사용자 얼굴 표정에 따른 얼굴 피부의 수축 및 이완을 감지하고 이를 입력 신호로 이용하며, VR/AR을 위한 HMD 뿐만 아니라 AR전용의 안경형(Eye-Glass type Device; EGD) 헤드셋 장치에도 적용이 가능하다.

특히 다른 경쟁 기술과 비교해, Hands-free한 인터페이스라는 점과 구현에 필요한 비용이 매우 저렴하고 대부분의 기존 헤드셋 장치에 무리없이 적용 가능하다는 점이 주요 강점이다. 적외선의 피부 전파 특성을 활용해 매우 미세한 피부 수축과 확장 등 얼굴 제스처 변화를 실시간으로 읽어낸다. 특히 인터페이스 구현에 필요한 하드웨어/소프트웨어를 저가로 구현 가능하며, 헤드셋에 부착할 적외선 센서의 수나 위치에 대한 가변성이 뛰어나 사용자 맞춤형 디바이스도 제작할 수 있다. 또 기존 헤드셋에 일반적으로 장착되어 있는 헤드트래킹(Head Tracking) 센서 데이터나 향후 헤드셋에 적용될 아이트래커 등의 데이터와 연동해 더욱 다양한 얼굴 제스처 및 움직임을 입력 신호로 사용 가능하다.

 

▲ VR 및 AR시장 전망(단위 억달러)     © 특허뉴스

 

VR 시장의 급격한 성장은 기존 보다 편리한 입력 인터페이스에 대한 강한 수요를 창출해 사용자 표정인식 인터페이스 기술의 상품화 가능성에도 긍정적인 영향을 미친다. 특히 이 기술은 구현에 필요한 하드웨어의 단가가 매우 저렴하고(양산시 1달러 내외), 거의 모든 현존 헤드셋에 적용이 가능하며, 적용될 어플리케이션에 맞게 최적화가 쉬워 상품화에 유리한 특성을 가지고 있다. 또한 VR/AR 기기 입력 인터페이스 분야에서 기존 상용 기술이 불편한 점이 많아 상품화 이후 시장 경쟁력도 뛰어날 것으로 예상된다.

이에 따라 연구팀은 VR/AR 장비 기술 관련 국내 출원 3, 등록 2, 해외 출원 2건 등 다양한 특허를 확보하고 있다. 해당 특허들은 모두 적외선 기반 피부 움직임 감지 센서의 활용과 관련된 기술로 VR/AR용 입력 인터페이스뿐만 아니라 VR/AR장비 사용자의 표정 인식과 관련된 내용을 모두 포함한다.

 

▲ 미래예상 제품및 서비스 로드맵 (출처 한국특허전략개발원. 미래유망제품서비스보고서)     © 특허뉴스

 

다양한 인터페이스 애플리케이션 수요

 

VR/AR 시장은 크게 헬스케어, 공학, 부동산, 상업 및 유통, 군사, 교육 분야 등 산업 및 공공 영역과 게임, 스트리밍 서비스, 영화 등 개인 소비자 영역으로 나뉜다. 모든 VR/AR 기기는 사용자 친화적인 입력 인터페이스 장치를 필요로 하기 때문에 이에 대한 수요는 폭넓게 존재한다.

사용자 표정인식 인터페이스 기술은 손이 자유롭다는 장점으로 인해 VR/AR 게임 등에서 가장 중요시하는 실제와 근접한 공간적, 시간적 체험아 가능하다. 현재 2~30대 층에서 큰 관심을 보이는 VR 체험방, 개인 VR 게임기기 등이 대표적인 예이다. 총기류를 사용하는 FPS 게임이나, 자동차 휠을 사용하는 레이싱 게임, 직접 손으로 물건을 집어봐야 하는 어드벤처 게임 등에 적용할 수 있다.

또 필수적으로 손을 사용해야 하는 고난도 작업 환경에도 활용 가능하다. 구체적으로는, 공장 작업자의 작업 효율을 높이는 AR헬멧, 원격 수술을 지원하는 VR 장비, 수술실 업무 분담 최적화를 위한 수술 전용 AR 시스템, 작전 상황에 대한 폭넓은 정보를 제공하는 군사용 AR 기기 등이 적용 대상이 될 수 있다. 특히 단순한 온라인 매체나 VR/AR 컨텐츠 뿐만 아니라 IoT에도 적용 가능하다. AR 글라스를 착용한 채로 소파에 앉아서 TV를 보다가 손 하다 까딱하지 않고 에어컨을 작동시키거나, 세탁기를 돌리고, 현관문을 열어줄 수 있는 혁신적인 입력장치로 활용할 수 있다.

따라서 사용자 표정인식 인터페이스 기술은 마우스, 리모콘 등 현존하는 대부분의 입력 인터페이스 장치를 대체할 수 있어 VR 콘텐츠 뿐만 아니라 AR, IoT(Internet of Things)등 다양한 분야에서 활용 가능하다. 또 기술 개발과정에서 연구된 얼굴 움직임 센싱 방법은 새로운 방식의 인체 움직임 인식 수단으로, 얼굴 표정 인식이나 인체 움직임 모니터링 등 확장성이 크다.

또한 사용자표정인식 인터페이스기술은 VR/AR/IoT 기술의 차세대 입력 장치 개발을 목표로 연구됐다. 가상·증강현실은 사용자와의 접점에 있는 기술로 시간과 공간 그리고 신체적/상황적 제약을 극복하고 언제 어디서나 현실적 경험의 제공이 가능해 사용자에게 초융합적 가치 제공이 가능하다. 이를 통해 온라인과 오프라인의 경계를 허물고 글로벌 사용자들과 디지털 공감과 소통을 통해 4차 산업혁명의 촉진과 확산을 이끌 핵심기술로 부상했다.

마케팅 전략 업체인 Trendforce에 따르면 전 세계 VR 시장은 2016년부터 VR기기가 보급됨에 따라 67억 달러 규모에서 연평균 성장률(CAGR) 77%를 보이며, 오는 2020년까지 약 700억 달러 규모에 달할 전망이다. Technavio는 전 세계 AR 시장에 대해 2016년부터 2021년까지 EGD 타입 69%, HMD타입 35%의 연평균 성장률을 보일 것으로 예측하며, 마케팅과 광고 43%, 게임과 엔터테인먼트 21%, 교육 18%, 여행 관련 10%, 기타 5% 정도의 시장 점유율을 보일 것으로 예측했다.

또한 Variant Market Research는 전 세계 IoT 시장에 대해 2015년부터 2024년까지 연평균 21.1%씩 성장하여 2024년 시장 규모가 약 16000억 달러가 될 것으로 전망했다. VR/AR 관련 시장의 규모가 증가함에 따라 헤드셋 장치를 활용한 입력 인터페이스 기술 또한 중요해지고 사용자 친화적 입력 장치에 대한 시장 요구가 늘어날 것으로 예상된다.

 

이 기사 좋아요
  • 도배방지 이미지

특허,가상현실,증강현실,VR,AR,인터페이스,애플리케이션,콘텐츠,헤드셋,사물인터넷,스마트, 관련기사목록
광고