[사이언스] 유리 왜곡 지우고 ‘생생한 가상현실’ 앞당긴다

특허뉴스 박진석 기자 | 기사입력 2019/09/10 [12:01]

[사이언스] 유리 왜곡 지우고 ‘생생한 가상현실’ 앞당긴다

특허뉴스 박진석 기자 | 입력 : 2019/09/10 [12:01]

- UNIST 심재영 교수팀, 3차원 영상서 자동으로 왜곡 검출·제거하는 기술 개발 -

- 번거로운 작업 없애 빠른 가상현실, 증강현실 구현 기대 … IEEE TPAMI 발표 -

 

가상현실(VR), 증강현실(AR), 자율주행. 5G 시대를 이끌어나갈 이들 첨단기술의 뒤에는 레이저를 이용해 3차원 공간을 생생하게 재현하는 ‘라이다(LiDAR) 스캐너’가 있다. 하지만, 빛을 이용하는 현재의 라이다 스캐너는 유리를 만나면 반사된 허상을 인식하기 때문에 번거로운 추가 작업이 필요하다.

 

▲ 라이다(LiDAR) 스캐너에서 유리면을 검출하는 과정. (a) 라이다 스캐너는 360° 공간을 각 부분으로 나눠 레이저 펄스를 조사하고 이를 회수해 공간을 인식한다. (b) 회수된 레이저 펄스는 각각 3차원 점을 형성하는데, (c) 돌아온 펄스의 개수를 보면, 형성된 3차원 점이 많은 부분에 유리가 위치하고 있음을 알 수 있다.     © 특허뉴스

 

UNIST 전기전자컴퓨터공학부 심재영 교수팀은 라이다 스캐너로 획득한 대면적 3차원 영상에서 자동으로 유리면을 찾고, 여기에 반사된 허상을 제거하는 기술을 개발했다. 이 기술을 이용하면 추가 작업 없이도 정확한 데이터를 확보할 수 있어 VR, AR을 위한 3차원 세계 구현에 큰 힘이 될 전망이다. 

 

연구진이 개발한 기술은 라이다 스캐너의 영상에서 허상을 제거하는 최초의 기술이며, 유리면이 여러 개 함께 존재하더라도 왜곡을 제거할 수 있는 장점도 있다. 

 

제1저자 윤재성 연구원(전기전자공학과 석·박사통합과정)은 “건물에 설치된 유리는 공간 데이터를 정확하게 획득하는 데 어려움을 주는 존재”라며 “하지만 거꾸로 유리의 반사 특성을 이용하면 일일이 허상을 제거하지 않아도 정확한 3차원 데이터를 얻을 수 있다”고 설명했다.

 

연구진은 두 단계의 과정을 통해 유리면에 의한 왜곡을 제거했다. 첫 번째는 유리면이 어디에 있는지를 인식하는 것이고, 두 번째는 인식된 유리면을 기준으로 허상의 위치를 추적해 제거하는 것이다.

 

▲ 레이저 펄스의 다중 경로 추정: 가운데 유리면을 기준으로 주어진 회색 화분의 3차원 점에 대해 가능한 모든 레이저 펄스의 경로를 계산한다. 다중 경로 중에서 회색 화분에 대응되는 실제 검은색 화분의 3차원 점을 찾고, 대응점 간의 유사도를 계산하여 회색 화분을 허상으로 판단한다.     © 특허뉴스

 

유리면의 위치는 라이다 스캐너에서 회수되는 레이저 펄스의 개수를 통해 알 수 있다. 보통 레이저 하나가 발사되면 반사된 레이저는 한 번만 회수된다. 하지만 유리면에서는 ‘유리에 한 번 반사된 레이저’와 ‘유리를 통과해 물체에서 반사된 레이저’까지 나타나 반사된 레이저 숫자가 늘어난다. 즉, 돌아온 레이저가 많은 부분이 유리면인 것을 알 수 있다.

 

이렇게 유리면을 찾은 후에는 미리 프로그래밍된 알고리즘을 토대로 유리면에 반사된 허상의 위치를 계산한다. 연구진은 유리의 반사 경로를 거꾸로 추적하는 계산법을 통해 진상과 허상을 구분해 제거하는 기술까지 확보했다.

 

▲ 3차원 영상에서 유리 영역 및 허상 검출 결과: 라이다 스캐너에서 확보한 3차원 영상. 연구진이 개발한 기술을 적용한 결과, 하늘색으로 표현된 부분이 유리면으로 검출됐다. 이어 이를 기준으로 붉은색으로 표시된 부분이 유리면에 반사된 허상으로 판별됐다.     © 특허뉴스

 

심재영 교수는 “새로운 문제를 해결하는 도전이었기에 실험 데이터 확보부터 알고리즘 성능 평가 방법까지 모두 직접 진행하는 어려움도 있었지만, 그 덕분에 독창적인 원천기술을 확보했다”며 “향후 자율주행, VR, AR 등 첨단기술 실현을 위한 고품질 3D 콘텐츠 제작에 도움이 되길 바란다”고 말했다.

 

이번 연구 결과는 세계적인 권위의 국제학술지 ‘국제전기전자공학회 패턴분석 및 기계지능(IEEE Transactions on Pattern Analysis and Machine Intelligence)’에 출판될 예정으로, 지난 8월 온라인에 먼저 공개됐다.

  • 도배방지 이미지

유리왜곡,가상현실,증강현실,VR,AR,자율주행,5G,라이다스캐너,UNIST, 관련기사목록