[사이언스] 소량의 데이터로 딥러닝 정확도 높인다... 최대 12% 정확도 향상

특허뉴스 박진석 기자 | 기사입력 2021/10/27 [13:43]

[사이언스] 소량의 데이터로 딥러닝 정확도 높인다... 최대 12% 정확도 향상

특허뉴스 박진석 기자 | 입력 : 2021/10/27 [13:43]

▲ 연구팀에서 개발한 `비선호(比選好) 특성 억제' 방법론의 동작 개념도. 훈련 데이터와 함께 분포 外 데이터를 입력받아 심층신경망 훈련 과정에서 분포 외 데이터에서 추출된 바람직하지 않은 비선호 특성은 영(0) 벡터로 억제된다. 따라서 훈련 데이터의 바람직한 특성들이 더 잘 구분되는 긍정적인 효과를 얻게 되며, 예측 정확도가 향상됨을 다양한 실험을 통해 입증하였다.(그림제공=KAIST)  © 특허뉴스

 

 

최근 다양한 분야에서 심층 학습(딥러닝) 기술을 활용한 서비스가 급속히 증가하고 있다. 서비스 구축을 위해서는 심층 학습 모델을 훈련해야 하며, 이를 위해서는 충분한 훈련 데이터를 준비해야 한다. 특히 훈련 데이터에 정답지를 만드는 레이블링(labeling) 과정이 필요한데 (예를 들어, 낙타 사진에 낙타라고 정답을 적어줌), 이 과정은 일반적으로 수작업으로 진행되므로 엄청난 노동력과 시간이 소요된다. 따라서 훈련 데이터가 충분하지 않은 상황을 효과적으로 타개하는 방법이 요구되고 있다.

 

KAIST는 전산학부 이재길 교수 연구팀이 적은 양의 훈련 데이터가 존재할 때도 높은 예측 정확도를 달성할 수 있는 새로운 모델 훈련 기술을 개발했다고 27일 밝혔다.

 

심층 학습 모델의 훈련은 주어진 훈련 데이터에서 레이블과 관련성이 높은 특성을 찾아내는 과정으로 볼 수 있다. 예를 들어, ‘낙타의 주요 특성이 등에 있는 이라는 것을 알아내는 것이다. 그런데 훈련 데이터가 불충분할 경우 바람직하지 않은 특성까지도 같이 추출될 수 있는 문제가 발생한다. 예를 들어, 낙타 사진의 배경으로 종종 사막이 등장하기에 낙타에 대한 특성으로 사막이 추출되는 것도 가능하다. 사막은 낙타의 고유한 특성이 아닐뿐더러, 이러한 바람직하지 않은 특성으로 인해 사막이 아닌 곳(: 동물원)에 있는 낙타는 인식하지 못할 수 있다.

 

이 교수팀이 개발한 기술은 심층 학습 모델의 훈련에서 바람직하지 않은 특성을 억제해 충분하지 않은 훈련 데이터를 가지고도 높은 예측 정확도를 달성할 수 있게 해준다.

 

바람직하지 않은 특성을 억제하기 위해서 분포 (out-of-distribution) 데이터를 활용한다. 예를 들어, 낙타와 호랑이 사진의 분류를 위한 훈련 데이터에 대해 여우 사진은 분포 외 데이터가 된다. 이때 이 교수팀이 착안한 점은 훈련 데이터에 존재하는 바람직하지 않은 특성은 분포 외 데이터에도 존재할 수 있다는 점이다.

 

, 위의 예에서 여우 사진의 배경으로도 사막이 나올 수 있다. 따라서 다량의 분포 외 데이터를 추가로 활용해 여기에서 추출된 특성은 영(0) 벡터가 되도록 심층 학습 모델의 훈련 과정을 규제해 바람직하지 않은 특성의 효과를 억제한다. 훈련 과정을 규제한다는 측면에서 정규화 방법론의 일종이라 볼 수 있다. 분포 외 데이터는 쓸모없는 것이라 여겨지고 있었으나, 이번 기술에 의해 훈련 데이터 부족을 해소할 수 있는 유용한 보완재로 탈바꿈될 수 있다.

 

연구팀은 이 정규화 방법론을 비선호(比選好) 특성 억제라고 이름 붙이고 이미지 데이터 분석의 세 가지 주요 문제에 적용했다. 그 결과, 기존 최신 방법론과 비교했을 때, 이미지 분류 문제에서 최대 12% 예측 정확도를 향상했고, 객체 검출 문제에서 최대 3% 예측 정확도를 향상했으며, 객체 지역화 문제에서 최대 8% 예측 정확도를 향상했다.

 

1 저자인 박동민 박사과정 학생은 이번 기술은 훈련 데이터 부족 현상을 해결할 수 있는 새로운 방법이라며, “분류, 회귀 분석을 비롯한 다양한 기계 학습 문제에 폭넓게 적용될 수 있어, 심층 학습의 전반적인 성능 개선에 기여할 수 있다고 밝혔다.

 

연구팀을 지도한 이재길 교수도 이 기술이 텐서플로우(TensorFlow) 혹은 파이토치(PyTorch)와 같은 기존의 심층 학습 라이브러리에 추가되면 기계 학습 및 심층 학습 학계에 큰 파급효과를 낼 수 있을 것이다고 말했다.

 

이 기술은 과학기술정보통신부 재원으로 정보통신기획평가원의 지원을 받아 SW컴퓨팅산업원천기술개발사업 SW스타랩 과제로 개발한 연구성과 결과물(2020-0-00862, DB4DL: 딥러닝 지원 고사용성 및 고성능 분산 인메모리 DBMS 개발)이다.

 

KAIST 지식서비스공학대학원에 재학 중인 박동민 박사과정 학생이 제1 저자, 송환준 박사, 김민석 박사과정 학생이 제2, 3 저자로 각각 참여한 이번 연구는 최고권위 국제학술대회 신경정보처리시스템학회(NeurIPS) 2021’에서 올 12월 발표될 예정이다.

 

논문명은 Task-Agnostic Undesirable Feature Deactivation Using Out-of-Distribution Data이다

  • 도배방지 이미지

딥러닝,KAIST,비선호특성억제,텐서플로우,파이토치, 관련기사목록