▲ 출처=freepik  © 특허뉴스

 

 

스토리와 어울리는 배경음악이 깔리고 2D의 이미지가 3D가 되어 그림이 영상처럼 움직이는 등 웹툰은 계속 진화하고 있다. 표현방식 뿐 아니라 제작방식 또한 발전하여 비전문가도 마음만 먹으면 손쉽게 웹툰을 창작하는 시대가 되고 있다.

유튜브, OTT 등 우리의 일상에는 보고 듣고 즐길 콘텐츠들이 넘쳐난다. 그 중 웹툰은 스마트폰에서 스크롤만 내리면 수많은 웹툰이 펼쳐져, 남녀노소에게 친숙한 콘텐츠로 대중들의 마음을 사로잡고 있다. 이렇게 대중문화로 자리잡은 웹툰에는 어떤 특허기술이 숨어 있을까?

 

웹툰의 본고장 네이버 웹툰은 웹툰을 100% 즐길 수 있는 AI의 선곡 특허가 있다.

네이버 웹툰은 인공지능으로 웹툰에 적절한 배경음악 즉 BGM을 틀어주는 특허를 작년 출원 및 등록했다.

이 기술은 인공지능 기술로 웹툰의 속성 정보와 독자의 피드백을 고려해 현재 감상중인 만화에 어울리는 음원을 재생해준다. 작가의 의도와 사용자의 니즈에 맞춰 자동으로 BGM을 골라준다.

 

▲ 출처=freepik  © 특허뉴스

이 기술의 특허를 보면, 첫째, 웹툰에 대한 속성 정보를 콘텐츠의 전체 내용, 특정 페이지, 특허 장면, 특허 객체 중 적어도 하나에 연계하여 등록하는 단계와 둘째, 만화 콘텐츠의 속성 정보를 이용하여 오디오 콘텐츠를 검색하는 단계와 셋째, 만화 콘텐츠의 제공 시 만화 콘텐츠에 연동되어 오디오 콘텐츠를 제공하는 단계의 과정을 인공지능 기술을 이용한다.

 

 

▲ 인터넷 만화 콘텐츠에 대해 음원을 제공하는 방법과 시스템 및 기록 매체(출처=윕스온, 10-2478394/네이버웹툰)  © 특허뉴스

 

 

해당 기술에서 AI가 맞춤형 음악을 선곡할 때 사용자의 성향은 물론 시간, 계절, 날씨, 위치 등의 환경 정보를 함께 고려한다. 획일적이지 않으면서 감상자의 내용과 상황을 반영한 최적의 BGM을 들려줘 사용자의 취향이 고려된 음악을 웹툰 이미지와 함께 즐길 수 있게 해 콘텐츠에 대한 공감과 재미를 증대시킨다.

 

또한 인공신경망으로 웹툰 그림의 채색을 더 정교하게 하는 기술도 있다. 이 기술은 인공신경망을 이용해 채색 이미지를 보정하는 네이버 웹툰 특허이다. 인공지능 기술의 발전에 따라 흑백 사진을 컬러 사진으로 자동 채색하는 이미지 채색 모델은 이미 개발되었다. 하지만 인공신경망을 이용하여 이미지를 채색하는 방법은 페인트 툴과 유사하게 작동하여 이미지의 경계가 불명확한 경우 색 번짐(color bleeding)이 발생한다는 문제가 존재했다.

 

네이버 웹툰 특허는 ▲스케치 이미지를 제1인공신경망에 입력하여 채색 이미지를 획득하는 단계와 ▲채색 이미지 중 타겟 영역에 대한 사용자 입력 데이터를 수신하는 단계, ▲스케치 이미지 및 사용자 입력 데이터를 제2인공신경망에 입력하여 타겟 영역의 채색 상태가 변경된 보정 이미지를 획득하는 과정을 거쳐 인공신경망을 통해 번짐 없는 정교한 채색 작업을 한다.

 

▲ 인공신경망을 이용한 채색 이미지 보정 방법 및 그 장치(출처=윈텔립스, 10-2022-0152864/네이버웹툰)  © 특허뉴스

 

 

이 기술은 색 번짐 현상을 완화하는 자동 채색 모델을 학습시키기 위해 가상의 사용자 입력 데이터를 생성한다. 또한 복수의 채색 이미지 중 색 번짐 현상이 발생한 이미지의 경계선과 색 번짐 현상이 발생하지 않은 이미지의 경계선을 검출한다. 그리고 번진 것과 번지지 않은 이 두 가지의 경계선을 비교하여 가상의 사용자 입력 데이터를 생성하고 이를 학습 데이터로 사용한다. 여기서 두 이미지의 경계선 정보의 차이를 최소화하도록 학습하여 색 번짐을 보다 객관적으로 평가한다.

 

또한 이미지 클러스터의 형태가 다른 정도를 측정한다. 이를 통해 같은 색감과 질감을 갖는 픽셀들을 상위 클러스터로 묶고 원래 이미지와 생성 이미지에서의 클러스터의 형태가 다른 정도를 측정한다. 이 과정에서 테두리를 경계로 컬러가 얼마나 잘 구분되어 있는지 평가할 수 있다.

이러한 AI페인팅 기술은 지속적으로 고도화되고 있고, 기술의 발전 덕분에 미래에는 창작자들의 고된 작업이 완화되는 것은 물론 정교해진 그림의 웹툰들을 만나볼 수 있을 것으로 기대된다.

 

▲ 출처=freepik  © 특허뉴스

문장을 웹툰으로 만드는 기술도 있다. 이 발명은 AI와 콘텐츠의 관계를 연구하는 툰스퀘어의 발명이다. ‘투닝’이라고 명명된 이 기술은 글로 쓴 문장을 만화로 바꿔주는 AI 윕툰 서비스로, 문장이 표현한 스토리에 맞는 인물이나 배경 등을 웹툰으로 자동 탄생시키는 것이다.

 

현재 특허심사 중에 있는 이 기술은 ▲문장을 인식하고 인식된 문장 내에 포함된 적어도 하나의 단어를 각각 식별하는 단계 ▲인식된 문장의 시작 지점 및 끝 지점 중 적어도 하나에 위치한 문장 부호의 종류를 식별하는 단계 ▲식별된 문장 부호의 종류를 기반으로 문장을 일반 표현 문장, 대사 표현 문장 및 감정 표현 문장 중 어느 하나로 판단하는 단계 ▲문장이 일반 표현 문장인 경우, 일반 표현 문장에 포함된 단어를 기반으로 만화 이미지를 자동 생성하는 단계 ▲문장이 대사 표현 문장 또는 감정 표현 문장인 경우, 대사 표현 문장 또는 감정 표현 문장의 주체를 파악하는 단계 ▲캐릭터 상에 대사 표현 문장 또는 감정 표현 문장을 말풍선 형태로 삽입하는 단계 등을 통해 자동으로 웹툰을 탄생시킨다.

 

▲ 입력된 문장 기반의 만화 이미지 자동 생성 장치 및 방법(출처=윈텔립스, 10-2023-0018027/ 주식회사 툰스퀘어)  © 특허뉴스

 

 

해당 기술은 사용자가 입력한 문장에 따라 만화 이미지를 자동으로 생성해주기 때문에 그림 솜씨가 없는 사람도 쉽게 원하는 만화 이미지를 획득할 수 있게 해주는 효과가 있다. 또한 이 발명은 캐릭터의 관절부분이나 연결부분에 생기는 여백 영역에 브릿지를 생성하여 캐릭터의 관절부분 또는 연결부분의 움직임을 자연스럽게 해줄 수 있는 효과가 있다. 

기사 내용과 관련이 없는 글, 욕설을 사용하는 등 타인의 명예를 훼손하는 글은 관리자에 의해 예고없이 임의 삭제될 수 있으므로 주의하시기 바랍니다. 댓글 작성 시 상대방에 대한 배려와 책임을 담아주세요.

• 닉네임
• 비밀번호
• 
• 도배방지 입력