한동대, 세계 최초로 ‘감정표현’하는 노래음성합성 AI 개발

MuseSVS가 합성한 노래음성의 음정변화. 슬픔이 강해질수록 강한 비브라토를 합성한다. <한동대학교 제공>

한동대학교가 감정 표현이 가능한 다중화자 노래음성합성AI를 세계 최초로 개발했다.

2일 한동대학교에 따르면, 노래음성합성(Singing Voice Synthesis, SVS)은 악보를 입력하면 노래음성을 합성하는 AI 기술이다. 기존의 AI들은 대부분 노래를 부르는 음성만을 합성할 수 있었던 반면, 감정을 반영해 음성을 합성하는 AI는 아직 없었다.

이번에 한동대 전산전자공학부 딥러닝 연구실에서 개발한 'MuseSVS'는 악보와 함께 감정의 종류와 강도를 입력하면 음색, 비브라토, 볼륨이 다른 노래음성을 합성한다.

또한 'MuseSVS'에 최초로 적용된 통계적 음정 예측기와 문맥기반 음표길이 예측기는 감정표현을 위한 미세한 음정과 박자의 미세한 변화를 효과적으로 합성하는 것이 특징이다.

김인중 한동대 딥러닝 연구실 지도교수는 "사람은 같은 노래를 부를 때라도 음정, 박자, 볼륨의 미세한 변화를 통해 감정을 표현한다"면서 "MuseSVS는 이러한 미세한 변화를 데이터로부터 효과적으로 학습하며, 지정된 감정의 종류 및 강도에 따라 다르게 합성한다"고 말했다.

한편, MuseSVS는 음성처리분야의 세계 최고 저널인 IEEE/ACM Transactions on Audio, Speech and Language Processing(TASLP)에 발표됐다.

전준혁기자 jjh@yeongnam.com

영남일보(www.yeongnam.com), 무단전재 및 수집, 재배포금지