게임 캐릭터 음성으로 영어를 읽어주는 소프트 15.ai 공개.

 

메사추세츠 공과대학 졸업생 엔지니어 15씨는 텍스트 음성 변환 소프트 15.ai의 최신 버전을 공개했습니다.

이 프로그램은 다양한 게임과 영화및 애니메이션 캐릭터 음성을 준비, 유저가 입력한 모든 영어 텍스트를

캐릭터 목소리로 읽어줍니다.

 

이 프로젝트는 메사추세츠 공과 대학 학부 연구 기회 프로그램의 일환으로 발전해온것으로 15.ai는 딥러닝을 통해

다양한 캐릭터의 목소리를 생성 했습니다. 단순히 입력 된 텍스트일때 사용할 데이터가 없는 경우에도

딥러닝을 통해 훈련된 알고리즘과 여러 조합으로 독자적 커스터마이징 된 네트워크를 사용, 음성을 출력합니다.

 

딥 페이크 부류의 텍스트 음성 변화 소프트웨어는 처음이 아니지만, 이 15.ai의 놀라운 점은

데이터가 30초에 가까운 문자여도 거의 100%에 가까운 발음 정확도를 달성한다는 것과

매우 적은 데이터만을 사용하여 자연스러운 감정이 담긴 음성을 수백가지 이상 생성한다는 데 있습니다.

 

기본 구조는 옥스포드 사전 API와 위키셔너리등의 온라인 사전 오픈소스와 발음 사전 CMU 프로넌싱 딕셔너리

등을 베이스로 사용, 사전을 참조하여 하는것으로, 각 단어를 음소로 분해한다고 합니다. 그리고 현대의

단어에 대해서도 구글, 레딧, 4찬, 어반 딕셔너리등을 소스로 학습한다고. 또한 LibriTTS라는 읽기 소프트웨어를

위한 언어 자료 데이터 세트도 준비했다고 합니다. 그래서 사전에 없는 단어도 발음 음운 법칙에서 추츠하여

읽을 수 있게 되어있다고.

 

게다가 15.ai는 풍부한 감정 표현도 가능한데 캐릭터의 목소리를 재현할 뿐만 아니라 입력 된 문장에서

감정을 추측하고 그대로의 억양을 붙여 음성을 표현합니다. 이 기술은 딥모지라는 프로젝트의 분석 모델이 있으며

AI가 문장에 포함된 감정의 뉘앙스를 읽는 구조이지만 이모티콘까지 사용한다고 하네요.

 

15.ai의 음성을 이용한 작품은 배포 사이트 주소를 기재하면 자유롭게 가능하다고 합니다.

음성에는 포탈이나 하프라이프, 팀 포트리스2, 언더테일, 페르소나4, 스폰지밥등 매우 다양한

게임과 작품에서 나온것으로 보이며 향후에도 더 추가된다고 합니다.

15.ai/

15.ai: Natural TTS with minimal data

 

은근 재밌습니다 :D