Title: Song Form-Aware Full-Song Lyrics Generation with Multi-Level Granularity Syllable Count Control

Abstract

용어: 지금까지 잘못 함.

• 송폼 = paragraph, not phrase

• phrase: “구”, 문장.

• 핵심 내용

  1. Songform-aware Multi-level granularity syllable controlled lyric generation
     1. with arbitrary input text.
  2. Multi-level granularity lyric infilling
  3. Lyric correction experiments: generation ⇒ infilling

• To the best of our knowledge, this is the first approach for lyric generation that controls songform and its syllable count in multi-level granularity.

• Melody-to-lyrics 활발하게 연구되고 있는 중.

• 가장 핵심적인 것은 syllable control.

  • 멜로디 - 가사 paired data도 별로 없음

• 단순 syllable control은 멜로디의 note수와 맞을 수는 있지만, 실제 생성된 샘플은 어색할 수 있음.

  • 예를 들어, 총 생성된 음절 수는 같으나, 음악 멜로디의 phrase 단위와 실제 생성된 음절 수가 맞지 않아 실제 노래를 부를 시 어색할 수 있음.
  • 따라서, 다양한 단위의 syllable control에 대한 필요성이 있음.

• 따라서, 우리는 다음과 같은 사항들이 가능한 모델을 제안

  1. Multi-level granularity syllable controlled generation
  2. Songform-aware full-song generation.
  3. 생성한 가사 수정을 위한 syllable controlled multi-granularity lyrics infilling.
     1. infilling 자체 모델 평가 및 실제 correction procedure experiments 수행.

• Abstract

Methodology

• Autoregressive Modeling with Special tokens
  • Songform tokens
  • gen_paragraph / gen_line / gen_ngram / gen_word tokens
  • syl:1~syl:999 tokens

Experiments

Experiments2