haven kim

Lyrics Re-Submission

• ISMIR 2024 목표
  • Abstract due: 4.5
  • Full paper submission: 4.12

Title: Song Form-Aware Full-Song Lyrics Generation with Multi-Level Granularity Syllable Count Control

포자랩스 공유페이지

Genius Dataset

Experiments

Idea…?

읽어야 할 논문 목록

할 것:

• Kento, 2023 ismir 을 벤치마킹하기
• 데이터 모으기 (한국어, 영어, 일본어?, 중국어?)
  • ⇒ lyric translation?
• 모델 정하기 (GPT2? pre-trained tokenzier?)
• Related works 읽기
• !! Line-wise condition? i.e. line-wise T5 or Image condition…???
  • training시에 masking하기…!!
  • Line-wise conditioning for
• “Reconstruction…?”
  • lyric → image → lyric
  • 사실, 학습 시 이미 하고 있는 것.
  • evaluation 실험에서 이걸 측정을 해야 할까?
• Stablediffusion/VIT embedding미리 저장해 놓기(너무 오래 걸림.포기)
  • 이미지가 아니라 VIT embedding만 저장해 놓아도 될 듯?
    • 50x768 tensor
• 가사 100만개 → 좀 줄이기
  • toxic한 거 없애기.