Text Style Transfer 텍스트 스타일 변환 목표, 방법론 정리

Intro

• 관련 논문을 방법론으로 나누어 읽으려면 논문 2-3개를 읽고 거기서 정리한 관련 연구 섹션을 컨닝하는 것이 역시 ..
• 요즘은 google의 notebookLM을 이용해서 논문 정리를 하고 있음
  • notebookLM은 다 좋은데 도대체 어째서인지?! 하루 이틀 지나면 채팅 로그가 뜨지 않는다

 

---

Text Style Transfer

• Text Style Transfer(이하 TST)는 텍스트 스타일 변환이라고 하며, 말 그대로 텍스트의 스타일을 변환하는 태스크
• 주요 goal은 원본 텍스트의 의미(content)는 유지하면서 스타일만 변환하는 것
• 스타일 변환의 예시(Style-Specific Neurons for Steering LLMs in Text Style Transfer, 2024)
  • informal → formal
  • toxic → neutral
  • democratic → republican
  • impolite → polite
  • shakespeare → modern
  • positive → negative
• 주로 데이터 쌍이 존재하는 데이터셋이 다양하게, 많지 않으므로 unsupervised learning 방법론이 가장 많이 연구되고 있음
• 최근에는 LLM을 이용해서 few-shot이나 classification으로 변환, 또는 prompting하는 연구도 있음

 

---

Method

*Prompt-Based Editing for Text Style Transfer, 2023 참고

• supervised learning
  • Paraphrasing for Style(2012)
  • parallel data를 이용하여 학습
  • parallel data를 구축하는 건 시간과 노동이 많이 드는 작업
• non-parallel supervision
  • style label이 지정된 non-parallel data로 학습
  • 텍스트를 구성하는 content와 style의 latent representation을 별도로 학습
  • content representation이 주어지면 각 대상 style별로 여러 모델을 discriminators로 학습
  • 그러나 content와 style을 명확하게 분리하는 건 어려운 작업 → style은 일부 문장에 대해서만 전체적으로 전달 가능
  • “However, explicit separation of content and style is not always possible, because style can only be conveyed holistically for some sentences.”
  • 문장의 style은 단어나 구 단위로 분리될 수 없고 문장 전체의 맥락 속에서만 의미를 가지는 경우가 존재
  • 문장 전체의 어휘 선택, 문장 구조, 표현 방식 등이 종합적으로 작용하여 나타나는 경우가 있음
• construct pseudo-parallel training data
  • LEWIS: Levenshtein Editing for Unsupervised Text Style Transfer(2021)
  • 스타일 분류기를 훈련하여 소스-대상 스타일 쌍을 합성한 다음, Levenshtein 편집기를 훈련하고 다중 범위 편집을 수행
  • 그러나 pseudo-parallel training data을 구성하는 과정에서 품질이 좋지 않은 데이터가 생성되는 경우가 종종 있음
• unsupervised learning
  • Unsupervised Controllable Text Formalization(2020)
  • 복잡한 과정으로 비효율적
• prompt-based approache
  • Prompt-and-Rerank: A method for zeroshot and few-shot arbitrary textual style transfer with small language models(2022), A recipe for arbitrary text style transfer with large language models(2022)
  • zero-shot 또는 예제 기반 방식으로 스타일 전환된 텍스트를 생성
  • 대규모 PLM을 프롬프트하여 다양한 스타일로 문장을 생성
  • 여러 후보 문장을 생성한 다음 재순위 메커니즘을 사용하여 가장 높은 점수를 가진 문장을 최종 출력으로 선택

---

리뷰 예정 논문 목록

• Prompt-Based Editing for Text Style Transfer(2023)
• A recipe for arbitrary text style transfer with large language models(2022)
• LEWIS: Levenshtein Editing for Unsupervised Text Style Transfer(2021)
• (추가 예정)