3줄 요약
- 그러니까.. 문제는 그거다... zero-shot을 하려고 했는데 생성이 끝나지 않고 계속 하는 문제가 있었음
- 확인을 해보니 모델이 end token(문장의 끝)을 생성하지 못하는 오류일 수도 있다고 하여 라이브러리 업데이트를 수행했지만 안 됨
- 이리저리
model.generate 파라미터도 바꿔보다가 알게된 건, tokenizer.apply_chat_template을 쓰면 된다는 것..
소스 코드
inputs = self.tokenizer.apply_chat_template(source, tokenize=True, add_generation_prompt=True, return_tensors='pt')
- 위의 코드와 같이 tokenizer의
apply_chat_template을 사용하여 tokenize를 해야 함
- 이때,
tokenize=False를 하고 따로 tokenize를 하면 또 오류 발생 🤔
- 이와 관련되어서는 아직 분석 부족(...)
- 전체 코드는 추후 깃허브 링크 추가 예정