zero-shot 썸네일형 리스트형 [llama] llama-3-8b-instruct 생성이 안 멈추는 오류 해결 3줄 요약그러니까.. 문제는 그거다... zero-shot을 하려고 했는데 생성이 끝나지 않고 계속 하는 문제가 있었음확인을 해보니 모델이 end token(문장의 끝)을 생성하지 못하는 오류일 수도 있다고 하여 라이브러리 업데이트를 수행했지만 안 됨이리저리 model.generate 파라미터도 바꿔보다가 알게된 건, tokenizer.apply_chat_template을 쓰면 된다는 것.. 소스 코드inputs = self.tokenizer.apply_chat_template(source, tokenize=True, add_generation_prompt=True, return_tensors='pt')위의 코드와 같이 tokenizer의 apply_chat_template을 사용하여 tokenize를.. 더보기 이전 1 다음