LLaMa 썸네일형 리스트형 [pytorch] forward를 수정하고 싶다면 - forward hook 예제 코드 pytorch 관련 모듈(설명 안 함, 사용 안 해 봄) register_module_forward_pre_hookregister_module_forward_hookBackgroundLlama 모델의 forward(feed forward layer) 과정에서 activation value를 확인하고 싶은데 기존에 공개된 논문의 코드에서는 vllm+MethodType을 이용하여 forward에 접근 중vllm에서 llama3를 사용하기에는 아직 부족한 점이 있는 듯(내가 부족하다는 뜻)하여 이를 transformers 라이브러리로 변경transformers 라이브러리만 사용하는 코드로 변경하였을 때, torch hook을 사용해서 forward에 접근처음으로 torch hook을 사용하면서 간단히 사용법을.. 더보기 [llama] llama-3-8b-instruct 생성이 안 멈추는 오류 해결 3줄 요약그러니까.. 문제는 그거다... zero-shot을 하려고 했는데 생성이 끝나지 않고 계속 하는 문제가 있었음확인을 해보니 모델이 end token(문장의 끝)을 생성하지 못하는 오류일 수도 있다고 하여 라이브러리 업데이트를 수행했지만 안 됨이리저리 model.generate 파라미터도 바꿔보다가 알게된 건, tokenizer.apply_chat_template을 쓰면 된다는 것.. 소스 코드inputs = self.tokenizer.apply_chat_template(source, tokenize=True, add_generation_prompt=True, return_tensors='pt')위의 코드와 같이 tokenizer의 apply_chat_template을 사용하여 tokenize를.. 더보기 이전 1 다음