딥러닝/트랜스포머 썸네일형 리스트형 [pytorch] forward를 수정하고 싶다면 - forward hook 예제 코드 pytorch 관련 모듈(설명 안 함, 사용 안 해 봄) register_module_forward_pre_hookregister_module_forward_hookBackgroundLlama 모델의 forward(feed forward layer) 과정에서 activation value를 확인하고 싶은데 기존에 공개된 논문의 코드에서는 vllm+MethodType을 이용하여 forward에 접근 중vllm에서 llama3를 사용하기에는 아직 부족한 점이 있는 듯(내가 부족하다는 뜻)하여 이를 transformers 라이브러리로 변경transformers 라이브러리만 사용하는 코드로 변경하였을 때, torch hook을 사용해서 forward에 접근처음으로 torch hook을 사용하면서 간단히 사용법을.. 더보기 [llama] llama-3-8b-instruct 생성이 안 멈추는 오류 해결 3줄 요약그러니까.. 문제는 그거다... zero-shot을 하려고 했는데 생성이 끝나지 않고 계속 하는 문제가 있었음확인을 해보니 모델이 end token(문장의 끝)을 생성하지 못하는 오류일 수도 있다고 하여 라이브러리 업데이트를 수행했지만 안 됨이리저리 model.generate 파라미터도 바꿔보다가 알게된 건, tokenizer.apply_chat_template을 쓰면 된다는 것.. 소스 코드inputs = self.tokenizer.apply_chat_template(source, tokenize=True, add_generation_prompt=True, return_tensors='pt')위의 코드와 같이 tokenizer의 apply_chat_template을 사용하여 tokenize를.. 더보기 [huggingface][transformers] model.generate 모델 예측값 고정(temperature란?) LLaMA로 inference만 하던 중, set_seed(42)로 seed 값을 고정해도 결과값이 다르게 나온다는 사실을 알았다.모델 결과를 고정하려면 생성할 때 decoding에서 temperature 값을 0에 가깝게 설정해야 한다.1. model.generate 일관적인 결과 얻기아래 코드는 모델을 단순 inference 하기 위해서 라이브러리를 부르는 코드이다.테스트용으로 작성을 하여 가독성이 안 좋을 수 있다.import sysimport torchimport transformersfrom transformers import ( AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig, TrainingArguments, pi.. 더보기 이전 1 다음