본문 바로가기

전체 글28

[pytorch] forward를 수정하고 싶다면 - forward hook 예제 코드 pytorch 관련 모듈(설명 안 함, 사용 안 해 봄) register_module_forward_pre_hookregister_module_forward_hookBackgroundLlama 모델의 forward(feed forward layer) 과정에서 activation value를 확인하고 싶은데 기존에 공개된 논문의 코드에서는 vllm+MethodType을 이용하여 forward에 접근 중vllm에서 llama3를 사용하기에는 아직 부족한 점이 있는 듯(내가 부족하다는 뜻)하여 이를 transformers 라이브러리로 변경transformers 라이브러리만 사용하는 코드로 변경하였을 때, torch hook을 사용해서 forward에 접근처음으로 torch hook을 사용하면서 간단히 사용법을.. 2024. 12. 17.
[논문리뷰] Style-Specific Neurons for Steering LLMs in Text Style Transfer LLM(Large Language Model)을 이용한 TST(Text Style Transfer)에서 스타일 특정 뉴런을 활용하는 방법 sNeuron-TST 제안출력 문장의 스타일 다양성과 유창성(fluency)을 높이기 위해 source 및 target 스타일과 관련된 뉴런을 식별source 스타일 전용 뉴런을 비활성화 → target 스타일 단어의 확률을 높이는 전략 사용이로 인한 fluency 저하 문제를 해결하기 위해 개선된 contrative decoding 방법 제안IntroductionTST의 목표는 문장의 의미는 유지하면서 원본 스타일에서 목표 스타일로 변환하여 문장을 생성하는 것LLM이 TST를 포함하여 다양한 NLP 태스크에서 예외적으로 높은 성능을 보임그러나 LLM은 스타일을 변환하.. 2024. 12. 12.
[linux] Cargo, the Rust package manager, is not installed or is not on PATH 에러 해결 개요transformer나 등등 패키지를 설치할 때 이런 에러를 만나는 경우가 있다.python의 버전을 바꾸거나, pip을 업그레이드 했을 때 해결이 될 수도 있지만 안 될 경우에는 rust를 설치해야 한다.에러ERROR: Command errored out with exit status 1: command: [내 경로] cwd: [내 경로]Complete output (6 lines):Cargo, the Rust package manager, is not installed or is not on PATH.This package requires Rust and Cargo to compile extensions. Install it throughthe system's package manager .. 2024. 12. 5.
[llama] llama-3-8b-instruct 생성이 안 멈추는 오류 해결 3줄 요약그러니까.. 문제는 그거다... zero-shot을 하려고 했는데 생성이 끝나지 않고 계속 하는 문제가 있었음확인을 해보니 모델이 end token(문장의 끝)을 생성하지 못하는 오류일 수도 있다고 하여 라이브러리 업데이트를 수행했지만 안 됨이리저리 model.generate 파라미터도 바꿔보다가 알게된 건, tokenizer.apply_chat_template을 쓰면 된다는 것..  소스 코드inputs = self.tokenizer.apply_chat_template(source, tokenize=True, add_generation_prompt=True, return_tensors='pt')위의 코드와 같이 tokenizer의 apply_chat_template을 사용하여 tokenize를.. 2024. 12. 3.
Bastille - Eve & Paradise Lost 가사 해석 I took the fall for us, babe, never saw it as a debt난 우리를 위해 책임을 져야 했어, 자기야, 한 번도 이게 빚이라고 생각한 적 없어I got this gut feeling that somehow only I will pay for it어느 순간 직감적으로 알았어, 오직 나만이 갚아야 한다는 것을*We gave into temptation, shame came, we pulled on some clothes우리는 유혹에 빠졌고, 부끄러워 했고, 옷을 입었어*아담과 이브 이야기에서 두 사람이 열매를 먹고 벗은 몸을 부끄러워하게 됨I got this gut feeling I'll shoulder this fiction for us both직감적으로 알 수 있었어,우.. 2024. 11. 24.
[논문리뷰] Delete, Retrieve, Generate: A Simple Approach to Sentiment and Style Tran 논문: https://arxiv.org/pdf/1804.06437소스코드: https://github.com/lijuncen/Sentiment-and-Style-Transfer2018년도에 나온 RNN을 사용한 꽤나 오래된 논문요즘 관심을 가지는 검색과 결합한 스타일 변환 논문이라서 읽어봄 Abstract텍스트 스타일 변환은 문장의 특정 속성(e.g., 감정)을 바꾸는 동시에 속성과 무관한 내용은 유지하는 작업저자는 이전 연구에서 사용된 적대적 학습이 고품질 결과 생성에 어려움이 있음을 지적텍스트 속성이 종종 독특한 구절로 표시된다는 관찰에 기반하여 더 간단한 방법 제안효과적인 방법으로 원래 문장의 속성과 관련된 구절 삭제 → 목표 속성 관련 구절 검색 → RNN으로 결합 → 생성실험 결과, 이 방법은 .. 2024. 11. 20.

티스토리툴바