deeplearning 썸네일형 리스트형 [pytorch] forward를 수정하고 싶다면 - forward hook 예제 코드 pytorch 관련 모듈(설명 안 함, 사용 안 해 봄) register_module_forward_pre_hookregister_module_forward_hookBackgroundLlama 모델의 forward(feed forward layer) 과정에서 activation value를 확인하고 싶은데 기존에 공개된 논문의 코드에서는 vllm+MethodType을 이용하여 forward에 접근 중vllm에서 llama3를 사용하기에는 아직 부족한 점이 있는 듯(내가 부족하다는 뜻)하여 이를 transformers 라이브러리로 변경transformers 라이브러리만 사용하는 코드로 변경하였을 때, torch hook을 사용해서 forward에 접근처음으로 torch hook을 사용하면서 간단히 사용법을.. 더보기 [논문리뷰] Politeness Transfer: A Tag and Generate Approach 논문: https://arxiv.org/pdf/2004.14257소스코드: https://github.com/tag-and-generate/이 논문은 문장의 의미를 유지하면서 공손하지 않은 문장을 공손한 문장으로 변환하는 태스크 수행이를 위해 공손한 정도를 자동으로 라벨링한 139만 개 이상의 문장으로 된 데이터셋 공개공손 변환을 포함하여 여섯 가지 스타일 변환 태스크에 대해 "Tag and Generate" 파이프라인 설계이 파이프라인은 tagger와 generator라는 두 가지 모듈로 구성tagger: 원본 스타일의 단어나 구를 식별하여 [TAG] 토큰으로 대체generator: tagger의 출력을 입력으로 받아 대상 스타일의 문장 생성기존에 입력 문장에 대하여 수정이 필요한 부분을 guide하기.. 더보기 Text Style Transfer 텍스트 스타일 변환 목표, 방법론 정리 Intro관련 논문을 방법론으로 나누어 읽으려면 논문 2-3개를 읽고 거기서 정리한 관련 연구 섹션을 컨닝하는 것이 역시 ..요즘은 google의 notebookLM을 이용해서 논문 정리를 하고 있음notebookLM은 다 좋은데 도대체 어째서인지?! 하루 이틀 지나면 채팅 로그가 뜨지 않는다 Text Style TransferText Style Transfer(이하 TST)는 텍스트 스타일 변환이라고 하며, 말 그대로 텍스트의 스타일을 변환하는 태스크주요 goal은 원본 텍스트의 의미(content)는 유지하면서 스타일만 변환하는 것스타일 변환의 예시(Style-Specific Neurons for Steering LLMs in Text Style Transfer, 2024)informal → form.. 더보기 [논문리뷰] LLM2Vec: Large Language Models Are Secretly Powerful Text Encoders - 논문 제목: LLM2Vec: Large Language Models Are Secretly Powerful Text Encoders- 저자: Parishad BehnamGhader, Vaibhav Adlakha, Marius Mosbach, Dzmitry Bahdanau, Nicolas Chapados, Siva Reddy- 연도: 2024- 학회/저널: COLM- TL;DR: decoder-only LLM을 강력한 text embedding model로 변환하는 간단한 method LLM2Vec 제안Abstract- openreview에서 "secretly"하다고 말할 수 없지 않냐고 지적한 게 인상적이었던 논문.. - "It can hardly be considered a secret th.. 더보기 이전 1 다음
