전체 글 썸네일형 리스트형 Text Style Transfer 텍스트 스타일 변환 목표, 방법론 정리 Intro관련 논문을 방법론으로 나누어 읽으려면 논문 2-3개를 읽고 거기서 정리한 관련 연구 섹션을 컨닝하는 것이 역시 ..요즘은 google의 notebookLM을 이용해서 논문 정리를 하고 있음notebookLM은 다 좋은데 도대체 어째서인지?! 하루 이틀 지나면 채팅 로그가 뜨지 않는다 Text Style TransferText Style Transfer(이하 TST)는 텍스트 스타일 변환이라고 하며, 말 그대로 텍스트의 스타일을 변환하는 태스크주요 goal은 원본 텍스트의 의미(content)는 유지하면서 스타일만 변환하는 것스타일 변환의 예시(Style-Specific Neurons for Steering LLMs in Text Style Transfer, 2024)informal → form.. 더보기 [논문리뷰] LLM2Vec: Large Language Models Are Secretly Powerful Text Encoders - 논문 제목: LLM2Vec: Large Language Models Are Secretly Powerful Text Encoders- 저자: Parishad BehnamGhader, Vaibhav Adlakha, Marius Mosbach, Dzmitry Bahdanau, Nicolas Chapados, Siva Reddy- 연도: 2024- 학회/저널: COLM- TL;DR: decoder-only LLM을 강력한 text embedding model로 변환하는 간단한 method LLM2Vec 제안Abstract- openreview에서 "secretly"하다고 말할 수 없지 않냐고 지적한 게 인상적이었던 논문.. - "It can hardly be considered a secret th.. 더보기 [ML] 1. Classification - 1.1 Supervised Learning - 본 게시글은 Kyunghyun Cho 교수님의 Brief Introduction to Machine Learning without Deep Learning 자료를 바탕으로 작성되었습니다.- 저작권과 관련하여 문제가 있거나, 내용에 오류가 있는 경우 댓글로 달아주시면 감사하겠습니다. 1. Classification1.1. Supervised Learning1.2. Logistic Regression1.3. One Classifier, Many Loss Functions1.4. Overfitting, Regularization and Complexity1.5. Multi-Class Classification1.6. What does the weight vector tell us?1.7. Nonlinea.. 더보기 [논문리뷰 ] Dialogue Chain-of-Thought Distillation for Commonsense-aware Conversational Agents(DOCTOR) 최근에 상식 추론에 관해서 연구를 진행하고 있으며, 그 과정에서 CoT와 Distillation method에 대해 조사하는 중paper: https://arxiv.org/pdf/2310.09343github: https://github.com/kyle8581/DialogueCoT챗봇은 사람처럼 자연스럽게 대화하기 위해서 일반 상식 추론 사용 필요일반 상식에 대한 추론 능력으로 대화에 산재되어 있는 암묵적인 정보를 이해하고 응답하는 데 사용 가능그러나 LLM에서도 single hop에서 나타나는 key evidence를 통합하고 구별하는 태스크는 챌린지따라서 대화에서 multi-hop reasoning(CoT)을 가능하게 하는데 집중제안 방법은 Knowledge Distillation Framework:.. 더보기 [linux][vi/vim] html, xml 파일 예쁘게(pretty) 보는 명령어 개요html, xml 파일의 경우, indent로 나누어지지 않으면 보기 불편하다.그런 파일을 적절하게 들여쓰기 해줘서 예쁘게 보기 위한 vi/vim 명령어이다. 내용하단 명령어는 모두 적용하고자 하는 파일의 비주얼 모드(ESC)에서 진행한다.명령어 입력:%s/]*>/\r&\r/g명령어 입력:g/^$/d전체 선택shift+v+gg= 두 번 누르기 더보기 [linux][jq] jq - null 값인 경우 제외하고 출력하기 개요command line에서 json 파일에서 특정 요소를 출력하려고 할 때, null 값은 제외하고 출력하는 명령어임. Commandcat {파일명} | jq -r '.output.preds | select( . !="")'cat으로 json 파일을 하나 연다.jq에서 출력할 요소를 입력(.output.preds)하고 select로 조건(select(. ~= ""))을 명시한다. etc.처음에 조건으로 null을 넣어서 다음과 같이 입력하니 안 됐음- jq -r '.output.preds | select( . !=null)' ref.https://unix.stackexchange.com/questions/553338/jq-filter-for-only-null-values 더보기 [huggingface][transformers] model.generate 모델 예측값 고정(temperature란?) LLaMA로 inference만 하던 중, set_seed(42)로 seed 값을 고정해도 결과값이 다르게 나온다는 사실을 알았다.모델 결과를 고정하려면 생성할 때 decoding에서 temperature 값을 0에 가깝게 설정해야 한다.1. model.generate 일관적인 결과 얻기아래 코드는 모델을 단순 inference 하기 위해서 라이브러리를 부르는 코드이다.테스트용으로 작성을 하여 가독성이 안 좋을 수 있다.import sysimport torchimport transformersfrom transformers import ( AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig, TrainingArguments, pi.. 더보기 [논문리뷰] Prefix-Tuning Based Unsupervised Text Style Transfer 잘못된 내용이 있을 경우 댓글 부탁드립니다.본 게시글의 목차는 논문과 상이합니다.내용의 추가적인 보충 설명은 인용문 형식으로 작성되었습니다.Prefix-Tuning Based Unsupervised Text Style Transferpaper1. Abstract텍스트 스타일 변환(Text Style Transfer, TST)은 생성된 텍스트의 특정 속성을 제어하는 태스크(Text Style Transfer is the task of controlling certain attributes of generated text)비지도 텍스트 스타일 변환은 병렬 데이터를 사용하지 않고 내용을 보존하면서 입력 문장의 스타일을 변경할 수 있는 생성 모델을 학습하는 것을 목표본 논문에서는 사전 학습된 LLM을 사용하고,.. 더보기 이전 1 2 3 4 다음
