정리/Machine Learning

추가 및 수정사항 2023.03.22. gradient descent에 대한 오해 추가 오해의 소지가 있는 부분 - 구글링을 하다 보면, SGD, Momentum, Adam 등의 gradient descent methods를 최적화 알고리즘의 종류라고 설명해 놓은 글들을 많이 볼 수 있었다. 물론 일부는 맞는 말이지만, 이런 글은 optimization method가 gradient descent method만 있는 것으로 오해할 수 있을 것 같았다. gradient method, 즉 경사하강법은 최적화 알고리즘 중 하나이며 그 외에도 다른 최적화 알고리즘이 있다는 걸 말해주고 싶다. 내 말을 뒷받침해 줄 자료를 찾다가 다음 페이지를 찾았다. https://wikidocs.net/22073 6. Opti..

참고자료: https://baekyeongmin.github.io/paper-review/roberta-review/ 아이디어(연구 동기) BERT는 아직 undertrain, Pre-training과정에서 다음 Hyper-parameter의 튜닝으로 더 좋은 결과를 얻는다. train data: BERT에 비해 더 많은 데이터 + 더 오랜 시간 + 더 큰 batch size로 학습을 진행 Pre-training objective: NSP(Next Sentence Prediction) task를 제거 Sequence Length: BERT는 짧은 입력 문장들을 이용하는 downstream task를 대비해 pretraining시 0.1의 확률로 최대 길이보다 더 짧은 길이의 데이터를 이용. 이러한 로직을..

원문: https://ratsgo.github.io/nlpbook/docs/language_model/transformers/ Transformer란 2017년 구글이 제안한 Sequence-to-sequence 모델 최근 NLP에서는 BERT나 GPT 같은 transformer 기반 language model이 각광 받고 있다. Sequence-to-sequence Transformer란 기계 번역 등 sequence-to-sequence 과제를 수행하기 위한 모델. Sequence란 단어 같은 무언가의 나열을 의미 Sequence-to-sequence는 특정 속성을 지닌 sequence를 다른 속성의 sequence로 변환하는 작업 예시) 기계번역: 어떤 언어의 단어 sequence를 다른 언어의 단..

model training 순서 - 데이터 로딩 - 데이터 행, 열 확인 - 데이터 그룹핑 및 집계 - 차트 - 데이터 분할 - 평균 값 계산 - RMSE, MAE 계산 - 포스터 이미지 표시 CBF 기반 예측 아이템 유사도 기반 평점 예측 예) 영화 평점 예상 문제 가정: 유사한 영화에는 유사한 평점을 부여할 것이다. $$ \hat{r}_{u, i} = \frac{\sum _{j \in I_{u}} sim(i, j)*r_{u, j}}{\sum _{j \in I_{u}} sim(i, j)} $$ r : 사용자 u의 아이템 j에 대한 평점 I : 사용자 u가 평가한 아이템 집합 sim(i, j); 두 아이템 i와 j의 유사도 컨텐츠 기반 유사도 측정 sim(i, j) - 두 아이템 간의 유사도를 어떻게 정..

Prediction vs Discovery Prediction Discovery 설명 사용자의 다음에 행위(클릭/구매/시청 등)할 아이템을 예측하여 추천 사용자가 인지하지 못하는 아이템을 추천 예 ‘매트릭스’를 본 사용자에게 ‘매트릭스2’, ‘매트릭스3’를 추천 ‘매트릭스’를 본 사용자에게 ‘인셉션’, ‘블레이드러너’를 추천 의미 사용자의 navigation step을 단축 Longtail 아이템을 제공하여 사용자의 서비스 exploration을 높임. Beyond Accuracy - Accuracy : 유저의 평점/소비에 맞게 예측 - Diversity : 다양한 유형의 아잍메이 우천되는지 - Serendipity 예상치 못한 아이템이 추천되는지 - Novelty 그동안 경험하지 못한 새로운 아이템이 ..

모델에 대한 성능 평가 단계 이론 데이터 기반 성능 평가 ( TODO ) 심사 위원 평가 과거 이력 데이터 기반 평가의 한계 신규 추천 결과에 대한 사용자의 반응을 알 수 없음 정량적 평가 심사위원 평가 내부 인력, 외부 인력이 추천 결과의 품질을 평가 Quality and Trust of Feedback' A/B Test ( TODO) - 서비스 KPI 지표로 평가 : 매출, PV, UV, CTR Rating Prediction 성능 평가 - 모델이 예측한 Rating과 사용자의 실제 Rating 차이를 계산 Top-K 추천 성능 평가 - 추천한 아이템 중 사용자에 의해 클릭된 아이템의 위치 및 개수를 이용하여 평가 Confusion Matrix Recommended(Predicted) Positive..

추천 시스템 Architecture 추천 시스템이란? 사용자나 서비스에 필요한 바를 잘 정의하고, 요건 다양한 데이터를 수집하고 활용하여, 데이터 적절한 방식을 통해 아이템의 적합도를 계량하여 모델 계량 방식 적절한 방식으로 제공하는 작업 UX/UI --> 어떤 요건에 맞춰 어떤 데이터를 활용해 어떤 모델을 이용해서 어떤 방식으로 계량하는가? 요건 데이터 모델 계량 방식 l Best l Related l Personalized l Context-aware l Explicit l Implicit l CBF l CF l Hybrid l Rating Prediction l Top-K Rec. 추천 시스템 분류 추천 요건에 따른 분류 Best : 전체 중에서 가장 잘팔리는 거. 베스트셀러를 생각하자 Best 지..

Dataset Dataset class 정의는 전체 dataset을 구성하는 단계이다. input으로는 전체 input feature와 label(=target)을 넣어주면 된다. dataset class를 정의하려면 필수로 정의해야 하는 함수들이 있는데 다음과 같다. __init__(self) : 필요한 변수들을 선언한다. self.~~ = ~~~ 이런식으로 __len__ : dataset의 사이즈를 return __getitem__ : i번째 data를 return. return type에 제약이 있는 것은 아니지만, 보통 tensor, a tuple of tensors, a dictionary를 많이 쓰는 듯 하다. - 하나의 변수에 target이 함께 있는 경우도 있고, target을 따로 ret..