ML

모델에 대한 성능 평가 단계 이론 데이터 기반 성능 평가 ( TODO ) 심사 위원 평가 과거 이력 데이터 기반 평가의 한계 신규 추천 결과에 대한 사용자의 반응을 알 수 없음 정량적 평가 심사위원 평가 내부 인력, 외부 인력이 추천 결과의 품질을 평가 Quality and Trust of Feedback' A/B Test ( TODO) - 서비스 KPI 지표로 평가 : 매출, PV, UV, CTR Rating Prediction 성능 평가 - 모델이 예측한 Rating과 사용자의 실제 Rating 차이를 계산 Top-K 추천 성능 평가 - 추천한 아이템 중 사용자에 의해 클릭된 아이템의 위치 및 개수를 이용하여 평가 Confusion Matrix Recommended(Predicted) Positive..

추천 시스템 Architecture 추천 시스템이란? 사용자나 서비스에 필요한 바를 잘 정의하고, 요건 다양한 데이터를 수집하고 활용하여, 데이터 적절한 방식을 통해 아이템의 적합도를 계량하여 모델 계량 방식 적절한 방식으로 제공하는 작업 UX/UI --> 어떤 요건에 맞춰 어떤 데이터를 활용해 어떤 모델을 이용해서 어떤 방식으로 계량하는가? 요건 데이터 모델 계량 방식 l Best l Related l Personalized l Context-aware l Explicit l Implicit l CBF l CF l Hybrid l Rating Prediction l Top-K Rec. 추천 시스템 분류 추천 요건에 따른 분류 Best : 전체 중에서 가장 잘팔리는 거. 베스트셀러를 생각하자 Best 지..

'ML Model Evaluation'이 의미하는 바를 알아보자. 데이터 준비와 모델 학습은 누구나 머신러닝 작업 파이프라인에서 핵심적인 단계로 생각하지만, 학습된 모델의 퍼포먼스를 측정하는 것 또한 중요한 단계에 해당된다. 우리 모델은 배우지 않지만, 기억하고 있다. ML모델은 처음 만나는 데이터를 스스로 일반화 하여 받아들일 수 없ㄷ. 이를 시작하기 위해, 3개의 중요한 기준을 세우도록 한다. Learnng: ML 모델 학습은 학습/이용 가능한 데이터에 대한 정확한 예측이 아닌, 미래 데이터에 대한 정확한 예측을 고려하여 진행되어야 한다. Memorization: 제약된 데이터(training data)에 대한 퍼포먼스를 의미한다. 즉, training dataset에 대해서 overfitting하는..