정리

내용 출처 네이버 부스트코스 딥러닝 기초 다지기 - Gradient Descent Methods https://www.boostcourse.org/ai111/lecture/1162942?isDesc=false 딥러닝 기초 다지기 부스트코스 무료 강의 www.boostcourse.org 이전 글 https://sept-moon.tistory.com/90 최적화 알고리즘 - gradient descent 경사하강법이란 경사 하강법은 1차 근삿값 발견용 최적화 알고리즘이다. 즉 최적화 알고리즘 중 하나. 기본 개념은 함수의 기울기를 구하고 경사의 반대 방향으로 계속 이동시켜 극소값에 이를 sept-moon.tistory.com 에서 gradient Descent Methods에 대해서 정리했다. 일반적인 GD..

추가 및 수정사항 2023.03.22. gradient descent에 대한 오해 추가 오해의 소지가 있는 부분 - 구글링을 하다 보면, SGD, Momentum, Adam 등의 gradient descent methods를 최적화 알고리즘의 종류라고 설명해 놓은 글들을 많이 볼 수 있었다. 물론 일부는 맞는 말이지만, 이런 글은 optimization method가 gradient descent method만 있는 것으로 오해할 수 있을 것 같았다. gradient method, 즉 경사하강법은 최적화 알고리즘 중 하나이며 그 외에도 다른 최적화 알고리즘이 있다는 걸 말해주고 싶다. 내 말을 뒷받침해 줄 자료를 찾다가 다음 페이지를 찾았다. https://wikidocs.net/22073 6. Opti..

참고자료: https://baekyeongmin.github.io/paper-review/roberta-review/ 아이디어(연구 동기) BERT는 아직 undertrain, Pre-training과정에서 다음 Hyper-parameter의 튜닝으로 더 좋은 결과를 얻는다. train data: BERT에 비해 더 많은 데이터 + 더 오랜 시간 + 더 큰 batch size로 학습을 진행 Pre-training objective: NSP(Next Sentence Prediction) task를 제거 Sequence Length: BERT는 짧은 입력 문장들을 이용하는 downstream task를 대비해 pretraining시 0.1의 확률로 최대 길이보다 더 짧은 길이의 데이터를 이용. 이러한 로직을..

원문: https://ratsgo.github.io/nlpbook/docs/language_model/transformers/ Transformer란 2017년 구글이 제안한 Sequence-to-sequence 모델 최근 NLP에서는 BERT나 GPT 같은 transformer 기반 language model이 각광 받고 있다. Sequence-to-sequence Transformer란 기계 번역 등 sequence-to-sequence 과제를 수행하기 위한 모델. Sequence란 단어 같은 무언가의 나열을 의미 Sequence-to-sequence는 특정 속성을 지닌 sequence를 다른 속성의 sequence로 변환하는 작업 예시) 기계번역: 어떤 언어의 단어 sequence를 다른 언어의 단..

https://urame.tistory.com/entry/%EB%AC%B4%EB%A3%8C-%EA%B0%9C%EB%B0%9C-spark-%EC%84%9C%EB%B2%84-%ED%99%98%EA%B2%BD-%EA%B5%AC%EC%B6%95-%EA%B5%AC%EA%B8%80-colab-%ED%99%9C%EC%9A%A9 초간단 무료 spark 개발 환경 구축 ( 구글 colab + spark 활용 ) 금일은 spark 개발환경을 구축해보겠다. 매번 개인 PC에서 Spark개발 환경을 구성했다. 그때마다 환경 변수 잡는게 너무 귀찮았다. 그리고 꼭 한번에 되지 않는다. ( windows 어려워.. ) 심지어 spark 개 urame.tistory.com

SQL with: - subQuery를 이름 붙여서 정의한 후에 사용- - Query의 전체적인 가독성을 높이고, 재사용할 수 있는 장점이 있어 개발자가 편해짐 - 기본 구조 WITH [ 별명1 ] [ (컬럼1, [, 컬럼2]) ] AS ( sub query ) main query - 다중 선언 WITH [ 별명1 ] [ (컬럼1, [, 컬럼2]) ] AS ( sub query ), [별명2] AS ( sub query2 ) main query # subquery2에서 subquery1을 사용할 수 있다 SELECT V.* FROM (SELECT S.SITE_CODE, S.SITE_NAME, V.VNDR_CODE, V.VNDR_NAME FROM TB_SITE AS S JOIN TB_SITE_VENDOR ..

model training 순서 - 데이터 로딩 - 데이터 행, 열 확인 - 데이터 그룹핑 및 집계 - 차트 - 데이터 분할 - 평균 값 계산 - RMSE, MAE 계산 - 포스터 이미지 표시 CBF 기반 예측 아이템 유사도 기반 평점 예측 예) 영화 평점 예상 문제 가정: 유사한 영화에는 유사한 평점을 부여할 것이다. $$ \hat{r}_{u, i} = \frac{\sum _{j \in I_{u}} sim(i, j)*r_{u, j}}{\sum _{j \in I_{u}} sim(i, j)} $$ r : 사용자 u의 아이템 j에 대한 평점 I : 사용자 u가 평가한 아이템 집합 sim(i, j); 두 아이템 i와 j의 유사도 컨텐츠 기반 유사도 측정 sim(i, j) - 두 아이템 간의 유사도를 어떻게 정..

Prediction vs Discovery Prediction Discovery 설명 사용자의 다음에 행위(클릭/구매/시청 등)할 아이템을 예측하여 추천 사용자가 인지하지 못하는 아이템을 추천 예 ‘매트릭스’를 본 사용자에게 ‘매트릭스2’, ‘매트릭스3’를 추천 ‘매트릭스’를 본 사용자에게 ‘인셉션’, ‘블레이드러너’를 추천 의미 사용자의 navigation step을 단축 Longtail 아이템을 제공하여 사용자의 서비스 exploration을 높임. Beyond Accuracy - Accuracy : 유저의 평점/소비에 맞게 예측 - Diversity : 다양한 유형의 아잍메이 우천되는지 - Serendipity 예상치 못한 아이템이 추천되는지 - Novelty 그동안 경험하지 못한 새로운 아이템이 ..