분류 전체보기

내용 출처 네이버 부스트코스 딥러닝 기초 다지기 - Gradient Descent Methods https://www.boostcourse.org/ai111/lecture/1162942?isDesc=false 딥러닝 기초 다지기 부스트코스 무료 강의 www.boostcourse.org 이전 글 https://sept-moon.tistory.com/90 최적화 알고리즘 - gradient descent 경사하강법이란 경사 하강법은 1차 근삿값 발견용 최적화 알고리즘이다. 즉 최적화 알고리즘 중 하나. 기본 개념은 함수의 기울기를 구하고 경사의 반대 방향으로 계속 이동시켜 극소값에 이를 sept-moon.tistory.com 에서 gradient Descent Methods에 대해서 정리했다. 일반적인 GD..

오늘은 ADSP 공부 Linear Regression 강의 + 실습 코드 작성 을 했다. ADSP ADSP는 Part 1 데이터의 이해 문제 틀린 부분 반복 숙달을 진행함. 해당 부분은 정리하기에는 너무 많아 책에 저장하기로~ 빅데이터나 데이터에 관한 것들을 이론적으로 알아가는 시간이어서 좋았다. 네이버 부스트캠프의 인공지능 기초 다지기 에서 5. 딥러닝 핵심기초 Machine Learning & PyTorch Basic 부분 중, 5. Logistic Regression 부분까지 강의를 들었다. 이 강의에서 헷갈리는 부분이 많아 다 듣고 진행하기로 했던 실습코드 작성을 바로 진행함. 1. 선형 회귀 코드 # full training code # 1차원 --> 1차원으로 아웃풋 x_train = torc..

오늘은 코칭스터디 - 인공지능 기초 다지기에서 딥러닝 기초 다지기 파트를 들었다. 도커 환경설정 python에서 tensor를 다루는 법을 간단하게 배웠다. gradient descent, SGD를 파이썬 코드 관점에서 간단하게 배웠다. 간단한 지식이었지만, pytorch에 대해서 기본 지식도 없는 채로 실무에서 코드를 봤을 때 막막했던 부분들이었는데, 이번 기회에 알아서 좋았기도 했고, 한편으로는 이런 기본 지식도 없는데 어떻게 일을 했을까 싶더라. pytorch methods Squeeze: dimension의 사이즈가 1인 부분을 날려버린다. Unsqueeze: 내가 원하는 dimension에 1을 넣어준다. 그래서 반드시 쓸 때 꼭 dimension을 명시해야 한다. 참고: https://pyto..

추가 및 수정사항 2023.03.22. gradient descent에 대한 오해 추가 오해의 소지가 있는 부분 - 구글링을 하다 보면, SGD, Momentum, Adam 등의 gradient descent methods를 최적화 알고리즘의 종류라고 설명해 놓은 글들을 많이 볼 수 있었다. 물론 일부는 맞는 말이지만, 이런 글은 optimization method가 gradient descent method만 있는 것으로 오해할 수 있을 것 같았다. gradient method, 즉 경사하강법은 최적화 알고리즘 중 하나이며 그 외에도 다른 최적화 알고리즘이 있다는 걸 말해주고 싶다. 내 말을 뒷받침해 줄 자료를 찾다가 다음 페이지를 찾았다. https://wikidocs.net/22073 6. Opti..

태블로 공부법 태블로 공식 홈페이지 도움말 / 자습서 / 교육 동영상 / 백과 인강 / 책 Udemy / coursera 태블로 강좌 스티브 웩슬러 책과 O'Reilly 책들 커뮤니티 Tableau Reference Guide ( 참고 자료 모음집 ) #Datafam ( 트위터, 링크드인 연습하기( 커뮤니티 미션 ) Makeover Monday - 월욜마다 미션 Real world fake data - 실제 일어날법한 일들을 시뮬레이션, 실무 데이터와 가까움 Workout Wednesday -수욜마다 미션 Tableau Public - 강사님 강추 태블로 버튼 및 기초 지식 데이터 관계 관계는 테이블을 합치지 않고, 각각 테이블을 유지한다. cf) JOIN : 데이터를 합침 데이터 라이브, 추출 라이브:..

목표 데이터 시각화로 액션 가능한 인사이트를 찾고 효율적으로 커뮤니케이션을 하는 법을 알 수 있다. 데이터 시각화를 배우는 이유 통계치 만으로는 알 수 없는 인사이트를 발견 시각화란? 쉽게 이해할 수 있게 시각적으로 표현 커뮤니케이션에 초점 cf) 가시화: 보이지 않는 것을 보이게 데이터를 봐야 하는 이유 아이디어를 갖고 만들고 개선해서 product를 만드는 과정은 직관으로 가능 측정해서 데이터를 만들어서 그것을 배워서 개선하는 것은 데이터로 검증해야 하는 부분. 사람들의 필요(니즈)를 반영할 수 있어 서비스 성공에 도움 그런 필요는 표면적으로 드러나지 않기 때문에, metric을 정해서 데이ㅓ를 측정하고 개선 모든 행동을 데이터화하고 고객의 피드백을 학습하며 계속 개선해야 함. 가입/클릭/좋아요/구독..

참고자료: https://baekyeongmin.github.io/paper-review/roberta-review/ 아이디어(연구 동기) BERT는 아직 undertrain, Pre-training과정에서 다음 Hyper-parameter의 튜닝으로 더 좋은 결과를 얻는다. train data: BERT에 비해 더 많은 데이터 + 더 오랜 시간 + 더 큰 batch size로 학습을 진행 Pre-training objective: NSP(Next Sentence Prediction) task를 제거 Sequence Length: BERT는 짧은 입력 문장들을 이용하는 downstream task를 대비해 pretraining시 0.1의 확률로 최대 길이보다 더 짧은 길이의 데이터를 이용. 이러한 로직을..

원문: https://ratsgo.github.io/nlpbook/docs/language_model/transformers/ Transformer란 2017년 구글이 제안한 Sequence-to-sequence 모델 최근 NLP에서는 BERT나 GPT 같은 transformer 기반 language model이 각광 받고 있다. Sequence-to-sequence Transformer란 기계 번역 등 sequence-to-sequence 과제를 수행하기 위한 모델. Sequence란 단어 같은 무언가의 나열을 의미 Sequence-to-sequence는 특정 속성을 지닌 sequence를 다른 속성의 sequence로 변환하는 작업 예시) 기계번역: 어떤 언어의 단어 sequence를 다른 언어의 단..