오늘은 - datacamp backpropagation 과정 진행 - kaggle discussion kaggle discussion에서 어떤 아이디어를 보았는데, 내가 구현할 수만 있다면, 좋은 점수를 받을 수 있지 않을까 싶다.(구현할수만 있다면야..) https://www.kaggle.com/competitions/stable-diffusion-image-to-prompts/discussion/386819 Stable Diffusion - Image to Prompts | Kaggle www.kaggle.com 아이디어는 다음과 같다. 외부에서 가져온, stable-diffusion의 prompt와 이미지를 이용한다. vector화 시킨다. test image 또한 vector화 시켜서 비슷한 이미..
Kaggle
오늘은 DataCamp 수업 듣고 kaggle에서 pretraining 관련해서 정리된 노트북을 정리해 보았다. DataCamp 수업은 deeplearning에 대해 간단히 리뷰하는 것이었고, 복습개념으로 들었으며 따로 정리한 것은 없음. kaggle 출처: https://www.kaggle.com/code/vad13irt/language-models-pre-training/notebook Language Models Pre-training Explore and run machine learning code with Kaggle Notebooks | Using data from multiple data sources www.kaggle.com pretraining 기법들 pretraining이란 자연어 ..
오늘은 kaggle notebook review 노트북 출처: https://www.kaggle.com/code/leonidkulyk/lb-0-45836-blip-clip-clip-interrogator CLIP interrogator tool: text 추출에 쓰임 sentence-transformers-2.2.2 dataset을 써야 예상한 프롬프트에 대해서 적절한 임베딩을 뽑을 수 있음. CLIP, BLIP CLIP: 이미지와 텍스트의 공동 표현을 학습하는 모델. CLIP은 이미지-텍스트 쌍을 입력으로 받아 둘을 같은 벡터 공간에 놓는다. CLIPㅡㄴ 이미지와 그에 대한 캡션만 있으면 자기 지도 학습이 가능하다. CLIP은 GPT-2, 3와 비슷하게 자연어로 주어진 이미지에 가장 관련된 텍스트를 예..
오늘은 배웠다기 보다는 거의 한거... kaggle playground s3e9 ensemble 정리하고, 제출까지(cost가 더 높게 나왔다!?) Google - Isolated Sign Language Recognition 을 살펴보다가 다른 대회 찾음 kaggle playground s3e9 ensemble - 기존 정리한 노트에 catBoost 추가하고 ensemble을 추가해서 앙상블한 걸로 제출해 보았다. - 저런, loss가 11.7에서 15까지 올라갔다. 아마 합치는 과정에서 문제가 발생한 것으로 판단된다. - 원인을 찾으려다가 재미없어져서 구글 대회나 살펴보려고 갔다. Another competition - 취지가 매우 좋아서 대회 설명을 쭉 보고 있었는데, evaluation에서 난이도..
오늘은 kaggle playground s3e9 LGBM, XGBoost 개념 정리 + CatBoost model 테스트까지 진행. --> 내일은 ensemble model 정리까지 하면 될 듯 그리고 다음날부터 google - Isolated Sign Language Recognition 이거 해볼 예정.. 강남에서 진행한 StableDiffusion 과 chatGPT 모두팝을 듣고 왔다. 피어슨 상관계수 vs 스피어만 상관계수 두 변수 간의 관계를 측정하는 지표. 피어슨 상관계수 두 변수가 선형적으로 연관되어 있는 경우 적합한 지표 두 변수가 서로 직선 형태의 관계를 갖고 있는 경우, 하나의 변수가 증가할 때 다른 변수도 비례하여 증가하거나 감소하는 경우. -1부터 1까지 값을 갖는다. 스피어만 상관..
# pytorch에서는 keras와는 달리 compile, fit으로 쉽게 사용하는 부분을 전부 직접 코딩해야 한다고 한다. # 이것도 모르고 인터넷에서 찾은 자료만 보고 compile을 못 찾고 있었다. # compile, fit을 직접 만들어야 하기 때문에 실제 모델이 돌아가면서 해야할 일을 직접 코딩해 내 입맛에 맞출 수 있나보다. # 신경망의 구조를 모르면 구현하기 힘들 것 같다. # 아 그냥 keras로 할걸, 그래도 좋은 경험 했다 생각하자. 1. compile & fit & evaluate - 이 notebook에는 compiling과 fit, model evaluate이 한 function에 있다. 그래서 처음 딥러닝을 접하거나, 어색한 사람은 보다가 너무 길어 살짝 멘붕이 올 수도 있겠다..
# overview, data, submission을 꼭 챙겨보자 1. 참고자료 - EDA + lightGBM : https://www.kaggle.com/artgor/ventilator-pressure-prediction-eda-fe-and-models - LSTM : https://www.kaggle.com/theoviel/deep-learning-starter-simple-lstm 2. 내 colab note https://colab.research.google.com/drive/1LTb1wiyeiH6wLEXui2uUR1ny9t-JMCmv?usp=sharing https://colab.research.google.com/drive/1ZxbT9v3ZY7IdSu_RHYHY3PQUFSLwK2hj?usp=..
