1. Predict def predict( model, dataset, batch_size = 64, device = 'cuda' ): model.eval() loader = DataLoader( dataset, batch_size=batch_size, shuffle=False, num_workers=NUM_WORKERS ) preds = [] with torch.no_grad(): for data in loader: pred = model(data['input'].to(device)).squeeze(-1) preds.append(pred.detach().cpu().numpy()) preds = np.concatenate(preds, 0) ● Torch.no_grad() - gradient 계산을 안하게..
분류 전체보기
# pytorch에서는 keras와는 달리 compile, fit으로 쉽게 사용하는 부분을 전부 직접 코딩해야 한다고 한다. # 이것도 모르고 인터넷에서 찾은 자료만 보고 compile을 못 찾고 있었다. # compile, fit을 직접 만들어야 하기 때문에 실제 모델이 돌아가면서 해야할 일을 직접 코딩해 내 입맛에 맞출 수 있나보다. # 신경망의 구조를 모르면 구현하기 힘들 것 같다. # 아 그냥 keras로 할걸, 그래도 좋은 경험 했다 생각하자. 1. compile & fit & evaluate - 이 notebook에는 compiling과 fit, model evaluate이 한 function에 있다. 그래서 처음 딥러닝을 접하거나, 어색한 사람은 보다가 너무 길어 살짝 멘붕이 올 수도 있겠다..
1. data preprocess - dataset - sample과 target을 저장하는 구조. - DataLoader - sample에 쉽게 접근할 수 있도록 dataset을 순회 가능한(iterable) 객체로 감싼다. import torch from torch.utils.data import Dataset # dataset은 sample과 정답을 저장 # DataLoader는 sample에 쉽게 접근할 수 있도록 dataset을 순회 가능한 객체로 감싼다. class VentilatorDataset(Dataset): def __init__(self, df): if 'pressure' not in df.columns: # pressure가 없는 test / validation df인 경우, 0으로..
# overview, data, submission을 꼭 챙겨보자 1. 참고자료 - EDA + lightGBM : https://www.kaggle.com/artgor/ventilator-pressure-prediction-eda-fe-and-models - LSTM : https://www.kaggle.com/theoviel/deep-learning-starter-simple-lstm 2. 내 colab note https://colab.research.google.com/drive/1LTb1wiyeiH6wLEXui2uUR1ny9t-JMCmv?usp=sharing https://colab.research.google.com/drive/1ZxbT9v3ZY7IdSu_RHYHY3PQUFSLwK2hj?usp=..
이번에 kaggle의 google brain - ventilator Pressure prediction 을 진행하면서, 딥러닝의 전체 순서가 너무 헷갈렸다. 머신러닝 할 때와 순서가 거의 비슷하긴 하지만, 나는 한 눈에 보이는 걸 좋아하기 때문에, 개념 정리할 겸, 딥러닝의 주요 스텝을 정리해보고자 한다. 순서를 정리해보면 1. Load data 2. pre process data - 데이터 전처리 3. define architecture - 대충 읽어보니, 예를 들어 CNN으로 할건지, RNN, LSTM으로 할건지 고르는듯 4. compiling model - loss, optimizer, metrics 등을 정의 5. fit the model - model 학습 및 validation predict ..
https://jonsyou.tistory.com/23 [Python] K-Fold 로 데이터 분할하기 데이콘이나 캐글 같은 경진대회에서 어떤 예측값을 제출하느냐에 따라 순위가 몇 단계나 출렁이곤 한다. 그렇기 때문에 어떤 데이터에 대해서도 견고한 예측값을 제공하는 모델을 선택하는 것 jonsyou.tistory.com Group K-Fold Group K-Fold는 동일한 그룹이 훈련 및 검증 데이터 셋에 동시에 포함되지 않도록 하는 방법. a visualization of the group K-fold cross-validation behavior from sklearn.model_selection import GroupKFold X = [0.1, 0.2, 2.2, 2.4, 2.3, 4.55, 5.8..
원본 노트 딥러닝의 구성요소 Train Test 딥러닝 - McClulloch 교수 and Pitts 교수 퍼셉트론 구조 - Rosenblatt ADALINE - Adaptive Linear element ㄴ 직선에서 얼마나 멀리 떨어져 있느냐에 따라 뭐가 달라짐 XOR 문제? ㄴ 다층 퍼셉트론으로 해결 오류 역전파 알고리즘 ( Backropagation Algorithm; BP) - MLP 와 BP 알고리즘으로 해결한 MNIST 문제 기울기 소실 문제 ( 두 번째 AI winter)… - 계층이 깊어질 수록 학습이 어려움 심층 믿음 신경망의 등장(Deep Belief Network. By Hinton) ImageNet Large Scale Visual Recognition Challenges 딥러닝 프..
참고 자료: https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DatetimeIndex.html dtype이 datetime인 것을 index로 사용하면, 날짜와 관련된 많은 기능들을 사용할 수 있다. 그 예로, 여기서 df['date'] = df.index.date 이걸 하면 date만 딱 잘라서 나온다.
