Dual-Stage Attention-Based RNN for Time Series Prediction
서론 최근의 일이다. BERT를 파보고 있었다. (Goolgle git에서 다운받아서.) Attention을 알고는 있었는데, 자연어 처리 업무를 최근까지 할 일이 거의 없었고(맨~~~이미지만 그냥.,...), 대부분의 작업을 KR-WordRank를 이용한 추출요약에 관련된 업무로 처리를 하고있다가, (혹은 Seq2Seq로 처리했었다... 뭐 결국 이도 추출요약이지만.) BERT를 까보면서 Cosine 유사도, 내적 유사도, 벡터의 내적에 대해 눈을 뜨게 되었고, --- 나의 가설 혹시 그렇다면, 내가 진행하던 업무의 일종인, Time Series Forecasting도 특징간의 내적으로, 유의미한 Feature를 추출해내고, 그 부분을 이용하여 집중 학습시켜, 더 나은 예측 결과값을 얻어낼 수 있지 않..
2021. 4. 15.
막간 - 정리한거 찾다가 발견한 눈물의 대똥꼬쇼
LSTM으로 수요예측을 하는 것은, 거의 혼자 힘으로 개발했다...ㅋㅋ 선임이 한분 계셨는데, 작업 할 때 다른 업무로 바쁘셔서 잘 못도와주시다가, 나는 당장 모델부터 뽑아서 뭔가 보여줘야했어서, 대신 EDA를 도맡아서 해서 공유해주셨고, 추후에 모델 검증에서 많은 도움을 주셨다. 그러다보니, 여러가지 아키텍쳐 적인 가설과, 데이터 구성에 대한 생각, loss펑션의 합리성, 등등 단계별로 시도해봐야 할 시나리오 케이스가 상당히 많아서 나 스스로도 정리가 안됐었는데, 찾아보니 이런게 있었다. ㅋㅋ 하나하나 경험적으로 해봤던 것들을 전부 CASE 별로 정리하고, 어떤게 더 나았었는지 체크해놓은 엑셀이 있었다. (그때는 머리 뜯어가며 고통이었는데, 지금보니 추억이네.) 이 시절에 저 해당 시나리오별로 하나씩 ..
2021. 4. 12.
