본문 바로가기

tensorflow10

딥러닝 TA 모델 - BERT (2 - Attention) 2021.11.21 - [딥러닝으로 하루하루 씹어먹기] - 딥러닝 TA 모델 - BERT (1 - 기초. 행렬과 벡터, 내적) 딥러닝 TA 모델 - BERT (1 - 기초. 행렬과 벡터, 내적) 이전 시간으로, STT(ESPNet)를 어느정도 시작부터 끝까지 다 설명한 것 같다. 시작할때는 이 많은 걸 언제 풀어쓰나, 걱정도 됬었지만, 결국 어느정도 잘 정리가 된 것 같았다. BERT는 현재 진행 중이 shyu0522.tistory.com 에서 이어집니다. Attention에 관련된 이야기는 LSTM으로 시계열 예측을 할 때, 내가 넣고 있는 Feature들에 대한 중요도를 알고싶어서, 시도 해본적이 있었고, 그 때 간략하게나마 적어놨던 아티클들이 있다. https://shyu0522.tistory.co.. 2022. 1. 5.
응~ 역전파 이해해야되~ - (Yes you should understand backprop / Andrej Karpathy) 요즘 개인적인 일로 너무 바빴다. 깐에 좋은 옷좀 입어보겠다고, 리바이스 LVC 청바지를 구매했는데, 배가 꽤나 나왔는가, 허리에 옷을 맞추니 통이 맞지가 않아서, 교환하는데도 한참 애먹고, 개인적인 약속 및 회식들로 갑작스럽게 저녁에 술먹을 일이 많아서, 글을 쓰지 못했었다. 읽어보기로는 저번주에 다 읽어놓은 내용인데, 오늘 정리하려니, 제대로 말이 써질까 모르겠다. (감정이 살아있을때 써야 블로그도 더 잘 써지는 것인데 말이지...) 오늘은, 이전에 한번 얘기했던, 2021.04.22 - [논문으로 현업 씹어먹기] - 딥러닝을 대하는 우리의 자세 - (A Recipe for Training Neural Networks / Andrej Karpathy) 딥러닝을 대하는 우리의 자세 - (A Recipe.. 2021. 5. 7.
LSTM으로 수요 예측하기 - 7장 (Mean Absolute Scaled Error-MASE) 1. 시간별로 데이터 전처리 / Not Scaled 2. 일반 lstm 3레이어 정도(?) 3. 이후 data도 중요하다고 생각듬 4. BI-LSTM 사용 5. 데이터가 너무 없어 K-Fold 적용 6. Layer만 주구장창 쌓다가 AutoEncoder 활용 7. 데이터 Scaled 적용 8. Loss Function Custom 9. 1차 마무리 - 여기 사이에는 BERT가 포함되어있다. (Google Source를 다 까봤는데, 이건 언제 또 정리할까...) - 10. Attention 적용 => Dual-Stage Attention RNN (DA-RNN) -> 논문으로 현업 씹어먹기로 작성중... => Luong Attention (Dot-Product Attention) => Bahdanau At.. 2021. 4. 21.
Dual-Stage Attention-Based RNN for Time Series Prediction 서론 최근의 일이다. BERT를 파보고 있었다. (Goolgle git에서 다운받아서.) Attention을 알고는 있었는데, 자연어 처리 업무를 최근까지 할 일이 거의 없었고(맨~~~이미지만 그냥.,...), 대부분의 작업을 KR-WordRank를 이용한 추출요약에 관련된 업무로 처리를 하고있다가, (혹은 Seq2Seq로 처리했었다... 뭐 결국 이도 추출요약이지만.) BERT를 까보면서 Cosine 유사도, 내적 유사도, 벡터의 내적에 대해 눈을 뜨게 되었고, --- 나의 가설 혹시 그렇다면, 내가 진행하던 업무의 일종인, Time Series Forecasting도 특징간의 내적으로, 유의미한 Feature를 추출해내고, 그 부분을 이용하여 집중 학습시켜, 더 나은 예측 결과값을 얻어낼 수 있지 않.. 2021. 4. 15.
LSTM으로 수요 예측하기 - 6장 (Reconstruction LSTM Auto-Encoder) 1. 시간별로 데이터 전처리 / Not Scaled 2. 일반 lstm 3레이어 정도(?) 3. 이후 data도 중요하다고 생각듬 4. BI-LSTM 사용 5. 데이터가 너무 없어 K-Fold 적용 6. Layer만 주구장창 쌓다가 AutoEncoder 활용 7. 데이터 Scaled 적용 8. Loss Function Custom 9. 1차 마무리 - 여기 사이에는 BERT가 포함되어있다. (Google Source를 다 까봤는데, 이건 언제 또 정리할까...) - 10. Attention 적용 => Dual-Stage Attention RNN (DA-RNN) => Luong Attention (Dot-Product Attention) => Bahdanau Attention 11. Seq2Seq 활용 =.. 2021. 4. 15.
LSTM으로 수요 예측하기 - 5장 (K-Fold 사용) 1. 시간별로 데이터 전처리 / Not Scaled 2. 일반 lstm 3레이어 정도(?) 3. 이후 data도 중요하다고 생각듬 4. BI-LSTM 사용 5. 데이터가 너무 없어 K-Fold 적용 6. Layer만 주구장창 쌓다가 AutoEncoder 활용 7. 데이터 Scaled 적용 8. Loss Function Custom 9. 1차 마무리 - 여기 사이에는 BERT가 포함되어있다. (Google Source를 다 까봤는데, 이건 언제 또 정리할까...) - 10. Attention 적용 => Dual-Stage Attention RNN (DA-RNN) => Luong Attention (Dot-Product Attention) => Bahdanau Attention => Attention은 Ti.. 2021. 4. 12.
LSTM으로 수요 예측하기 - 4장 (BI-LSTM 사용) 항상 업무에 시달리느냐고, 블로그를 쓸때 몰아쓰는 경향이 있는 것 같다...ㅋㅋ 지금도 바다나우 어텐션 안되서 이것저것 바꿔돌려가면서, 기다리는 동안에 블로그를 써본다. 1. 시간별로 데이터 전처리 / Not Scaled 2. 일반 lstm 3레이어 정도(?) 3. 이후 data도 중요하다고 생각듬 4. BI-LSTM 사용 5. 데이터가 너무 없어 K-Fold 적용 6. Layer만 주구장창 쌓다가 AutoEncoder 활용 7. 데이터 Scaled 적용 8. Loss Function Custom 9. 1차 마무리 - 여기 사이에는 BERT가 포함되어있다. (Google Source를 다 까봤는데, 이건 언제 또 정리할까...) - 10. Attention 적용 => Dual-Stage Attention.. 2021. 4. 7.
LSTM으로 수요 예측하기 - 3장 (폐기된 모델...) 내 생각대로 구현하고, 실 데이터로 증명할뿐. 만약 그 증명이 틀린게 있다면 거침없이 댓글을 달아주기 바란다. 1. 시간별로 데이터 전처리 / Not Scaled 2. 일반 lstm 3레이어 정도(?) 3. 이전 hidden data도 중요하다고 생각듬 4. BI-LSTM 사용 5. 데이터가 너무 없어 K-Fold 적용 6. Layer만 주구장창 쌓다가 AutoEncoder 활용 7. 데이터 Scaled 적용 8. Loss Function Custom 9. 1차 마무리 - 여기 사이에는 BERT가 포함되어있다. (Google Source를 다 까봤는데, 이건 언제 또 정리할까...) - 10. Attention 적용 => Dual-Stage Attention RNN (DA-RNN) => Luong Att.. 2021. 4. 7.
LSTM으로 수요 예측하기 - 2장 (데이터 전처리) 내 생각대로 구현하고, 실 데이터로 증명할뿐. 만약 그 증명이 틀린게 있다면 거침없이 댓글을 달아주기 바란다. 모델을 짜면서 전부 형상관리를 했으면 좋았으련만, 앞에서 말했다시피, 전회사에서 퇴사하기 전에 이미 현재 회사 일을 하고있을정도로 사안이 급박해서, 폐기되는 모델은 조금만 저장해놨다가 다 없애버리는바람에 최초 모델들은 남아있지 않다는게 너무 아쉽다. 작업 순서상으로 보면, (목차가 되겠다) 1. 시간별로 데이터 전처리 / Not Scaled 2. 일반 lstm 3레이어 정도(?) 3. 이전 hidden data도 중요하다고 생각듬 4. BI-LSTM 사용 5. 데이터가 너무 없어 K-Fold 적용 6. Layer만 주구장창 쌓다가 AutoEncoder 활용 7. 데이터 Scaled 적용 8. L.. 2021. 3. 22.
728x90

티스토리툴바