본문 바로가기

딥러닝으로 하루하루 씹어먹기30

딥러닝 STT 모델 - ESPNet (1) BERT부터 설명을 하려고 하긴 했는데, 이제 곧 업무가 시작되기도 할 것이며, 최근에 논문을 읽어본 ESPNet에 대해서 먼저 정리해보겠다. 서론 사실 이전 회사에서, 크롤링 -> Text Analysis(TA) -> Power BI 시각화 업무를 PoC로 담당하여 진행한 적이 있었고, Seq2Seq기반 딥러닝으로 추출요약, KR-WordRank로 키워드 분석등을 진행해본 경험이 있다. 이 부분도 뭐 기회가 되면 소스로 올려보도록 하겠고, (실제로 운영서비스 되지 않아 소스까지 올려도 가능하지 않을까? 싶다.) 현재 회사에서도 TA를 하는줄 알았더니, 이게 왠걸 STT도 제대로 되어있지 않아서, STT부터 해야될 상황이 되버렸다. (사실 TA하는 줄 알고 BERT 소스, 논문 다까보고 있었는데...) .. 2021. 5. 14.
LSTM으로 수요 예측하기 - 9장 (마무리) 1. 시간별로 데이터 전처리 / Not Scaled 2. 일반 lstm 3레이어 정도(?) 3. 이후 data도 중요하다고 생각듬 4. BI-LSTM 사용 5. 데이터가 너무 없어 K-Fold 적용 6. Layer만 주구장창 쌓다가 AutoEncoder 활용 7. 데이터 Scaled 적용 8. Loss Function Custom 9. 1차 마무리 - 여기 사이에는 BERT가 포함되어있다. (Google Source를 다 까봤는데, 이건 언제 또 정리할까...) - 10. Attention 적용 => Dual-Stage Attention RNN (DA-RNN) => Luong Attention (Dot-Product Attention) -> 논문으로 현업 씹어먹기로 작성중... => Bahdanau At.. 2021. 5. 7.
LSTM으로 수요 예측하기 - 8장 (MASE 추가적인 이야기, 그 전에 Data Scaling부터...) 1. 시간별로 데이터 전처리 / Not Scaled 2. 일반 lstm 3레이어 정도(?) 3. 이후 data도 중요하다고 생각듬 4. BI-LSTM 사용 5. 데이터가 너무 없어 K-Fold 적용 6. Layer만 주구장창 쌓다가 AutoEncoder 활용 7. 데이터 Scaled 적용 8. Loss Function Custom 9. 1차 마무리 - 여기 사이에는 BERT가 포함되어있다. (Google Source를 다 까봤는데, 이건 언제 또 정리할까...) - 10. Attention 적용 => Dual-Stage Attention RNN (DA-RNN) -> 논문으로 현업 씹어먹기로 작성중... => Luong Attention (Dot-Product Attention) => Bahdanau At.. 2021. 4. 22.
LSTM으로 수요 예측하기 - 7장 (Mean Absolute Scaled Error-MASE) 1. 시간별로 데이터 전처리 / Not Scaled 2. 일반 lstm 3레이어 정도(?) 3. 이후 data도 중요하다고 생각듬 4. BI-LSTM 사용 5. 데이터가 너무 없어 K-Fold 적용 6. Layer만 주구장창 쌓다가 AutoEncoder 활용 7. 데이터 Scaled 적용 8. Loss Function Custom 9. 1차 마무리 - 여기 사이에는 BERT가 포함되어있다. (Google Source를 다 까봤는데, 이건 언제 또 정리할까...) - 10. Attention 적용 => Dual-Stage Attention RNN (DA-RNN) -> 논문으로 현업 씹어먹기로 작성중... => Luong Attention (Dot-Product Attention) => Bahdanau At.. 2021. 4. 21.
LSTM으로 수요 예측하기 - 6장 (Reconstruction LSTM Auto-Encoder) 1. 시간별로 데이터 전처리 / Not Scaled 2. 일반 lstm 3레이어 정도(?) 3. 이후 data도 중요하다고 생각듬 4. BI-LSTM 사용 5. 데이터가 너무 없어 K-Fold 적용 6. Layer만 주구장창 쌓다가 AutoEncoder 활용 7. 데이터 Scaled 적용 8. Loss Function Custom 9. 1차 마무리 - 여기 사이에는 BERT가 포함되어있다. (Google Source를 다 까봤는데, 이건 언제 또 정리할까...) - 10. Attention 적용 => Dual-Stage Attention RNN (DA-RNN) => Luong Attention (Dot-Product Attention) => Bahdanau Attention 11. Seq2Seq 활용 =.. 2021. 4. 15.
막간 - 정리한거 찾다가 발견한 눈물의 대똥꼬쇼 LSTM으로 수요예측을 하는 것은, 거의 혼자 힘으로 개발했다...ㅋㅋ 선임이 한분 계셨는데, 작업 할 때 다른 업무로 바쁘셔서 잘 못도와주시다가, 나는 당장 모델부터 뽑아서 뭔가 보여줘야했어서, 대신 EDA를 도맡아서 해서 공유해주셨고, 추후에 모델 검증에서 많은 도움을 주셨다. 그러다보니, 여러가지 아키텍쳐 적인 가설과, 데이터 구성에 대한 생각, loss펑션의 합리성, 등등 단계별로 시도해봐야 할 시나리오 케이스가 상당히 많아서 나 스스로도 정리가 안됐었는데, 찾아보니 이런게 있었다. ㅋㅋ 하나하나 경험적으로 해봤던 것들을 전부 CASE 별로 정리하고, 어떤게 더 나았었는지 체크해놓은 엑셀이 있었다. (그때는 머리 뜯어가며 고통이었는데, 지금보니 추억이네.) 이 시절에 저 해당 시나리오별로 하나씩 .. 2021. 4. 12.
LSTM으로 수요 예측하기 - 5장 (K-Fold 사용) 1. 시간별로 데이터 전처리 / Not Scaled 2. 일반 lstm 3레이어 정도(?) 3. 이후 data도 중요하다고 생각듬 4. BI-LSTM 사용 5. 데이터가 너무 없어 K-Fold 적용 6. Layer만 주구장창 쌓다가 AutoEncoder 활용 7. 데이터 Scaled 적용 8. Loss Function Custom 9. 1차 마무리 - 여기 사이에는 BERT가 포함되어있다. (Google Source를 다 까봤는데, 이건 언제 또 정리할까...) - 10. Attention 적용 => Dual-Stage Attention RNN (DA-RNN) => Luong Attention (Dot-Product Attention) => Bahdanau Attention => Attention은 Ti.. 2021. 4. 12.
LSTM으로 수요 예측하기 - 4장 (BI-LSTM 사용) 항상 업무에 시달리느냐고, 블로그를 쓸때 몰아쓰는 경향이 있는 것 같다...ㅋㅋ 지금도 바다나우 어텐션 안되서 이것저것 바꿔돌려가면서, 기다리는 동안에 블로그를 써본다. 1. 시간별로 데이터 전처리 / Not Scaled 2. 일반 lstm 3레이어 정도(?) 3. 이후 data도 중요하다고 생각듬 4. BI-LSTM 사용 5. 데이터가 너무 없어 K-Fold 적용 6. Layer만 주구장창 쌓다가 AutoEncoder 활용 7. 데이터 Scaled 적용 8. Loss Function Custom 9. 1차 마무리 - 여기 사이에는 BERT가 포함되어있다. (Google Source를 다 까봤는데, 이건 언제 또 정리할까...) - 10. Attention 적용 => Dual-Stage Attention.. 2021. 4. 7.
LSTM으로 수요 예측하기 - 3장 (폐기된 모델...) 내 생각대로 구현하고, 실 데이터로 증명할뿐. 만약 그 증명이 틀린게 있다면 거침없이 댓글을 달아주기 바란다. 1. 시간별로 데이터 전처리 / Not Scaled 2. 일반 lstm 3레이어 정도(?) 3. 이전 hidden data도 중요하다고 생각듬 4. BI-LSTM 사용 5. 데이터가 너무 없어 K-Fold 적용 6. Layer만 주구장창 쌓다가 AutoEncoder 활용 7. 데이터 Scaled 적용 8. Loss Function Custom 9. 1차 마무리 - 여기 사이에는 BERT가 포함되어있다. (Google Source를 다 까봤는데, 이건 언제 또 정리할까...) - 10. Attention 적용 => Dual-Stage Attention RNN (DA-RNN) => Luong Att.. 2021. 4. 7.
728x90

티스토리툴바