본문 바로가기

분류 전체보기56

딥러닝 STT 모델 - ESPNet (3 - 환경구성만 1 Article) 오랜만에 블로그를 작성하는 것 같다. 최근에 서비스에 STT 모델을 학습시켜 사용해야하는 Task 때문에 정신이 없었다. 또한, 수요 예측 관련된 Task는 그냥 Base로 깔고가는 편이라, 너무 정신이 없었달까... 2021.05.24 - [논문으로 현업 씹어먹기] - 딥러닝 STT 모델 - ESPNet (2 - 톺아보기) 딥러닝 STT 모델 - ESPNet (2 - 톺아보기) ESPNet 논문은, 분명히 기술적인 내용들이었지만, 서술형일 뿐이었고, 상세 기술들은 하나하나 조사하다보니 너무 복잡한 느낌이 들었다. 2021.05.14 - [논문으로 현업 씹어먹기] - 딥러닝 STT 모델 - ES shyu0522.tistory.com 서론 ESPNet의 소스를 분석해보고, Training 환경을 구성해보고.. 2021. 10. 21.
Time Forecasting에 있어 느낀, Attention의 한계 2021.04.19 - [논문으로 현업 씹어먹기] - LSTM Attention 이해하기 - 서론 LSTM Attention 이해하기 - 서론 BERT 서론 회사에서 TA관련한 프로젝트를 할 일이 생겼다. 내가 나중에 시간이 되면 올리겠지만, 이전 회사에서 TA 관련된 프로젝트를 2개 해본것이 있었는데, 1. 회사 상품 평판 분석 2. Encoder-Decoder shyu0522.tistory.com 미루고 미루다 드디어 작성하게 되는 것 같다. ㅋㅋ 여기서 더 미루면 내 기억속에서 사라질 것 같아서, 슬슬 정리하도록 한다. 지금까지 Attention을 TF ndarray로 직접 구현해보고, 실제로 사용하여 학습까지 진행해보면서, 느낀점을 서술해보겠다. 1. Attention은 1차원으로만 적용 가능하다.. 2021. 5. 25.
딥러닝 STT 모델 - ESPNet (2 - 톺아보기) ESPNet 논문은, 분명히 기술적인 내용들이었지만, 서술형일 뿐이었고, 상세 기술들은 하나하나 조사하다보니 너무 복잡한 느낌이 들었다. 2021.05.14 - [논문으로 현업 씹어먹기] - 딥러닝 STT 모델 - ESPNet (1) 딥러닝 STT 모델 - ESPNet (1) BERT부터 설명을 하려고 하긴 했는데, 이제 곧 업무가 시작되기도 할 것이며, 최근에 논문을 읽어본 ESPNet에 대해서 먼저 정리해보겠다. 서론 사실 이전 회사에서, 크롤링 -> Text Analysis(TA) -> Power BI shyu0522.tistory.com 그럼 이 복잡하다면 복잡한 상세 알고리즘들을 어떻게 ESPNet처럼 합쳐서 수려하게 개발할 수 있었을까? ESPNet 자체를 톺아보려고 했지만, 설치부터 Data.. 2021. 5. 24.
딥러닝 STT 모델 - ESPNet (1) BERT부터 설명을 하려고 하긴 했는데, 이제 곧 업무가 시작되기도 할 것이며, 최근에 논문을 읽어본 ESPNet에 대해서 먼저 정리해보겠다. 서론 사실 이전 회사에서, 크롤링 -> Text Analysis(TA) -> Power BI 시각화 업무를 PoC로 담당하여 진행한 적이 있었고, Seq2Seq기반 딥러닝으로 추출요약, KR-WordRank로 키워드 분석등을 진행해본 경험이 있다. 이 부분도 뭐 기회가 되면 소스로 올려보도록 하겠고, (실제로 운영서비스 되지 않아 소스까지 올려도 가능하지 않을까? 싶다.) 현재 회사에서도 TA를 하는줄 알았더니, 이게 왠걸 STT도 제대로 되어있지 않아서, STT부터 해야될 상황이 되버렸다. (사실 TA하는 줄 알고 BERT 소스, 논문 다까보고 있었는데...) .. 2021. 5. 14.
LSTM으로 수요 예측하기 - 9장 (마무리) 1. 시간별로 데이터 전처리 / Not Scaled 2. 일반 lstm 3레이어 정도(?) 3. 이후 data도 중요하다고 생각듬 4. BI-LSTM 사용 5. 데이터가 너무 없어 K-Fold 적용 6. Layer만 주구장창 쌓다가 AutoEncoder 활용 7. 데이터 Scaled 적용 8. Loss Function Custom 9. 1차 마무리 - 여기 사이에는 BERT가 포함되어있다. (Google Source를 다 까봤는데, 이건 언제 또 정리할까...) - 10. Attention 적용 => Dual-Stage Attention RNN (DA-RNN) => Luong Attention (Dot-Product Attention) -> 논문으로 현업 씹어먹기로 작성중... => Bahdanau At.. 2021. 5. 7.
응~ 역전파 이해해야되~ - (Yes you should understand backprop / Andrej Karpathy) 요즘 개인적인 일로 너무 바빴다. 깐에 좋은 옷좀 입어보겠다고, 리바이스 LVC 청바지를 구매했는데, 배가 꽤나 나왔는가, 허리에 옷을 맞추니 통이 맞지가 않아서, 교환하는데도 한참 애먹고, 개인적인 약속 및 회식들로 갑작스럽게 저녁에 술먹을 일이 많아서, 글을 쓰지 못했었다. 읽어보기로는 저번주에 다 읽어놓은 내용인데, 오늘 정리하려니, 제대로 말이 써질까 모르겠다. (감정이 살아있을때 써야 블로그도 더 잘 써지는 것인데 말이지...) 오늘은, 이전에 한번 얘기했던, 2021.04.22 - [논문으로 현업 씹어먹기] - 딥러닝을 대하는 우리의 자세 - (A Recipe for Training Neural Networks / Andrej Karpathy) 딥러닝을 대하는 우리의 자세 - (A Recipe.. 2021. 5. 7.
딥러닝을 대하는 우리의 자세 - (A Recipe for Training Neural Networks / Andrej Karpathy) 오늘 정말 너무너무 공감되서 가슴이 뜨거워질 정도였던 블로그 글을 읽게 되었다. 무려 만 32살에 Tesla AI Team 팀장을 맡게된 Andrej Karpathy의 기술 블로그를 보던중 과거의 글 중에 이런 글이 있었다. karpathy.github.io/2019/04/25/recipe/ A Recipe for Training Neural Networks Some few weeks ago I posted a tweet on “the most common neural net mistakes”, listing a few common gotchas related to training neural nets. The tweet got quite a bit more engagement than I anticip.. 2021. 4. 22.
LSTM으로 수요 예측하기 - 8장 (MASE 추가적인 이야기, 그 전에 Data Scaling부터...) 1. 시간별로 데이터 전처리 / Not Scaled 2. 일반 lstm 3레이어 정도(?) 3. 이후 data도 중요하다고 생각듬 4. BI-LSTM 사용 5. 데이터가 너무 없어 K-Fold 적용 6. Layer만 주구장창 쌓다가 AutoEncoder 활용 7. 데이터 Scaled 적용 8. Loss Function Custom 9. 1차 마무리 - 여기 사이에는 BERT가 포함되어있다. (Google Source를 다 까봤는데, 이건 언제 또 정리할까...) - 10. Attention 적용 => Dual-Stage Attention RNN (DA-RNN) -> 논문으로 현업 씹어먹기로 작성중... => Luong Attention (Dot-Product Attention) => Bahdanau At.. 2021. 4. 22.
LSTM으로 수요 예측하기 - 7장 (Mean Absolute Scaled Error-MASE) 1. 시간별로 데이터 전처리 / Not Scaled 2. 일반 lstm 3레이어 정도(?) 3. 이후 data도 중요하다고 생각듬 4. BI-LSTM 사용 5. 데이터가 너무 없어 K-Fold 적용 6. Layer만 주구장창 쌓다가 AutoEncoder 활용 7. 데이터 Scaled 적용 8. Loss Function Custom 9. 1차 마무리 - 여기 사이에는 BERT가 포함되어있다. (Google Source를 다 까봤는데, 이건 언제 또 정리할까...) - 10. Attention 적용 => Dual-Stage Attention RNN (DA-RNN) -> 논문으로 현업 씹어먹기로 작성중... => Luong Attention (Dot-Product Attention) => Bahdanau At.. 2021. 4. 21.
728x90

티스토리툴바