전체 글56 최신 AI Trend - Google의 Pathways (1 - 역사와 톺아보기) 간만에 블로그를 쓰는 것 같다...ㅋㅋㅋ 관심있게 지켜보고 있던 프로젝트인 Google Pathways가 4월 4일부로 벤치마크 결과가 공개되었다....!! 정확히는 Google의 목표는, 늘어나는 탄소 규제의 압박과 그로인해 DeepLearning 학습에 들어가는 환경문제와 싸우고 있었고, 정확히는 그것만을 위해 팀을 따로 꾸릴 정도였다. 그런 관점에서 TPU도 개발되었고, TPU에 대한 내용을 보다가 흥미로운 부분을 발견했다. https://arxiv.org/abs/1911.05289 The Deep Learning Revolution and Its Implications for Computer Architecture and Chip Design The past decade has seen a rem.. 2022. 4. 11. 간만에 글을 쓴다...(망할 코로나) 최근에 회사 사정에 따른 마찰들과 이직준비와 과정, 그리고 최종까지 많은 일들이 있어서, 글을 올리지 못했었는데... 좀 리프레쉬 하고 슬슬 다시 시작해볼까 하니 코로나가 말썽이다.... 아부지가 코로나에 걸리셔서 아마 4월 초 부터나 블로그를 다시 쓸 수 있지 않을까 싶다... BERT로 근무표 처리하는거 빨리 이것저것 가설들 실험해봐야하는데, 상황이 여의치가 않네.... 재밌게 읽으셨던 분들 모두 건강 조심하시고, 코로나로부터 자유롭기를 바란다. 또한 더 재밌어질 새 글들을 조금만 더 기다려주시길 바란다. 2022. 3. 25. Attention으로 Text 분석을 하자! - Structured-Self-Attentive 해당 아티클은, https://simonjisu.github.io/paper/2018/04/03/nsmcbidreclstmselfattn.html https://techy8855.tistory.com/8 을 참고하였으며, https://arxiv.org/pdf/1703.03130.pdf 논문에 기반합니다. 소스코드는, 기본 논문구현은 (GNUv3 라이센스 이므로, 작성된 소스는 해당 라이센스에 기반합니다.), https://github.com/ExplorerFreda/Structured-Self-Attentive-Sentence-Embedding 시각화는 (MIT 라이센스로, 상위 조건이 더 많은 GNUv3 라이센스를 따라간다고 생각하시면 되겠습니다.), https://github.com/kaushals.. 2022. 2. 3. BERT로 시계열 데이터 분류 Task는 할 수 있을까? (2 - Fine-Tuning을 LSTM으로 many-to-many 연결해보기) 2022.01.16 - [딥러닝으로 하루하루 씹어먹기] - BERT로 시계열 데이터 분류 Task는 할 수 있을까? (1 - 근무 시간표 예측?) BERT로 시계열 데이터 분류 Task는 할 수 있을까? (1 - 근무 시간표 예측?) 2021.05.25 - [논문으로 현업 씹어먹기] - Time Forecasting에 있어 느낀, Attention의 한계 Time Forecasting에 있어 느낀, Attention의 한계 2021.04.19 - [논문으로 현업 씹어먹기] - LSTM Attention 이해하기.. shyu0522.tistory.com 에서 이어집니다. 회사에선 회사일하느냐고, 진행이 매우 느린점은 양해바란다. (그래도 내가 개인적으로 너무 궁금하고 해보고 싶어서, 최대한 열심히 해보는중.. 2022. 1. 17. BERT로 시계열 데이터 분류 Task는 할 수 있을까? (1 - 근무 시간표 예측?) 2021.05.25 - [논문으로 현업 씹어먹기] - Time Forecasting에 있어 느낀, Attention의 한계 Time Forecasting에 있어 느낀, Attention의 한계 2021.04.19 - [논문으로 현업 씹어먹기] - LSTM Attention 이해하기 - 서론 LSTM Attention 이해하기 - 서론 BERT 서론 회사에서 TA관련한 프로젝트를 할 일이 생겼다. 내가 나중에 시간이 되면 올리겠지만, 이전 shyu0522.tistory.com 과거에 Attention으로, lstm encoder-decoder를 이용하여, 시계열 예측을 진행하다가, 현타와서 적어놓았던 글이다. 지금와서 생각해보면, 안될 일도 아닌 것 같다는 생각이 든다. 그때는 encoder와 decode.. 2022. 1. 16. 딥러닝 TA 모델 - BERT (6 - BERT의 파생 (ALBERT, RoBERTa)) 2022.01.11 - [딥러닝으로 하루하루 씹어먹기] - 딥러닝 TA 모델 - BERT (5-4 - run_pretraining (Optimizer)) 딥러닝 TA 모델 - BERT (5-4 - run_pretraining (Optimizer)) 2022.01.10 - [딥러닝으로 하루하루 씹어먹기] - 딥러닝 TA 모델 - BERT (5-3 - run_pretraining (NLLloss(masked_lm, NSP))) 딥러닝 TA 모델 - BERT (5-3 - run_pretraining (NLLloss(masked_lm, NSP))) 2022.01... shyu0522.tistory.com 에서 이어집니다. 여기까지 진행했으면, 기본적인 BERT의 pre training과정에 대해서 알아보았다. .. 2022. 1. 14. 딥러닝 TA 모델 - BERT (5-4 - run_pretraining (Optimizer)) 2022.01.10 - [딥러닝으로 하루하루 씹어먹기] - 딥러닝 TA 모델 - BERT (5-3 - run_pretraining (NLLloss(masked_lm, NSP))) 딥러닝 TA 모델 - BERT (5-3 - run_pretraining (NLLloss(masked_lm, NSP))) 2022.01.08 - [딥러닝으로 하루하루 씹어먹기] - 딥러닝 TA 모델 - BERT (5-2 - run_pretraining (Transformer Encoder-Pooler)) 딥러닝 TA 모델 - BERT (5-2 - run_pretraining (Transformer Encoder-Pooler)) 20.. shyu0522.tistory.com 에서 이어집니다. 이전 시간까지는 뭔가 현실에서 비유해볼 .. 2022. 1. 11. 딥러닝 TA 모델 - BERT (5-3 - run_pretraining (NLLloss(masked_lm, NSP))) 2022.01.08 - [딥러닝으로 하루하루 씹어먹기] - 딥러닝 TA 모델 - BERT (5-2 - run_pretraining (Transformer Encoder-Pooler)) 딥러닝 TA 모델 - BERT (5-2 - run_pretraining (Transformer Encoder-Pooler)) 2022.01.08 - [딥러닝으로 하루하루 씹어먹기] - 딥러닝 TA 모델 - BERT (5-1 - run_pretraining (Embedding)) 딥러닝 TA 모델 - BERT (5-1 - run_pretraining (Embedding)) 2022.01.07 - [딥러닝으로 하루하루 씹.. shyu0522.tistory.com 에서 이어집니다. 지난 시간까지, Transformer Encod.. 2022. 1. 10. 딥러닝 TA 모델 - BERT (5-2 - run_pretraining (Transformer Encoder-Pooler)) 2022.01.08 - [딥러닝으로 하루하루 씹어먹기] - 딥러닝 TA 모델 - BERT (5-1 - run_pretraining (Embedding)) 딥러닝 TA 모델 - BERT (5-1 - run_pretraining (Embedding)) 2022.01.07 - [딥러닝으로 하루하루 씹어먹기] - 딥러닝 TA 모델 - BERT (4 - create_pretraining_data) 딥러닝 TA 모델 - BERT (4 - create_pretraining_data) 2022.01.06 - [딥러닝으로 하루하루 씹어먹기] - 딥.. shyu0522.tistory.com 에서 이어집니다. 지난 시간에, Transformer에 입력으로 사용할 embedding 까지 만들어보았다. 이제 실제로 Layer를.. 2022. 1. 8. 이전 1 2 3 4 5 ··· 7 다음 728x90
