Transformer3 최신 AI Trend - Google의 Pathways (2 - Paper 리뷰) 여기서 이어집니다. 2022.04.11 - [논문으로 현업 씹어먹기] - 최신 AI Trend - Google의 Pathways (1 - 역사와 톺아보기) 최신 AI Trend - Google의 Pathways (1 - 역사와 톺아보기) 간만에 블로그를 쓰는 것 같다...ㅋㅋㅋ 관심있게 지켜보고 있던 프로젝트인 Google Pathways가 4월 4일부로 벤치마크 결과가 공개되었다....!! 정확히는 Google의 목표는, 늘어나는 탄소 규제의 압박과 shyu0522.tistory.com 논문이 4월 7일에 공개가 되었다. https://arxiv.org/abs/2204.02311 PaLM: Scaling Language Modeling with Pathways Large language models h.. 2022. 4. 13. Attention으로 Text 분석을 하자! - Structured-Self-Attentive 해당 아티클은, https://simonjisu.github.io/paper/2018/04/03/nsmcbidreclstmselfattn.html https://techy8855.tistory.com/8 을 참고하였으며, https://arxiv.org/pdf/1703.03130.pdf 논문에 기반합니다. 소스코드는, 기본 논문구현은 (GNUv3 라이센스 이므로, 작성된 소스는 해당 라이센스에 기반합니다.), https://github.com/ExplorerFreda/Structured-Self-Attentive-Sentence-Embedding 시각화는 (MIT 라이센스로, 상위 조건이 더 많은 GNUv3 라이센스를 따라간다고 생각하시면 되겠습니다.), https://github.com/kaushals.. 2022. 2. 3. 딥러닝 TA 모델 - BERT (5-2 - run_pretraining (Transformer Encoder-Pooler)) 2022.01.08 - [딥러닝으로 하루하루 씹어먹기] - 딥러닝 TA 모델 - BERT (5-1 - run_pretraining (Embedding)) 딥러닝 TA 모델 - BERT (5-1 - run_pretraining (Embedding)) 2022.01.07 - [딥러닝으로 하루하루 씹어먹기] - 딥러닝 TA 모델 - BERT (4 - create_pretraining_data) 딥러닝 TA 모델 - BERT (4 - create_pretraining_data) 2022.01.06 - [딥러닝으로 하루하루 씹어먹기] - 딥.. shyu0522.tistory.com 에서 이어집니다. 지난 시간에, Transformer에 입력으로 사용할 embedding 까지 만들어보았다. 이제 실제로 Layer를.. 2022. 1. 8. 이전 1 다음 728x90
