전체 글56 딥러닝 TA 모델 - BERT (5-1 - run_pretraining (Embedding)) 2022.01.07 - [딥러닝으로 하루하루 씹어먹기] - 딥러닝 TA 모델 - BERT (4 - create_pretraining_data) 딥러닝 TA 모델 - BERT (4 - create_pretraining_data) 2022.01.06 - [딥러닝으로 하루하루 씹어먹기] - 딥러닝 TA 모델 - BERT (3 - data_preprocess, BPE) 딥러닝 TA 모델 - BERT (3 - data_preprocess, BPE) 2022.01.05 - [딥러닝으로 하루하루 씹어먹기] - 딥러닝 T.. shyu0522.tistory.com 에서 이어집니다. 이제 대망의 pre-training 시간이 도래했다. (사람으로 따지면, 단어장과 학습지가 있으니, 실제로 풀어보면서 공부할 시간!) fin.. 2022. 1. 8. 딥러닝 TA 모델 - BERT (4 - create_pretraining_data) 2022.01.06 - [딥러닝으로 하루하루 씹어먹기] - 딥러닝 TA 모델 - BERT (3 - data_preprocess, BPE) 딥러닝 TA 모델 - BERT (3 - data_preprocess, BPE) 2022.01.05 - [딥러닝으로 하루하루 씹어먹기] - 딥러닝 TA 모델 - BERT (2 - Attention) 딥러닝 TA 모델 - BERT (2 - Attention) 2021.11.21 - [딥러닝으로 하루하루 씹어먹기] - 딥러닝 TA 모델 - BERT (1 - 기.. shyu0522.tistory.com 에서 이어집니다. 지난 시간에 언어 학습을 위한 단어책(vocab.list)를 만드는 과정(data_preprocess)에 대해서 알아보았다. data_preprocess과정은.. 2022. 1. 7. 딥러닝 TA 모델 - BERT (3 - data_preprocess, BPE) 2022.01.05 - [딥러닝으로 하루하루 씹어먹기] - 딥러닝 TA 모델 - BERT (2 - Attention) 딥러닝 TA 모델 - BERT (2 - Attention) 2021.11.21 - [딥러닝으로 하루하루 씹어먹기] - 딥러닝 TA 모델 - BERT (1 - 기초. 행렬과 벡터, 내적) 딥러닝 TA 모델 - BERT (1 - 기초. 행렬과 벡터, 내적) 이전 시간으로, STT(ESPNet)를 어느정도 시작부터.. shyu0522.tistory.com 여기서 이어집니다. 사실 BERT는 Attention은 그냥 기본이 되는 이야기이고, Attention 전/후로 Data를 학습시키기 좋은 형태로 변환하는 과정과, 그 것을 역전파로 학습시키기 위한 loss를 산정하는 과정에서의 역할이 더 중.. 2022. 1. 6. 딥러닝 TA 모델 - BERT (2 - Attention) 2021.11.21 - [딥러닝으로 하루하루 씹어먹기] - 딥러닝 TA 모델 - BERT (1 - 기초. 행렬과 벡터, 내적) 딥러닝 TA 모델 - BERT (1 - 기초. 행렬과 벡터, 내적) 이전 시간으로, STT(ESPNet)를 어느정도 시작부터 끝까지 다 설명한 것 같다. 시작할때는 이 많은 걸 언제 풀어쓰나, 걱정도 됬었지만, 결국 어느정도 잘 정리가 된 것 같았다. BERT는 현재 진행 중이 shyu0522.tistory.com 에서 이어집니다. Attention에 관련된 이야기는 LSTM으로 시계열 예측을 할 때, 내가 넣고 있는 Feature들에 대한 중요도를 알고싶어서, 시도 해본적이 있었고, 그 때 간략하게나마 적어놨던 아티클들이 있다. https://shyu0522.tistory.co.. 2022. 1. 5. 조건부 확률부터 마르코프까지 - 5-5) HMM Decoding Task (Viterbi) 2022.01.03 - [Python과 확률] - 조건부 확률부터 마르코프까지 - 5-4) HMM Learning Task (Training) 조건부 확률부터 마르코프까지 - 5-4) HMM Learning Task (Training) 2022.01.02 - [Python과 확률] - 조건부 확률부터 마르코프까지 - 5-3) HMM Backward Algorithm 조건부 확률부터 마르코프까지 - 5-3) HMM Backward Algorithm 2021.12.27 - [Python과 확률] - 조건부 확률부터 마.. shyu0522.tistory.com 에서 이어집니다. Decoding은 내용자체가 쉬워 제 아티클 만으로도 이해되실 수 있는데, 혹시 몰라서 추가해놓습니다. https://www.yout.. 2022. 1. 3. 조건부 확률부터 마르코프까지 - 5-4) HMM Learning Task (Training) 2022.01.02 - [Python과 확률] - 조건부 확률부터 마르코프까지 - 5-3) HMM Backward Algorithm 조건부 확률부터 마르코프까지 - 5-3) HMM Backward Algorithm 2021.12.27 - [Python과 확률] - 조건부 확률부터 마르코프까지 - 5-2) HMM Forward Algorithm 조건부 확률부터 마르코프까지 - 5-2) HMM Forward Algorithm 2021.12.31 - [분류 전체보기] - 조건부 확률부터 마르.. shyu0522.tistory.com 역시나 해당 유투브가 도움이 많이 됩니다. (김성범님의 강의 part 2입니다.) https://www.youtube.com/watch?v=P02Lws57gqM 김성범님 유투브 강.. 2022. 1. 3. 조건부 확률부터 마르코프까지 - 5-3) HMM Backward Algorithm 2021.12.27 - [Python과 확률] - 조건부 확률부터 마르코프까지 - 5-2) HMM Forward Algorithm 조건부 확률부터 마르코프까지 - 5-2) HMM Forward Algorithm 2021.12.31 - [분류 전체보기] - 조건부 확률부터 마르코프까지 - 5-1) HMM 기초 조건부 확률부터 마르코프까지 - 5-1) HMM 기초 2021.12.25 - [Python과 확률] - 조건부 확률부터 마르코프까지 - 4) 마르코프 체.. shyu0522.tistory.com backward 알고리즘은 learning과 함께 다룰까 했는데, learning 샘플소스를 짜다가, 원래 샘플용으로 짜놨던 소스들과는 많이 달라져서 내용을 따로 다루고자 한다. https://www.yout.. 2022. 1. 2. 조건부 확률부터 마르코프까지 - 5-1) HMM 기초 2021.12.25 - [Python과 확률] - 조건부 확률부터 마르코프까지 - 4) 마르코프 체인 조건부 확률부터 마르코프까지 - 4) 마르코프 체인 2021.12.20 - [Python과 확률] - 조건부 확률부터 마르코프까지 - 3) 나이브 베이즈 분류 (근데 간단한) 조건부 확률부터 마르코프까지 - 3) 나이브 베이즈 분류 (근데 간단한) 2021.12.19 - [Python과 확률] - shyu0522.tistory.com 일단 Forward Algorithm부터 아티클을 작성해놨었는데, 귀인분의 유투브 강의를 보다가 내가 설명한 부분에 빠진 부분들도 많고, 잘못 설명한 부분도 있어서, 기초부터 차근차근 정리하기위해 아티클을 다시 작성한다. 함께 읽으면 좋을 스탠포드 대학교 강의노트 추가합니다.. 2021. 12. 31. 조건부 확률부터 마르코프까지 - 5-2) HMM Forward Algorithm 2021.12.31 - [분류 전체보기] - 조건부 확률부터 마르코프까지 - 5-1) HMM 기초 조건부 확률부터 마르코프까지 - 5-1) HMM 기초 2021.12.25 - [Python과 확률] - 조건부 확률부터 마르코프까지 - 4) 마르코프 체인 조건부 확률부터 마르코프까지 - 4) 마르코프 체인 2021.12.20 - [Python과 확률] - 조건부 확률부터 마르코프까지 - 3) 나이 shyu0522.tistory.com 211231_대폭 수정 이전에 작성해놓았던 글이나, 설명이 누락되고 잘못된 부분들이 있어, 다시 정리합니다. https://www.youtube.com/watch?v=HB9Nb0odPRs 김성범님의 [핵심 머신러닝] Hidden Markov Models - Part 1 (개념.. 2021. 12. 27. 이전 1 2 3 4 5 6 7 다음 728x90
