딥러닝 TA 모델 - BERT (1 - 기초. 행렬과 벡터, 내적)
이전 시간으로, STT(ESPNet)를 어느정도 시작부터 끝까지 다 설명한 것 같다. 시작할때는 이 많은 걸 언제 풀어쓰나, 걱정도 됬었지만, 결국 어느정도 잘 정리가 된 것 같았다. BERT는 현재 진행 중이며, 진행사항은 50%정도로, Pre-Training Model에 대한 실제 소스 분석과, Text 데이터 EDA와 전처리에 대한 고민(형태소+Wordpiece 적용 등), BERT 계열 모델들의 특성, 그리고 원래 BERT와는 소스적으로 무엇이 다른지 등등 앞단에서 벌어지는 부분들에 대한 분석이 완료 된 상태이다. 실제로 차주부터는 Fine-Tunning에 대한 고민들을 진행할 것이며, 예제들을 통한 소스 분석, 실제 자사 데이터로 문제 해결을 위한 PoC를 진행하고자 한다. (아마, 주제는 카테..
2021. 11. 21.
딥러닝 STT 모델 - ESPNet (6 - Inference, Predict 시작!)
이번시간까지 정리를 하면, 얼추 STT는 종료가 되지 않을까 사료된다. 2021.10.25 - [딥러닝으로 하루하루 씹어먹기] - 딥러닝 STT 모델 - ESPNet (5 - 음성처리 도메인) 딥러닝 STT 모델 - ESPNet (5 - 음성처리 도메인) 지난 시간에는, 거의 딥러닝에 대한, ESPNet의 모델 아키텍쳐와 구조 흐름이 어떻게 흘러가고, 실제로 소스로 논문과 비슷하게 작성되어있는지 확인하는 작업까지 마쳤다. 글을 읽는 것 만으로는, shyu0522.tistory.com 기본적인 지식들, 기술에 대한 소개부터, Training, 음성에 대한 도메인을 다루었고, 모델을 사용해서 어떻게 예측할 것인가?에 대해서만 짚어보면, 더 이상 소개할 자료는 없을 걸로 판단된다. 이미 여기까지 진행을 해오면..
2021. 11. 15.
