본문 바로가기
반응형

Data Science/Paper Review5

[Paper Review] Self-Paced Curriculum Learning Authors : Jiang, L., Meng, D., Zhao, Q., Shan, S., & Hauptmann, A. Journal/Conference : AAAI Source : https://ojs.aaai.org/index.php/AAAI/article/view/9608 Background Curriculum Learning(CL) 학습과정에서 쉬운 데이터부터 점차 어려운 데이터 학습 curriculum(학습 순서) : 사전 지식으로 결정되고, 고정되어있음 그러므로 학습 과정에서의 피드백은 무시된 상태로 사전 지식의 퀄리티가 매우 중요함 다양한 sources로 부터 사전지식을 포함하여 유연함을 가진다는 장점 Self-Paced Learning(SPL) 학습과정에서 쉬운 데이터부터 점차 어려운 데이.. 2023. 5. 20.
[Paper Review] Self-Paced Learning for Latent Variable Models Authors : Kumar, M., Packer, B., & Koller, D. Journal/Conference : NeurIPS 2010 Source : https://proceedings.neurips.cc/paper/2010/file/e57c6b956a6521b28495f2886ca0977a-Paper.pdf Background 잠재 변수 모델(Latent variable models)은 머신러닝의 몇몇 applications 좋은 성능을 보인다. 잠재 변수 모델의 매개변수를 학습하는 것은 종종 non-convex optimization problem를 해결할 필요가 있다. 이런 문제에서 근사적인 solution을 얻기 위한 몇 가지 접근법에는 잘 알려진 EM algorithm과 CCCP alg.. 2023. 3. 5.
[Paper Review] Curriculum Learning Authors : Bengio, Y., Louradour, J., Collobert, R., & Weston, J. Journal/Conference : ICML 2009 Source : https://dl.acm.org/doi/pdf/10.1145/1553374.1553380 Background Animal training 학습과정(learning system)에서 어떤 예제들이 제공되고, 어떤 순서로 제공될 것인가에 대한 선택은 학습을 가이드해 줄 수 있으면서 학습의 속도를 저명히 증가시킬 수 있음. shaping이라 불림 (Skinner, 1958; Peterson, 2004; Krueger & Dayan, 2009) Elman, J. L. (1993). Learning and development.. 2023. 3. 2.
[Paper Review] N-BEATS N-BEATS (Neural basis expansion analysis for interpretable time series forecasting) 지금까지 대회에서 1등을 하던 모델은 항상 통계기반 모델이었지만 M4 Competition에서 우승을 차지한 모델은 ES-RNN(Exponential Smoothing Long Short Term Memory networks) 으로 통계적 방법론과 머신러닝 방법론을 잘 섞은 구조의 모델입니다. 그런데 그 ES-RNN보다 더 좋은 예측 성능을 보이는 순수 머신러닝 방법론이 등장했고, 그게 바로 N-BEATS or NBEATS 라고 불리는 단변량 예측 모델입니다. N-Beats는 Time Series(시계열 데이터)를 처리하기 위해 end-to-end deep.. 2022. 3. 28.
[Paper Review] Transformer - Attention is all you need 본 글은 카이스트 최윤재 교수님의 Programming for AI (AI504, Fall 2020), Class 9: Recurrent Neural Networks와 WikiDocs의 딥 러닝을 이용한 자연어 처리 입문을 바탕으로 정리한 글입니다. https://jalammar.github.io/illustrated-transformer/ 도 참고하여 작성하였습니다! Transformer 기존 seq2seq의 구조인 인코더, 디코더를 발전시킨 딥러닝 모델입니다. 가장 큰 차이점은 RNN을 사용하지 않고 Attention만으로 구현했다는 데 있습니다. Transformer를 한 단어로 표현하자면 Parallelization(병렬화)입니다. RNN의 순차적인 계산을 행렬곱으로 한 번에 처리합니다. 전체 과.. 2022. 3. 28.
반응형

티스토리툴바