논문 리뷰 (24) 썸네일형 리스트형 [Diagnosing Sample Ratio Mismatch in Online Controlled Experiments : A Taxonomy and Rules of Thumb for Practitioners] Diagnosing Sample Ratio Mismatch in Online Controlled Experiments : A Taxonomy and Rules of Thumb for Practitioners - Aleksander Fabijan, Jayant Gupchup, Somit Gupta, Jeff Omhover, Wen Qin, Lukas Vermeer, Pavel DmitrievABSTRACT✅ product 일반적으로 온라인 서비스나 플랫폼에서 실험 중인 특정 변경 사항이나 새로운 기능 OCE == A/B TEST는 product 수정 때문에 유저의 행동에 작은 인과관계 변화를 감지할 수 있는 문제를 다루는 표준 운영 절차가 되고 있음.그러나 OCE는 신뢰성 및 데이터 품질 문제에 민감함.데.. [FastText : Enriching Word Vectors with Subword Information] "FastText : Enriching Word Vectors with Subword Information" - Piotr Bojanowski, Edouard Grave, Armand Joulin, Tomas Mikolov (2016) Abstract 기존 skip-gram 단어 표현에 character n-gram 정보를 추가한 subword model을 제시함. Introduction word vectors representation을 학습시키는 방법론을 다룸. word2Vec는 한 단어에 대해 고유한 벡터를 할당 하기 때문에 단어의 형태학적인 특징을 반영할 수 없음. 비슷한 의미를 가지는 두 단어가 서로 다른 벡터를 할당받게 됨을 의미함. 이렇게 같은 의미를 가진 단어들이 서로 다른 벡터를 할당하게.. [Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation] "Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation" - Kyunghyun Cho, Bart van Merrienboer, Caglar Gulcehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, Yoshua Bengio (2014) Abstract RNN encoder-decoder로 불리는 모델을 제안함. 이는 두 개의 RNN으로 구성된 것으로 한 RNN은 가변적인 시퀀스를 고정된 길이의 벡터 표현으로 인코딩하고, 다른 RNN은 그 표현을 다른 시퀀스로 디코딩함. 이 모델은 jointly conditional probability를 최대화.. [ELECTRA : Pre-training Text Encoders as Discriminators Rather Than Generators] "ELECTRA : Pre-training Text Encoders as Discriminators Rather Than Generators" - Kevin Clark, Minh-Thang Luong, Quoc V. Le, Christopher D. Manning (2020) Abstract 기존에는 MLM(Masked Langauge Modeling) 방식으로 학습함. 이는 양방향 학습이 가능하지만 전체 토큰 중 15%에 대해서만 학습을 하고, 학습 때는 [Math Processing Error] 토큰을 모델이 참고해 예측하나, 추론 시에는 이 토큰이 존재하지 않는다는 문제를 가지고 있음. 이런 문제를 해결하기 위해 RTD(Replaced Token Detection)이라는 새로운 pre-trainin.. [ELMo : Deep contextualized word representations] "ELMo : Deep contextualized word representations" - Matthew E. Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, Luke Zettlemoyer (2018) Abstract 이전 임베딩 방식의 경우, 단어의 복잡한 특성, 언어적인 문맥을 고려하지 못하는 single context-independent representation 방식임. → 이러한 문제를 다루는 ELMo라는 문맥을 반영하는 단어 표현을 제시함. 전체 input 문장의 함수로 각 토큰을 배정하는 전통적인 방식과 달리 bi-LSTM으로 만들어진 벡터를 사용함. 따라서 ELMo는 깊고, biLM의 모든 내.. [Recurrent neural network based language model] "Recurrent neural network based language model" - Toma´s Mikolov, Martin Karafiat, Luka´s Burget, Jan “Honza” Cernocky, Sanjeev Khudanpur (2010) Introduction Sequential data prediction은 머신러닝과 인공지능 분야에서 해결해야 하는 문제 중 하나로, 이 중에 parsing tree를 이용하거나 단어의 형태를 분석하는 방법의 통계적 언어 모델으로 주어진 context를 기반으로 다음 단어를 예측함. 기존의 n-gram 기반의 언어 모델에서 발전한 RNN 모델을 제시함. Model input layer x, hidden layer, output layer y로 구성됨.. [Deep Neural Networks for YouTube Recommendations] " Deep Neural Networks for YouTube Recommendations " - Paul Covingtion, Jay Adams, Emre Sargin (2016) Introduction 유투브는 영상 콘텐츠를 만들고 공유하고 찾는 가장 큰 플랫폼임. 유투브는 계속해서 성장하는 비디오 형태로부터 많은 유저에게 맞춤형 콘텐츠를 추천해야 함. Scale : 방대한 규모와 효율적인 서빙 시스템을 고려한 효율적인 추천 알고리즘을 적용할 수 있는 방법을 찾아야 함. Freshness : 실시간으로 초당 많은 시간의 비디오가 업로드됨. 모델은 새롭게 업로드되는 내용과 그에 대한 유저의 행동을 충분히 다룰 수 있어야 함. Noise : sparsity와 관찰되지 않은 외부 요인의 다양성 때문에 예측.. [BPR: Bayesian Personalized Ranking from Implicit Feedback] " BPR: Bayesian Personalized Ranking from Implicit Feedback " - Steffen Rendle, Christoph Freudenthaler, Zeno Gantner and Lars Schmidt-Thieme (2012) Introduction item에 대한 개인화된 순위를 예측하는 것이 item recommendation임. implicit feedback → MF, adaptive kNN으로 아이템 추천을 진행함. 하지만 최적화된 방법이 존재하지 않는다는 한계가 있음. 베이지안 분석에서 도출된 posterior로 개인화된 순위에 대한 최적화 기준 BPR-OPT를 제안함. BPR-OPT의 최적화를 위해 일반적인 학습 알고리즘 LEARN-BRP를 제안함. →.. 이전 1 2 3 다음 목록 더보기
