핑퐁팀 ML 세미나, 그 세번째
핑퐁 ML 리서치 사이언티스트들의 시즌 3 세미나 자료
ML 리서치 사이언티스트들의 세번째 세미나 발표자료 묶음을 갈무리하여 올립니다. 본 세미나는 2019년 8월 28일부터 2019년 10월 2일까지 진행되었으며, 시즌 3은 특정 주제의 선정 없이 자유롭게 논문을 선택하는 방식으로 진행되었습니다.
첫 자유 주제 세미나이니만큼 팀원들의 기술에 대한 선호도를 확인할 수 있던 시간이었습니다. 특히 Generation을 다루는 논문들이 많이 선택되었던 것이 돋보입니다. 이 시기에 사내에서 Generation PoC가 같이 진행되면서 서로 그 가능성에 고무되지 않았나 생각합니다. 물론 슬롯 제한없는 Dialog State Tracking을 다뤄주신 이주홍 님과 Transformer의 Distillation을 다뤄주신 백영민 님께도 감사드립니다.
Towards Universal Dialogue State Tracking (이주홍)
- Towards Universal Dialogue State Tracking
- Written by Liliang Ren et al. @ Shanghai Jiao Tong University
- Published @ EMNLP 2018
Distillation Overview (백영민)
- Distilling the Knowledge in a Neural Network
- Written by Geoffrey Hinton et al. @ Google Research
- Published @ NeurIPS 2014 (Workshop)
- Transformer to CNN: Label-scarce distillation for efficient text classification
- Written by Yew Ken Chia et al. @ Red Dragon AI
- Published @ NeurIPS 2018 (Workshop)
- BAM! Born-Again Multi-Task Networks for Natural Language Understanding
- Written by Kevin Clark et al. @ Stanford University & Google Brain
- Preprinted in arXiv 2019
- Well-Read Students Learn Better: The Impact of Student Initialization on Knowledge Distillation
- Written by Iulia Turc et al. @ Google Research
- Preprinted in arXiv 2019
- Patient Knowledge Distillation for BERT Model Compression
- Siqi Sun et al. @ Microsoft Dynamics 365 AI Research
- Published @ EMNLP 2019
Delete, Retrieve, Generate: Approach for Text Style Transfer (정다운)
- Delete, Retrieve, Generate: A Simple Approach to Sentiment and Style Transfer
- Written by Juncen Li et al. @ Tencent & Stanford University
- Published @ NAACL 2018
- Transforming Delete, Retrieve, Generate Approach for Controlled Text Style Transfer
- Written by Akhilesh Sudhakar et al. @ Agara
- Published @ EMNLP 2019
DeepCopy: Grounded Response Generation with Hierarchical Pointer Networks (구상준)
- DeepCopy: Grounded Response Generation with Hierarchical Pointer Networks
- Semih Yavuz et al. @ University of California, Google Brain, Carnegie Mellon University & Amazon Alexa AI
- Published @ NeurIPS 2018
Structuring Latent Spaces for Stylized Response Generation (장성보)
- Structuring Latent Spaces for Stylized Response Generation
- Written by Xiang Gao et al. @ Microsoft Research
- Published @ EMNLP 2019
마치며
지금까지 2019년의 세 번째 시즌의 발표자료들을 공유해보았습니다. 곧 있을 EMNLP 2019의 논문들은 아마 조만간에 있을 EMNLP 2019 프리뷰에서 더 자세히 다루겠습니다만, 전반적으로 Transformer의 약진과 이를 통한 Generation 모델의 활용성을 맛볼 수 있었던 시간이 아니었나 싶습니다.
다만 Transformer 구조는 데이터의 크기에 민감하며 실제 활용하기에는 상당히 무거운 모델이라 아직까지는 실사용 어플리케이션 형태로 응용되고 있지는 않습니다. 아마 이것을 쓸만하게 만드는 것이 추후 과제이지 않을까 생각합니다. 언젠가는 이 주제로 다뤄볼 날이 있기를 바라면서 이만 마치겠습니다. 감사합니다!