핑퐁팀과 함께하는 ACL 2020 리뷰

ACL 2020에 발표되었던 논문들을 추려서 리뷰해보았습니다.

김준성 구상준 백영민 박채훈 이주홍 서상우 장성보 정다운 | 2020년 07월 22일

Annual Meeting of the Association for Computational Linguistics (ACL)는 자연어 처리(NLP) 분야를 주도하는 주요 국제 컨퍼런스 중 하나로, 매년 많은 NLP 연구자들이 주목하는 학회입니다. 이번 ACL 2020은 COVID-19로 인해서 여타 다른 학회들처럼 온라인 형식으로 진행되었습니다. 이에 핑퐁팀은 메인 컨퍼런스가 진행되는 일정(7월 6~8일)에 다같이 모여 서로 관심 있는 발표들을 시간마다 나누어가며 들어보았습니다.

학회에서 보고 들었던 논문들 중 팀원 별로 관심있어 하는 논문을 각자 세 편씩을 선정하였고, 그 논문들을 간단히 리뷰 형태로 정리해보았습니다. 그 내용을 여러분께 공유드리려 합니다. 또한 주홍님이 roomylee/ACL-2020-Papers에 올려주신 시각화 자료를 기반으로, 이번 학회의 키워드, 주제, 게재 비율 등을 분석한 내용을 첨부하오니, 학회 논문을 참고하시는 여러분들께 도움이 되면 좋겠습니다.

학회 추이

합격률 추이

ACL의 연도별 Acceptance 통계

금년도에 제출된 논문 수는 최초로 2000편을 넘긴 2244편이었으며, 이는 2016년에 비해서는 약 2.7배 증가한 수치입니다. 작년에 비해서는 약 29% 증가하였는데, 제출되는 논문의 수가 꾸준히 증가하고 있는 것을 보며 NLP 분야의 관심도가 날이 갈수록 높아짐을 체감할 수 있었습니다. Acceptance Rate는 작년이 25.68%, 올해는 25.44% 으로 작년과 거의 동일한 비율을 유지하였습니다. EMNLP 역시 약 25% 정도의 Acceptance Rate 유지하면서, 두 학회 모두 퀄리티를 보장하기 위해서 엄격한 심사 기준을 유지하고 있음을 알 수 있습니다.

키워드로 보는 학회 추이

빈도순으로 정렬한 논문 제목 키워드

이번 ACL2020의 트렌드를 간접적으로 파악해 보고자, 논문 제목에 나타난 단어를 빈도순으로 나타내 보았습니다. 특정 태스크에 관련된 단어부터 방법론과 관련된 단어까지 다양한 키워드가 흥미를 이끄는데요, 그 중 이번 ACL에서 특히 주목할 만한 키워드를 네 가지만 살펴 보겠습니다.

Generation

가장 많이 사용된 키워드는 ‘Generation’ (생성)입니다. EMNLP-IJCNLP 2019 프리뷰에서 키워드 분석을 진행해 보았을 때와 동일하게 1위를 차지했는데요, 특히 다른 키워드에 비해서 압도적으로 빈도가 높다는 점도 주목해 볼만 합니다. 최근의 GPT-3나 Meena 등 파라미터가 엄청나게 많은 Transformer 계열들이 괄목할만한 성능을 보여주고 있는데, 이런 추세를 반영하듯 많은 연구자들이 기존에 하지 못했던 생성과 관련된 연구에 집중하고 있는 것을 알 수 있습니다.

Translation

생성의 뒤를 이어서, ‘Translation’ (번역)이 2위를 차지했습니다. 사실 번역은 수요도 많이 있었고 연구할만한 문제들도 많이 있었기 때문에 늘 인기가 있었던 주제입니다. NLP 연구 주제의 집약체같은 느낌입니다. 다만 역시 번역 또한 생성과 밀접하게 연관되어 있는 주제다보니, 위에서 말씀드렸던 거대 Transformer 들의 등장이 영향을 주었을거라 생각합니다.

Dialogue

이번 키워드 통계에서 주목할 수 있는 부분은 Dialogue (대화)의 급부상입니다. 지난 EMNLP 2019에서 대화 키워드는 굉장히 낮은 순위에 위치해 있었습니다. 하지만 이번 ACL 2020에서는 전체 키워드 빈도에서 Dialogue 키워드는 전체에서 4위를 차지하였습니다. 특히 작년과 올해 generation을 기반으로 하는 일상 대화 모델들이 많이 공개 되었는데 이런 경향들이 반영된 것이 아닌가 합니다. 이 분야 연구에 매진하는 핑퐁팀으로서는 대화와 관련된 연구들이 이전보다 활발하게 이루어진다는 것이 기쁩니다.

Graph

마지막으로 5위를 차지한, ‘Graph’ (그래프)입니다. 역시 대화와 마찬가지로 지난번 EMNLP 2019 때보다 순위가 많이 상승한 것을 확인할 수 있었습니다. 이를 통해 NLP 분야에서도 그래프를 기반으로 하는 모델들에 대한 연구가 지속적으로 발전하고 있음을 알 수 있습니다. 사실 그래프라는 것은 결국 관계를 수치화한 것이니까요.

논문 Review

총 24편의 논문을 abstract와 핵심 figure를 기반으로 간략하게 리뷰해 보았습니다.

DeFormer: Decomposing Pre-trained Transformers for Faster Question Answering

저자: Qingqing Cao, Harsh Trivedi, Aruna Balasubramanian, Niranjan Balasubramanian (Stony Brook University)

키워드: Sentence Representation

deformer figure

Logical Natural Language Generation from Open-Domain Tables

저자: Wenhu Chen, Jianshu Chen, Yu Su, Zhiyu Chen, William Yang Wang (University of California, Santa Barbara., Tencent AI Lab and Ohio State University)

키워드: Generation, Surface Realization

logical NLG figure

“None of the Above”: Measure Uncertainty in Dialog Response Retrieval

저자: Yulan Feng, Shikib Mehri, Maxine Eskenazi, Tiancheng Zhao (Carnegie Mellon University and SOCO.AI)

키워드: Dialog Response Retrieval, Uncertainty

None of the Above figure

Efficient Dialogue State Tracking by Selectively Overwriting Memory

저자: Sungdong Kim, Sohee Yang, Gyuwan Kim, Sang-Woo Lee (Clova AI and Naver Corp.)

키워드: Dialog State Tracking (DST), State Operation Predictor

efficient DST figure

Image-Chat: Engaging Grounded Conversations

저자: Kurt Shuster, Samuel Humeau, Antonie Bordes, Jason Weston (Facebook AI Research)

키워드: Image Conversation, Dataset, TransResNet

Image-Chat figure

Spelling Error Correction with Soft-Masked BERT

저자: Shaohua Zhang, Haoran Huang, Jicong Liu and Hang Li (ByteDance AI Lab and Fudan University)

키워드: Spelling Error Correction, Soft Masking

Spelling Error figure

Generating Counter Narratives against Online Hate Speech: Data and Strategies

저자: Serra Sinem Tekiroglu, Yi-Ling Chung and Marco Guerini (Fondazione Bruno Kessler and University of Trento)

키워드: Hate Speech, Text Generation, Crowdsourcing

Hate Speech figure

Intermediate-Task Transfer Learning with Pretrained Language Models: When and Why Does It Work?

저자: Yada Pruksachatkun, Jason Phang, Haokun Liu, Phu Mon Htut, Xiaoyi Zhang, Richard Yuanzhe Pang, Clara Vania, Katharina Kann, Samuel R. Bowman (New York University)

키워드: Curriculum Learning, Pretrained Language Model

intermediate-task figure

Towards Holistic and Automatic Evaluation of Open-Domain Dialogue Generation

저자: Bo Pang, Erik Nijkamp, Wenjuan Han, Linqi Zhou, Yixian Liu, Kewei Tu (University of California, Los Angeles., National University of Singapore and ShanghaiTech University)

키워드: Automatic Dialog Evaluation

generation-evaluation figure

BERTRAM: Improved Word Embeddings Have Big Impact on Contextualized Model Performance

저자: Timo Schick, Hinrich Schütze (Sulzer GmbH and LMU Munich)

키워드: Rare Word

BERTRAM figure

schuBERT: Optimizing Elements of BERT

저자: Ashish Khetan, Zohar Karin (Amazon AWS)

키워드: Model Compression, Pruning

schuBERT figure

BLEURT: Learning Robust Metrics for Text Generation

저자: Thibault Sellam, Dipanjan Das, Ankur P. Parikh (Google Research)

키워드: Learning Metrics, Pre-training, WMT Metrics shared task

BLEURT: Learning Robust Metrics for Text Generation figure

Grounded Conversation Generation as Guided Traverses in Commonsense Knowledge Graphs

저자: Houyu Zhang, Zhenghao Liu, Chenyan Xiong, Zhiyuan Liu (Brown University, Tsinghua University and Microsoft Research AI)

키워드: Commonsense Knowledge Graphs, Graph Neural Networks, Conversation Generation

Grounded Conversation Generation as Guided Traverses in Commonsense Knowledge Graphs figure

Unsupervised Domain Clusters in Pretrained Language Models

저자: Roee Aharoni, Yoav Goldberg (Bar Ilan University and Allen Institute for Artificial Intelligence)

키워드: Pretrained Language Models, Domain Clusters, Data selection method, machine translation

Unsupervised Domain Clusters in Pretrained Language Models figure

BPE-Dropout: Simple and Effective Subword Regularization

저자: Ivan Provikov, Dmitrii Emelianenko, Elena Voita (Yandex, Moscow Institute of Physics and Technology, National Research University Higher School of Economics, University of Edinburgh and University of Amsterdam)

키워드: BPE-Dropout, Subword Segmentation, Subword Regularization

BPE-Dropout: Simple and Effective Subword Regularization figure

Dialogue-Based Relation Extraction

저자: Dian Yu, Kai Sun, Claire Cardie, Dong Yu (Tencent AI Lab and Cornell University)

키워드: Dialogue-based Relation Extraction, Dialogue, Relation Extraction

Dialogue-Based Relation Extraction figure

Fast and Accurate Deep Bidirectional Language Representations for Unsupervised Learning

저자: Joongbo Shin, Yoonhyung Lee, Seunghyun Yoon, Kyomin Jung (Seoul National University)

키워드: Transformer-based Text Autoencoder(T-TA), Language Autoencoding(LAE), Language Representation

Fast and Accurate Deep Bidirectional Language Representations for Unsupervised Learning figure

Pretraining with Contrastive Sentence Objectives Improves Discourse Performance of Language Models

저자: Dan Iter, Kelvin Guu, Larry Lansing, Dan Jurafsky (Stanford University and Google Research)

키워드: Discourse representation, Unsupervised representation learning

Pretraining with Contrastive Sentence Objectives Improves Discourse Performance of Language Models figure

The Dialogue Dodecathlon: Open-Domain Knowledge and Image Grounded Conversational Agents

저자: Kurt Shuster, Da Ju, Stephen Roller, Emily Dinan, Y-Lan Boureau, Jason Weston (Facebook AI Research)

키워드: Open-domain dialogue system, Multitask learning

The Dialogue Dodecathlon: Open-Domain Knowledge and Image Grounded Conversational Agents figure

A Mixture of h-1 Heads is Better than h Heads

저자: Hao Peng, Roy Schwartz, Dianqi Li, Noah A. Smith (University of Washington)

키워드: Multi-head attention, Mixture of Experts

A Mixture of h-1 Heads is Better than h Heads figure

Attention Module is Not Only a Weight: Analyzing Transformers with Vector Norms

저자: Goro Kobayashi, Tatsuki Kuribayashi, Sho Yokoi, Kentaro Inui (Tohoku University, Langsmith Inc. and RIKEN)

키워드: Attention, BERT Analysis

Attention Module is Not Only a Weight: Analyzing Transformers with Vector Norms figure

Improved Natural Language Generation via Loss Truncation

저자: Daniel Kang, Tatsunori B. Hashimoto (Stanford University)

키워드: Generation

Improved Natural Language Generation via Loss Truncation figure

Single Model Ensemble using Pseudo-Tags and Distinct Vectors

저자: Ryosuke Kuwabara, Jun Suzuki, Hideki Nakayama (University of Tokyo, Tohoku University and RIKEN)

키워드: Ensemble

Single Model Ensemble using Pseudo-Tags and Distinct Vectors figure

결론

최근에 진행된 자연어처리 연구들을 살펴보면서 떠올랐던 질문은 크게는 다음 두 가지였습니다.

  1. 만약 Parameter 수를 늘리는 것이 성능을 향상시킨다면 우리는 어디까지 모델 크기를 키울 수 있을까?
  2. 만약 BERT 등이 정말로 모델 크기에 비해 데이터가 부족하다면 풀고자 하는 문제를 어떻게 모델에 효과적으로 학습시킬 수 있을까?

이번 ACL 2020을 보면서 다른 연구자들도 저희와 비슷한 종류의 고민을 하고 있다는 것을 어렴풋이나마 느낄 수 있었습니다. 그런 점에서 이런 학회는 저희에게 신선한 자극이 됩니다. 거인들의 어깨 위에 서서 사람만큼 사람 같은 챗봇을 만드는 길을 찾고자 저희는 오늘도 노력하겠습니다.