教養学部報
第629号 
「人間らしい」自然言語処理モデルを目指して
大関洋平
皆さん、こんにちは、言語情報科学専攻の大関洋平です。この度は、二〇二一年三月十五─十九日に北九州国際会議場を拠点にオンライン開催された言語処理学会第二十七回年次大会において、研究室から四本の論文を投稿し、その内の三本が最優秀賞・若手奨励賞・委員特別賞を受賞したので、教養学部報に記事を書かせて頂いています。僕が所属する言語情報科学専攻は、英語で表記するとDepartment of Language and Informa-tion Sciences、つまり文字通り言語科学（Language Science）と情報科学（Information Science）を対象とした専攻ですが、僕の研究室では、言語の認知科学である言語学（Linguistics）と言語の情報科学である自然言語処理（Natural Language Processing ; NLP）を融合した研究を行っています。ここでは、研究室紹介に代えて、受賞した論文を簡単に紹介させて頂きたいと思います（正式な受賞理由はこちらをご覧ください：https://www.anlp.jp/nlp2021/award.html）。
まず、「Recurrent neural network grammarの並列化」が、最優秀賞を受賞しました。この研究は、産業技術総合研究所の能地宏氏との共同研究で、これまで「人間らしい」自然言語処理モデルとして注目を集めながらも、訓練が遅く実用性が疑問視されていた再帰的ニューラルネットワーク文法（Recurrent Neural Network Grammar ; RNNG）を並列化・高速化しました。また、RNNGを並列化・高速化することで、長・短期記憶（Long Short-Term Memory ; LSTM）ネットワークに匹敵する大規模データで訓練することが可能になり、訓練データ量を揃えてLSTMと比較したところ、RNNGの方が人間に近い言語能力を持ち「人間らしい」ことを主張しています。
次に、「再帰的ニューラルネットワーク文法による人間の文処理のモデリング」が、若手奨励賞を受賞しました。この研究は、筆頭著者かつ研究室第一期生の吉田遼君の卒業論文で、前述の能地宏氏との共同研究でもあり、最優秀賞を受賞した論文で開発したRNNGを用いて人間の眼球運動をモデリングし、LSTMと比較したところ、RNNGの方が人間に近い言語処理を示し「人間らしい」ことを主張しています。また、RNNGの中でもトップダウン型（top-down）解析戦略と左隅型（left-corner）解析戦略を比較し、左隅型解析戦略の方が「人間らしい」こと、LSTMは次の単語を正確に予測するという工学的性能から予想されるほど「人間らしい」とは限らないことも示しています。
最後に、「予測の正確な言語モデルがヒトらしいとは限らない」が、新規性と発表形式の観点から委員特別賞を受賞しました。この研究は、東北大学の乾健太郎氏の研究室、特に栗林樹生君、および国立国語研究所の浅原正幸氏との共同研究で、これまで様々な自然言語処理タスクで世界最高性能を叩き出し、注目を集めている人工ニューラルネットワークであるトランスフォーマー（Transformer）を対象として、次の単語を正確に予測するという工学的性能が高い大規模トランスフォーマーが必ずしも「人間らしい」とは限らず、むしろ小規模トランスフォーマーの方が「人間らしい」ことを主張しています。また、自然言語処理モデルの「人間らしさ」と工学的性能の相関は普遍的ではなく、個別言語の言語構造に対して定義される情報密度の均一性に依存することも示しています。
以上、僕の研究室は、令和二年度に東京大学に着任してから立ち上げたばかりの新しい研究室なので、良いスタートダッシュを切ることが出来て非常に嬉しく思っているのと同時に、国内外の自然言語処理コミュニティにおいて、人間の認知・脳情報処理に学んだ「人間らしい」自然言語処理モデルに対する関心が高まっている様に思います。この発想は、人間の自然知能を人工的に再現するという一九八〇年代の第二次ＡＩ研究から存在していましたが、ディープラーニング・ビッグデータによる所謂「力業」に基づく二〇〇〇年代以降の第三次ＡＩ研究の限界が見え始めた今こそ、原点に立ち返って「人間らしい」自然言語処理モデルを目指すべきなのかもしれません。そのためには、言語学・認知科学・神経科学・人工知能など文理の垣根を超越した学際的コラボレーションが必要であり、その意味で駒場は絶好の環境であると確信しています。
（言語情報科学／英語）
無断での転載、転用、複写を禁じます。
