私たちは、買い物をする時には「いいな」と感じたものを選び、悲しい映画を見ると深く心を動かされます。人間の行動にさまざまな影響を与える“感性”。人間の感性に沿ってコンピュータが動くようになれば、社会にはこれまでにない新たな価値が生まれる可能性があります。 人間の感性とデータサイエンスを結び、AIを駆使して言葉や音楽のデータから感性を抽出、表現する手法を生み出そうとする、データサイエンス学部の中西崇文准教授の研究をご紹介します。

「感性」をキーワードに取り組む3つの研究

「データサイエンス」とは何か

－データで分かった「稼ぎの良いタクシー」の特徴－

突然ですが、みなさんに質問です。街中を走りながら乗客を探す「流し」のタクシーの運転手さんは、どんな乗客が多いと、売上がアップすると思いますか？ 1人でも多く乗せた方がいいでしょうか？　それとも、料金が高額になる長距離の乗客を乗せた方が効率的に売上を伸ばせるでしょうか？ 私は5年前、データサイエンスによって、この問いの答えを見つける研究を行いました。1カ月間、東京都内の「流し」の運転手さんを対象に、乗客を乗せた場所と降ろした場所の記録を取り、そのデータを分析して売上が上がる「コツ」を見つけ出す研究です。 タクシーを利用する時、私たちはなんとなく、近くまでだと申し訳なさを感じたり、長距離で支払いが高額になると「良いお客さん」になった気分を味わったりします。ところが、この研究の結果、イメージとは逆のことが分かりました。遠くへ行く乗客を乗せた運転手さんは売上が落ち、近距離の乗客をたくさん乗せた運転手さんの方が売上が良かったのです。

－従来の科学とデータサイエンスの違い－

これまでの科学は、人間が頭の中でルールや法則、いわゆる「モデル」を作ってきました。ですから、「オームの法則」「シュレーディンガー方程式」というように、有名な法則や公式には作った人の名前がついています。データは、そのモデルが正しいかどうかを検証するために使われてきました。 一方、データサイエンスは、タクシーの研究のように、まずデータがあり、統計や人工知能を使ってそのデータを分析し、モデルを作り出します。それが、これまでの科学と大きく異なる点です。つまり、データサイエンスは、これまで人間が想像していなかったような、新しいルールや事実を導き出す可能性を持っているのです。

言葉と感性―重要な言葉をAIで抽出

私の研究のキーワードは「感性」。特に、言葉や音楽に関係する3つの研究に取り組んでいます。
一つ目は、感性と言葉に関する研究です。人間が複雑なことを考え、複雑な感情を抱くことができるのは、言葉を持っているからです。大学時代、人間にとって非常に重要な「言葉」をベクトルに変換し、文脈や状況に応じて意味を動的に計算する「意味の数学モデル」に魅了され、このモデルを考案した筑波大学の北川高嗣教授、慶應義塾大学の清木康教授に師事しました。以来、なるべく人間の感性に近い形で音楽や画像を印象を表す言葉に変換する手法、言葉を用いて音楽、画像、人間の表情などをシームレスにつなぐ感性メディア変換などを研究してきました。
現在は、これまでの研究を背景に、テキストマイニングの新たな手法に関する研究を行っています。黒板メーカー大手の株式会社サカワとの共同研究で生まれた授業AIアシスタントの「Josyu」は、重要な言葉をAIがリアルタイムで判定するテキストマイニング方式を実現したものです。
Josyuは、教師が話す言葉を音声認識でテキスト化し、さらに、その中でも今重要なのはどの言葉なのかを判定して、黒板に表示させます。重要度は、前後の言葉との関係性を計算して導き出しています。こうしたシステムを利用すれば、教師の負担を減らすことができ、教わる学生の側にとってもより楽しい授業になるのではないかと期待しています。

言葉の意味や響きからAIが自動作曲

最近、データとAIなどの技術を活用して創造性を発揮する研究が盛んに行われています。私が岡田龍太郎助教、筑波大学の北川教授とともに取り組む、印象を表す言葉から曲を生成する自動作曲システムの研究も、その一つです。 このシステムは、入力された言葉の印象に合わせた曲をコンピュータが自動的に作るというものです。曲は、言葉の「意味」が持つ印象だけでなく、言葉の「音の響き」が持つ印象からも作ることができます。ですから、辞書的な意味を持たない言葉、たとえば人の名前を入力しても曲はできます。また、同じ言葉でも、入力するたびにできる曲は異なります。一つの言葉の印象から人間が作ることができる曲の数には、おそらく限りがありますが、このシステムには“ネタ切れ”がありません。 この研究の出発点は、大学時代に取り組んでいた、音楽や画像のデータの印象を表す言葉に変換する研究にあります。音楽の特徴を拾って言葉に変換できるのであれば、反対に、言葉の特徴から音楽を生成することもできるのではないか。そんな「逆」の発想から生まれた研究です。

感情の移り変わりを波として分析

現在最も着目している研究が、感性の時系列的変化「Kansei Transition」の研究です。 これまで私が取り組んできた感性に関する研究は、どれも、人間の“ある瞬間”の感情を切り取って扱っているものです。しかし人の感情は、1日の中でも、楽しかったり、落ち込んだり、緊張したり、さまざまに揺れ動きます。そこで、感情や思考の時系列的遷移を「波」としてとらえ、分析することができないか、という考えの下、研究を進めています。 感性の動きを波としてとらえることができると、音声分析などで従来から用いられてきた信号処理の手法を使って分析することが可能になります。波を比較して類似性を判断する方法も、信号処理の世界では長く研究されていますから、感性を波としてとらえることができれば、人間が「あの人とはなんだか波長が合うな」と感じる時と同じような感性の測り方が、データの世界でもできるようになってくるかもしれません。 現状のAIは、その瞬間の事象を分析したり、少し先の未来を予測したりすることに長けていますが、長期間の変遷の分析はまだ苦手分野です。今後は、ロングスパンでの変遷や壮大な歴史を分析できるようなアルゴリズムを作っていくことも大事なのではないかと考えています。

研究者としてのあゆみ

3歳で始めたピアノが研究の原点

データサイエンスの中でも、特に感性に関わる研究に惹かれたのは、幼い頃から音楽が身近だったことの影響が大きいと思います。 音楽との出合いは3歳の時。両親がピアノを習わせてくれたことがきっかけでした。研究に繋がる最初の転機は、高校時代に音楽とコンピュータが結びついたことでしょうか。当時は、ちょうどWindows 95が発売され、パソコンが一気に社会に広がった時期でした。初心者でもパソコンで音楽を作ることができるDTM（デスクトップミュージック）のパッケージが売り出され始め、それを使ってパソコンで曲を作る楽しさに、私もすっかりハマってしまったんです。 当時は、音符を数値で入力する「ステップ入力」がメインでしたが、それは言い換えると「楽譜を数値データで表現し、パソコン内で音楽として再現する」ということになります。音楽は、聞いていて楽しいとか、体が動いてしまうとか、感性に働きかけるものであり、さらに、楽譜というデータがあって分析がしやすい。つまり、さまざまな芸術の中でも、音楽は特に感性とデータが繋がりやすい分野なんです。もっとも、私がそのことに気付いたのは、かなり後になってからなのですが（笑）。

幸運だった二人の恩師との出会い

音楽の道に進むことを考えたこともありますが、大学では情報工学を学ぶことに決めました。これからの時代、コンピュータを使えば、音楽を作ること以外にも、もっといろいろなことができるだろうと興味を持ったからです。
大学で学ぶうちに、「感性」という切り口で研究を進めたいと考えるようになり、心理学の論文や書籍を数多く読んだり、同じ大学で心理学を専攻する学生と話したりして知識を深めていきました。そこで出会ったのが、北川教授、清木教授と「意味の数学モデル」です。この研究を知ってすぐに魅了され、お二人の下で研究することを即決しました。当時、先生方も感性の研究に特に力を入れていらっしゃったので、その時期に一緒に研究をさせていただいたことは、とてもハッピーだったと思っています。

仲間とのライブやセッションが楽しみ

ピアノと作曲は今も趣味で続けていて、仲間とライブに出演したり、女優の青木鞠子さんとの音楽ユニット「タイアップ」として活動したりもしています。コロナ禍の今は集まって演奏することができないのですが、動画編集でのセッションを楽しんでいます。 今は、音楽を作ろうと思うと、ほとんど全ての作業がパソコンだけでできてしまう時代です。音楽制作システムをユーザーとして使いながらも、新しい機能が追加されると「人間が話した言葉でも同じような処理ができないかな」と研究に結びつけて考えることもありますね。ただ、仕事でも趣味でもパソコンに向かいっぱなしになってしまわないよう、ピアノを弾いて自分で音楽を奏でる時間は大切にしています。

今後の展望

AIが出した結果の「根拠」を示したい

－AIの普及は、人を迷わせる－

ビッグデータとAIの本質は、その分析結果から最適な意思決定を行うことにあります。これからの時代、人間はAIに囲まれて生活することになるでしょう。一つの問題に対して、複数のAIが、別々のことを言い出すかもしれません。そうなれば、私たちはきっと、「最適な意思決定」をするまでに、今まで以上に迷ったり悩んだりするようになります。 AIは、分析結果は教えてくれますが、「どうしてその結果に至ったのか」を分かりやすく教えてはくれないのが現状です。しかし、意思決定をするためには、「これだ！」と思える根拠が欲しいとは思いませんか？　少なくとも私は、今のAIに対して「もうちょっと納得させてくれたらいいのにな」と思ってしまうのです。

－「Interpretable Smart Computing」を目指して－

人間はよく、直感で物事を決め、決めた理由を後付けで考えます。同じように、AIに求める根拠も、「後付け」でもいいと私は思っています。そして、その「後付けの根拠」を示すことに、これまでの研究が応用できるのではないかと思っています。
　たとえば、感性を「波」としてとらえる研究は、結果に至る流れの把握に役立つはずです。自動作曲システムは、音楽を言葉に変換する研究の「逆」を計算することで生まれました。AIが導き出した答えも、「逆」を計算できれば、理由を説明できる場合がありそうです。今後こうした研究を組み合わせて、「後付けの根拠」を示すアルゴリズム、名付けるなら「Interpretable（後解釈可能な） Smart Computing」を実現していきたいと考えています。

読者へのメッセージ

センサーの廉価化や高性能化によって、「コツ」や「勘」と呼ばれるものを含め、さまざまなデータを取得できるようになりました。データサイエンスと聞くと、AIと結びつけて「人間の仕事を奪う」というイメージを持つ人もいます。しかし、後継者不足に悩む産業で「職人の勘」や「匠の技」をデータとして残せば、後世まで多くの人が受け継ぎやすくなる、という見方をすることもできるでしょう。これまでデータとは縁遠かった分野でも、データサイエンスが貢献できる時代が来ているのです。 社会はこれから、何事もデータを根拠に判断する時代に向かいます。しかし、AIがデータ分析して導き出した結果は、絶対ではありません。たとえば、企業がビジネスで最適化を図ろうとしている時、AIが示した判断がブランドイメージと大きく異なっていたらどうなるでしょう？　AIの言う通りにして企業イメージが傷ついたのでは、意味がありませんよね。ですから、物事を判断する時には、データを根拠として持つだけでなく、他者の意見を聞いたり、話し合ったりする人間同士のコミュニケーションも必要であることに変わりはありません。むしろ、AIが身近になればなるほど、互いの意見を調整する「人間らしい力」がますます重要になるだろうと私は思っています。

取材日：2020年10月