JSTのACT-Xに採択された修士2年の三田有輝也さん。独創的・挑戦的なアイデアを持つ若手研究者を支援するプログラムで、どんなことに挑戦し取り組んでいきたいかお聞きしました！
ACT-Xとは…
JST(国立研究開発法人科学技術振興機構）が実施する「戦略的創造研究推進事業」のひとつ。優れた若手研究者を発掘し育成することを目的に、新しい価値の創造を目指した研究を行うことを支援。研究総括や領域アドバイザーによる指導と、異分野研究者とのネットワーク形成機会が特徴。
ーまず、三田さんの専門分野と取り組まれている研究について教えてください。
私が主に専門としているのは、屋内音響測位という分野です。これは、GPSの屋内版のようなもので、スピーカーから音を出し、それをスマートフォンなどで受信して、その音の特徴を分析することで、自分が屋内のどこにいるかを計算するという研究です。
ーこの分野に興味を持たれたきっかけは何だったのでしょう？
元々、メンターの方々から様々な研究テーマを聞く中で、屋内音響測位の研究に一番興味を持ちました。最初はスピーカーとの距離を算出する測距がメインでしたが、屋内の複雑な反射を活用すれば、単一のスピーカからでも2次元座標を特定できるのではないか、と考えていくうちにより興味が広がっていきました。
ー今回ACT-Xで採択されたテーマは「演奏者の表現意図と楽曲構造の相解を実現する対話型AIシステム」ですが、専門分野から一歩進んだ新しい挑戦だと伺っています。
小さい時からピアノを続けていて、音楽が私にとって趣味でありライフワークとなっています。これを研究とうまく結びつけられないかと思ったのがきっかけで、今回の研究に挑戦してみようと思いました。
ACT-Xへの挑戦！「共演感」のあるAI伴奏システムとは
ー具体的にどのような研究か教えていただけますか？
自分が演奏をした時に、それに追従してくれるような伴奏システムを作りたい、と思っています。これは、個人的に欲しいと感じていたシステムでもあります。
ピアノの協奏曲などを練習している時、共演者の音(オーケストラや伴奏者など)をリアルタイムで聞きながら、自分のパートを合わせる機会がなかなか用意できないという課題があります。相手の音を聞いて演奏する体験と、自分一人で演奏する体験では全く異なるため、本番に即した練習が難しいと感じていました。自分の演奏に合わせて伴奏をつけてくれ、それを聞いて調整できるような練習がしたかったんです。既存のシステムはありますが、私のゴールは、より「共演感があるもの」を作りたいという点にあります。
ー共演感を高めるために、AIにどのような要素を取り込むのでしょうか？
重要なのは、単に楽譜通りに演奏するのではなく、演奏者のニュアンスを反映させることです。演奏者自身が楽譜をどう解釈しているか、どういう音を鳴らしたいか、そして実際にどういう音が鳴っているかという情報を、伴奏のエッセンスとしてAIに加えたいと考えています。
楽譜の記号、例えば「ドルチェ（甘く）」や「リゾルート（決意を持って）」などは、人によって表現の仕方が異なります。AIに演奏者がリアルタイムでどのような音を出したかという情報から、そのニュアンスをうまく抽出させたいです。
ーなぜ、ニュアンスに注目したのですか？
そもそも、私は音色に強い興味を持っています。いろいろな演奏家のコンサートに足を運ぶ中で、同じホール、同じピアノであっても、人によって音が全然違うということを常に感じていました。その違いを音響の側面から読み解く仕組みが欲しいと、ずっと考えていたのが、この研究のインスピレーションとなりました。
ーこの新しいテーマでACT-Xに挑戦したきっかけは何ですか？
普段の専門分野（屋内音響測位）とは切り口が異なるため、一人で進めようとしてもなかなか相談できる場所がありませんでした。ACT-Xは、同じ領域の人たちのコミュニティがあり、昨年も音楽関係で採択された方がいたと聞き、議論しやすい場がありそうだと感じました。
ACT-Xは、自分の興味があることの応用に近い研究や、挑戦的なテーマを比較的受け入れてもらえる場所だと感じています。
ー今後の研究の進め方について、特に取り組みたいことを教えてください。
このテーマは10月から始まったばかりで、正直なところ、今はとても悩んでいる段階です。
まず、取り組みたいのは、演奏家の意図と、結果として生じた音の結びつけ（マッピング）です。様々な演奏家にご協力いただきデータ収集を進めれば、このマッピングは実現できるかもしれません。
さらに、演奏が聞き手にどういう印象を与えたかという、聞き手側のフィードバックを行いたいです。演奏者側が出そうとした音色と、聞き手が受け取る音色が一致しているのか、あるいは全く違う受け取り方をされるのか、分析してみることから始めたいと考えています。
研究の原動力ー。ピアノで培った感性と試行錯誤の面白さ
ー三田さんはピアノを長く続けていらっしゃるのですね。
はい、約18年、6歳から弾いています。大学に入ってからは細々とですが、夏までは1日3時間ほど練習していました。リラックスするときに弾くこともあります。飽き性なので、ピアノばかりやっていると他のことをやりたくなり、結果的に研究とのバランスがうまく取れているのかもしれません。
音楽もよく聞きます。作業中はオーケストラなどが多いですね。最近は「ずっと真夜中でいいのに。」が気に入っています。J-POPですが、音楽仲間からも人気があり、クラシック音楽に繋がるリズムや音のニュアンスがあるのかもと思っています。
ー音楽の道と研究の道で迷われた時期もあったのでしょうか？
高校生の頃、迷った時期もありました。音楽の場合、プロの演奏家になるか、指導者になることが多いのですが、演奏会で緊張することがあるのと、私のピアノのスタイルは感覚派で、基礎論よりも聞こえたままをいいなと思ったように弾くタイプでした。色々考えた結果、学問の道に注力し、ピアノは人生をかけた趣味として付き合っていきたいと思い、今の進路を選びました。
屋内音響測位の研究においても、壁や天井の反射を使うため、室内音響とは密接に関わりがあります。今回、音楽の領域に関する研究もスタートできたので、ピアノで培った音響への理解や感覚的な部分を研究へ活かしていければと思います。
ー研究を進める上での楽しさは何ですか？
個人的に作業を苦に思わないタイプなので、黙々とデータ収集をしているときに、手を動かしている幸せを感じます。また、自分の仮説通りの結果が出たときは最高です。基本的にうまくいかないのがデフォルトだと思っています。何十回、何百回と試行錯誤する中で、ここをこうしたらうまくいくんじゃないかという解決の糸口を抽出していくのが、大変でもあり、面白いところです。
日常の「喜び」を創造する研究を：社会実装と今後の展望
ーこのAI伴奏の研究が、社会にどのように実装されることを思い描いていますか？
最も大きなポイントは、システムとして出来上がり、家庭で手軽に合奏を楽しめるようになることです。音楽はどうしても一人で演奏することが多く、ある種の孤独な趣味かもしれませんが、このシステムを通じて、手軽に合奏の楽しさを享受できる未来になれば嬉しいです。最終的には、自分にパーソナライズされた伴奏を誰もが体験できる製品やアプリを作りたいですね。
ー屋内音響測位技術は、どのように活かしていきたいですか？
屋内音響測位は需要が高い分野だと予測されます。例えば、商業施設内で自分の位置が分かり、目的の店までナビゲーションしてくれるといった利便性、あるいは飲食店などで自分が座っている席の位置を特定し、サービスに役立てるなど、応用先は多岐にわたります。また、BGMを活用して位置特定ができるようになれば、システム導入の敷居が低くなると考えています。
ー音楽のAI研究も、屋内音響測位の研究も、人々の日常生活や喜びに直結する可能性を秘めていますね。今後の研究者としての目標や展望についてお聞かせください。
修士課程を終えた後も、研究を続けたいと思っています。まずは、ACT-Xに採択いただいた研究に全力で取り組みます。研究を製品やサービスに落とし込み、実用化できることを目標にこの新しい挑戦を突き詰めていきたいです。