AIで音楽は作らない!?音楽AIリサーチャーに聞く音楽×AIの現状と未来予想
cover
AIで音楽は作らない!?音楽AIリサーチャーに聞く音楽×AIの現状と未来予想
アンドエンジニア編集部
2021.01.17
この記事でわかること
音楽作りをAIがすべて行うことは考えづらく、音楽づくりのサポートが中心となる
音楽教育やそのサポートという点でAIが活躍する可能性がある
ストーリーも含めて音楽は消費されており、AI音楽はその点があまり強くない

皆さんはこのテレビCMをご覧になったことがあるでしょうか。 なければぜひ一度、バックグラウンドの音楽にも注目しながらご覧ください。

キオクシアの手塚治虫復活企画TEZUKA2020についてのテレビCM

TEZUKA2020という、手塚治虫さんの作品を学習したAIがプロットやキャラクターを生成し、それをもとに人間がマンガ作品として完成させる、というプロジェクトについてのCMです。

このテレビCMのバックグラウンドで流れている音楽、実はAIで作曲されたものなんです。

この音楽の作曲に関わったのが、音楽AIリサーチャーであり作曲家の斎藤喜寛さん

AIが音楽をつくる時代がもうすぐそこに来ているのか?AIと音楽の関係性は?

斎藤さんに「音楽×AI」の現状や未来について伺いました。

子供の頃から音楽マニアだった、斎藤さんのバックグラウンド

アンドエンジニア編集部

斎藤さんは、もともと大手レコード会社や、音楽制作会社でも音楽をつくっていたプロですよね。

斎藤喜寛さん

子供の時からかなりの音楽オタクで、音楽理論や音響工学の本などを毎日読みあさっていました。 そのくらい音楽が好きだったので、自然と音楽を仕事にしたんです。

斎藤喜寛さん

ヒット曲をつくるという分野では私のマニアックな知識は役に立ちづらかったんですが、AIと音楽を仕事にするようになって逆に役に立つようになりました。 人生は分からないものですね。

アンドエンジニア編集部

どういう形で役に立っているのでしょうか?

斎藤喜寛さん

一番役に立っているのは数学的な部分ですね。 AIは数式をプログラミングする面が強く、どうしてもプログラミングや数学的な素養の部分がハードルになりがちです。 幸い私はアルゴリズム音楽という領域を勉強している過程でプログラミングを学習していましたし、音楽理論を数学的な面からも学んでいたので、とても役に立ちました。

斎藤喜寛さん

音楽は数学とかなり関連していると言われているんです。 ドレミファソラシなどの音階などを始め、音楽は数学の面から解釈できることも多いんですよ。

音階の数学|じーくどらむす|note
音楽と数学については、古くからの音楽理論を含めて様々な考察がされている。
アンドエンジニア編集部

いま取り組まれている領域は斎藤さんにぴったりのものなんですね…!

AIは人間の良きパートナー?音楽作りにおけるAIと人間の関係性

音楽作りのサポートとしてのAI活用

斎藤喜寛さん

AIはとても高機能で、人間の感覚や知識をルール化してくれる、素晴らしいものです。 私は音楽に人生を懸けてきたので、音楽のルールを知りたいし、音楽に関わる新しいことにトライしたいという気持ちはあるんです。 ただ、AIを使って音楽を作りたいという気持ちは全然ないんですよ。

アンドエンジニア編集部

え!? AIの力でたくさんヒット曲をつくりたいんじゃないんですか?

斎藤喜寛さん

別にAIにやってもらう必要はないんです。 音楽を作っている人のほとんどは音楽作りが楽しくてやっていると思います。 自分が楽しいことを機械に代わりにやってもらう必要はありませんよね。

斎藤喜寛さん

フレーズづくりのサポートや引き出しを増やすうえで活用するのは面白いと思いますし、そのような事例は出てきています。 でも、全部をAIに任せたいという人はほとんどいないのではないでしょうか。

LANDR: Creative Tools for Musicians
マスタリングという一部の工程をAIでサポートするようなツールなどは生まれてきている。

音楽教育のサポートとしてのAI活用

斎藤喜寛さん

音楽に限らず、AIが実際に役立つのは、苦痛を取り除くこと・やりたくないことをやってもらうことだと思っています。 音楽作りは楽しい一方で、できるようになるまでは結構大変なので、まだ音楽を作れない人がAIのサポートを受けながらステップアップしていくのはとてもいいと思います。

アンドエンジニア編集部

たしかに、最初の方でつまずく人も多そうですもんね。

斎藤喜寛さん

私自身、AIによる自動作曲のサービスではなく、人が音楽を作れるようになる音楽教育のためのAI活用のサービスを提供しています。 「その人の代わり」ではなく「その人が自分でできるようになるため」にAIを活用したいんです。

斎藤喜寛さん

これまで独学でステップアップしていたような層が、AIによる作曲サポートを受けながら上達していくようになると思いますし、途中で挫折してしまう方が少なくなればいいなと考えています。

アンドエンジニア編集部

確かに、DTM(Desk Top Music)中心の作曲家も増えてきていますし、楽器のプロにならなくても、独学とAIのサポートが噛み合うことで一気にステップアップしていく人が出てくるかもしれませんね。

AIによる新しい音楽体験の可能性

斎藤喜寛さん

また、AIによって今までにない音楽が生まれる可能性はあると思っています。 例えば、外部のセンサーをうまく使って情報を取得できればそれに応じて変化する音楽などが作れると思いますし、そのような今までできなかった音楽や体験を作りたいですね。

斎藤喜寛さん

Microsoftとアーティストのビョークは、天候に応じて変化する音楽に取り組んでいます。 新しいアートとしても面白いですね。

アイスランドのアーティスト「ビョーク」とMicrosoftの共同プロジェクト。
斎藤喜寛さん

音楽療法のような文脈でも活躍の可能性があると思います。 心理状態や身体的な情報を取得して、それに適した音楽を活用することでより高い効果が見込めるかもしれません。

アンドエンジニア編集部

スマートスピーカーをはじめホームデバイスも普及していますし、可能性はありそうですね。

斎藤喜寛さん

ホームロボットや3Dホログラムなどがさらに普及すれば、家に帰ってロボットやキャラクターが自分のために、状況に適した音楽を歌ってくれたりするかもしれません。 音楽に関する体験をAIの力を使ってアップデートしていきたいですし、研究を続けていきたいですね。

3Dホログラムのキャラクターのサービスは世に出ており、このようなサービスが音楽と絡むと素晴らしい体験になるかもしれない

人間が大事にするのは音楽に含まれる”ストーリー”

斎藤喜寛さん

音楽とAIの話について、AIか人間か、0か100かというのはナンセンスな問いで、ちょうどいいところで収まると思います。

斎藤喜寛さん

AIでヒット曲を作ることは将来的には可能だと思いますが、AIによるクオリティの高い曲の量産が技術的に可能になっても、そのような曲がヒット曲のほとんどを占めることを人は望まないだろうし、そうならないでしょう。

アンドエンジニア編集部

なるほど。 確かに、それを望まない気はしますが、うまく言語化できません。 音楽を生業にされてきた斎藤さんから見て、人間が作ることの意味合いは何なのでしょうか?

斎藤喜寛さん

人は音楽を音の配列として聞くわけではなくて、ストーリーとして楽しむんです。 すべてを意識的にやるわけではないですが、音楽を通して、その人の考え、歌う理由や想い、その時代の流行や時代背景などを味わっていると思います。 理由やストーリー、メッセージがないものを人は理解できないし、感動できません。

斎藤喜寛さん

同じ曲をAIが作るより、その人がこういう思いを持ち、だからこんな曲を書いて歌っているんだ、というところに人は心を打たれます。 このような点が、人間が音楽を作ることの意味合いだと思います。

AIだけで完成したわけではなく人の手が入っているが、AI作曲は少しずつ進んでいる。これに人が感動すること時代もくるのか。

AIによる楽曲と合うコンテンツは?

アンドエンジニア編集部

一方で最近だと、ボーカロイドのような、人間じゃない存在が歌うコンテンツもヒットしていませんか? 「機械みたいなものも受け入れられるのではないか?」という問いに対して斎藤さんはどう思われますか。

斎藤喜寛さん

そこについても、機械が歌う理由・ストーリーがあるものがヒットしていると感じています。 動画などでストーリーを付けたり、人間では歌えないような曲を歌ったり、機械的な音声だからこその味わいがある曲を歌ったり。

アンドエンジニア編集部

たしかに。

ボーカロイドの曲の中には、人間には到底歌えないような曲や機械的な曲も多く、ヒットもしている。
斎藤喜寛さん

ボーカロイドやVTuberなどのバーチャルキャラクターは、インターネットや機械のバックグラウンド・ストーリーを持っているので、AIによる楽曲と相性がよいのではないかと感じています。

斎藤喜寛さん

AIを使った音楽って、ワンクリックで機械からいい曲が出てくる、というイメージを持たれてしまいがちです。 読者のエンジニアの方は、むしろAIで作る方が準備や開発も大変だと分かってもらえると思うんですが、エンジニアでない方はそうは思いません。 そこに説得力を持たせるには、キャラクターのストーリーと音楽が結び付いていることが特に重要なんです。

アンドエンジニア編集部

たしかに、プロのミュージシャンとバーチャルキャラクターだと、AI楽曲を使ったときの納得感は全然違って感じますね。

AI音楽に使われている技術

アンドエンジニア編集部

そもそもAI音楽生成にはどのような技術が使われているんでしょうか?

斎藤喜寛さん

まず、教師あり学習ではなくて教師なし学習になります。 一番使われるのは、自然言語処理を応用したニューラルネットワークモデルで、RNN(Recurrent Neural Network、回帰型ニューラルネットワーク)やそれを発展させたLSTM(Long Short-Term Memory)ですね。 あるデータを基に次の音を予測していって、それをフレーズとしてつなげていく感じです。

斎藤喜寛さん

例えば言語を例に取ると分かりやすいですが、「わたし」の場合、「わ」の次は「た」だけではありません。他の文字「ち」も「つ」もいろいろあります。 毎回毎回1文字だけで考慮すると文章としてつながりのある文字を予測する事はできません。 音楽においても、次の選択肢だけを考慮して音をつないでいぐと音痴なメロディーになってしまいます

斎藤喜寛さん

そのため、ある程度の長さを固まりとして、シーケンスデータ・時系列データとして取り扱えるように学習させて生成するのがRNNやLSTMの特徴で、その特徴を活用しています。 ある程度の長さの時間の整合性をもって、連続した分類・選択をしていくんです。

アンドエンジニア編集部

自然言語処理を応用したものを使っているのは意外でした。 でも言われてみるとたしかに相性がよさそうですね。

斎藤喜寛さん

AI音楽の課題としては、長い曲をつくる能力が足りないんです。 そのため、1小節や2小節はとても精度の高い音楽が生成できますが、日本人が聴くような、Aメロから始まってBメロ、サビというような、数十小節以上になってくると、だんだん破綻してしまうのがいまだに課題です。

斎藤喜寛さん

最近はより長いシーケンスデータを取り扱えるTransfomerというものも使用されていて、これまで以上に音楽的な生成も可能になってきました。 今後もTransformerの進化、またはさらに高性能なアルゴリズムが登場する事も期待されます。

アンドエンジニア編集部

独学してみたい、ちょっと触ってみたい、という方にはどういうことから入るのがオススメですか?

斎藤喜寛さん

AI作曲を触ってみたいのであれば、Googleの機械学習音楽ライブラリであるMagentaがオススメです。 Pythonを使う必要がありますが、必要なレベルはそんなに高くありませんし、実践してみるにはちょうどいいと思いますね。

Magenta

AIがつくった音楽を人間が演奏すると…?

アンドエンジニア編集部

最後に、斎藤さんが関わったキオクシアのCMの音楽について教えてください。 編集部のあるメンバーがCMの音楽を聴いて耳に残り、よく調べると斎藤さんがAIで作曲したと分かり驚いたんです。

このCMのBGMが斎藤さんがAIで作った曲。
斎藤喜寛さん

まず最初にCMの監督たちと音楽ジャンルを相談し、CMの内容も踏まえて70年代くらいのロックテイストな曲をつくることになりました。 ロックで何がいいか考えた時に、AIは和音を生成するのがまだ得意ではないので、単音のものの方がよいと提案しました。

斎藤喜寛さん

一般的な長さの曲をつくるには数万曲のデータが必要ですが、今回は短いフレーズで、ギターのリフだけでよかったので、70年代のロックで和音を多く使わない曲を100曲ほど集めて学習させ、生成したフレーズをギタリストの人に弾いてもらったんです。

アンドエンジニア編集部

AIがフレーズを生成し、それを人間のミュージシャンが演奏したんですね。

斎藤喜寛さん

ギタリストの方は最初は「AIのフレーズだからか弾きづらいね」と言っていて、アレンジも加えつつ試行錯誤して弾いていたんです。 そのうちに「後半あのアーティストの感じを出してみようか」と言ってアドリブを加えていき、ドラマーの方もノリノリで対応してくれてあのフレーズになりました。

斎藤喜寛さん

前半はほぼAIのフレーズのままだったんですが、転調後の後半はかなりアドリブが入っていて、AIの作ったフレーズに人間が手を加えた形になりました。

アンドエンジニア編集部

全部AIが作ったそのままではなかったんですね。

斎藤喜寛さん

AIにやらされている感に対してストレスが溜まっていたのが、どんどんと解放されていく過程がとても面白かったんです。 AIに作られたものをベースに取り組む中で、人間のクリエティビティがだんだん解放されていき、最終的にAIがつくったものを越える作品が出来上がるのを目の当たりにしました。

斎藤喜寛さん

音楽は対比がとても重要で、記憶の前の状態から後の状態への変化が刺激的であればあるほど面白く感じられるんです。 結果としてとてもいいフレーズが出来上がりましたね。

アンドエンジニア編集部

この取り組み自体が、AI・音楽・人間の関係性としてとても面白い事例だったんですね。 とても興味深いお話、ありがとうございました!

斎藤さんは、AI作曲等を学べる音楽TECHアカデミーの「CANPLAY」を運営しています。

canplayについて

また、noteでもAIと音楽についてのリサーチや見解を発信しています。

斎藤喜寛 MUSIC AI RESEARCHER & GUITARIST|note

気になった方はそれぞれぜひご覧ください。

ライター

アンドエンジニア編集部
「エンジニアのこと、エンジニアから。」エンジニア向けの情報をエンジニアの視点から届ける、エンジニアのエンジニアによるエンジニアのためのWebメディアです。
アンドエンジニア編集部の記事一覧を見る
Twitterをフォローしよう!
この記事をシェア
Twitter
Facebook
LINE
Hatena
アンドエンジニアの公式LINEができました! ピッタリの記事や役立つ情報が届きます!

編集部オススメコンテンツ

Sponsored
現場社員のリアルな声を「生配信」にてお届けいたします!
Sky株式会社
Sponsored
この記事をシェア
Twitter
Facebook
LINE
Hatena
アンドエンジニアの公式LINEができました! ピッタリの記事や役立つ情報が届きます!

編集部おすすめコンテンツ

Sponsored
現場社員のリアルな声を「生配信」にてお届けいたします!
Sky株式会社
Sponsored