AIで音楽は作らない!?音楽AIリサーチャーに聞く音楽×AIの現状と未来予想
皆さんはこのテレビCMをご覧になったことがあるでしょうか。 なければぜひ一度、バックグラウンドの音楽にも注目しながらご覧ください。
TEZUKA2020という、手塚治虫さんの作品を学習したAIがプロットやキャラクターを生成し、それをもとに人間がマンガ作品として完成させる、というプロジェクトについてのCMです。
このテレビCMのバックグラウンドで流れている音楽、実はAIで作曲されたものなんです。
この音楽の作曲に関わったのが、音楽AIリサーチャーであり作曲家の斎藤喜寛さん。
AIが音楽をつくる時代がもうすぐそこに来ているのか?AIと音楽の関係性は?
斎藤さんに「音楽×AI」の現状や未来について伺いました。
子供の頃から音楽マニアだった、斎藤さんのバックグラウンド
斎藤さんは、もともと大手レコード会社や、音楽制作会社でも音楽をつくっていたプロですよね。
子供の時からかなりの音楽オタクで、音楽理論や音響工学の本などを毎日読みあさっていました。 そのくらい音楽が好きだったので、自然と音楽を仕事にしたんです。
ヒット曲をつくるという分野では私のマニアックな知識は役に立ちづらかったんですが、AIと音楽を仕事にするようになって逆に役に立つようになりました。 人生は分からないものですね。
どういう形で役に立っているのでしょうか?
一番役に立っているのは数学的な部分ですね。 AIは数式をプログラミングする面が強く、どうしてもプログラミングや数学的な素養の部分がハードルになりがちです。 幸い私はアルゴリズム音楽という領域を勉強している過程でプログラミングを学習していましたし、音楽理論を数学的な面からも学んでいたので、とても役に立ちました。
音楽は数学とかなり関連していると言われているんです。 ドレミファソラシなどの音階などを始め、音楽は数学の面から解釈できることも多いんですよ。
いま取り組まれている領域は斎藤さんにぴったりのものなんですね…!
AIは人間の良きパートナー?音楽作りにおけるAIと人間の関係性
音楽作りのサポートとしてのAI活用
AIはとても高機能で、人間の感覚や知識をルール化してくれる、素晴らしいものです。 私は音楽に人生を懸けてきたので、音楽のルールを知りたいし、音楽に関わる新しいことにトライしたいという気持ちはあるんです。 ただ、AIを使って音楽を作りたいという気持ちは全然ないんですよ。
え!? AIの力でたくさんヒット曲をつくりたいんじゃないんですか?
別にAIにやってもらう必要はないんです。 音楽を作っている人のほとんどは音楽作りが楽しくてやっていると思います。 自分が楽しいことを機械に代わりにやってもらう必要はありませんよね。
フレーズづくりのサポートや引き出しを増やすうえで活用するのは面白いと思いますし、そのような事例は出てきています。 でも、全部をAIに任せたいという人はほとんどいないのではないでしょうか。
音楽教育のサポートとしてのAI活用
音楽に限らず、AIが実際に役立つのは、苦痛を取り除くこと・やりたくないことをやってもらうことだと思っています。 音楽作りは楽しい一方で、できるようになるまでは結構大変なので、まだ音楽を作れない人がAIのサポートを受けながらステップアップしていくのはとてもいいと思います。
たしかに、最初の方でつまずく人も多そうですもんね。
私自身、AIによる自動作曲のサービスではなく、人が音楽を作れるようになる音楽教育のためのAI活用のサービスを提供しています。 「その人の代わり」ではなく「その人が自分でできるようになるため」にAIを活用したいんです。
これまで独学でステップアップしていたような層が、AIによる作曲サポートを受けながら上達していくようになると思いますし、途中で挫折してしまう方が少なくなればいいなと考えています。
確かに、DTM(Desk Top Music)中心の作曲家も増えてきていますし、楽器のプロにならなくても、独学とAIのサポートが噛み合うことで一気にステップアップしていく人が出てくるかもしれませんね。
AIによる新しい音楽体験の可能性
また、AIによって今までにない音楽が生まれる可能性はあると思っています。 例えば、外部のセンサーをうまく使って情報を取得できればそれに応じて変化する音楽などが作れると思いますし、そのような今までできなかった音楽や体験を作りたいですね。
Microsoftとアーティストのビョークは、天候に応じて変化する音楽に取り組んでいます。 新しいアートとしても面白いですね。
音楽療法のような文脈でも活躍の可能性があると思います。 心理状態や身体的な情報を取得して、それに適した音楽を活用することでより高い効果が見込めるかもしれません。
スマートスピーカーをはじめホームデバイスも普及していますし、可能性はありそうですね。
ホームロボットや3Dホログラムなどがさらに普及すれば、家に帰ってロボットやキャラクターが自分のために、状況に適した音楽を歌ってくれたりするかもしれません。 音楽に関する体験をAIの力を使ってアップデートしていきたいですし、研究を続けていきたいですね。
人間が大事にするのは音楽に含まれる”ストーリー”
音楽とAIの話について、AIか人間か、0か100かというのはナンセンスな問いで、ちょうどいいところで収まると思います。
AIでヒット曲を作ることは将来的には可能だと思いますが、AIによるクオリティの高い曲の量産が技術的に可能になっても、そのような曲がヒット曲のほとんどを占めることを人は望まないだろうし、そうならないでしょう。
なるほど。 確かに、それを望まない気はしますが、うまく言語化できません。 音楽を生業にされてきた斎藤さんから見て、人間が作ることの意味合いは何なのでしょうか?
人は音楽を音の配列として聞くわけではなくて、ストーリーとして楽しむんです。 すべてを意識的にやるわけではないですが、音楽を通して、その人の考え、歌う理由や想い、その時代の流行や時代背景などを味わっていると思います。 理由やストーリー、メッセージがないものを人は理解できないし、感動できません。
同じ曲をAIが作るより、その人がこういう思いを持ち、だからこんな曲を書いて歌っているんだ、というところに人は心を打たれます。 このような点が、人間が音楽を作ることの意味合いだと思います。
AIによる楽曲と合うコンテンツは?
一方で最近だと、ボーカロイドのような、人間じゃない存在が歌うコンテンツもヒットしていませんか? 「機械みたいなものも受け入れられるのではないか?」という問いに対して斎藤さんはどう思われますか。
そこについても、機械が歌う理由・ストーリーがあるものがヒットしていると感じています。 動画などでストーリーを付けたり、人間では歌えないような曲を歌ったり、機械的な音声だからこその味わいがある曲を歌ったり。
たしかに。
ボーカロイドやVTuberなどのバーチャルキャラクターは、インターネットや機械のバックグラウンド・ストーリーを持っているので、AIによる楽曲と相性がよいのではないかと感じています。
AIを使った音楽って、ワンクリックで機械からいい曲が出てくる、というイメージを持たれてしまいがちです。 読者のエンジニアの方は、むしろAIで作る方が準備や開発も大変だと分かってもらえると思うんですが、エンジニアでない方はそうは思いません。 そこに説得力を持たせるには、キャラクターのストーリーと音楽が結び付いていることが特に重要なんです。
たしかに、プロのミュージシャンとバーチャルキャラクターだと、AI楽曲を使ったときの納得感は全然違って感じますね。
AI音楽に使われている技術
そもそもAI音楽生成にはどのような技術が使われているんでしょうか?
まず、教師あり学習ではなくて教師なし学習になります。 一番使われるのは、自然言語処理を応用したニューラルネットワークモデルで、RNN(Recurrent Neural Network、回帰型ニューラルネットワーク)やそれを発展させたLSTM(Long Short-Term Memory)ですね。 あるデータを基に次の音を予測していって、それをフレーズとしてつなげていく感じです。
例えば言語を例に取ると分かりやすいですが、「わたし」の場合、「わ」の次は「た」だけではありません。他の文字「ち」も「つ」もいろいろあります。 毎回毎回1文字だけで考慮すると文章としてつながりのある文字を予測する事はできません。 音楽においても、次の選択肢だけを考慮して音をつないでいぐと音痴なメロディーになってしまいます。
そのため、ある程度の長さを固まりとして、シーケンスデータ・時系列データとして取り扱えるように学習させて生成するのがRNNやLSTMの特徴で、その特徴を活用しています。 ある程度の長さの時間の整合性をもって、連続した分類・選択をしていくんです。
自然言語処理を応用したものを使っているのは意外でした。 でも言われてみるとたしかに相性がよさそうですね。
AI音楽の課題としては、長い曲をつくる能力が足りないんです。 そのため、1小節や2小節はとても精度の高い音楽が生成できますが、日本人が聴くような、Aメロから始まってBメロ、サビというような、数十小節以上になってくると、だんだん破綻してしまうのがいまだに課題です。
最近はより長いシーケンスデータを取り扱えるTransfomerというものも使用されていて、これまで以上に音楽的な生成も可能になってきました。 今後もTransformerの進化、またはさらに高性能なアルゴリズムが登場する事も期待されます。
独学してみたい、ちょっと触ってみたい、という方にはどういうことから入るのがオススメですか?
AI作曲を触ってみたいのであれば、Googleの機械学習音楽ライブラリであるMagentaがオススメです。 Pythonを使う必要がありますが、必要なレベルはそんなに高くありませんし、実践してみるにはちょうどいいと思いますね。
AIがつくった音楽を人間が演奏すると…?
最後に、斎藤さんが関わったキオクシアのCMの音楽について教えてください。 編集部のあるメンバーがCMの音楽を聴いて耳に残り、よく調べると斎藤さんがAIで作曲したと分かり驚いたんです。
まず最初にCMの監督たちと音楽ジャンルを相談し、CMの内容も踏まえて70年代くらいのロックテイストな曲をつくることになりました。 ロックで何がいいか考えた時に、AIは和音を生成するのがまだ得意ではないので、単音のものの方がよいと提案しました。
一般的な長さの曲をつくるには数万曲のデータが必要ですが、今回は短いフレーズで、ギターのリフだけでよかったので、70年代のロックで和音を多く使わない曲を100曲ほど集めて学習させ、生成したフレーズをギタリストの人に弾いてもらったんです。
AIがフレーズを生成し、それを人間のミュージシャンが演奏したんですね。
ギタリストの方は最初は「AIのフレーズだからか弾きづらいね」と言っていて、アレンジも加えつつ試行錯誤して弾いていたんです。 そのうちに「後半あのアーティストの感じを出してみようか」と言ってアドリブを加えていき、ドラマーの方もノリノリで対応してくれてあのフレーズになりました。
前半はほぼAIのフレーズのままだったんですが、転調後の後半はかなりアドリブが入っていて、AIの作ったフレーズに人間が手を加えた形になりました。
全部AIが作ったそのままではなかったんですね。
AIにやらされている感に対してストレスが溜まっていたのが、どんどんと解放されていく過程がとても面白かったんです。 AIに作られたものをベースに取り組む中で、人間のクリエティビティがだんだん解放されていき、最終的にAIがつくったものを越える作品が出来上がるのを目の当たりにしました。
音楽は対比がとても重要で、記憶の前の状態から後の状態への変化が刺激的であればあるほど面白く感じられるんです。 結果としてとてもいいフレーズが出来上がりましたね。
この取り組み自体が、AI・音楽・人間の関係性としてとても面白い事例だったんですね。 とても興味深いお話、ありがとうございました!
斎藤さんは、AI作曲等を学べる音楽TECHアカデミーの「CANPLAY」を運営しています。
また、noteでもAIと音楽についてのリサーチや見解を発信しています。
気になった方はそれぞれぜひご覧ください。
ライター
編集部オススメコンテンツ
アンドエンジニアへの取材依頼、情報提供などはこちらから