オンライン演劇「むこうのくに」を支える技術 ~ハードウェア編~

はい。ロボットアームとカメラスライダー、照明を導入しました。 ロボットアームは演者さんが手元で操作し、カメラスライダーや照明は遠隔から操作していました。

クリエイティブディレクターのスズケンのツイートがきっかけで僕ときゅんくんが集まりました。 他にロボットとソフトウェア開発に強いメンバーもいてほしいと思い、義丸さんにもお声がけしけたんです。

ぎふけんがプロジェクトマネジメント（PM）とプロトタイプ制作、私がハードウェアの開発や設営、義丸さんがソフトウェアの開発という役割分担でした。

初回のミーティングでは具体的にどういう映像を撮るかも決まっておらず、ざっくりロボットアームを使えないかという相談でした。 なので、とりあえずその次のミーティングまでに手元のロボットアームで実験をして、どんな映像が撮れるのかをまとめていきました。

ロボットアームは動作によって振動があるので、映像にどの程度の影響があるのか確認していたんです。 手ぶれ補正である程度打ち消せることが分かり、このロボットアームとGoProは使えると判断しました。

振動が映像に影響が出ないことが最重要の要件で、あとは、長時間使っても落ちないか、故障時のバックアップが可能か、すぐに開発に着手できるかなどの要件も検討して、市販品のArduino Braccioを選定しました。

はい。ロボットアームがある程度目処がたったときに、演出側から「カメラスライダーって動かせますか？」と聞かれて、「多分できます！」と、同時並行で検証を進めていきました。

調べてみると、カメラスライダーってカメラマンが現場で手動やリモコン操作するものばかりで、遠隔で操作するものじゃないんです（笑）。 「会わない」という制約で頭を悩ませていたら、赤外線リモコンで動くカメラスライダーなら、スマートホームデバイスと紐付けて遠隔操作できるというハックを思いつき、SwitchBot ハブミニという赤外線リモコンを管理・操作できるシステムを使って実現しました。

遠隔操作なので、タイムラグがどの程度発生するかをメインに検証していきました。 「親御さんがその場で動かしているに違いない」というコメントもあり、お客さんの想像を越えられて嬉しかったです（笑）。

赤外線リモコンのハックができるのであれば、他にも遠隔で動かせるものがあるのではないかと考えて、いろいろトライしながら、最終的には遠隔で操作する照明Hueも追加しました。

とにかく演者さんにとって分かりやすくすることですね。

ロボットアームは劇中に演者さんに手元で操作してもらったのですが、操作が分かりづらいと、演技に集中できなくなったり操作ミスにつながったりします。 直感的に分かるよう、ボタンの数を少なくして色分けし、それぞれの動きを分かりやすくしました。

裏話をすると、このボタンになるまでにも紆余曲折があったんです。 最初はロボットアームを複雑に動かすことを想定して、動きを決めてその通りに動くティーチングの機能を使おうとしていました。

その後、演出側の撮りたい映像が固まってくると、もっと単純な動きで十分と分かり、コードに数値を直接入れて制御することになったんです。 最終的に4種類のボタンのシンプルなUIになりましたが、当初は6種類の動きの登録と再生で12個のボタンがありだいぶ複雑でしたね（笑）。

また、完全にリモートなので、故障した際を想定して万全の準備をしておく必要があります。 緊急時は演者さんに対応してもらわないといけないので、できる限り迷わず簡単に作業できるようにしました。

例えば、接続で迷わないように、ケーブルと差込口に分かりやすく色をつけたり。

ロボットアームに接続するケーブルを生やしておき、プログラムを送って書き込むことになっても中を開かなくて済むようにしたり。

エンジニア同士ではなく、演者さんとのコミュニケーションですし、相手の視点に立ってとにかく分かりやすくすることはとても重要ですね。 特に問題は起きませんでしたが、これだけ先回りしていたことで技術チームも演者も安心して本番に挑めたと思います。

演者さんの部屋、特に主人公を演じる竹田さんの部屋は大量の機器がある状態でした。 各種ツールの使い方はZoomで共有すると同時にマニュアルをしっかり作り込みました。

動作確認用のマニュアルを作り、毎公演ごとに参照しながら、技術チームと演者さんでチェックしていました。 本番にもしトラブルがあったときにも、マニュアルを見てトラブルシューティングできるようにしていました。

リモートで物を配送しての設営と、現地で会わないように時間をずらしての設営をしました。 設営を効率よく進めるためにも、設営前に演者さんとZoomをつないでルームツアーをしてもらいました。 部屋の構造、部屋のサイズ、コンセント位置等を確認し、メジャーで正確に計測してもらい、それを踏まえてどこに何を置くのか、どうケーブルを引くのかなどを決めていきました。

他にも、刑事役を演じるイトウさんの部屋は、設営に行けなかったので、ご自身に設営をしてもらいました。 そこで、撮影監督の林さんがCG上の部屋で画角を確認できるCine Tracerという映画制作シミュレーターゲームを活用して、イトウさんの部屋を3D空間にしてくれて。

このおかげで、ロケハンの代わりに「会わずに」どこにどの機材を置くかなどを分かりやすく共有することができました。

部品の詳細や組み立て方、完成した写真などを入れた設営用のマニュアルも作成しました。 それに沿ってオンラインでつなぎながら一緒に設営を進めていきました。

通し練習を観ながらロボットアームの使い所とカメラワークの案を考え、脚本・演出サイドに打診していました。 OKが出たものから、その次の通し練習で実際に動かしてみて、微調整しながらオペレーションを詰めていきました。

今作では、ヘルベチカというオンライン空間で話が展開するシーンと、現実世界で話が展開するシーンが大きく分かれています。 カメラワークを入れるとどうしても生々しさが出てしまうので、必然的に現実世界のシーンに限られ、その中で効果的な演出を考えていきました。

演出以外だと、主人公がハッカーの設定なので美術にはかなり口出ししましたね（笑）。 使うキーボードは無刻印のHHKB、椅子はアーロンチェア、マウスはトラックボールにしてもらって。 ブラインドタッチを教えたりもしていました。

今作では、劇団ノーミーツ全体で「Zoomを超える」という目標がありました。 オンライン演劇にはZoomをつなぐだけの演劇以上の可能性があることを示したく、その手段の一つがカメラワークでしたし、お客さんのオンライン演劇への期待値を超えられたと思っています。

データは送るけど物は送らないのが一番重要だと思います。 3Dプリンターやロボットアームといった開発環境を同じものに揃え、物は送らなくても大丈夫な体制を整えました。

例えば、ロボットアームの先端に装着するGoPro用のアタッチメントを3Dプリンターで作成したのですが、これは岐阜県にいるぎふけんがモデリングしたデータを東京の私に送り、プリントしました。

ロボットアームはそれぞれ手元にある状態にしていたので、義丸さんが書いたコードをローカルに落として、手元で動きを確認し、みんなで意見や方針を出し合っていました。

あとは、これはリモートに関わらずかもしれないですが、とにかく可視化して共通認識を持つのは大事だと思います。 ロボットアームを動かした動画の共有をしていましたし、全体像をつかめるようイラストを描いたりしました。

特に動きや画角などに関しては、映像など可視化して共有しないと伝わらない部分もあるので、リモート開発ではマストだと思いますね。

本番が近づくにつれて、ミーティングが急に決まったり、その重要度が分からなかったりで、ずっと気が休まらないみたいな状態になってしまって。

直前のバタバタは演劇あるあるですよね。 演劇関係者は結構慣れてると思うのですが、オンライン演劇のような新しい取り組みだと演劇未経験の方も増えてきますし、必ずしもよしとできるものではないですよね。

技術仕様が決まるまで時間がかかったことも反省です。 脚本・演出、稽古、UIデザイン、ハードウェア開発も全部が同時進行だったので、通し練習ではじめて全体像が見えてクリアになりましたし、ブレークスルーもありました。 同時進行は避けられないなかで、それを見越したプロジェクトの進め方が必要になりますね。

演劇における開発の面白いところであり難しいところだと感じました。 全体を統括する脚本・演出側が、開発要件が変わる可能性も見越しつつ、開発側のリソース・工数を把握しながらフィードバックして、足並みを揃えることが重要ですね。

善意に甘える形ではなく、工数計算やプロジェクトの進め方などもクリアにしていきたいですよね。 劇団ノーミーツがオンライン演劇のトップランナーとして、エンジニアの関わり方やプロジェクトマネジメントについてもモデルを提示することが大事だと考えてます。

今作では、脚本や世界観に合わせて使える範囲内の技術を組み合わせて進めました。 カメラワークなどが実現できてよかったと思う一方で、ハードウェアのポテンシャルを活かしきれていないとも感じています。 作品に合わせた表現を実現する手段が技術だとは思うんですが、攻めた技術もトライしてみたいですね。

技術起点でトライするような脚本もいつかやってみたいです。 使いたい技術はいくつかあって、実現できないか模索しています（笑）。

映像・撮影関連でいうと、もっとカメラを動かす技術を導入し、自由なカメラワークがある作品にチャレンジしたいですね。 いまのオンライン演劇はZoomを活用しており部屋の中、机の前が中心ですが、部屋の外に役者を出してみたいんです。

今回はロボットアームの動きを決め打ちで書き込んだので、アドリブができませんでした。 でも、アドリブで作品が毎回別物になることも生の演劇の醍醐味です。 カメラワークの遠隔操作が必須にはなると思いますが、チャレンジしてみたいですね。

今回はやらなかったんですが、ロボットアームの遠隔操作は全然できたなって思ってて。 遠隔のバックアップとして、ローカルで動かすための装置も用意して、リモートとローカルをうまく使い分けられたらと思いました。

あとは画像認識を使って自律でロボットアームを動かす、ドローンを飛ばす、ロボットに照明を持たせる、ロボットを部屋の中で移動させる、など、様々な撮影方法を実現してみたいですね。

環境面でいうと、突貫で動いていたこともあり、本番中のエラーログを見るシステムやデバッグ環境が整備されていませんでした。 大きな事故が起きなかったからよかったものの、整備して充実させていきたいですね。

また、ロボットアーム、カメラスライダー、Hueなど、ソフトウェアの数だけ操作・管理するインターフェースも分かれていました。 これらを１つのインターフェースから操作できるようにしたいなと思います。

もちろん予算や作品の世界観によってやれることは決まっていきますが、やりたいことが無邪気に次々と出てくる劇団ノーミーツは、技術チームとして関わるうえではすごく面白い場所です。 今作でやれなかったことや反省は多くありますが、作品を重ねるたびに学びながら進化していけると思いますし、劇団ノーミーツの次回作をお楽しみに！