/work/石若駿＋YCAM「Echoes for unknown egosー表現しあう響きたち "Agents"

石若駿＋YCAM「Echoes for unknown egosー表現しあう響きたち "Agents"

Category:PerformanceTags:

Published: 2022 - 6 - 4

日本のドラマー/パーカッショニストである石若駿氏とYCAM（山口情報芸術センター）InterLabの共同プロジェクトとして企画された即興パーカッションパフォーマンスです。

Teaser / Making

Agents

パフォーマンスで使用されたいくつかのソフトウェアシステムの開発を担当しました。石若氏の「分身（alter egos）」を作り出すことで、即興演奏における音楽的創造性を拡張するためのいくつかのアプローチを取っています。石若氏の演奏にリアルタイムで反応するいくつかのエージェントと、石若氏の演奏の音楽的状態を観察し、状況に基づいて他のエージェントをオーケストレーションする「メタエージェント」の開発を行いました。

Melody
Agent

Melody エージェントは、石若氏のドラム演奏に合わせてリアルタイムで生成されたメロディを演奏します。

メロディ生成には Google Magenta の MusicVAE（16-bar Trio model）を応用し、ドラムセットからのMIDI入力の埋め込み表現から別トラックのフレーズを生成します。

パフォーマンス中は異なる3種類の Temperature（0.5 / 1.0 / 1.5）で並行して生成を実施。さらに生成後のエフェクト等の組み合わせから 16 種のパターンを用意し、後述の Meta Agent からの指示によってリアルタイムに切り替えました。エフェクトのバリエーションは石若氏自身が設計したもので、以下のようなものが含まれます。

異なる2声: 3度・5度の音をランダムで重ねる
表情豊か: ピッチシフトとディレイをかける
ランダム和音: ランダムな和音を重ねる
高音限定 / 低音限定: 音域を絞って演奏する
2オクターブ下ユニゾン: 2オクターブ下の音を重ねる
同音連打: ランダムなテンポで 16 分音符のトレモロ奏法を行う

システム構成は、MusicVAE によるメロディ生成を行う Python プロセス（UDP サーバー）と、MIDI ピアノ・シンセサイザーへ送信しパフォーマンスを行うクライアントの2プロセスに分離して実装しています。

Sampler
Agent

Sampler エージェントは、石若氏の過去のピアノ演奏の録音サンプルをドラム演奏に合わせて再生します。

「石若駿氏自身の分身」として最も解像度の高いエージェントとして、石若氏の演奏そのもののサンプルを利用します。以下の3バリエーションを実装しました。

ピアノ・サンプラー: 石若氏が自身のドラム演奏に対して即興演奏したピアノ音声（約40分）をサンプルとして使用
サックス・サンプラー: 石若氏と松丸契氏の即興演奏データから、ドラムの演奏に合うサックスのフレーズを検索
ドラムス・サンプラー: サックスの演奏からドラムパターンのサンプルを再生

類似音源の検索には Librosa 等で抽出できる音響特徴量を用いており、リアルタイム性を確保するために FLANN（高速近似最近傍探索）を活用しています。サンプルの再生は Rhythm AI が生成したリズムパターンによってトリガーされます。また、生の演奏音と区別しやすくするために意図的にピッチを上下させるサウンドデザインを施し、エージェントの演奏であることを明確にしています。

Meta
Agent

Meta-Agent は、他のエージェントの演奏スタイルを制御し、エージェントの組み合わせをデザインするエージェントです。

2022年2月の制作滞在において石若氏から「自分の演奏を聴いて次の演奏を考える"耳"がほしい」という要望が上がったことを開発のきっかけとして、当初予定にはなかったメタ・エージェントを追加開発しました。

ドラムセットの演奏状況をリアルタイムでとらっくするために，マイクからの音響特徴量と MIDI信号を毎秒蓄積し、PCA（主成分分析） で 2 次元座標上にプロットすることで演奏状態を可視化しています。石若氏自身がモニタリングしながらスプレッドシートで「どの座標のときにどのエージェントをどう動かすか」をデザインできる仕組みにしました。これにより、Pongo やシンバルのようなマイク入力を持たないエージェントにも石若氏の演奏状態を伝え、呼応させることが可能になりました。

分身との共創から得た反応と発見

本公演の前後に実施された各種インタビューにおいて、石若氏はエージェントとの共演体験についていくつかの印象的な反応を語っています。

サンプラー：「人間らしくない」という逆説

最初にサンプラーを使おうと思ったのは、生の感覚というか、人間ならではの微妙な音の揺らぎや質感の変化を出せないかというアイデアがきっかけでした。もともとはそれを目指していたのに、実際にやってみたら逆に人間らしくないサウンドに聴こえたというのはおもしろかったです。

— AIと即興のテクノロジカルな共創——石若駿 × 松丸契特別対談・前編 (TOKION)

「最も自分らしい分身」として設計したサンプラーが、検索・再生という処理を経ることで逆に非人間的な質感になるという、開発側も予期しなかった逆説的な発見です。この結果を受けて、ピッチを演奏状態に応じて変化させるサウンドデザインを追加し、「エージェントが演奏している」という存在感を積極的に演出することにしました。

メタ・エージェント：「耳を持ってくれた」感覚

プロトタイプのテストを経て、石若氏からは「耳を持ってくれた感じがするから、この仕組みを用いて全体の統括を行いたい」という言葉が出ました。それまでは個々のエージェントと順番に合奏する形でしたが、メタ・エージェントが演奏状況を読み取ることで、複数エージェントを同時にアンサンブルさせ、その中に石若氏が入り込んでいくという演出スタイルへと発展しました。

石若氏がスプレッドシートで演奏状態と座標の関係を自らデザインしたことにより、パフォーマンス全体のオーケストレーションが「石若氏自身の分身に担われている」という体験が実現しています。