クマ財団での経験について、良かったことや印象深いエピソードなどを教えてください。

クマ財団にはファインアートを専攻している学生から工学部で技術開発をしている学生まで幅広く所属しています。そのため、私が作品説明をすると、彼らは独自の切り口でそれを読み解いてくれます。「アニメーションの観点から作品を見ると…」や「似たようなコンセプトの作品は…」のような話で盛り上がったのを印象深く覚えています。

クマ財団に所属する学生は様々な繋がりを持っています。個人的な話ですが、友達の友達であったり、大学の先輩の知り合いであったりと間接的な知り合いが多く、多方面の交流がありました。その中では、共通の知人の話をすることも多かったと思います。

KUMA EXHIBITIONでの展示作品について教えてください。

KUMA EXHIBITION 2022では、《Focus Change》という作品を発表しました。この作品では、ノイズキャンセリング・フィルターの別解釈として、都市の音に耳を澄ますための「補聴器」としてのノイズキャンセリング・フィルターを提案しました。私たちが都市の音を〈ノイズ〉と感じるのは、様々な音がぶつかり合い、一つ一つの音の要素を捉えられず、一括りに〈ノイズ〉として扱ってしまうからだと考えました。そこで、「人の声」や「鳥の囀り」といったように都市の音を細かく分解するフィルターを作ることで、都市の音に今一度耳を傾けるきっかけを提供しました。現在のノイズキャンセリング・フィルターの利用法とは異なる使い方を提示し、特定の用途に限定されている技術の可能性を思索しました。

実際の展示では、ディスプレイに東京の様々な場所で記録した映像と都市の音を録音した音声を流しました。そして、鑑賞者はコントローラを操作し、自由にフィルターを切り替えながら、聴こえてくる音の違いを体験しました。フィルターの違いをより明確にするために、映像にもエフェクトをかけました。「人の声」が聴こえる時には人の姿にだけ色がつくように、それ以外の時には人の姿を消すようなことをして、音と映像を同期させました。

作品に使用した技術や、制作期間なども教えてください。

《Focus Change》では、映像のエフェクトと音声処理の両方にAI技術を用いています。映像のエフェクトでは、セマンティック・セグメンテーションと呼ばれる人の形を切り抜く輪郭抽出の技術と切り抜かれた人の形を背景で補完するインペインティングの技術を使用しています。音声処理では、音楽の音源分離（楽曲からドラム、ベース、ボーカルなどに分ける）の技術を応用し、環境音を「人の声」「交通音」「鳥の囀り」などに分離することを行いました。

制作期間は、技術開発のプロトタイプまで含めると6ヶ月ほどになります。同じ技術でも様々なモデルが出ているので、作品コンセプトを表現するためにどのモデルと相性が良いかを検証することに時間がかかりました。さらに、そのモデルを使って機械学習をさせていたのでさらに時間がかかる作業でした。その後の作業は撮影/録音を行いにいったり、什器を制作したりと楽しい作業でした。

KUMA EXHIBITIONでの展示での印象深い出来事を教えてください。

KUMA EXHIBITIONでは、鑑賞者と積極的にコミュニケーションを取ることが求められました。その中である鑑賞者の方から、医療/福祉の領域への応用が考えられるといった意見をもらいました。メディアに対する批評を意識して制作していた作品であったため、実用的な形で考えてくださる方もいるのだなとハッとさせられたのを覚えています。