「私が情熱を注いでいるのは音楽とテクノロジーと物作りです。これらを組み合わせて音を視覚化するとどうなるでしょうか」フィックリンは語りかける。ここでは、55万ビューを超える Jared Ficklin のTED講演を訳し、光や形や火による音楽表現について理解する。
要約
デザイナーのジャレド・フィックリンが、音楽を鮮烈に視覚化します。色による表現、さらにはTEDステージに初めて火を持ち込んで、音が私達にどのような感覚を与えるのかを明らかにします。さらにそこからスケートボード場の音の分析に進み、音が私達の創造性をどう高めるかを分析します。 ジャレド・フィックリンはフロッグ・デザインでユーザーインターフェースを設計しています。趣味として、光や形や火による音楽の表現を追求しています。
In his day job, Jared Ficklin makes user interfaces at frog design. As a hobby, he explores what music looks like … in light, in shapes, in fire.
１ 私が情熱を注いでいるのは音楽とテクノロジーと物作り
私が 情熱を注いでいるのは音楽とテクノロジーと物作りです。これらを組み合わせて 音を視覚化することが趣味になりました。時には 火も扱います。これはルーベンスチューブです。私が作った物の一つです。ご覧ください 2.4mほどの金属管で約100個の穴があり ― 片側はスピーカ反対はタンクへの配管です。プロパンガスです。それでは火をつけてみましょう。次に周波数550Hzの音を流します。ご覧ください（音）
２ 共振周波数になると定在波が生じて炎のサイン曲線が表れる
ありがとう（拍手） 物理法則に拍手するのはいいとしてここで起きたことは ― （笑） 音のエネルギーが 空気とガスの分子を通して プロパンの燃焼性に影響を与え 波形を作り出します。圧力の高い部分と低い部分が 交互に ― つまり周波数が見えます。高さは振幅を表します。それでは音の周波数を変えて 炎がどう変化するか見てみましょう。（周波数を上げる）共振周波数になると定在波が生じて 炎のサイン曲線が表れます。室内なので もう消しましょう。ありがとう（拍手）
３ フレイムテーブルは音波を平面的に切り出す
「フレイムテーブル」も持ってきました。ルーベンスチューブと同様に 音の物理特性を視覚化できます。たとえば固有モードです。火を点けて どうなるか見てみましょう。おっ（笑） テーブルの圧力が上がる間に指摘しておきたいのは 音は直線状に進むのではなく あらゆる方向に進むということです。ルーベンスチューブが音波を線状に切り出すのに対して フレイムテーブルは音波を 平面的に切り出すと言えます。複雑さを細かく表せるのでジェフ・ファリーナのギター演奏を 見るにはうってつけです。
４ 目の特性を生かしながら音を見えるようにできる
（音楽）繊細なダンスのようです。よく見ると ― （拍手） 固有モードが見えたかも知れません。炎とジャズは 相性がいいことにも気づくでしょう。火と相性がいいものはたくさんあります。ただ 火は土台に過ぎません。目でも聞けることを 火が示しているのです。私が面白いと思うのはテクノロジーを使って 目の特性を生かしながら音を見えるようにできること ― たとえば時間を無視できることです。
５ 大脳視覚野がパターン認識に優れていることもわかる
私はレンダリングアルゴリズムを使って ニルヴァーナの曲「スメルズ・ライク・ティーン・スピリット」の 周波数を 目で見えるように1つのイメージにしました。この技術を使うと大脳視覚野が パターン認識に優れていることもわかります。同じアルバムの別の曲を見るとニルヴァーナが反復を用いていることが よくわかります。周波数の分布 つまり色から このバンドの特長である清-濁-清 という音のパターンがわかります。これはアルバム全体を1つのイメージにしたものです。とても力強いイメージです。
６ 曲を見た目で買う日が来るかもしれない
どのくらい力強いかというと 次の4曲を見て ― ちなみにこれが「スメルズ・ライク・ティーン・スピリット」ですが ― 音を聞かなくても おおむね正しく 筋金入りのニルヴァーナ・ファンが気に入りそうなのはこの曲 ― フー・ファイターズの「アイル・スティック・アラウンド」だと言える程です。リード・シンガーのデイヴ・グロールは ニルヴァーナのドラマーをしていました。2曲は確かに似ていますが もっぱら私が関心があるのは 曲を見た目で買う日が来るかもしれないという発想です。
７ 人の声は特徴的な周波数を占める
さらに音のデータを見ましょう。これはスケートボード場で録音しました。テキサス州オースチンにある ― メイベル・デイビス・スケートパークです（スケートボードの音） 今 聞こえる音は 障害物に取り付けた8つのマイクで録りました。雑音のようですが 実際は どの技も特徴的な音で始まり ― 成功するとポンという音 ― 失敗すると こすれる音や 転がる音で終わります。レールに乗る技はゴングのように響き 人の声は特徴的な周波数を占めます。
８ 技の多くは失敗し、レールを使った技は歓声を伴うことが多い
だから ここの音を視覚化したら こんな感じになります。これが40分にわたる録音の全てです。このアルゴリズムでわかることは 技の多くは失敗し レールを使った技は 歓声を伴うことが多いということです。さらに細かく見ると 移動パターンを知ることができます。スケーターはこの方向に滑ります。この方が障害が簡単だからです。
９ パークには細かい作法があり、影響力をもつ人がいる
これは録音中盤でマイクがとらえました。ところが後半で少年が現れ ― 上にあるコースを使いトール・レールの上で とても難しい技を始めました。興味深いことに この瞬間 ― 他のスケーター全員がコースの方向を90度変えて彼に場所を譲ったのです。パークには細かい作法があり 影響力をもつ人がいます。そういう人は 腕がすごいとか赤いパンツ姿と相場は決まっています。この日マイクが捉えたのはそんな作法です。
10 物理法則について解答より疑問の方が多いことがわかる
次はスケートボードの物理から理論物理学へ移りましょう。私はスティーブン・ホーキングの大ファンで ケンブリッジでの講義8時間分を使ってオマージュを制作しようと考えました。この連続講義で ホーキング氏はコンピュータを使って話しています。だから文の終わりを特定するのは簡単です。そこで私はステアリングアルゴリズムを作りました。これで講義を取り込み ― 個々の語の振幅を用いてX軸上の点を動かします。さらに文の音調の変化をとらえて その点をY軸にそって上下させます。この傾向線を見ると 物理法則について 解答より 疑問の方が多いことがわかります。文末に達すると そこに星を付けます。文が多いので たくさん星があります。音声を全て表示すると こうなります。これがスティーブン・ホーキングの宇宙です（拍手）
11 8時間に渡るケンブリッジでの講義を1枚のイメージにした
8時間に渡るケンブリッジでの講義を 一枚のイメージにしたものです。私はこれを大変気に入っていますが いい加減だと考える人が多いので インタラクティブ版を作りました。講義における時間的な位置を使って 三次元空間に 星を配置し 自作のソフトとKinectで 講義の中に入ることができるようにしました。Kinectに向けて手を振り 操作します。手を伸ばして星に触れると その星を生成した元の文が再生できます。「各部分が完全な像を構成するような 唯一の配置があります」ありがとう（拍手） ここには1,400個の星があります。講義を楽しく探究できます。オマージュにふさわしいでしょうか。
12 皆さんの目は何を「聞く」ことができますか
最後に制作中の作品をご覧ください。クローズド・キャプションの登場から30年 ― 強化版を作る機会を得ました。みんなTEDトークをオンラインで見ますが 音を消して クローズド・キャプションを ― ONにしたものを見てみましょう。TEDのテーマ曲には字幕がありません。字幕がなくても たくさん見ていれば 頭の中で テーマと拍手が聞こえるでしょう。ここで始まり 盛り上がって消えます。拍手が特に大きい時もあります。ビル・ゲイツですら不安そうに息をしてから トークが始まります。もう一度ビデオを見ましょう。今度は私はしゃべりません。音声はありませんが 音を視覚的に描画して 画面下部にリアルタイムで表示します。皆さんの目は何を「聞く」ことができるでしょうか。
13 音もアイデアもあらゆる方向に広がる
すごいことだと思います。1度見ただけでもパターンが見つけられますが 何度か見ると 皆さんの脳は パターンを情報に置き換えることに慣れ 音調や音質 話すペースがわかるようになります。字幕からはとらえられないものです。ホラー映画でありがちな ― 何者かが後ろから迫ってくる場面も 見えるようになります。これらの情報は 音声がオフの場合や聞こえない場合に役立つでしょう。また耳が聞こえない人は聞こえる人に比べて 音を見ることに 長けていると思うのです。まだ仮説で はっきりわかりません。単なるアイデアです。最後になりますが ―音はあらゆる方向に広がります。アイデアも同じです。ありがとうございます（拍手）
最後に
音楽は火によって視覚化できる。曲を見た目で買う日が来るかもしれない。音もアイデアもあらゆる方向に広がる。
和訳してくださったKazunori Akashi 氏、レビューしてくださった Natsuhiko Mizutani 氏に感謝する（2012年3月）。
