「何度の撮り直しにも応えられるコンピュータで作り出されたリアルな人の顔をご覧ください」ポールは語りかける。ここでは、65万ビューを超える Paul Debevec のTED講演を訳し、エミリーのコンピュータグラフィックスを支える技術について理解する。
要約
TEDxUSCでコンピュータグラフィックスの第一人者であるポール・デベヴェックが、デジタルエミリーの背後にある観客の目を奪うような技術について解説します。何度の撮り直しにも応えられるコンピュータで作り出されたリアルな人の顔をご覧ください。
Paul Debevec’s digital inventions have powered the breathtaking visual effects in films like The Matrix, Superman Returns, King Kong and The Curious Case of Benjamin Button.
１ 本物のように見える人の顔をデジタル合成すること
コンピュータグラフィックスにおける最大の難問の1 つは 本物のように見える人の顔を デジタル合成することでした。これが難しい理由は エイリアンや恐竜とは違って 私達が人の顔を毎日見ているからです。私達がコミュニケーションを取る上で 顔は重要な役割を果たしているので レンダリングされた顔が 微細な部分まで再現していないと 本物らしく見えないのです。これからの5 分間で 写実的な顔を合成しようと 私達が試みたプロセスを 辿っていこうと思います。これには私達がImage Metrics 社と開発した CG の技術を使っています。対象としたのは ここに出ている エミリー オブライエンという女優の顔です。これは実際にレンダリングで生成された彼女の顔です。動いているところを後でお見せします。
２ Light Stage 5 での撮影
出発点となるのはエミリー本人です。彼女はマリーナデルレイにある私達のラボまで来て このLight Stage 5 での撮影を快く引き受けてくれました。この球面は顔をスキャンする装置で 156 個のLED が取り付けられており 照明の状況を自由にコントロールしながら 撮影ができるようになっています。私達が最近使う照明の種類はこのようなものです。この全部を3 秒ほどで撮れます。これで基本的に十分な情報を得られます。彼女の顔の等高線を描き出すビデオプロジェクタのパターンと Light Stage による様々な方向からの光で 彼女の顔を粗いスケールと 微細なスケールで把握します。この写真を拡大してみましょう。彼女を捉えたとても良い写真です。あらゆる方向から同時に照らされていて 顔のテクスチャがよく現れています。
３ 156個のLED照明のすべてに偏向フィルタを付けている
私達はすべての照明に偏向フィルタを付けています。偏向サングラスが 路面のぎらつきを押えるように 偏光フィルタは肌のてかりを押えます。これにより正反射なしにテクスチャマップが得られます。偏光フィルタを少し回すと 肌の正反射が 再び現れ 光って脂ぎって見えます。この2 つの画像の差分を取ると 球面全体に照らされた肌の 反射だけを取り出すことができます。私達がここでやったような写真は 今まで撮られたことはないと思います。これは捉えるべき非常に重要な光です。顔の一番表面で反射された光で 肌の透明な層を通った ぼやけた光は除かれています。そのため 私達みんなが持っていて 本物の人らしく見せている 肌のキメや 細かい皺の とても良い情報が得られます。
４ 測光プロセスには3秒しかかからない
この正反射から得られた情報を使うと 従来の顔のスキャンによる 顔の全体的な輪郭や基本的な形状に 肌のキメや細かい皺の 情報を付け加えることができます。ここで重要なのは この測光プロセスには3 秒しかかからないということです。私達はエミリーのたくさんの 顔の表情の写真を ある日の午後だけで撮影することができました。彼女が目や口を動かしている写真が並んでいます。これらを使って写実的なキャラクタを作り出します。このエミリーのスキャン画像を見ていると 人の顔というのが 驚くほど多彩な表情を作れるのがわかります。ここでは顔の形状の変化だけではなく あらゆる肌の屈曲や皺のパターン 肌のキメの変化を見ることができます。引き延ばされたところから 通常の肌のテクスチャまで 眉の畝とその微細構造の変化 筋肉に引っ張られて眉毛が下がり しかめ面のときは額の肉が盛り上がります。
５ テクスチャマップとディスプレイスメントマップ
このような高解像度の形状に加え カメラが捉えた 顔に使えるすばらしいテクスチャマップがあります。赤、緑、青という照明の 異なる色の成分は 拡散の仕方が違い それを考慮して肌のシェーディングを行います。そうすると 石膏で出来たマネキンみたいだったのが 生きた人間の肉体に見えるようになります。これはImage Metrics 社が デジタル版のエミリーの 作成に使ったもので 粗いスケールの形状による 彼女のデジタル操り人形です。これらの糸を引くと 私達が撮ったスキャン画像に 合った形で動きます。粗いスケールの形状に加え ディスプレイスメントマップを使って 微細な部分を作ります。これは動かすこともできます。これがディスプレイスメントマップ 彼女の動きに応じて 違った皺が現れています。
６ マーカーなしパフォーマンス駆動アニメーション会社「Image Metrics」
次にアニメーションを付けます。データの元として エミリー本人が演じた映像を使いました。そのビデオをコンピュータビジョンのテクニックを使って解析し コンピュータが生成した動きを持った 顔を作り出しました。この後見ていただくのは 完成したデジタルの顔です。ボリュームを少し上げましょう。Image Metrics はマーカーなしパフォーマンス駆動アニメーションの会社です。テレビゲームや映画のためのハイクオリティな 顔のアニメーションを専門としています。レイヤに分解してみましょう これは光の拡散の部分です。これは正反射部分のアニメーション 皺が現れているのがわかります。これは下にあるワイヤフレームのメッシュ そしてエミリー本人。
７ テクノロジーを人の体全体に適用している「Light Stage 6」
今後どうするかですが Light Stage 5 を一歩先へ進めたLight Stage 6 を作りました。このテクノロジーを 人の体全体に適用しています。彼は研究メンバーのブルース ローメンで 走っているところをキャプチャするモデルになってくれました。コンピュータで生成した彼が 新たな環境の中で走っているのをご覧ください。どうもありがとうございました (拍手)
最後に
本物のように見える人の顔をデジタル合成すること。156個のLED照明のすべてに偏向フィルタを付けている。測光プロセスには3秒しかかからない。テクスチャマップとディスプレイスメントマップ、そしてアニメーション。テクノロジーを人の体全体に適用している「Light Stage 6」。3つの技術で体全体をグラフィックス化できる。
和訳してくださった Yasushi Aoki 氏、レビューしてくださった Masahiro Kyushima 氏に感謝する（2009年3月）。
 |
