東京大学情報学環池内研究室では、バーチャル飛鳥京プロジェクトを通して、「複合現実感における光学的整合性の実現」に関する研究を行っております。ここでは複合現実感の仕組みと、研究の概要をご紹介いたします。

複合現実感(Mixed Reality)とは？

従来の仮想現実（Virtual Reality）とは異なり、現実世界と仮想世界の融合を目的とする研究分野です。具体的にはHMD(ヘッドマウントディスプレイ)と呼ばれる頭部装着型の装置を用いて、現実世界にCG（コンピュータ・グラフィックス）で描いた仮想物体を合成します。複合現実感では実世界の映像をビデオカメラで撮影する「ビデオシースルー方式」と、透過型のHMDを用いる「光学シースルー方式」の２種類がありますが、本プロジェクトでは合成画像のクオリティーを向上させることを目的とするため、前者の「ビデオシースルー方式」を採用しております。

ビデオシースルー方式の処理の流れ

HMDの概観 （キヤノン社製 VH-2002）

複合現実感による文化財の復元展示

現実世界にCGの仮想物体を出現させるという複合現実感技術は、産業界や医療・都市計画の分野で応用が期待されています。池内研究室ではこの技術を用いて、失われた文化財を現地で合成表示する試みを行っています。従来のCGアニメーションによる文化財の復元では、ディスプレイ上でしか映像を見ることができません。またバーチャルリアリティーを体験するためには、巨大なシアターや装置が必要でした。複合現実感による復元展示では、遺跡現地でCGをわかりやすく展示し、さらに迫力ある映像を見ることができます。
また復元案はCGを用いて表現されるため、従来のレプリカによる復元に比べて、「複数の復元案を比較して見せられる」「修正や変更が容易にできる」「比較的低コストで実現可能」などのメリットがあります。

川原寺の復元イメージ

川原寺復元CGモデルの作成

陰影表現手法

合成画像の現実感を高めるためには、実画像と仮想物体の光学的整合性を実現する必要があります。池内研究室では処理に時間のかかる仮想物体の影のレンダリングを前処理段階で行い、生成した基礎画像の線形和からソフトシャドウを生成する方法を開発し、実時間での陰影表現に成功しました。この手法は光源環境がダイナミックに変化する屋外で、建築物などの静的な対象に対して特に有効です。

実世界の光源環境を半球状の面光源と仮定し、複数の平行光源で近似する。

各平行光源でレンダリングを行い、基礎画像のセットを生成する。

　
実光源環境をカメラで撮影し、基礎光源ごとの輝度パラメータを求め、基礎画像の線形和を求める。

　
合成したソフトシャドウ画像を影付け平面にマッピングし、仮想物体の影を擬似的に表現する。

実験結果

奈良県明日香村川原寺跡にて現地実験を行いました。合成画像を取得し、陰影表現の効果を確認しました。

　
システムの概観
（HMD, 合成処理にはキヤノン社のMR Platformを使用）

　
時間の経過に伴う陰影の変化 （場所は東京大学）

　
川原寺現地での実験結果

発表論文

	Tetsuya Kakuta, Takeshi Oishi, Katsushi Ikeuchi, "Development and Evaluation of Asuka-Kyo MR Contents with Fast Shading and Shadowing", 14th International Conference on Virtual Systems and MultiMedia(VSMM2008), 2008
	角田哲也, 大石岳史, 池内克史, "バーチャル飛鳥京：複合現実感による遺跡の復元", 第3回デジタルコンテンツシンポジウム, Jun. 2007.
	Tetsuya Kakuta, Takeshi Oishi, Katsushi Ikeuchi, "Real-time Soft Shadow in Mixed Reality using Shadowing Planes", IAPR Conf. on Machine Vision Applications (MVA2007), May, 2007.
	Tetsuya Kakuta, Takeshi Oishi, Katsushi Ikeuchi, "Shading and Shadowing of Architecture in Mixed Reality ", 4th IEEE and ACM International Symposium on Mixed and Augmented Reality (ISMAR2005), 2005
	角田哲也, 大石岳史, 池内克史, "複合現実感における建築物の陰影表現", 画像の認識・理解シンポジウム(MIRU 2005), July 2005

※ 本研究の一部は、文部科学省リーディングプロジェクト「知的資産の電子的な保存・活用を支援するソフトウェア技術基盤の構築」、文部科学省「デジタル・ミュージアムの実現 に向けた研究開発の推進」の支援を受けて行いました。