超臨場感ディスプレイとテレプレゼンスの開発研究
五感シアター
五感に対して情報を提示することにより，バーチャル旅行をリアルに追体験したり，身体感覚をバーチャル化することにより，通常では体験できない身体運動や環境を臨場感高く生成するための方法論を探求しています.
五感シアターの要素技術の研究として，立体映像，全天周映像，空間音響，モーションシート，脚足駆動装置，振動触覚，気流・香りなどの提示手法を開発しています．テレプレゼンスも含む統合技術を東京大学，豊橋技術科学大学，電気通信大学などと共同で研究しています. 本研究の本質は，実際の状態とは別の身体状態を表現することによって，高度な身体技能や過去の体験を一人称経験として伝えるために，身体スキーマの変換を行おうとしている点です．このために，身体は別身体の表現メディアとなります．究極的には，SFにあるように，本人が寝ているだけで脳へ”別身体の運動状態”の投射が行えることですが，現在の技術では困難です．我々は身体を含む五感に対する情報入力を行うことで，別身体の運動状態を構成することを試みています．
追体験とは，他者の体験から学ぶことです．
五感シアタ―の多感覚提示の構成
Page top
首都大学東京日野キャンパスの五感シアター．左が1号機．右が2号機．（スクリーンは，ナイアガラ・ボートのシーンのEquirectangular映像を提示中．）
Siggraph Asia 2018 での五感シアタ―（FiveStar VR）紹介ビデオ.
ウサイン・ボルト選手の世界記録の走行追体験（9.58s/100m, 1号機による84inch LCD再生）
Page Top
NICTオープンハウス2013における ’ボルト走行'の展示
身体的追体験のための歩行感覚を生成するため，実際歩行に対応する感覚を五感シアタ―で生成する実験を行っています．
これは，2016年の日本バーチャルリアリティ学会つくば大会における公開展示の模様です．
Page top
五感シアタ―（FiveStar VR）は，Siggraph Asia 2018で，*最優秀Virtual and Augumented Reality Technology Award を受賞* しました．
3D-Seat （前庭感覚ディスプレイ）
多感覚への刺激提示を可能とするシステム（五感シアター）の一部として，前庭感覚に刺激を与えるモーションベース(可動座席)を開発しています．本デバイスの駆動は3本の直動アクチュエータで行われており，上下並進運動，ロール，ピッチ運動の3自由度の運動が可能です．主に身体全体の揺れを表現し，他の提示デバイスと統合することにより，多様な身体運動感覚を表現することを目指しています．現在は，身体運動の中でも日常的な動作である歩行運動と走行運動の表現を中心に行なっています．
現在の前庭感覚提示装置（３D Seat)．これは，2016年ころに開発された前庭感覚ディスプレイです．
気流ディスプレイ
五感シアタ―の一部として，写真のように気流ディスプレイが多数使用されています．気流の皮膚感覚は，おもに顔面，腕・手で感じ取られるものですが，その感覚はバーチャルリアリティ空間における自己の身体の運動状態と，外界の気象条件を表すと知覚されます．Siggraph Asia 2018でもその効果は十分に発揮されました．次の図は，実験風景の一コマですが，この気流の効果で面白いことは，VR空間中での歩行感覚を高めるだけでなく，VR酔いも低減することです．乗り物酔いをしたときに，風にあたると和らぐということがありますが，VR空間では前庭感覚刺激がない中での映像刺激によるベクションに起因する映像酔いを，気流により低減することができるという結果が得られています．
気流ディスプレイによる実験の風景．
Page top
音響刺激ディスプレイ
音響は，バーチャルリアリティ空間のリアリティ表現に不可欠ですが，空間中の身体運動にかかわる情報としても重要です．下の画像にあるような無限廊下を，＊変動する速度＊で直進する視点の映像は酔いを誘発しますが，その変動する速度に同期した 足音の音響刺激や足底の振動刺激は，映像酔いを抑制することが示されています．
視覚提示条件
eLePhantomX
力覚ディスプレイはモノの形や空間からの反力などのバーチャルな力覚をユーザに提示することが可能な インタフェースです．本研究では片持ち梁式の広い操作空間を有し，4か所に設置したモータのトルクを制御する ことで，ユーザの把持部分に対し，３自由度の並進力を提示可能なディスプレイの開発を行っています． 現在は，引張力起点に対し移動機構を付与することで，動的に位置関係を変更するために，提示力の等方性に ついての調査を行っています．
Page Top
下肢部駆動装置
身体運動感覚とその他の五感情報を統合することで，体験者自身の身体の運動感覚を表現することが可能であると考えられています．VR空間固有の柔軟性を活用した，通常とは異なる座位における歩行表現を行うことで， 高品質な臨場感体験を実現できると考えています．本研究では身体運動を生成する装置として，下肢に二次元平面駆動機構(コケルニクス)，踵駆動装置や下肢関節，足裏への振動提示装置を用いています． その他の五感シアターを構成するデバイスとの統合を行い，着座状態における歩行・走行感覚の提示手法を探求しています．
香り提示デバイス
嗅覚情報が身体に与える影響は大きく，他感覚との相互作用により高い臨場感を提示することが可能です． 嗅覚情報を正確に提示するための制御は困難であり，本研究ではサーキュレータと匂い物質貯留放出システムを 用いて，匂いを送り出す気流と濃度をインタラクティブに構成することで，感覚的に匂いの場を制御することを 目的としています．現在は，3次元入力型の入力デバイスを用いた嗅覚情報の提示手法に関する 研究を行っています．
Page Top
アバター
VR空間に対する身体の投射を行うには，バーチャル身体を構成する必要があります．追体験においては，過去の映像空間に合わせた自己の身体を出現させることによって，没入感を高めることができます．また，旅行の追体験では友人などの仲間も同時にバーチャル空間に存在するように見せることによって，記憶しやすくなると考えられます．そのような趣旨で，研究室メンバーのアバターを作成して空間に投影して，実験を行っています．
トロント・ナイアガラ旅行のディスティラリ地区を歩く研究室メンバー．キャプチャデータに基づくアバター．
メンバーのテクスチャと加工
バーチャルボディは，実際の身体が変換されてVR空間における自己の身体となるわけですが，その身体の描像如何によって身体的追体験における身体感覚のフィードバックが可能な範囲が異なると考えられます．また，身体スキーマの変換の手法やその範囲が明らかになれば，バーチャルリアリティ空間における身体感覚を実際の身体の感覚として合成することが可能となると期待されます．VR空間における身体の描像を変化させて，それに対応する感覚の生成について実験を行っています．
左から，実際人間，CG若者，CG子供，CG力士 の歩行映像を五感シアタ―で体験している実験．
ドローンによる空撮映像を使用した巨人身体の体験．
実験風景（左）と，HMD使用時の視点の違い（右）による身体没入感の変化を調べるための映像刺激．
VR空間だけでなく，実空間を遠隔立体視するカメラ（TwinCam）で見るアバターの知覚精度を調べるため，実空間の頭部や頭部の写真とVR空間のアバターを比較する実験の様子．（左，実験装置の配置，右，アバター）．
ICTイノベーションフォーラム2017における五感シアタ―の成果発表
Page Top
全天球リアルタイム立体視システム（TwinCam）
TwinCamは，2台の全天球カメラ（Theta V, Ricoh社）を用いて，HMDの両眼用の映像をライブ通信することにより，全周の立体視を可能とするテレプレゼンス体験システムです．カメラの映像は，WebRTC通信によって，体験者の映像生成PCに送信されます．体験者の頭部回転に対応してカメラが回転し，全周にわたって正しい視差を与えることができます．
TwinCam は，Siggraph 2017 Emerging Technologies に採択されました．
2台のカメラは，HMDを装着した利用者の眼球の位置に対応するように，頭部回転に追従します．
Page Top
Siggraph 2017のEmerging Techonlogiesに採択され，会場のロサンゼルスと東京の首都大学の間で，リアルタイム立体視映像通信を行いました．物理的な移動には，１０時間以上かかりますが立体映像で対面する際の映像の遅延は，体験者には感じられない構成になっています．
Siggraph 2017の Emerging Techonlogies の展示ブースの様子．立体視確認用のフルーツと運動ボケ確認用のストライプが置かれています．中央にあるのがTwinCamユニット．
Siggraph 2017 Emerging Technologies: Twincam (https://dl.acm.org/citation.cfm?id=3084831&dl=ACM&coll=DL)
IEEE Virtual Reality 2019: Live Stereoscopic 3D Image ... (https://ieeexplore.ieee.org/document/8797876)
Page Top
ICTイノベーションフォーラム2017におけるTwinCamの成果発表
Page Top
遠隔リアルタイム全天周立体視システム（TwinCam Go）
TwinCam Goは，TwinCamシステムをSegwayに搭載すると同時に，体験者は回転制御椅子に着座してHMDを装着することにより，カメラを通した全周立体視を可能としながら，Segwayの回旋運動に対応する前庭感覚フィードバックを与えることで映像酔いをよく背うするシステムです．
本システムは，2018年のInnovative Technologies 2018 を受賞しました．
Page Top
触覚のバーチャルリアリティのためのディスプレイ
複雑な手触りの感覚を合成する最高性能の VR ディスプレイを開発しています. 多様な周波数と強度に基づく表現法により,布の表面の手触りの相違を的確に再現する方法を導くことにより, 高品質な臨場感を創出します.
振動ピン配列型触覚ディスプレイ（TD2R）
触感覚は多様な刺激パターンに基づいた非常に複雑な感覚であり，これを表現するために多様な刺激を提示する ことが必要となります．本研究では50本の振動ピンを格子状に配列したなぞり感覚を提示するためのディスプレイ （TD2R）の開発を行っており，複数の周波数を合成した振動刺激を提示することで，より高精度な触感覚を 提示することを目的としています．現在は，複数周波数の合成手法について感覚特性の調査を行っています．
Page Top
剪断力法線振動提示デバイス（SFD4）
物体表面のなぞり運動において，剪断力と法線振動を同時に提示することは，凸形状を有する面のなぞり感覚， 滑り感覚を提示するために有効だと考えられます．本研究では，モータで制御した複数の回転接触子とそれらを 指に対して垂直方向に振動させるディスプレイ（SFD4）を用いて，剪断力と法線振動との統合刺激特性を調査し， より複雑な凸形状を有する面のなぞり感覚，滑り感覚の生成を目指しています．
単列型振動刺激装置
触覚提示は受容部位が高速な運動と変形を伴う皮膚表面であり，感覚提示において，それを被覆して直接 物理的刺激を伝達する必要があります．限定された伝達素子で効率的な表現を行うためには，仮現運動の特性を 利用することが効果的だと考えられます．本研究では，振動素子を一列に並べた触覚ディスプレイを用いて， 触覚の仮現運動，及び視覚と触覚の感覚合成による相互作用の調査を行っています．
Page Top
学習支援システムとデジタル教科書の研究
Digital Learnig Environments
映像空間に基づいた記憶学習支援法を研究しています.人間の認知過程を拡張する拡張認知インタフェースの 1つとして,また近年の学習動機づけの問題に貢献するデジタル教科書のアクティブな学習,ソーシャル学習を, iPad, Android 端末,携帯 電話などをベースに実現する環境の構築を行っています.
記憶学習支援のためのデジタル教科書の「機能」の研究開発を行ってきました． 池井研では，空間情報を利用する電子記憶術（Spatial Electronic Mnemonics, SROM） と呼ぶ支援システムを発展させ，現在タブレット端末上での
- デジタル教科書への適用
- 場所型・かな型・人物型の記憶の掛けくぎ実装
*本技術は，科学研究費補助金の支援を受けて開発されました．