Open Virtual Exhibition プログラム詳細
発表番号は 部屋(A~C) + 番号 + (発表日) を表します。全日程 9月16日(水)16:00-18:00 9月17日(木)17:00-19:00 9月18日(金)17:00-19:00 タイトルのみ
ポスター会場は、Hubs VRの各部屋ですが、体験デモ ライブデモはDiscordの「OVE発表別」エリアのチャンネルが中心です(Discordの入り方)
OVEはYouTube Live(16日 17日 18日)で中継します。1分発表1分質疑です。
HCI・モデル・シミュレーション
ARCloud体験のデバイスやOSの制限を解決するために我々はOpenVSLAMを用いてデバイスやOSに依存しない自己位置推定システムを開発した.本システムによって,スマートフォンなどだけではなく,例えばWebカメラやドローンなど,カメラの搭載されたデバイスであれば自己位置推定・仮想空間の共有が可能になる.本システムはUnityで開発されたクライアントシステムと,OpenVSLAMを用いたサーバサイドシステムで構築される.クライアントから画像と相対座標値を送信し,サーバサイドで自己位置を認識し,相対座標値と絶対座標値のオフセットを返却することでこれを実現する.
【画像認識によるAI開発に必要な教師データを,バーチャル空間を利用して生成】 精巧な3Dモデルや周辺空間を製作しライティングなどの調整を行うことで,現実に近いフォトリアルなバーチャル空間を製作することが可能となる。現在,これを応用してバーチャル空間を用いたAIの教師用データ生成を行っており,自動運転車のAI学習や製造業における外観検査AIの学習などの用途で活用できている。更に本バーチャル空間を他のシミュレーションエンジンと連動させることで,この空間内でのオブジェクトの振る舞いについても現実と相違ないものとして再現ができている。
視覚(HMD)
HMDの普及により、個人がVR空間に没入して実空間とは乖離した体験をすることが容易になってきた。 しかしながら、HMDを装着してVRを体験する際には同じ実空間にいる他者にはその体験が伝わりにくいため、VR体験の共有やコミュニケーションが難しい。そこで、HMDにレーザースキャンプロジェクタを装着してVRプレイヤーの視野を実空間の壁面に投影することで、周囲の人の注視の方向が同期しかつ没入感のある体験を可能にすること提案する。その際の映像投影や描画の工夫や周囲の人が方向指示を通してVR空間に介入する手法を提案し、その実装および応用例を示す。
人間が仮想空間と実空間において同様な体験をするためには,HMDの解像度は重要である.解像度の変化がユーザに与える影響を調査するために,人間の平衡を指標として重心動揺実験により調査した.解像度の変化は,空間周波数帯域とその副産物であるジャギ―の運動を変化させる.特にジャギーの運動は人間の重心動揺に大きな影響を与えるが,その影響がどれほどであるかを知るためには実際に体験する必要がある. 本展示では,重心動揺実験の配信を通して,解像度という視覚情報の変化が人間に与える影響がどれほどのものか体験してもらうことを目的とする.実験の様子と被験者の視点,その重心動揺の軌跡をライブストリーミングにより提示する.
既存の光学シースルー型HMD(Optical See Through HMD:以下OST-HMDと略す)には2つの課題がある.1つ目は中心視野に生じる輻輳と調節の矛盾である.これが生じると装着者にストレスを与えてしまう.2つ目は視野角が狭いことである.OST-HMDの理想は人間の視野角を満たすことであるが,現在は中心視野のみにしか提示することができない.よって輻輳と調節の矛盾が生じない広視野なOST-HMDを開発することが求められている.そこで今回の発表では,2つの課題を解決する複合型HMDを提案する.中心視野で生じる輻輳と調節の矛盾に対しては,ビデオシースルーを用いることで解決する.視野角の狭さに対しては,周辺視野には光学シースルー提示を行うことで視野角を広げる.
視覚(立体ディスプレイ)・ロコモーション
本展示では,再帰性反射材に対する点光源の反射光が広がりを持つことを利用し,光源に空中像を生じさせることでスマートフォンのディスプレイ空間拡張並びに照明装置への応用を提案する.本展示を行うにあたり,LED光源と再帰性反射材間の距離及びLED 光源の角度をパラメーターとした実験を行い,150 度で最も大きく空中像を生じさせることが可能だとわかった.その知見を利用し,スマートフォンでも空中像が生じさせ,ディスプレイ空間の外側での情報提示を実現した.今後の応用として,交通案内や照明・インスタレーション等への活用が期待される.
霧箱の原理と超音波の圧力変化を使用した3次元ディスプレイを検討したが, ディスプレイの画素に相当する白い雲の発生時間が長かったことなど様々な課題が残った. 本内容では細長い容器に変更することで装置の容積を減らし, 事前に容器内の圧力低下をすることで減圧沸騰を起こしエタノール蒸気を容器内に充満させる. そして, 超音波を使用することで定在波の位置に圧縮・膨張が発生し, 圧力変化が起こることでエタノール蒸気が液体へと凝縮し白い雲が発生するのか, また, そのときの気圧はどれほどなのか, 調べることにした.
医療・健康・心理
身体所有感の錯覚は視覚・触覚同期刺激や視覚・運動同期刺激の提示によって生じる。部分所有感であるラバーバンド錯覚は23秒で誘発され,全身所有感においては5秒間身体を観察するだけで生じる。しかし,透明身体のように身体提示領域を減らした際の生起時間は明らかとなっていない。本研究では,手袋と靴下からなる透明身体における全身所有感の生起時間を調べた。その結果,6.93秒の同期運動または4.67秒の観察で全身所有感が生じた。
特定の対象に過度な不安を感じる不安症の治療方法にVRを利用するVR暴露療法がある. 私たちは不安レベルを推定し,これを適切なレベルに保つようにVR環境を制御するVR暴露療法システムを提案した。 低負担で計測できる生理指標から不安レベル推定化手法の検討をした.その結果,不安レベル推定式を立てた. 次に不安レベル推定手法の評価とVR空間の評価を行う予定だったが,今日のコロナ禍によりオンライン環境での実験を余儀なくされた.そのため,オンライン実験の模索をしている. 現在はVR空間をスマートフォンにビデオ会議アプリを用いて画面共有し,簡易HMDでのVR空間の提示と,BITalinoを用いた簡易な生理計測機器の開発を予定している.
VR応用(教育・産業)
絵本「なないろどうわ」を原作としたドームシアター向け番組を開発。 絵本というメディア体験からドームシアターの高臨場感体験へ変換するにあたり、色の高臨場感体験を特徴として映像デザインを行い、その効果について3mドームでの視聴体験を通したアンケート結果から考察を試みた。
2016年に東南アジアのハブであるタイのバンコクにXRの開発会社を立ち上げ、現地の大学や企業とXRの技術と特性を活かした実用性の高いXRのアプリケーションの開発を行なってきてます。今回は、実際にタイの大学やビジネスシーンで活用されているXRのユースケースと当社の開発体制、取り組みを発表いたします。
身体・アバター・コミュニケーション
他者と協力した作業では,お互いの息が合った「あうんの呼吸」が成立する場面がある.しかし,あうんの呼吸の成立条件及びその効果については明らかでなかった.本研究ではヒトとロボットの協調作業における「あうんの呼吸」を実現するために「餅つき」を題材にしたVRシミュレータを構築した.ロボットアームが杵で餅をつき,体験者はそのリズムに呼応して合いの手をいれる.本提案ではロボットアームの動作周期の変動によりあうん性を感じさせるデモを展示する.
直面のモニタを使ったリモートコラボレーションの研究は,ホワイトボードをモチーフとした2次元的な作業空間を用いるものが多く,非言語コミュニケーションにおいて重要な手指,視線等の提示方法の検討も多く行われている.反面,3次元的な作業空間についてはこれらをどう提示すべきかという研究があまり進んでいない.本研究では直面モニタを用いたリモートコラボレーションにおいて共同作業者や作業空間,手や視線等を3次元の作業空間上にどう提示すべきかを調査している.今回の展示では,共同作業者とその手に注目してより適切なそれらの提示方法を提案する.
ハプティクス
指先にかかる圧力分布の計測は触感再現等に必要なセンシング技術の一つである.本研究では,皮膚に圧力がかかった際に色が変形することに着目し,非接触での圧力分布計測を可能にする手法を提案する.本手法は凹凸面越しの皮膚色変化をカメラによって撮影することで圧力分布の計測が可能とする.評価として皮膚の色変化がアレイセンサ上での圧力分布と対応していることを確認し,皮膚色変化が持つ空間解像度の定量評価を行った.
我々は水流とペルチェ素子を用いた顔面へ温冷感覚を提示するマスク型ディスプレイを開発中である.現状のバーチャル世界へのインタラクションはその中で感じる知覚のリアリティの追求は多くなされているが,現実世界とバーチャル世界の境界面の提示感は乏しい.そこで我々は顔面への温冷覚,圧力,風の提示とバーチャル映像の切替を組み合わせることで境界面の再現を目指した。これにより氷山や砂漠など普段実世界で気軽に体験できない空間への没入感が期待できる.本発表ではユーザ実験を通して得られた本ディスプレイによる触覚提示感覚の評価及びインタラクション例を実際に紹介する.
デモ 動画
スマートフォンの画面に表示された柔軟物体をタッチで変形させる際に,柔らかい感触(疑似力覚)を生起させる振動提示手法を調査したい.本発表ではそのような研究に利用可能で,Webブラウザだけで動作するアプリ“鳴きゼリー”を試作したので紹介する.本アプリでは,JavaScriptで実装した柔軟物体の物理エンジンが動作し,タッチした指に作用する力がリアルタイムで計算される.その計算された力に応じた音声信号をWeb Audio APIによって生成する.音声信号はスマートフォン端末を振動させ,指に振動フィードバックを与える.紹介するデモでは,フルーツゼリーが表示され,タッチにより生じた力に応じて音声が生じる.デモURL(インストール不要):http://sasekazu.info/naki-jelly/
アート・エンタテイメント
我々の研究室では自律キャラクタのモーションをデザインし、身体的なインタラクションを行う自律キャラクタの制作ソフトVGentEditorを開発している。今回は、VR空間でプレイヤーのアバター自律キャラクタの接触を可能にするシステムを実現し、VGentEditorによって接触箇所や接触力によって多彩な反応を行う自律キャラクタを制作した。また、自律キャラクタとの触れ合いを遠隔地から多人数で体験できるオンラインVR環境も実現した。本発表では、体験者がコントローラ付きHMDを使用して遠隔地から自律キャラクタや他体験者と共有するVR空間に没入し、自律キャラクタとの触れ合いを体験することができる。
「むしむしキャッチ」は、プロジェクタでスクリーン(壁⾯)に投影された可愛い⾍たちを、実物の⾍取り網で捕まえるインタラクティブゲームです。個性があふれる⾍たちを、実際の⾍の特徴を活かしてキャラクター化し、⼦供たちから愛されるような可愛らしいデザインとしました。ゲームは⾍取りの網に⾚外線LEDを取り付け、カメラで⾚外線を検出して網の中⼼位置を特定し、⾍の座標の中⼼と重なった時に捕獲と判定される仕組みになっています。投影された壁⾯を動き回る⾍たちを楽しみながら捕まえるゲームをつくることで、もっと⾍を好きになってもらいたいと願い制作しました。2021年1⽉の桜美林⼤学卒業制作展でも展⽰する予定です。
テレプレゼンス・聴覚提示
我々が開発している全周立体視が可能なテレプレゼンスカメラによって,HMDを装着したユーザは遠隔地の高いリアリティが得ることができる.しかしながら,それを用いて遠隔地の人と対話する場合には,遠隔地の人は対話相手のユーザの顔を見ることができない.そこで,遠隔地の人がMRグラスを利用することによって,カメラの位置にユーザのアバタを提示して自然な対面対話に近いコミュニケーションを図れるシステムを構築している.本デモでは,本人を表す立体アバタを用いた対話支援の構成を紹介する.
オープンソースで実装されているWebVR コラボレーションプラットフォーム「Hubs」では、空間音響にWeb Audio API のPannerNode インターフェイスが実装されている。立体音響は空間や距離感を認識する上で重要である一方、ネットワークで接続された同一空間内の不特定多数のユーザによる動的に移動可能な会話環境を考慮すると、音量減衰モデルによってはお互いに干渉し合うため、適切な会話環境の設計を行うためには各モデルの特性を明らかにしたうえでの設定が必要となる。本研究ではPannerNode を利用した複数人の会話を再現する評価実験を完全オンラインで実施することに成功しており、結果を共有する。
これからのテレイマージョン技術(テレイマージョン技術研究委員会 主催)
神経刺激インタフェース研究はどこに向かうか(神経刺激インタフェース研究委員会 主催)
叩かれる,斬られるといった緊張感のあるシチュエーションにふさわしい触覚を提示するには,強度が大きくかつ自然なものでなければならないのと同時に安全である必要がある.機械刺激は自然な感覚を提示することができるが,強度を大きくしすぎると怪我につながる恐れがある.電気刺激は強度の大きな刺激を安全に提示できるが,特有のビリビリ感ゆえに触覚の自然さは劣る.そこで,物理オブジェクトに電極を取り付け,肌との接触時に電気刺激が行われることによって機械刺激の主観的強度を増強する.スリリングなシチュエーションのVRコンテンツ,注射の痛みへの恐怖に慣れるためのトレーニングへの応用といった実用的な利用例を提案する.
唾液は体の健康を保つ上で重要な役割を持つ分泌物であり,唾液分泌量の減少は様々な問題を引き起こす.本研究では唾液分泌を促進するための手法として唾液腺およびその周辺の神経の経皮電気刺激に注目し,唾液分泌を効率的に促進する電気刺激手法の構築を目指した.複数考えられる電気刺激のパラメータのうち特に刺激を提示する位置に注目し,電極の配置を変化させた際の唾液分泌量を計測して無刺激時と比較することで電気刺激が唾液分泌に与える影響を調査した.
従来研究の知見として一般的に,身体状態が安定するほどGVSの効果が弱くなると指摘されてきた,当該研究ではドライビングシミュレータをターゲットとしているため,着座状態を想定しているが,身体状態でどの程度の差異が生ずるか明らかではない.そこで,本研究では「左右加速度同様に前後加速度知覚量も身体のバランス状態が不安定な方がGVSによる効果が増える」という仮説の検証を行った.
腱直上での電気刺激によって力覚を提示する手法を提案してきた.この錯覚の生起に寄与する受容器に関して,刺激部位から腱内部に存在する力センサであるゴルジ腱器官などの深部感覚受容体の寄与による仮説があった.しかしながら,これに関してデータに基づいた議論はなく,また本手法は皮膚上に設置した表面電極を使用するため、皮膚受容体による寄与を否定できなかった.これに対し,電極間隔の広狭によって電気刺激の到達深度を変更することにより,腱直上の電気刺激によって生起された力覚が皮膚感覚によるものかあるいは深部感覚によるものかを判別する実験を行った.その結果,深部感覚の受容体の寄与がより大きい可能性が示唆された.
視覚電気刺激(GSS: Galvanic Sight Stimulation)は眼球周辺への経皮気刺激によって眼内閃光(Phosphene)と呼ばれる視覚提示が可能な技術である.この眼内閃光を利用することで、GSS視覚ディスプレイが実現できないかと考えている。GSSによる色の提示に関しては、白色の眼内閃光が惹起可能であることが知られている。そこで本報告では,GSSにより白色以外の眼内閃光が惹起可能であるかどうかを調査した研究について報告する。
重量感は楽器のトレーニングや運動トレーニングに重要な要素の一つであるが、視覚的または口頭で正確な重量感を他者に伝えることは困難だった。本研究では、ユーザが手指に任意の力を与えた時の筋肉の膨らみ(筋変位)を前腕部分に設置したIRセンサーアレイで検出し、ユーザの重量感を推定する.筋変位のデータを、学習済みのサポートベクター回帰(SVR)分類器に入力し,重量感を推定する。最大2000gまでの重量の範囲で、ユーザに押さえつけの重量感を発生させた結果、測定値と推定値の相関係数は0.911、RMSEは236 g、MAEは150 gであった。今後は、様々な重量感が発生する状況での本手法の適応が期待される。