読者です 読者をやめる 読者になる 読者になる

Natural Software

KinectなどのDepthセンサーを中心に活動しています

HoloLensまとめ

HoloLens

最終更新:2016/12/02

概要

マイクロソフト社が進めている頭部装着型のPC。Windows 10が入っており、それ単体で動作するため、HMD(ヘッド・マウント・ディスプレイ)とは別物としている。

f:id:kaorun55:20160502143613j:plain

Oculus RiftやHTC ViveのようなVR(Virtual Reality:仮想現実)ではなく、部類としてはMR(Mixed Reality:複合現実感)とアナウンスされています。MRにはVR的な要素やAR(Argumented Reality:拡張現実感)的な要素も含んでいます。厳密な定義としては現状のHoloLensの機能的には「MR」というよりは「完全なAR」の範疇にいるようです。

MRの概念についてはこちら

次の動画は1年ほど前のビデオですが、イメージは理解できるかと思います。


Microsoft HoloLens - Transform your world with holograms

 

ARが現実に仮想オブジェクトを上乗せする、VRが仮想オブジェクトの世界を構築するのに対して、MRは仮想オブジェクトが現実の影響を受けるということが違いでしょうか。

MRをイメージした簡単なサンプルアプリケーションを作ってみました。


HoloLensでMixed Reality

 

HoloLensは配置したオブジェクトの空間位置を記憶しているため、自分が動いてもその場所にとどまります。動画では多少ブレていますが、実機で見たほうがブレが少ないです。最後に頭を振っているので、酔いに注意してください。


HoloLensの空間に置いたモデルの周りをまわってみる

 

HoloLens

2016年3月に開発者版の出荷が開始されました。価格は$3000。円換算、諸費用込みで40万円弱(1USD-110JPY)になりました。

www.microsoft.com

2016年12月2日に日本でもプレオーダーが開始されました。出荷は2017年1月18日の予定です。

 

概要資料を作りました。

docs.com

体験手順

体験手順をまとめました。体験会のおともにどうぞ。

doc.co

いくつかの体験会を実施した感想です

www.naturalsoftware.jp

45分でできるHoloLensアプリハンズオン資料も作ってみました(まだ実際にやっていませんが)。

docs.com

ハードウェア

CPUやOSが入ったデバイスで単体動作します。VR系のデバイスだとGear VRが近いでしょうか。詳細はこちら。

Hardware details

 

ソフトウェア

HoloLens用のWindows 10がインストールされており、UWP(Universal Windows Platform)形式で開発したアプリケーションが動作します。

HoloLens内にWindowsアプリのストアがあり、PowerPointやOneDriveといった既存のアプリケーションがインストール、実行できます。

アプリケーションを開発するときはPCでコンパイルしたアプリをUSB経由で転送し、HoloLens内で実行します。UWPアプリの開発環境(フレームワークおよび言語)は以下の3種類です。HoloLensで動作するアプリケーションはPCのようなウィンドウモードと全画面(全天、360度)のアプリの3種類があります。DirectXのプロジェクトテンプレートはHoloLens Emuratorのインストーラーに同梱されています。

  • ユニバーサル Windows アプリ(C#/ウィンドウモード)
  • DirectX(C++、C#/全画面モード)
  • Unity(C#/ウィンドウモード、全画面モード)

詳細はこちら

Windows Holographic

キーとなるフィーチャーはこちら

  • Camera:カメラ(HoloLens自体)
  • Gaze:視線(顔の向き)
  • Gestures:ジェスチャー
  • Voice input:音声コマンド
  • World anchor:アンカー(目印)
  • Spatial sound:3次元音響
  • Spatial mapping:空間センシング

ユニバーサル Windows アプリが作れればとりあえずHoloLensでの実行はできます。HoloLens独自の機能を試したい場合には、チュートリアルが充実しているUnityを使うとよいでしょう。

Windows Holographic - Academy

単体での機能のほかに、World anchorを共有して複数台のHoloLensを同期させる機構ももっています。

www.naturalsoftware.jp

エミュレーター

実機が使えない場合にはエミュレーターの使用ができます。エミュレーターはHyper-Vで動作するため、動作要件を確認してください(Windows 10 Proが必要など)。

Install the tools

f:id:kaorun55:20160428120247p:plain

実機と比べると異なる部分が多いですが、最初の一歩としてはよいかと思います(デバイスがある場合にはほとんど使いません)。

ドキュメント

開発の際のドキュメントはこちらです。

Windows Holographic - Documentation

 

得手、不得手

まだ視野角が狭い(全体を映像で覆うわけではない)ので、全天画像的なものはVRのほうがよいでしょう(そもそも現実を覆うのでHoloLensにする必要があるのか?という話も)。

小さめのものや、視線を誘導するものが合っていると思います。これなら視野角もあまり気になりません。

その他、到着して2週間ほど(2016年5月)で行った体験会を通して感じたことをまとめました。

www.naturalsoftware.jp

 

ニュース

2016/12/01更新

www.naturalsoftware.jp

www.naturalsoftware.jp

2016/11/29更新

www.naturalsoftware.jp

2016/11/02更新

www.naturalsoftware.jp

2016/10/14更新

www.naturalsoftware.jp

2016/10/12更新

HoloLensのWindows 10が14393.321になりました。

www.naturalsoftware.jp

2016/09/20更新

HoloLensのWindows 10が14393.187になり、Unity Remote Debugging for Hololensができるようになりました。

www.naturalsoftware.jp

2016/08/24更新

Intelが「Project Alloy」を発表しました。Windows Holographicデバイスとのことです。

www.naturalsoftware.jp

2016/08/03更新

Windows 10 Anniversary Updateとともに14393にあがりました。

www.naturalsoftware.jp

2016/06/01更新

HoloLensのWindows 10が14342になりました。

www.naturalsoftware.jp

blogs.windows.com

Windows Holographicをサードパーティーに公開。各社からHoloLens相当のデバイスがでる可能性が。

blogs.windows.com

HTC ViveとHoloLensで空間を共有するデモ。スクリーンに写っているのはKinectを使った撮影機材の映像なので、Kinectの進化にも期待。


Microsoft Keynote at Computex 2016

イメージ動画


Windows Holographic: Enabling a World of Mixed Reality

実機で撮影したもの

基本的なジェスチャー。これだけできればおおよその操作はできます。


HoloLensの基本ジェスチャー

UWPアプリの操作風景


HoloLensでUWPアプリを動かす

MRをイメージできるようなアプリ


HoloLensの中を走り回るSDユニティちゃん

MRゲーム的なもの。現実と仮想空間を駆使しながらゲームを進めるイメージ。


UnityちゃんとHoloLensでMRゲームっぽいの

www.naturalsoftware.jp

 


HoloLensで5人のホログラムを共有したゲーム


HoloLens 透明だけどオクルージョンするオブジェクト

リアルタイムに自分を俯瞰できる映像を付与する。自分の視界以上の周辺環境の現実、仮想空間を表示。


リアルタイムに自分を俯瞰する

アプリケーション開発

Unity

HoloToolkit-Unity

www.naturalsoftware.jp

Gaze,Gesture

www.naturalsoftware.jp

Voice

www.naturalsoftware.jp

Spatial Sound

www.naturalsoftware.jp

Spatial Mapping

www.naturalsoftware.jp

www.naturalsoftware.jp

www.naturalsoftware.jp

World Anchor

www.naturalsoftware.jp

コミュニティ

HoloMagiciansというコミュニティが発足しており、日本各地で体験イベントを開催しています。

HoloMagicians | HoloLens Creator Group Japan

hololens.connpass.com

ARとMR

ARやMRの定義についてはこちらの論文が元になっているそうです。

 

 

合わせて読みたい

各種リンク

公式ドキュメント

HoloToolkit