Natural Software

KinectなどのDepthセンサーを中心に活動しています

HoloLens案件の打ち合わせ時に使ってる動画

自分がHoloLens案件で打ち合わせに行くときに使ってる動画をまとめます。 公式のYoutubeにいくつか載っており、公式の事例かつ自分が体験したもの中心にを紹介しています。あとはお客さんの業種や打ち合わせの流れで、公式以外のものも紹介したりしています。

順番は話の流れ。

Skype:遠隔サポート

HoloLensを買えば実現できる基本的な事例ですが、いままでだと研究対象にもなっていた事例です。

HoloLensを装着した人とPCの人ととのSkypeで、HoloLens装着者の視界が見えるので遠隔でサポートできます。ここでは簡単なSkype単体を使った電気工事の事例ですが、あとで紹介するthyssenkruppのエレベーターのようにアプリに組み込んで(おそらく独自に実装して)業務のサポートツールとして使うこともできます。

www.youtube.com

VOVLO:車のショールーム

表示するモデルの大きさに対する流れの作り方、センサーデータのシミュレーションの話をするときに使っています。

動画ではわかりづらい重要な要素がいくつかあります。

  • 視野角の問題について、小さいものは近くに、大きなものは遠くに置くことである程度軽減できる(運用で回避)。
  • 実物大の車は遠くに置くことで、まずは全体を見せる。そのあとで自分が近づくまたは引き寄せることで局所に視線を集中させて視野の狭さを軽減させる。
  • 手元に表示する場合には、小さなモデルを表示させる。これによって視野から外れることを防ぐ。
  • センサーについて、ただ動いているだけではなくHoloLensを装着してる人をセンシングしている。人が後ろから前に動くことで反応するセンサーが変わる。

www.youtube.com

thyssenkrupp:エレベーターのメンテナンス

IoTやDeep Learning/Machine Learning、スマートグラスと話をつなげるときに使っています。

いくつかの要素の複合体です。

  • 実際のメンテナンスに先立ってメンテナンスのシミュレーションを行う。
  • エレベーターの情報(センサーデータ)が視野内に表示される(IoTへ話をつなげる)
  • エレベーターの点検箇所が表示される(Deep Learning/Machine Learningへ話をつなげる)
  • 空間を使って点検項目チェックリスト、チュートリアル、センサーデータ、点検箇所が表示されている(スマートグラスとの比較)
  • メンテナンス中に判断に困った場合にはテレビ電話機能で遠隔サポートを求める

www.youtube.com

thyssenkrupp:階段昇降機

HoloLensを使った計測事例です。計測や精度の話をするときに使っています。

  • マーカーを使って計測を行う
  • 精度は指一本分くらい(精度が出る場合には1cm以内に収まっている)
  • 状況の閲覧はタブレットで行う(コラボレーティブ・コンピューティングへ話をつなげる)

www.youtube.com

Lowe's:キッチンシミュレーション

キッチンのリフォームシミュレーションです。実際に店舗でも使われているようです。

店舗訪問前、店舗見学中、店舗側の情報解析の3つに分かれており、ビジネス的な要素がかなり強いです。

  • 店舗訪問前
    • pinterrestから好みの写真をLowe'sのサイトに送ることで、リフォーム候補をMachine Learningで抽出する
  • 店舗見学中
    • 冷蔵庫やシンク、壁紙などをお好みでカスタマイズできます
    • 中央のアイランドキッチンも自分の身長や好みに合わせて、高さや大きさを調整できます
  • 店舗側の情報解析
    • 顧客がHoloLensで見たときの頭の位置や視線の先を解析して、興味や売り上げとの相関を分析する(たくさん見ている、滞在しているところは興味があるなど)

www.youtube.com

Trimble:BIM/建築系CAD

今現在引き合いの多い建築向け動画です。

BIMや3D CADで設計した建築データを、建築中の場所に重畳させる、配管を通してメンテナンスに活用するといった、3D CADデータをより長期的に活用する方法について示されています。

www.youtube.com

小柳建設:建設工程管理

こちらも建設向け動画です。

建設対象のモデル、工程、記録などがすべてHoloLens内に入っています。

橋のスケーリングを変更できるので、設計データと実際の建設物との大きさのイメージがリンクされるので教育目的への活用も期待できます。

www.youtube.com

HoloPortation:リアルタイム遠隔コミュニケーション

さまざまな要素により現在の実現は難しいですが、よく話にでます。

リルタイムで3Dデータを再構築し、遠隔コミュニケーションに使用します。

www.youtube.com

Holographic Capture:3D動画

より現実的なところで3D動画です。

HologramsのバレリーナやBuild 2017でのシルクドソレイユのパフォーマンスなどに使われています。

後処理型ですが、各フレームごとにメッシュ情報とテクスチャを持っており、3Dの動画といえる状態になっています。

www.youtube.com

まとめ

おおよそ上記の動画で説明しています。

分野もさまざま用途のさまざまですが、分野にとらわれず要素を分解して組み立てると多くの方面に使えると思っています。