読者です 読者をやめる 読者になる 読者になる

Natural Software

KinectなどのDepthセンサーを中心に活動しています

Structure Sensorで3Dスキャンした人のモデルをHoloLensで表示させたときのまとめ

HoloLens

思い付きで3Dスキャンしたデータにリグ(ボーン)、モーションをつけてHoloLensに入れてみたら、思いのほか反響があったのでおおよその手順を記録しておきます。

慣れるとスキャンからリグ入れまでで30-60分でしょうか。

詳しい人からすると目新しいものではないかもしれませんが、手軽にここまでできるようになったというのは進歩なんだろう思います。

f:id:kaorun55:20170123020613p:plain

モデル

フリー素材です。常識の範囲内でご使用ください。

https://www.dropbox.com/sh/kxtcgvzbgxo4bzv/AAAS1TkKjCWPe826qYXQkhr_a?dl=0

必要な機材、アプリ

  • Storcutre Sensor:iPadに装着する3Dスキャナーです。iPadの世代によってStructure Sensorのブラケットが違うの注意してください。Structure Sensor単体で$379です。
  • iPad:Structure Sensorを装着します。
  • itSeez3D:3Dスキャンアプリです。クラウドで処理してダウンロードする際に課金されます。サブスクリプションによって値段が変わりますが、1体あたり$7と考えておけばいいと思います。
  • Unity:HoloLensアプリを作ります。
  • Maya(Blender):3Dスキャンしたモデルデータにリグ(ボーン)を入れます。ぼくはMayaの自動リグを使いました(廉価版のMaya LTでも可)。出力はFBXにします。
  • Motion Builder(Blender):モーションデータを加工します。UnityはBVHファイルが使えないので、モデルデータに埋め込むか、BVHをFBXに変換します。
  • HoloLens:オプション。見るだけならUnityエディター上でも、VRデバイスでもなんでも。

手順

1. iPadにStructure Sensorを接続し、itSeez3Dで3Dスキャンします。このとき、Tポーズでとることで、リグを入れて好きなようにできます。ただし、Tポーズの3Dスキャンが難しいのでAポーズでリグを入れてモデルを調整するやり方でもいいかもしれません。

f:id:kaorun55:20170123021134j:plain

2. スキャンデータはクラウドに上げて処理されます。しばらくすると、iPadでプレビューできます。itSeez3Dアプリでここまでの手順は無料です。

f:id:kaorun55:20170123022719p:plain

3. 3Dデータに問題なければダウンロードします。ここで課金が発生します。

f:id:kaorun55:20170123022853p:plain

4. 3Dモデルの形式はOBJなので、MeshLabなどで見られます。

f:id:kaorun55:20170123021233p:plain

5.このモデルをMayaに入れ、モデルを調整(スケールの関係でX,Y,Zの大きさをそれぞれ100倍、正面を向くように回転)し、自動リグ処理をします。

このファイルをFBXで出力すれば、Unity上で扱えるようになります。

f:id:kaorun55:20170123021305p:plain

6.モーションデータを作成します。UnityはBVHファイルが使えないので、Motion Builderでモデルデータに埋め込むか、BlenderでBVHをFBXに変換します。

7.3DモデルとモーションデータをUnityに入れ、アプリを作成します。

そのままだとHoloLensで表示するには重いのでメッシュの数を減らしたり、ボーンも調整してあげると、きれいに表示できるようになります。

 

ちなみに、モーションデータはPerfume official global websiteのものを使用しています。


Perfume x TMCN x HoloLens

3Dスキャン、リグ入れは場所、機動性とトレードオフで改善可能なので、それも進めようと思います。

「株式会社ホロラボ」を作りました

1月18日付けで株式会社ホロラボを起こしました。

hololab.co.jp

個人事業主になったのが2012年の9月なので、あれから4年ちょっと経ちました。

www.naturalsoftware.jp

 

おかげ様でKinect、RealSense、LeapMotionなどでお仕事をいただけて(なので、上記は「独立」ではないですね)最近はHoloLensにシフトしてきました。

まさに今日からHoloLensが日本国内で出荷され、これからHoloLensを使っていこうという方が多いと思います。今回はKinectのころと比べて企業の動きも早く、すでに研究など進めているところが多いと感じます。

そんな中、立ち上げにどうしたらいいか?困ったときにどうしたらいいか?という拠り所になれればいいなと思っています。去年の5月から続けていた助走期間が思ったより効いていると実感しています。

個人的には個人事業の延長なので、アプリ開発支援や開発、トレーニングなどできればと思います。開発の話もいくつかいただくので、開発メンバーも入ってほしいという思いもあります。

個人事業主になったときと同様、どこまで続けられるかはわかりませんが、今後ともよろしくお願いいたします。

 

 

HoloLensアプリの開発を始めるまでの資料を作りました

今月末からのHoloLensイベントでのハンズオンに向けて、開発環境のセットアップとハンズオン資料を公開しました。

使用バージョンは以下の通りです。

  • Unity 5.5.0p2
  • Visual Studio 2015 Community/Enterprise
  • HoloToolkit v1.5.5.0

バージョンの組み合わせにより、動かない機能があったりするので、しばらくはこの組み合わせで進めます。

HoloLens Meetupについて

ハンズオンとMeetup(勉強会)の2部構成になっています。

ハンズオンは「ご自身のHoloLens持ち込みが必須」となっています(HoloLens最大の特徴であるSharing体験も行います)。

Meetupは参加条件ありませんので、ぜひぜひご参加ください。

docs.com

 

docs.com

2016年のふりかえり

ふりかえり

今年も無事に終わりました。

みなさまありがとうございました。

3月までは今まで通りだったのですが、4月にHoloLensのWave1の通知が来てからガラッと方向が変わりました。

2017年はHoloLens/Windows Holographicの予定です。

 

後半はCoderDojo調布の立ち上げに参加して、月1回の道場のメンターをしています。自分の子どもが小学生になったこともあり、子ども向け、大人向け、地域向けにいろいろ出来ればと思います。

HoloLensダイジェスト

www.naturalsoftware.jp

www.naturalsoftware.jp

www.naturalsoftware.jp

 

細かいところはこちらで

www.naturalsoftware.jp

 

出版

TFSUGで1冊だせました。

勉強会も空いてしまったのですが、ぼちぼちやっていきたいなと。。。

www.naturalsoftware.jp

2016年の記事一覧

4月以降はほぼHoloしか書いてませんね。。。

www.naturalsoftware.jp

去年のふりかえり

www.naturalsoftware.jp

 

Windows10 エンタープライズ アカデミーでのHoloLens関連記事

昨日はこんなイベントがありました。

HoloLensが日本のメディアにお披露目される最初の機会だったそうです。

実機の展示もあったので、写真流れてくるかなーと思ってたんですが、特にないですねw スーツのかた向けだからかな。

これに合わせて本社の方も来ていたようで、2つ記事が上がってました。

僕も昨日はオフィシャルな体験会に参加して、ベン・リードさんとのQ&Aを横で聞いていました。

pc.watch.impress.co.jp

www.itmedia.co.jp

少しずつ動き出した感じがあり、いよいよ明日からプレオーダー。

これから楽しみですね。

 

HoloLensと3Dデータの記事を書きました

HoloLens 実績

HoloLensと3D モデル/3D CADとの組み合わせについて、対談と記事がでました。
3Dデータが「即座」に「実寸」で目の前に現れるというのは、いままでの3Dデータの在り方を変えるのではないかと取り組んでいます。
2本セットで読んでいただくといいのですが、やっぱりモノを見てもらうのが一番いいですね、、、


3D CADとAR/VRの融合で加速するモノ作り

Autodesk Fusion 360エバの藤村さんとの対談です。3DモデルをAR/VRで見るというは楽しいですよ。という話です。

www.itmedia.co.jp


CADデータをHoloLensに取り込んで見てみよう

上記で3D CADを使っていますが、それをどうやってHoloLensで見るかという話の概要です。

licensecounter.jp

 

 

HoloLensの日本でのプレオーダー日程について公式アナウンスがありました

HoloLens

HoloLensの日本でのプレオーダーについて、公式アナウンスがありました。

news.microsoft.com

2016年12月2日(金)よりMicrosoft Store 限定でプレオーダーを開始、2017年初頭より出荷とのことです。1月か2月くらいでしょうか。

日本語の対応状況など含めて気になりますね。

 

販売の拡大について、いくつかの国に解放される中の一つかと思っていたのですが、今回は日本だけのようです。

blogs.windows.com

 

価格

気になる価格ですが、頑張った感があります(アメリカでの$3,000も税抜きです)。

  • Microsoft HoloLens Development Edition(開発者版):333,800 円(税抜税込)
  • Microsoft HoloLens Commercial Suite(法人向け):555,800 円(税抜→税込)
  • Clicker(画面操作機器):8,800 円(税抜)

それぞれ税込みで約36万円、約60万円ほどでしょうか。

クリッカーは付属だと思うのですが、わざわざ価格が表記されているのが気になります。

Commercial Suiteについて

Commercial Suiteについてはこちらを参照。認証やセキュリティなどが追加されています。HoloLensのハード含めて納品になるような場合には、こちらを選択するようです。

www.microsoft.com

 HoloLensについて

まとめています

www.naturalsoftware.jp