Natural Software

KinectなどのDepthセンサーを中心に活動しています。最近はHoloLensになりました。

2018年のふりかえり

こっちのブログは1年間何も書いてませんでしたw

登壇含めて会社ブログの方には書いてたんですが、個人の活動は個人のブログの方に書いた方がいいかなぁと思ったりしました。

blog.hololab.co.jp

まぁ、会社運営も含めてやりながらいい方法を探していくしかないんですが。

ドメインも含めて変えようかな。

会社

今年のふりかえり

一年通しで無事終わりました。まぁ昨年も登記が1/18なのでほぼ1年ではあるんですが、11月決算なので年度としても丸一年ということで。

www.slideshare.net

今年どういう視点で仕事をしていたかというのは上記スライドを見てもらえればと思います。ホロラボはスタートアップではなくスモールビジネスなので、売り上げはきちんと立ってますがもうひと頑張りというところですね。そこには来年に向けての仕込みも入っているので、それがきちんと芽が出るかというのはドキドキではあります。

今年は人が増えて色々と規模も大きくなってきたのでだいぶバタバタしています。お金の規模、人の人数、仕事の規模とそれぞれステップが変わった感じがするので、それぞれをバランスするために考えることが多くてなかなか大変です。がそれも楽しかったりします(お金大事、人大事、仕事大事)。安直な言葉でいうと学びが多かったんですが、考えて実践してふりかえってをひたすら繰り返していました。伊藤さん含めてたくさんの人に助けてもらって、お客さん含めてたくさん迷惑をかけつつ、なんとか乗り切った感じです。まぁ実際にはこんなとことに書けることは上っ面でしかないのですがw

スライドにない部分で去年との変化としては、製造業系が増えた、いわゆる日本の大手メーカーが動いている、東京以外のお客さんが増えた。というところがあります。内容も検証段階とは言え1件1件がとても重い(ヘビーなほう)ので、実務メンバーには結構な負担になってる反面、それをこなす強力なメンバーに恵まれたという実感があります。こういうのはWebにあまり出ない部分なので、露出されるころにはだいぶ世界は変わった後なのかなと。そういう意味でTwitterやWebで見えてるHoloLens界隈の視界と、社内(というか自分かな)から見えるHoloLens界隈の視界はだいぶ違うんじゃないかなと思っています。

とりあえず2年間走ってふりかえって見ると、会社としての価値というものが意外といろいろなところに出始めてるとは感じています。といういう価値の部分をお金に換えて社員のみんなに還元できるとようにするのが今の自分の仕事なんだろうなとは思います。あとは立ち位置、期待値など面白い位置にいるのですが、そのぶん成果を出し続けないといけないので、それ自体も良くも悪くもなんでしょうね(当初のゆるふわな部分もあれば、そうでない部分もある)。

自分の仕事といえば、最近は雑談するのが仕事になってる面もあって、社員と雑談、お客さんと雑談などなど。どんなに技術が進歩しても対面での会話には勝てないと思うのは、そういうのがあったりします。0か1ではなく程度の問題なので、目的、用途、制約など、さまざまな条件には当然よるのですが。

来年に向けて

まぁどうなるか分からないので変わらず走りながら考えるしかないですね。仕込みはいろいろしてますが、どれが当たるかわからないので弾は多く作っておくくらいしかないですね。とはいえ、発散しつつも収束するようになってくるとは思うので、変わらず面白い立ち位置には居られるんじゃないかなと思ってます。

自分の仕事的にはオフロードを心がけてみます。もうちょっと手を動かせる時間を作りたいなと。定期的に社内で議題に出しつつ答えが出てないのですが、いまやってることは営業も、マネジメントも、もちろん開発も手を動かして技術を理解してないと難しいんじゃないかと思っています(自分がそうだからってことで解はないのですが)。とにかく知識と技術は更新しておかないと。

会社以外

平日が忙しすぎてCoder Dojoにすっかり行けなくなってしまいました。会社が落ち着くまではしょうがないかなぁと思ってます。。。

出張や打ち合わせが多くてあまり家にいられないのもちょっとなぁとは思いますが、これも会社が落ち着くまではしょうがないかぁと思ってます。。。

健康診断の結果もアレだったのですが、これも会社が落ち着くまではしょうがないかぁと思ってます(とりあえず平日の夜家にいるときのお酒はやめましたw)。。。

まぁ、しばらくは時間の大半は会社に振り分けですね。

2017年のふりかえり

今年はホロラボを立ち上げ、コミュニティも立ち上がって自分の手を離れ、メンバーも増え、マイクロソフトのMRパートナーにも認定され、しっかりとHoloLensで生活できました。ちょっと予想の斜め上を行き過ぎてますね。

半面、CoderDojoは当日参加以外のところまで手が回らなかったのが申し訳ないところです。

個人的には今年は会社と仕事を回すことが精いっぱいでアウトプットが少なかったです。とはいえ、ホロラボのメンバー含めて自分よりも細かくアウトプットを出す方が増えたので、やり方含めて考えないといけない時期なのかもです。

会社的には今年は助走のつもりで動いていました。おかげさまで2018年は年明け早々フルスロットルな感じです。強力なメンバーも順次増えていく予定で、会社としてもアウトプットも順次出していけると思います。

強力なメンバーに集まってもらうことができたので、来年は個人→グループ→チームにしていくことが自分の仕事になると思っています。向こう数年はまたプログラマーというロールから一旦はずれる時期になりそうです。

ということで、来年もよろしくお願いします。

今年のダイジェスト

www.naturalsoftware.jp

www.naturalsoftware.jp

coderdojochofu.hatenablog.jp

blog.hololab.co.jp

去年のふりかえり

www.naturalsoftware.jp

2017年にもっとも読まれた記事のランキング

id:shiba-yan さんが作った「2017 年の人気記事ランキング生成」というのがあるそうなので、2017年にもっとも読まれた記事のランキングを生成してみました。
結果が意外なので載せておきますw

1位がRealSenseなのと、9位にRedmineのBacklog Pluginの記事が入ってた(6年前)。

順位 ページ PV
1 Intel RealSense まとめ 8204
2 HoloLensまとめ 7278
3 Kinect for Windows SDK v2.0 でDepth(距離)データを取得する 6268
4 Kinect for Windows SDK v2.0 でBody(関節など)を取得する 5920
5 Intel RealSenseをMax OSやLinuxでも使える librealsense を使ってみた 4950
6 HoloLensアプリの開発を始めるまでの資料を作りました 4824
7 HoloLensの環境マッピング(Spatial Mapping)の使い方 4409
8 これから Kinect for Windows SDK を始めたい人へ 4336
9 RedmineのBacklogsプラグインを使ってみた 4334
10 Microsoft Kinect v2まとめ 3518

SpectatorViewのCalibrationアプリでカメラ画像が出ない問題について

SpectatorViewについて、しばらく見ない間にちゃんとリリースパッケージになってました。

github.com

HoloTooliitのバージョンやUNET対応などでパッケージが分かれているようです(UNET対応版の1.5.7.2は未検証です)。

f:id:kaorun55:20170820002715p:plain

f:id:kaorun55:20170820002719p:plain

1.5.7.0でCalibrationアプリでカメラ画像が出ないことがあります。 f:id:kaorun55:20170820002437p:plain

解決方法を教えてもらったので記録しておきます。

DeckLingManager.cppの72行目あたり

videoDisplayMode = bmdModeHD1080p5994

これを

videoDisplayMode = bmdModeHD1080i5994

にすると動作します。または「1080p」などに該当する部分を環境に合わせて変更します。

SpectatorViewの環境を作るときはGoPro HERO 5とBlackmagic Intensity Shuttle USB 3.0を使うことが多いのですが、Blackmagic Intensity Shuttle USB 3.0が1080pに対応しておらず1080iのみでしか出力できないためと思われます。リファレンスのIntensity Pro 4K Captureは1080pに対応しています。

Blackmagic Design キャプチャーカード Intensity Shuttle for USB 3.0 000856

Blackmagic Design キャプチャーカード Intensity Shuttle for USB 3.0 000856

Xtion 2 新製品発表会に参加、登壇しました

8/9に行われた「Xtion 2 新製品発表会」に参加、登壇しました www.tekwind.co.jp

スライドはこちら。

Xtion2やOpenNI2、NiTE2の概要と、KinectやRealSenseでの事例です。内容的には数年前のおさらいです。

Xtion2について

2013年にPrimeSenseがAppleに買収されたことで、XtionやOpenNIがクローズされました。その時期からASUSとしてはXtion2のセンサーを探していたそうで、やっと今年製品としてリリースすることができたそうです。

センシング形式はToF、チップはTIを使っています。

流通はは来週あたりから開始されるとのこと。

Xtion2の特長

Kinect v2やRealSenseとの仕様上の性能比較は下記の通りです。

センサー性能的にはKinect v2、サイズ的にはRealSenseに近くなっています。 f:id:kaorun55:20170810104247p:plain f:id:kaorun55:20170810104642p:plain

特長を下記に列挙します。

  • OpenNI2が使える
  • Depth画像がきれい
  • USBバスパワーで動作する
  • 軽い、小さい
  • ROSがサポートされている

購入にあたっての注意事項も列挙します

  • 点群精度が微妙
  • 縦対応というのは三脚穴だけの話で自動的にソフトで回転してくれない
  • 製品としてNiTE対応版と未対応版の2種類が存在し価格が変わる
  • 1PCで複数台Xtion2の制御ができない(Kinect v2と同様)

点群精度についてはかなり微妙な感じがします。。。

発表会でASUSの製品担当の方もいたのでフィードバックしました。せっかくOpenNIを使える環境が復活したので、今後の改善に期待したいです。

データ取得イメージ

Depth画像は、かなりきれいに取れています。 f:id:kaorun55:20170810125814p:plain

点群については、状況確認中です。

HPのWindows Mixed Realityヘッドセットが届きました

昨日、HPのWindows Mixed Realityヘッドセットが届きました。 8/3に注文して8/9に届くという予想外の早さでした。

Windows Mixed Realityヘッドセット

Windows Mixed Realityヘッドセットについて「HoloLens互換」や「廉価版HoloLens」という言い方をされることがありますが、基本的には別物と考えた方が良いです。

互換があるとすれば「HoloLensと同じ排他の3DアプリがUWPで動作する」くらいです。ソフトウェア開発では近いところにいますが、ハードウェアや体験については別々にと思った方が間違いありません。 f:id:kaorun55:20170809113214j:plain

製品としては「Mixed Realityヘッドセット」ですが、ドキュメントでは「Immersive(イマーシブ:没入)ヘッドセット」と記載されており、Oculus RiftやHTC ViveなどVRヘッドセットに近いです。 ドキュメントにある機能的な違いを下記表にしました。 f:id:kaorun55:20170810095803p:plain

Windows Mixed Realityヘッドセットの特長

f:id:kaorun55:20170809095300j:plain

メリット

  • 外部センサーは不要なので、MRヘッドセット以外の付属品がない
  • 要件を満たしたPCであれば、MRヘッドセットを接続するだけでセットアップが完了する

デメリット

  • HoloLensのように単体で動作せずPCが必要で有線で接続される
  • カメラで現実空間は見えない、空間マッピングが使えないことで、現実空間に作用ができない
  • UWP環境で動作するので、Oculus RiftやHTC Viveからの移植にはポーティング作業が発生する

アプリケーション開発

HoloLens同様Unityでの開発が中心となります。

開発環境はこちらのfor immersive headsetsを参照。

概要としては下記です

  • Windows 10 Creaters Update(Insider Previewは不要)
  • Visual Studio 2017(SDKは10.0.15063を使用する)
  • Unity 5.6以上
    • アプリとしてはUnity 5.6でも動作します
    • エディターからの実行はUnity 2017.2から正式サポート予定ですが、まだベータなのとC#プロジェクトサポートでビルドができない不具合があるので様子見です

AcademyはMRヘッドセット対応しており、Mixed Reality 250が追加され、HoloLensとMRヘッドセット用アプリのSharingを学べます。

今後

HoloLensのARだけでなくMRヘッドセットでVR環境もできるようになりました。 MRヘッドセットはシースルーやジェスチャーがないなどHoloLensと体験の違いはありますが、PC接続のためHoloLensよりも高負荷をかけられることがメリットになります。

年末にリリースが予定されているモーションコントローラーが出てからが本番ですね。 f:id:kaorun55:20170809113257j:plain

HoloLens案件の打ち合わせ時に使ってる動画

自分がHoloLens案件で打ち合わせに行くときに使ってる動画をまとめます。 公式のYoutubeにいくつか載っており、公式の事例かつ自分が体験したもの中心にを紹介しています。あとはお客さんの業種や打ち合わせの流れで、公式以外のものも紹介したりしています。

順番は話の流れ。

Skype:遠隔サポート

HoloLensを買えば実現できる基本的な事例ですが、いままでだと研究対象にもなっていた事例です。

HoloLensを装着した人とPCの人ととのSkypeで、HoloLens装着者の視界が見えるので遠隔でサポートできます。ここでは簡単なSkype単体を使った電気工事の事例ですが、あとで紹介するthyssenkruppのエレベーターのようにアプリに組み込んで(おそらく独自に実装して)業務のサポートツールとして使うこともできます。

www.youtube.com

VOVLO:車のショールーム

表示するモデルの大きさに対する流れの作り方、センサーデータのシミュレーションの話をするときに使っています。

動画ではわかりづらい重要な要素がいくつかあります。

  • 視野角の問題について、小さいものは近くに、大きなものは遠くに置くことである程度軽減できる(運用で回避)。
  • 実物大の車は遠くに置くことで、まずは全体を見せる。そのあとで自分が近づくまたは引き寄せることで局所に視線を集中させて視野の狭さを軽減させる。
  • 手元に表示する場合には、小さなモデルを表示させる。これによって視野から外れることを防ぐ。
  • センサーについて、ただ動いているだけではなくHoloLensを装着してる人をセンシングしている。人が後ろから前に動くことで反応するセンサーが変わる。

www.youtube.com

thyssenkrupp:エレベーターのメンテナンス

IoTやDeep Learning/Machine Learning、スマートグラスと話をつなげるときに使っています。

いくつかの要素の複合体です。

  • 実際のメンテナンスに先立ってメンテナンスのシミュレーションを行う。
  • エレベーターの情報(センサーデータ)が視野内に表示される(IoTへ話をつなげる)
  • エレベーターの点検箇所が表示される(Deep Learning/Machine Learningへ話をつなげる)
  • 空間を使って点検項目チェックリスト、チュートリアル、センサーデータ、点検箇所が表示されている(スマートグラスとの比較)
  • メンテナンス中に判断に困った場合にはテレビ電話機能で遠隔サポートを求める

www.youtube.com

thyssenkrupp:階段昇降機

HoloLensを使った計測事例です。計測や精度の話をするときに使っています。

  • マーカーを使って計測を行う
  • 精度は指一本分くらい(精度が出る場合には1cm以内に収まっている)
  • 状況の閲覧はタブレットで行う(コラボレーティブ・コンピューティングへ話をつなげる)

www.youtube.com

Lowe's:キッチンシミュレーション

キッチンのリフォームシミュレーションです。実際に店舗でも使われているようです。

店舗訪問前、店舗見学中、店舗側の情報解析の3つに分かれており、ビジネス的な要素がかなり強いです。

  • 店舗訪問前
    • pinterrestから好みの写真をLowe'sのサイトに送ることで、リフォーム候補をMachine Learningで抽出する
  • 店舗見学中
    • 冷蔵庫やシンク、壁紙などをお好みでカスタマイズできます
    • 中央のアイランドキッチンも自分の身長や好みに合わせて、高さや大きさを調整できます
  • 店舗側の情報解析
    • 顧客がHoloLensで見たときの頭の位置や視線の先を解析して、興味や売り上げとの相関を分析する(たくさん見ている、滞在しているところは興味があるなど)

www.youtube.com

Trimble:BIM/建築系CAD

今現在引き合いの多い建築向け動画です。

BIMや3D CADで設計した建築データを、建築中の場所に重畳させる、配管を通してメンテナンスに活用するといった、3D CADデータをより長期的に活用する方法について示されています。

www.youtube.com

小柳建設:建設工程管理

こちらも建設向け動画です。

建設対象のモデル、工程、記録などがすべてHoloLens内に入っています。

橋のスケーリングを変更できるので、設計データと実際の建設物との大きさのイメージがリンクされるので教育目的への活用も期待できます。

www.youtube.com

HoloPortation:リアルタイム遠隔コミュニケーション

さまざまな要素により現在の実現は難しいですが、よく話にでます。

リルタイムで3Dデータを再構築し、遠隔コミュニケーションに使用します。

www.youtube.com

Holographic Capture:3D動画

より現実的なところで3D動画です。

HologramsのバレリーナやBuild 2017でのシルクドソレイユのパフォーマンスなどに使われています。

後処理型ですが、各フレームごとにメッシュ情報とテクスチャを持っており、3Dの動画といえる状態になっています。

www.youtube.com

まとめ

おおよそ上記の動画で説明しています。

分野もさまざま用途のさまざまですが、分野にとらわれず要素を分解して組み立てると多くの方面に使えると思っています。