更新履歴
■2023年9月7日追記
・Azure Kinect DK生産終了のお知らせ
■2019年9月24日追記
・カメラ1つで骨格を検出可能なVisionPose Single3Dについて追加
・スマホで全身モーションキャプチャが可能なミチコンPlusリリースについて追加
■2018年11月19日追記
11月19日より製品版を法人のお客様向けに販売開始いたしました！
■2018年9月27日追記
・VisionPoseを使っていろいろな3Dキャラクターを動かすデモを追加
■2018年8月27日追記
・VisionPoseのプロモーション動画を追記
・追加学習ができるようになったことを追記
■2018年3月19日追記：
・『NuiTrack』がIntel RealSense Depth Cameraに対応したため項目を追加
・『NuiTrack』がOrbbec Astra S / Astra Proに対応したため項目を追加
・RealSense R200がintelのストアで検索できなくなってしまったため削除
・Xtion2がNiTEに対応してボーンが取れるようになったため追記
・「ステレオカメラにプログラムを入れる」、『VicoVR』の項目を備考に移動
・まとめに現在のおすすめを追記
・更新しすぎて読みにくかったので全体的に微修正など
■2018年1月15日追記：VisionPoseの項目を更新
■2017年12月22日追記：VisionPoseの項目を追加
■2017年10月29日追記：Xtion2の項目を追加、openMVGの項目を追加
はじめに
みなさんこんにちは。
ネクストシステムの広報担当田中です。
先日、モーションキャプチャー系の開発者にとって衝撃的なニュースが舞い込みましたね。
そう、Kinectの販売停止！！
また、いつのまにかアダプタも製造中止になっていた模様。
Kinect（キネクト）とは？
「Kinect（キネクト）はマイクロソフトから発売されたジェスチャー・音声認識によって操作ができるデバイス。」
「RGBカメラ、深度センサー、マルチアレイマイクロフォン、および専用ソフトウェアを動作させるプロセッサを内蔵したセンサーがあり、プレイヤーの位置、動き、声、顔を認識することができる。これにより、プレイヤーは自分自身の体を使って、直観的にビデオゲームをプレイすることができる。」（wikipediaより抜粋）
どこもかしこも在庫が一瞬でなくなりましたよね。恐ろしい。
衝撃のあまり、とりあえずお酒でも飲みにいった方もいらっしゃるのでは・・・（白目）
しかしなくなってしまったものはしょうがない！
そんなわけで、Kinectの代わりはあるのか！
Kinectの次に使えそうな代替案を考えてみました〜！
Kinectの代わりになりそうな類似製品を試す
Intel RealSense Depth Camera D415・D435
Intel RealSenseデプスカメラの最新版が2018年1月18日より販売開始されています。
基本モデルがD415、上位機種となるのがD435です。
仕様の比較はこちら。
| D415 | D435 | |
| 環境 | 屋内/屋外 | |
| 深度技術 | Active IR stereo（ローリングシャッター） | アクティブIRステレオ （グローバルシャッター） |
| 主要Intel RealSenseコンポーネント | Intel RealSense Module D410 Intel RealSense Vision Processor D4 |
Intel RealSense Module D430 Intel RealSense Vision Processor D4 |
| 深度センサ視野角（水平x垂直x斜め） | 69.4° x 42.5° x 77°（±3°） | 91.2°x65.5°x100.6（±3°） |
| 出力解像度 | 最大1280 x 720 | |
| 出力フレームレート | 最大90 fps | |
| 最小深度距離（Min-Z） | 0.3 m | 0.2 m |
| シャッタータイプ | ローリングシャッター | グローバルシャッター |
| 最大レンジ | 約10 m（較正、背景、照度状況による） | |
| 解像度およびフレームレート（RGBセンサ） | 1920 x 1080@30 fps | |
| RGBセンサ視野角（水平 x 垂直 x 斜め） | 69.4° x 42.5° x 77°（±3°） | |
| 本体寸法（長さ x 奥行き x 高さ） | 99 mm x 20 mm x 23 mm | 90 mm x 25 mm x 25 mm |
| コネクタ | USB 3.0 Type-C | |
| 取付機構 | 1 x 1/4-20 UNCネジ穴、2 x M3ネジ穴 | |
Intel RealSense Depth Camera D435を弊社でも購入させていただきました！
KinectとRealSenseD435比較
すごく・・・小さいです。
Kinectの6分の1くらいや。。。
お試し風景がこちら。
ちょっとボーダーの深度が正確に取りづらいようですが、設定で改善できるか今後試してみようかなと思います。
気になるお値段は、スイッチサイエンスさんで、D415が税込24,300円、D435が28,350円です。
ってやっす！やっすいぞ！
ただ、人気すぎて在庫が・・・入ってくるときを逃してはなりません。
【↓2018年3月19日追記】
NuiTrack+Intel RealSense Depth Camera D415・D435
RealSense D415、D435は画期的なデバイスです。
ただ、現状のRealsenseSDKには骨格検出の機能がありません。
まだ登場したばかりであったため、対応するソフトがなかったのですが、
深度センサー用ボーントラッキングSDK『NuiTrack』がRealSenseに対応しました！
■Nuitrackとは
「Nuitrack is the only cross platform skeletal tracking and gesture recognition solution that enables Natural User Interface (NUI) capabilities on Android, Windows, Linux, and iOS platforms」
=「Nuitrackは、Android、Windows、Linux、およびiOSプラットフォームでNaturalユーザーインターフェイス（NUI）機能を有効にする唯一のクロスプラットフォームの骨格追跡とジェスチャ認識ソリューションです。」（会社HPより）
深度センサー用SDK『NuiTrack』が昨日RealSenseにも対応したそうで、RealSenseD435で試してみました。今回はトラッキング数を3人で制限してます。https://t.co/u6RIoO43oS pic.twitter.com/bRrjtUj5Rq
— NEXT-SYSTEM（AR/AI/VR） (@NEXT_SYSTEM_Co) 2018年3月8日
しかもNuiTrack SDKはスマホでも動くくらい軽く、
windows用で年間29ドル、永久ライセンスで59ドル、や、安い・・・
ボーンの精度はややバタついてる印象ですが、クロスプラットフォーム、複数の深度センサーに対応しているのは素敵です。有力な候補としていかがでしょうか。
NuiTrackのWEBサイトはこちら。
Orbbec Astra, Astra S & Astra Pro
ジェスチャーコントロール、ロボット技術、3Dスキャン、ポイントクラウド開発など、幅広いシーンで使える3Dカメラです。
人間の骨格を検出するためには『OpenNI』などを追加する必要がありそうです。
※Orbbec Body Tracking SDK
Orbbec専用のSDKを今開発中で現在ベータ版が出ているようです。
【↓2018年3月19日追記】
深度センサー用ボーントラッキングSDK『NuiTrack』がOrbbec Astra S / Astra Proに対応されました。
Xtion 2
こちらも深度センサーとRGBセンサーを備えたUSB 3.0接続のモーションキャプチャデバイスです。
弊社でも以前購入させていただきましたが、ボーントラッキング（骨格認識）はまだできません。
いわゆるモーショントラッキングが可能になるNiTE対応は、別製品として後日販売予定とのこと。弊社はボーントラッキング重視なので発売を楽しみにしております。
【↓2018年3月19日追記】
NiTEに対応してボーンが取れるようになったようです。
Xtion2もOpenNI2.2SDKがNiTE（骨格を検出したり、手を検出したりするミドルウェア）に対応してボーンとれるようなったそうでお試し中。#Vtuber #VRChat pic.twitter.com/zisJqsCCWI
— NEXT-SYSTEM（AR/AI/VR） (@NEXT_SYSTEM_Co) 2018年3月12日
■NiTE対応OpenNI 2.2 SDK Package（ドライバ）はこちらから。
https://www.asus.com/jp/3D-Sensor/Xtion-2/HelpDesk_Download/
Azure Kinect DK
Kinect DK（Azure Kinect Development Kit）とは？
「Azure Kinect DK は、高度な AI センサーを搭載した、コンピューターによる先進的な視覚モデルや音声モデルを実現するための開発者キットです。これは、汎用性のある設計で、高度な深度センサーと空間マイク アレイ、ビデオ カメラ、方位センサーが1つにまとまっており、複数のモード、オプション、SDK を備えています。」（Windows Blogより抜粋）
しかし、生産終了が2023年8月22日に生産終了が発表されてしまいました…。
数々の類似製品の生産終了を経て、Vision Poseは誕生したのです…！
▼Vision Poseの誕生の背景はこちら
考察
他にもいくつかあがりましたが、使えそうなものだけピックアップしてみました。
ハード系は簡単に手に入りますが、Kinectと同じように販売停止となってしまう恐れも・・・
もう少しハードに依存しない代替案を考えておきたいところです。
WEBカメラとAI（人工知能）系技術を併用する
そんなわけで弊社ではこんなこともあろうかと、DeepLearningを使ったモーションキャプチャーを以前より検討してました。
OpenPose
弊社でもOpenPoseを試してみましたが、クオリティは高いです。
ただOpenPoseの場合、非商用だったら無料で使えるのですが、商用利用だと年額25000ドル（約270万円）程度かかるので、少しお財布と相談する必要がありますね。
DeepPose
上記動画はGoogleから以前発表された『こうやれば人間の姿勢が取れるよ！』ということが書いてある論文を元に有志が作ったソースをベースに弊社で独自にカスタマイズしたものです。
（https://github.com/mitmul/deeppose）
上半身だけですが結構うまく取れてますね。クオリティはデータ次第とのこと。
考察
どちらも基本的には２Dです。
一応、新しいOpenPoseだと3Dも可能みたいですが、認識自体は2Dで認識し、計算して3D化しているようです。そのため3Dにするには色々と制約がありそうなのが難点ですね。
ただし、OpenPoseくらいのクオリティがあれば、カメラ２台を広めの間隔で置けば使えそうとのことでした。
まだ人物切り抜きなどは難しいかもしれないですが、モーション検知が目的ならこちらでも問題なさそうです。
赤外線を使うハードウェアの場合、基本的には太陽光に弱いため屋外で使うのは難しいですが、こちらの方法なら画像認識で赤外線を使用しないので屋外でも使用は可能。
Kinectは赤外線なので5mくらいしか届きませんが、WEBカメラを使う方法でしたら広範囲を検索できます（カメラの解像度にもよりますが）
※最近は『LIDAR』というレーダーで検知するシステムもあるみたいですが、まだまだ気軽に導入できる金額ではなさそう。
あとはAIは認識に少し時間がかかるのでFPS30以上くらい出せないとリアルタイムにすることができないこと、GPUが高いPCが必要なことが懸念ポイントです。
VisionPose®（ビジョンポーズ）とは
Kinectの販売中止が発表されて早２ヶ月。
弊社ではその後色々検討を重ね、ついに！
Kinectに頼らずWEBカメラとDeepLearningを使った人間の骨格を検出することができるシステム、名付けて・・・
『VisionPose®（ビジョンポーズ）』を開発してしまいました！
DeepPoseやOpenPoseなどと同様に、WEBカメラのみで人間の骨格を検出することが可能なため、手軽に様々な開発に利用できそうですね。
VisionPoseの特徴についてはこちらからご確認ください。
3Dでの測定が可能に。
ただ、やはりKinectの代替品にするためには深度（奥行き）を測れるようにしたいところ・・・！
というわけで深度計測もできるようになりました。
アノテーションツールで自社での追加学習が可能に
しかし、
骨格検出したはいいけど、精度が悪かった場合どうするの？
こんな時にも対応すべく、VisionPoseは追加学習ができるようになりました。
詳しくは下記リンクから！
Vtuber、MMD、漫画、アニメ用のモーションキャプチャーとして
【↓2019年9月24日追記】
また、スポーツ、医療、工場などさまざまな分野でお問い合わせいただくことの多いVisionPoseですが最近だと、「Vtuber、MMD、漫画、アニメなどを作る際にモーションキャプチャとして利用したい！」というお問い合わせをいただくことも多いです。
そんなわけで！
カメラ１つだけで人間の骨格を検出できるVisionPose Single3DにWindows Unity版をリリースしました！
▼VisionPose Single3D WEBサイト
もっと手軽にVTuberになりたい、というあなたには
お手持ちのiPhoneやiPadだけで全身のモーションキャプチャが可能なiOSアプリ「ミチコンPlus」！！
をオススメします。
使い方は超簡単で、全身をカメラにうつすだけです。
VRoid Hubさんと連携やモーションデータの書き出し機能（CSV）もあります。（PRO機能）
PRO機能は370円/月で口座から自動で引き落としされる自動更新型ではなく、都度ご購入いただく非更新型となってます。
簡単なモーションキャプチャシステムとしていかがでしょうか？
▼ミチコンPlusのダウンロードはこちらから
https://apps.apple.com/jp/app/id1468862870
▼ミチコンPlus WEBサイト
まとめ
【↓2018年3月19日追記】
どんどん新しいものが登場してきていますね。
色々と試してみていますが、使ってみた今のところの印象としては、
・手軽さ重視→RealSense+NuiTrack、もしくはXition2+NiTEあたり
・精度重視→OpenPoseやVisonPoseのようなAI系の技術を使ったもの
みたいな形で使い分けるのが良さそうかなと思ってます。Kinectの生産終了でやけ酒を煽られた方の参考になれば幸いです。それぞれ一長一短あるので、目的との相談が必要ですね。
引き続き弊社でも一番より良い方法を検討します。
ピンチに強いネクストシステムへのお問い合わせはこちら
備考
【↓2018年3月19日追記】
オススメは『まとめ』でご紹介した通りですが、他にも下記のような方法がありますのでご参考にどうぞ。
VicoVR
パッケージ化されてるため、手を加えなくてもそのまま使えるようです。PCも必要ないそう。
１つだけ挙げるのであれば、RGBカメラの解像度がHPに書いてないところが、少し不安要素としてあるようです。
値段はメーカー版で$499（5万円くらい）です。
ZED Stereo Camera
ステレオカメラから取得したプログラムを元に、3Dの座標を計算するプログラムを入れてあげるとことで3Dスキャンを使うことが可能です。
ステレオカメラとは？
対象物を複数の異なる方向から同時に撮影することにより、その奥行き方向の情報も記録できるようにしたカメラのことである。 通常は、1台で両眼視差を再現し、立体的な空間把握のできる立体写真の撮影が可能になっているものをさす。（wikipediaより抜粋）
openMVG
2D→3Dの変換用のライブラリ例として、こんなのも出てるよ〜！とご教示いただきました。（ありがとうございます！）
オープンソースでライセンスもフリーみたいです。
ご参考にどうぞ^^
※より詳しく知りたい方はこちら
※公式ドキュメントはこちら
