皆さんこんにちは！
システム開発部の大和田です。
６月の間、雨続きでなかなか外に出られませんでした。
やっと梅雨明けかなと思いきや、新型コロナウイルスの感染がまた広がってきていますね…
外に出られないこんなときによくVRの世界に遊びに行く私ですが、先日社員の方にこのようなワールドを紹介していただきました。
これは神奈川県鎌倉市に実在する「銭洗弁財天宇賀福神社」をVR空間上で再現したというものです。神社の風景を撮影した写真から、フォトグラメトリ（詳細後述）という技術を使って３次元モデルを生成しています。
このように現実世界に存在する立体物を写真やレーザースキャンによる計測データをもとに3DCG化する技術は３次元復元技術とよばれ、その手法や精度に関する研究、開発が多くの機関で行われています。
というのも通常３DCG化する場合は、1からモデリングをする必要があるのですが、３次元復元ができればモデリングする手間が少なくなるため、いままでよりコストを削減できるのです。
弊社でもVRコンテンツの開発を行っていますが、実際に３次元復元技術を利用したほうが良さそうなご相談も多いんですよね。また、３次元復元の手法はさまざまですが、高価なレーザースキャナーや処理ソフトウェアを必要としない、個人でも実践可能な方法も増えてきています。
そんなわけで。
背景となるワールドの制作や、より現実感の高いVR体験の開発にこの３次元復元技術を導入できないかいろいろ調べてみました。
今回は比較調査した結果を紹介していきたいと思います。
何を３次元復元するのか
今回は様々な用途に対応できるかのテストということで、ネクストシステムの福岡本社（屋内３次元復元）と、本社近くにある井尻商店街（屋外広域３次元復元）の２か所を撮影、スキャンし、複数の方法で３次元復元を行いました。
＜ネクストシステム福岡本社＞
＜井尻商店街＞
技術紹介と比較結果
今回は次の３つの方法で社内と商店街の３次元復元を行いました。
・Matterport Capture
・360度動画からフォトグラメトリ
iPad Pro (LiDAR) + 空間スキャンアプリ「Canvas」
2020年３月末に発売された新型iPad Pro(第４世代)。
最新のA12Z Bionicチップを搭載し、ノートパソコンをも上回るスペックとその機能性から今人気のデバイスです。新型コロナウイルス流行による供給不足とも相まって在庫切れが続出する中、弊社でも７月上旬にようやく開発機として導入しました。
今回注目したのは初搭載のLiDARセンサー。
以前こちらの記事でiPadとStructure Sensorを利用した人体の3Dスキャンを紹介しました。
新型iPad Proは、Structure Sensorと同様の機能が本体に組み込まれた形になります。これによりiPad Pro単体で深度を検知することができるようになり、AR（拡張現実）への深度情報の組み込みや３次元スキャンなどをiPadだけで行うことができるようになっています。
今回はLiDARセンサーに対応した空間スキャンアプリ「Canvas」を使用してスキャニング、モデルの生成を行いました。
iPad Pro (LiDAR) + Canvasの特徴
・スキャンから３Dモデル化までiPad Pro1台で完結する
・リアルタイムに3次元メッシュが生成されるため、確認しながら3Dモデルを生成できる
・アプリ１つで3Dモデルを作成できるため扱いやすい
・テクスチャ付きの３Dモデルを表示するには有料のクラウド処理にかける必要がある
・iPadのメモリを消費するため、広範囲のスキャンの場合は複数モデルに分ける必要がある
（メモリが不足してくると最初にスキャンした方から削減されてしまう）
iPad Pro (LiDAR) + Canvasによる３次元復元結果～福岡本社～
テクスチャは少しぼんやりしていますが、他の方法と比較しても一番きれいにモデル生成されました。
地面や壁との間に隙間ができる机のような物体や、真っ白な壁などの特徴の少ない部分まで正確にスキャンできるのはLiDARセンサーの一つの強みと言えますね。
スキャンを続けているとほんの少しずつですが位置ずれが発生するため、同じ物体を複数回写さないように気を付けながらスキャンしていくと破綻が少なくなるようです。
iPad Pro (LiDAR) + Canvasによる３次元復元結果～井尻商店街～
こちらはクラウド処理にかけたところ、５時間ほど経過した後で処理に失敗したというメールが届きました。いたるところに穴が開いて、テクスチャもバラバラになっていますね…
Canvasではスキャン中にメモリ不足になってくると警告を出してくれるのですが、入り口から郵便局付近（約60m）のスキャンで警告が出てしまいました。広域スキャンにはあまり向いていないかもしれません…
LiDARセンサーの弱点ではあるのですが、高いところにはセンサーの光が届かないため基本的に復元できません。
また、ガラスなどの透明な部分はセンサーの光が透過するため、破綻が起きやすいです。
商店街はガラス張りのお店も多いため、破綻を抑えるのは難しいところがあります。
所要時間
| ３次元復元対象 | スキャン、撮影時間 | クラウド処理時間 |
| 福岡本社 | 20分 | 10分 |
| 井尻商店街 | 20分 | ５時間（復元失敗） |
必要な機材、費用
| 内容 | 金額 |
| iPad Pro (4th) | ¥93,280 |
| クラウド処理料金 | １モデル $3
・テクスチャリング処理 ・OBJエクスポートへの対応 |
追記：無料のLiDARスキャンアプリ「3d Scanner App™」
この調査は７月初旬から行っており、最近までLiDARセンサーを利用した3DスキャンアプリケーションはCanvasしかありませんでした。
しかしつい先日、完全無料で３次元復元ができるアプリケーションがリリースされました。
Canvasと同様にLiDARセンサー搭載のiPadでメッシュのスキャンができるのですが、テクスチャリングもiPad内で行うことができ、OBJやGLTFなどへのエクスポートからSketchfabへのアップロードまで全てが無料です。
これはぜひ試してみなくては！ということで社内と商店街をスキャンしてみました。
＜福岡本社＞
形状は正確にとれているように見えますが、少しテクスチャのずれが目立ちますね…
境界がはっきり見えてしまっている状態です。
＜井尻商店街＞
こちらも形状はある程度とれていますが、やはりテクスチャが気になります。拡大するとよくわかるのですが、色紙をちぎって貼り付けていくちぎり絵のような感じになっています。
VRでの用途を考えると現状ではやはりCanvasがクオリティとしては高いです。
リリース直後のアプリケーションですので、今後のアップデートでクオリティも改善されるかもしれません。
MatterPort Capture
Matterportは、空間の３Dスキャニングとそのデータのデジタル化、３次元復元をサービスとして展開するアメリカの企業です。
Matterportが提供しているiOSアプリケーション「Matterport Capture」を利用することで、同社が提供している専用のスキャニングカメラ(Matterport Pro2)の他、360度カメラやiPhoneの標準カメラで撮影した360度映像をもとに、３次元空間を3Dモデルとして復元し、撮影された360度映像と組み合わせてリアルな3D空間を再現できます。
なお、作成されたデータは専用アプリの他に、スマートフォンやPCのブラウザでマイページから確認することができ、VR表示も可能です。
Matterportの特徴
・360度写真と3Dモデルを組み合わせて見ることができ、体験者の没入感が高い
（Googleストリートビューを自分で作れる、というイメージです）
・外部カメラを使う場合を除き、iPhone１台の操作で完結する
・フロア設定（今何階にいるか）ができるため、複数階層の建物も再現しやすい
・ブラウザ上でモデルの確認や撮影を行うことができ、リンク共有も可能
・OBJモデル書き出しには定額プラン+モデル毎に追加で購入費用が発生
・iPhone上で１か所ごとに特徴点マッチングを行うため、撮影中に時間をとられてしまう
※今回はiPhoneの標準カメラを使用してFreeライセンス（アクティブスペース１つまでのプラン）で試してみました。
Matterportによる３次元復元結果～福岡本社～
テクスチャの画質が一番良かったのはこの方法でした。ただし静止画映像を複数枚合成して360写真を疑似的に再現しているため、面がギザギザになってしまうところが多数…
このあたりは対応する360度カメラを使用すると改善されるかもしれません。
撮影時に映らない机の下の部分や階段などは復元が難しかったようです。
Matterportによる３次元復元結果～井尻商店街～
こちらもテクスチャの画質は良かったですね。撮影を行っていた目線の高さに関してはかなり正確に再現できているのではないかと思います。
しかし上層階は再現が難しかったのか、ほとんどの建物の２階部分は穴だらけです。
また、屋内でもそうでしたが、MatterportをiPhoneで利用する場合、前述した理由から撮影に少し時間がかかります。
屋外で撮影する際は周囲への配慮が必要です。
所要時間
| ３次元復元対象 | スキャン、撮影時間 | クラウド処理時間 |
| 福岡本社 | 1時間30分 | １時間 |
| 井尻商店街 | １時間 | １時間 |
必要な機材、費用
| 内容 | 金額 |
| iPhone（6s以降） | ー |
| ライセンス料 | 1ヵ月 $9 ~ $309
（ライセンス種別による） |
| モデル書き出し費用
（1モデルにつき） |
$39 ~ $49
（ライセンス種別による） |
補足：Matterportならではの機能
Matterportは撮影した360度映像から特徴点マッチングで３次元復元を行っていますが、モデル生成後、Googleストリートビューのように各地点に360度映像が自動配置されています。
マイページ内であれば、3Dモデルと360度映像を切り替えながら閲覧したり、撮影ポイント間でワープしたりといった操作が可能です。
360度動画からフォトグラメトリ
フォトグラメトリとは、数十枚から数百枚の写真をコンピュータ解析し、特徴点マッチングにより3Dモデルを立ち上げる技術です。
素材となる写真をカメラで撮影し、後述のようなフォトグラメトリソフトウェアに計算させると、3Dオブジェクトとして出力することができます。
数百枚の写真を集めるための撮影方法はいくつかありますが、今回は素早く撮影できる動画フォトグラメトリを採用しました。360度カメラで撮影した動画を動画編集ソフト（今回はAdobe Premire Proを使用）で６方向に分割し、１fps（約１ｍ間隔）の連番画像として出力した写真を使用してフォトグラメトリを行いました。
フォトグラメトリの特徴
・素材に動画を使う場合、非常に短時間（数分程度）で撮影が終了する
・スキャンできる範囲や容量にほぼ制限がない
・撮影機材やソフトウェアの選択肢が幅広いため、予算や技量に合わせて取り組める
・3Dモデル生成時点でテクスチャ修正やポリゴン数削減が可能
・ある程度のスペックを備えた処理用PCが必要
・複数の専用ソフトウェアを扱うため、難易度が高い
＜参考＞使用したPCのスペック
・CPU：Intel Core i7 6700、メモリ：16GB、
・GPU：NVIDIA GeForce RTX2060
フォトグラメトリに使用する専用ソフトウェアはいくつかありますが、定額課金型の有償アプリケーションが多いです。今回はテスト目的のため、無償で利用可能な２つのソフトウェアを使用しました。
RealityCapture
～特徴～
・フォトグラメトリソフトウェアの中でも精度が高く処理速度も速い
・3Dモデル生成時の細かいパラメータ設定や、生成後の編集機能などが豊富
・PPIライセンスを使用することで入力枚数無制限で利用できる
（OBJでエクスポートする場合は、別途クレジット購入後、入力データ量に準じたクレジットを支払う）
・Steam版は入力画像1000枚までの制限があるが、エクスポートが自由
Meshroom
～特徴～
・オープンソースソフトウェアであり、完全無料で使用できる
・入力枚数制限なし
・OBJモデルでのエクスポートが可能
・ノードベースで作業工程を並べていくため扱いやすい
・生成後の3Dモデルを編集する機能が少ない
・処理時間が長く数時間かかることもある
360度動画フォトグラメトリによる３次元復元結果～福岡本社～
Meshroomでの再現結果です。（RealityCaptureではモデルが生成されませんでした）
なんとなく形はとれていますが、破綻部分が非常に大きいです。
最初の階段や応接室の壁などが丸ごと無くなってしまいました…
ポスターやレンガ模様など特徴点になるものがあれば再現度は高いようですが、福岡本社は真っ白な壁も多く特徴点マッチングがうまくいかなかったようです。
また狭いスペースでは360カメラに映りきらない部分や繰り返し映ってしまう部分が数多く出てくるため、屋内をフォトグラメトリで再現するのは難しいかもしれません。
360度動画フォトグラメトリによる３次元復元結果～井尻商店街～
こちらは両方のソフトウェアでモデル生成に成功しましたが、より正確に再現できたRealityCaptureの画像を掲載します。
広い範囲となるとフォトグラメトリの真価が発揮された印象です。歪みはありますが、２階部分も含めて穴の開いた箇所はほとんどありません。
わずか2分の撮影（入り口から郵便局まで約60ｍ移動）でここまで再現できるため、さらに長い距離でも一回の撮影と処理で再現できると思います。
広範囲、長距離の３次元復元にはフォトグラメトリが優秀なようです。
所要時間
| ３次元復元対象 | 撮影時間 | 動画編集時間 | ソフトウェア処理時間 |
| 福岡本社 | ３分 | ５～10分 |
RealityCapture： 2分（復元失敗） Meshrooｍ ： １時間20分 ※入力画像枚数・・・1026枚 |
| 井尻商店街 | ２分 | ５～10分 |
RealityCapture： 5分 Meshrooｍ ： １時間 ※入力画像枚数・・・378枚 |
必要な機材、費用
| 内容 | 金額 |
| 360度カメラ
（Ricoh Theta S使用） |
¥25,000 |
| 処理用パソコン | ー |
| 動画編集ソフト
（Adobe Premire Pro） |
Creative Cloud コンプリートプラン
¥7,900（１ヵ月、１年契約） |
| フォトグラメトリソフト
（RealityCapture） |
PPIライセンス：無料
Steam版定額ライセンス：¥3,980（１ヵ月） |
| フォトグラメトリソフト
（Meshroom） |
無料 |
まとめ
今回は３つの手法を比較検討しましたが、どれが特に優れているというわけではなく、それぞれに向き不向きがあるといった印象です。
予算や開発にかけられる工数などにもより選択肢は変わってきますが、ざっくりまとめると…
→→ iPad Pro (LiDAR) + Canvas
・広いスペースや屋外環境、短時間撮影、ランニングコスト○
→→ 360度動画フォトグラメトリ
・複数階層の建物内部、景観や見た目重視、閲覧共有機能の充実性
→→ Matterport Capture
といった感じです。
もちろん選択するプランや撮影機材によりコストや時間は変動しますので一概には言えませんが、３次元復元したい対象に合わせて最適な方法を選ぶのが良いと思います。
弊社では今回実践したような３次元復元技術を、ARやVRといったxR開発にも積極的に取り入れていく所存です！
開発のご相談はホームページより随時受け付けてますので、まずはお気軽にご相談ください。
▼ネクストシステムWEBサイトはこちらから↓↓
▼お問合せはこちらから↓↓
