身近な場所がどこでも癒しの水族館になる「アクアリウムAR」

アプリの特長とAR技術について

ハンドトラッキング技術とARを組み合わせた、空間で泳いでいる魚たちと”現実（リアル）の手”を使って触れ合える、アクアリウムARアプリのデモ動画です。

魚にさわれる！癒しのアクアリウムAR

AR×機械学習ハンドトラッキングで空中を泳ぐ魚と触れ合える、iOS/Android向けデモアプリ「アクアリウムAR」を開発しました。

身近な場所がどこでも癒しの水族館になる「アクアリウムAR」は、
仕事の休憩中にデスクの上で…
自宅のリビングでのんびりと…
今見ている現実の世界が癒しの水族館に生まれ変わります。

アクアリウムARの基本的なAR機能（平面検出、ポジショントラッキング等）はすべてAR Foundationを使用して実装し、一番の特長である「魚と触れ合う」という機能は、Googleの「Mediapipe」で作成された機械学習の推論モデルを使用しています。

深度センサ―等を使わずスマートフォンのカメラ1つでハンドトラッキングが可能なため、カメラに手を写すことで、近くの魚が反応したり、エサを掴んで離す、といった動作を実現しています。また、AR Foundationを使用して身の回りの平面を検出することで、サンゴ礁や水草といった環境オブジェクトを好きな場所に配置できます。現実空間に理想のアクアリウムを自由に作成可能です。

すべての機能がスマートフォン等のモバイル端末1台で動作するので、外部センサーやPCなどが不要でどこでも手軽に体験できます。また、本アプリケーションはクロスプラットフォーム向けに開発を行っており、iPhoneだけでなくAndroidスマートフォンでも動作させることができます。
※PeopleOcclusion等、一部機能はiOSのみ対応

本アプリはブログでも紹介しています。
https://www.next-system.com/blog/2020/06/23/post-3523/