【祝10周年！】ARサイネージ「Kinesys」の誕生秘話をまとめてみました！

皆さんご無沙汰しております。広報担当の末本です。
『夢を現実に未来を創る』の経営理念のもと、創業以来ずっと最新のテクノロジーを開発の中に取り入れながらシステム開発を行ってきました。そんな中から生まれたARサイネージ「Kinesys」が、おかげさまで10周年を迎えることができました！（拍手）
…ということで、その10年間の歩みをその誕生秘話からまとめてみたいと思います。
是非、最後までご一読ください！

【はじまりの章】未来を創るための航海の始まり

人類が夢見た未来社会を自分たちの手で創り上げたいという想いからネクストシステムは2002年に創業しました。
創業当時から最新の技術分野にターゲットを絞り、先進的なシステム開発を進めてきました。その流れは、モバイルアプリ（BREWプラットフォーム：C++）→スマホ（Android、Apple iOS）アプリ→AR アプリへと開発を進め、そして2010年11月の「Kinect for Xbox 360」の発売をきっかけに今回の「Kinesys」開発が始まります。
最初のきっかけは、社長が個人で「Kinect for Xbox」を購入し、openFrameworksで手の動きが取れることを自宅で確認した後、会社に機材一式を持ち込み、「Kinect for Xbox」を使ったデモアプリの開発に着手していきます。

2010年当時、Kinectと同時にドローンも購入して、どちらが将来性があるか、先にビジネスになり得るかの検証を行いました。その検証結果を踏まえ、当時としてはKinectを使った非接触のインタラクションシステムの方がより早くビジネスになると判断して、それから本格的にKinectを使ったシステムの開発を開始しました。私自身が近未来SF映画マイノリティリポートのような近未来システムを作りたかったというのが一番の理由ですね！

Kinect（キネクト）とは？

「Kinect（キネクト）はマイクロソフトから発売されたジェスチャー・音声認識によって操作ができるデバイス。」
「RGBカメラ、深度センサー、マルチアレイマイクロフォン、および専用ソフトウェアを動作させるプロセッサを内蔵したセンサーがあり、プレイヤーの位置、動き、声、顔を認識することができる。これにより、プレイヤーは自分自身の体を使って、直観的にビデオゲームをプレイすることができる。」（wikipediaより抜粋）

社長自ら購入し、動作確認を行ったそうです…！社長の行動力があったからこその「Kinesys」なのですね！

【まるで魔法使い?!】高度な科学技術は魔法と見分けがつかない

マイノリティリポートのような非接触でのハンドジェスチャーによる大型画面のUIを操作するデモシステムを2011年11月の「ビジネスシヨウ九州2011」に出展し、モニターの前に立ちハンドジャスチャーのみで画面を操作する様子は、多くの来場者を驚かせました。現在はそう珍しくない技術ですが、当時の技術では最先端であったため、”魔法使い”のようだと言われていました。

UIのデザインや操作音にもこだわりましたね。非接触のハンドジェスチャーで、近未来的な画面を操作する。視覚的にも、聴覚的にも来場者の方に足を止めて見て頂くように結構こだわって開発しました。また、パートナー様も展示会出展に協力してくれて、みんなノリノリで演者のように演じてくれました。

便利な世の中の背景には、様々な方の努力があることを忘れてはいけませんね…！感謝…！

そしてついに…

【満を持して】KinesysとVirtualFashion誕生

「Kinect for Windows SDK」を使った最新システムの第２弾としてVirtualFashion（バーチャルファッション）システムの開発を行いました。これは、以前より姿見の鏡の前に立つだけで素敵な衣装に変身できる仮装試着システムの要望がアパレル業界などからあがっていたためです。このVirtualFashion（バーチャルファッション）システムは、3次元の衣装を試着できるものでした。その後、先に開発していたインタラクションシステムとVirtualFashion（バーチャルファッション）システムを融合する形で Kinesys（キネシス）が誕生しました。

Kinesysの語源は、Psychokinesis（サイコキネシス）に由来しており、人が触れずに物体を操作する超能力のイメージでつけられました。また、正式ロゴのKinesψsは、yの部分がギリシャ語のψになっており、これはψの由来が踊る人を表しており、「画面に触れずに踊るようにサイネージ画面を操作する」の意味を表しています。また、ψ自身が精神医学で超能力を表す記号にもなっているため、Kinesysのロゴ文字の中にψを採用しています。

超能力のように”触れずに操作する”のイメージからPsychokinesis→Kinesψsの名称を採用しました。正式な商標登録は、Kinesψsで登録しています。また、２次元の衣装写真を3DCGのように体にフィットさせて仮装試着させるバーチャルファッションシステムは、VirtualFashion2.5Dの名称で商標を取っています。

Kinesys（キネシス）とは？

Kinesysは人の動きに反応して画面が変化することで、アイキャッチ効果を飛躍的に高めるAR機能を持ったインタラクティブサイネージシステムです。
従来のデジタルサイネージシステムとは異なり、静止画や動画を表示するだけでなく、人物に対してインタラクティブに反応し、リアルタイムで画面が変化するサービスをご提供しています。画面操作は物理的に画面をタッチする必要はなく、画面から離れた位置からジェスチャーで行います。また、「画面に手をかざす」「画面に向かって手をスライドする」などの簡単な操作と直感的なインターフェイスにより、海外の方や、お子様でも簡単に操作することが可能です。

インタラクティブな体験ができる、新しいサイネージとして誕生した Kinesysは、お客様に好評でこのまま順風満帆にいくかと思われたが…

【挫折】それはある朝、突然発表された

遡ること約7年前、モーションキャプチャー系の開発者にとって衝撃的なニュースが舞い込みました。

そう、Kinectの販売停止！！

あかん、やられた・・・・

それは、突然の発表でした。
その朝8:30に出社すると、いきなり金融系株主から電話がかかってきて、「Kinect販売中止のニュース、見られましたか。どう対応する気ですか？」との厳しめのお言葉の数々。
まだ、何も見ていなかったので、「ニュース情報を確認して、早急に対策を考えます。」との返事をとりあえず返した後、すぐにニュースで事実を確認しました。
まだ、販売中止が発表されたばかりで、市場ではKinectは販売されていたため、取り急ぎ市場の在庫のKinectをできる限る購入して、当面在庫を抱えてKinesys事業を継続できる体制を整えました。
この在庫がある間に、別のセンサーカメラを採用するか、あるいはまったく新しい方法で同様の機能をこなせる新しいシステムを自社開発するかの検討に入りました。

以下のように、販売停止が発表された時点で、在庫集めに奔走したことも、今となってはいい思い出です…。

【苦闘】生き残りを賭けての挑戦

進化型ARサイネージ『Kinesys（キネシス）』で「Kinect」をバリバリ利用させていただいていた我々は、他社の深度センサ付きカメラで代替品となりそうなものを複数購入して検討した時期もありました。

【悲報】Kinect（キネクト）が販売終了！Kinect以外に代替案として使えそうな案を考えてみた。

【2018年3月19日追記あり】先日、モーションキャプチャー系の開発会社にとって衝撃的なニュースが舞い込みましたね。そう、Kinectの販売停止！！どこも在庫が一瞬でなくなりましたよね。恐ろしい。しかしなくなってしまったものはしょうがない！そんなわけで、Kinectの次に使えそうな代替案を考えてみました〜！

www.next-system.com

2017-10-27 18:39

…が、なかなかいいものが見つからず。また、マイクロソフトでさえビジネスを諦めるような中、どんなにいいセンサーカメラがあっても、そこがいつまで販売してくれるのか分からない不安もありました。

そこで、すでにDeepLearning（深層学習）による骨格検出を使って工場内の作業者の作業監視などを行っていたAIチームと相談して、『では、いっそのこと自分たちで骨格検出AIエンジンを作るか！』との結論になりました。今日の当社のAI製品の中核を担う高精度姿勢推定AIエンジン「VisionPose®」は、このようにして誕生していくことになります。

当時は、金融系株主から非常に厳しいお言葉を頂いていました。本当に会社存続も危うくなるほどの事態だったと思います。ですが、このピンチを逆手に取って、自社で高精度姿勢推定AIエンジン「VisionPose®」の開発へとつながっていくことになったことを考えると、非常に大きなターニングポイントになったと思います。この危機がなかったら、多分「VisionPose®」は誕生しておらず、当社も今のようなAI企業ではなく、インタラクション系XRの企業になっていたと思います。生物も絶滅の危機から新たな種が生まれてくると言います。当社もこの危機を乗り越え、そして新たな企業へと進化できたと思います。

「VisionPose®」とは？

「VisionPose®」は、画像や動画から人物の姿勢を高精度かつリアルタイムに推定するAIエンジンです。検出した骨格情報を活用して、製造業や医療・リハビリ分野における身体にかかる負荷分析、スポーツのパフォーマンス分析や、健康管理アプリ、AR/VRコンテンツなど、様々な分野で活用されています。

※VisionPose、及びVisionPoseのロゴは、NEXT-SYSTEM Co.,Ltd.の登録商標です。

Webカメラのみでインタラクティブな体験ができるよう改良を重ね、

ようやく…

【復活の章】VisionPose搭載の、新生Kinesysが完成

姿勢推定（Pose Estimation）とは動画、画像から人物や動物の姿勢をマーカーレスで推定する最先端のAI技術です。従来は深度センサ付きカメラで行なっていた人の動作検出を、Kinesys ver.3.0からは当社が独自で開発したAI姿勢推定エンジン「VisionPose®」に置き換えることで特別な深度センサ付きカメラを必要とせず、一般的なWebカメラだけで検出できるようになりました。
深度センサに依存せずカメラの選択肢が増えたことで画質向上が可能、より美麗で繊細な映像コンテンツのお届けができます。
また、従来できなかった人間の正面・背面が判別できるようになったため、表現の幅が広がりました。
プログラムインターフェースも基本的にKinectに合わせて開発しており、KinectからVisionPoseへの置き換えがスムーズに行えるようになっています。これは、自分たちの移植の手間を省くための施策でしたが、同じように世間にはKinectを使ったシステムやアプリも多く存在しており、あるゴルフのスイング解析を行うシステムを開発されているメーカー様は、KinectからVisionPoseへの置き換えを半日でやられた程でした。

高画質でVirtualFashionを体験できることで、ドレスや着物など試着が大変なものでも画面の前に立つだけで仮想試着ができるのがとても便利！

【最終章】未来への挑戦

様々な挫折や困難を乗り越え、バージョンアップし続けている最新型のARサイネージ「Kinesys」は、先の2020（2021）の世界的なスポーツイベントでの選手村にも導入され、多くの海外の選手にも楽しんで頂きました。おかげさまで、現在国内100を超える企業様や自治体様にご利用頂いております。

導入事例 | Kinesys | ARデジタルサイネージなら株式会社ネクストシステム

Kinesysを導入いただいた事例を紹介しています。

www.next-system.com

『夢を現実に、未来を創る』の経営理念のもと、幾度の困難を乗り越えながら、私たちは進化を続けています。私たちは、未来への挑戦を諦めません。歩みを止めません。
これからも困難な場面に遭遇することもあるでしょう。
ですが、創業の精神を忘れず、これからもまだ見る未来を目指して頑張っていきます。

そして、私達の航海はまだまだ続きます。

より多くの方々に満足して頂ける製品を、そして人類が夢見た未来社会を自分たちの手で創り上げられるよう、これからも社員全員で力を合わせて進んで行きます。

Kinesysの年表はこちら

▼ネクストシステム WEBサイトはこちら

未来を創造する企業 - 株式会社ネクストシステム

ネクストシステムは、AI(人工知能：DeepLearning)・VR(仮想現実)・MR(複合現実)・AR(拡張現実)・iPhone・Android開発を得意とする東京・福岡のシステム開発会社です。開発のご相談はお気軽にお問い合わせください。

www.next-system.com