「Vtuberの技術に興味がある」
「3Dモデルを使ってなにか楽しいことがしたい！」
「自分じゃない誰かになってみたい」……などなど。
そんな興味や願いを叶える方法が、トラッキング技術です。
今回は、3Dモデルをトラッキングさせて遊ぶ方法を紹介します。
こんにちは、天野です！
Vtuberという存在が当たり前になって久しく、最近ではあらゆる場面でアバターが活用される場面も多くなりました。
最近では、遠隔地からアバターを使って接客するようなサービスも登場し始めているほどです。
このトラッキング、以前は専用の機械が必要だったり一般人にはハードルが高い技術でした。ですが、今では専用の機械がなくてもお手軽に楽しむことができます。
この記事では、いくつもあるトラッキングソフトの特徴や活用方法についてまとめてみました。
トラッキングで使う３Dモデルの準備がまだの場合、まずはこちらをご確認ください。
トラッキングソフトでできること
トラッキングソフトは、アバターの動きや表情と現実世界のあなたの動きや表情をリンクさせるための技術です。
高価な装置を身体に付ける方法もありますが、最近ではWEBカメラ、あるいはスマートフォンのカメラがあれば、十分にリンクさせることが可能です。
カメラによるトラッキングがもっとも得意とするのは、表情を読み取りです。まぶたの開閉や、口の開き方。あるいは、眉毛の角度まで反映させてくれる種類も存在します。
また、表情の他にも身体の傾きや腕や手の動き、さらには頭から足までの全身を読み取ってくれるソフトまで登場しています。
全身のトラッキングは専用の装置がないと少し精度に不安面もありますが、カメラだけでお手軽に操作できるのが何よりの魅力です！
トラッキングソフト比較
PC VS スマートフォン
トラッキングソフトを試してみたいと思った時、最初に考えることになるのが、パソコンかスマートフォンか、です。
結論から言うと、おすすめしているのはPCで専用のソフトを使う方法です。
スマートフォンの場合、もともとカメラも埋め込まれていますし、アプリを落とすだけで使えるお手軽さがあります。
ですが、拡張性や実際にいじってみた時の感動は、間違いなくPC上で動かした時の方が圧倒的に大きくなるはずです。
PC or スマートフォン 特徴簡単比較
PC:拡張性◎。その分、手間もかかり配信するまでのハードルがやや高い。
スマートフォン:手軽さ◎。トラッキングのカメラは内臓のインカメラが使えて、配信までアプリ内で完結するものも多い。ただ、それ以上のことはできない。
単に配信ができればいい、まずは顔のトラッキングだけ少しお試ししたい、といった場合はスマホのアプリで十分です。
今回は、トラッキング技術を様々な趣味に組み合わせるため、PCでの活用方法を紹介していきます。
トラッキングソフト比較
今回、実際に４つのトラッキングソフトをインストールして遊んでみました。
トラッキングソフトには、操作感の違いだけでなく、それぞれに強みや弱み・できることできないことが存在します。
まずは、４つのソフトのそれぞれの特徴を紹介していきます。
○ThreeDPoseTracker
全身のトラッキングが可能な貴重なソフト。
表情の読み取りはできないため、身体の動きを見せることに特化。
リアルタイムのトラッキングのほか、事前に動きを動画で撮影して、それをモデルに反映させることも可能。
ThreeDPoseTracker | デジタル・スタンダード公式 (digital-standard.com)
○HolisticMotionCapture
バストアップのような距離感で使えるトラッキングソフト。
表情の読み取りだけでなく、腕や肩回り、さらには指の一本一本まで読み取ってくれる優れものです！
VRMモデルをカメラに映った自分の動きに同期して配信できるVTuber向けツールが公開 – 窓の杜 (impress.co.jp)
○VSeeFace
WEBカメラだけで簡単に表情を読み取れる。
Vroid HUBというモデルの保管所に直接接続できるので便利！
表情の動き方がとてもなめらかで、しっかりと眉毛の形まで読み取ってくれます。トラッキングの精度は非常に高く、お手軽なwebカメラでもその精度に驚くはずです。
さらに、細かく設定も変えられるので、ストレスなく使えるのが魅力です。
Animaze
こちらも、WEBカメラのみでお手軽に表情のトラッキングができるソフトです。
VSeeFace同様に、ゆったり滑らかに動くのが特徴的です。
こちらも首から上のみのトラッキングですが、精度だけで言えばVSeeFaceと同程度でしょうか。
１つ特徴があるとすれば、もともとキャラクターのモデルがインストールされており、手っ取り早くトラッキングを試してみたい方にもおすすめです！
※ただ、全体的にとてもアメリカンなので、プリインストールされたものは日本人には合わないかもです……。
ちなみに、アバターを直接いじることなく、上から小物を追加することができます。
そこまで重要な機能ではないかもしれませんが、ちょっと気分を変えたい時などに、十分に活用できる機能です！
小物の位置などは自動で設定されますが、かなり精度は高い印象です。
Steam：Animaze by FaceRig (steampowered.com)
インストールは、Steamショップから可能です。
ただ、実際に動かすにはPCにグラボが積まれていることが必須になっているので、少しハードルが高めかもしれません。
○3tene
これからVTuberを目指す方に、簡単に手軽に扱えることを目的として作られたVTuberアプリケーションで、VRoid Studio等で作成された3Dキャラクターを読み込み、表情やポーズなどの演出が可能です。
公式サイトより
3teneはフェイストラッキングに特化して、顔の向きや傾き、表情の読み取りをしてくれます。
UIが綺麗で分かりやすく、とても使いやすい点が好印象です。また、日本の会社が作って管理しているというソフトなので、安心して使うことができるのは大きな利点です。
他にもボブジェクトの読み取りや配置ができる機能もあり、痒い所に手が届くような作りが魅力的なソフトです。
簡単比較表
紹介した４つのソフトをまとめると、このようになります。
| ThreeDPoseTracker | HolisticMotionCapture | VSeeFace | Animaze | 3tene | |
| 表情 | × | × | ○ | ○ | ○ |
| 手など | × | ○ | × | × | × |
| 全身 | ○ | × | × | × | × |
| 仮想カメラ | ○ | ○ | ○ | ○ | ○ |
全身のトラッキングで遊ぼうとするのであれば、「ThreeDPoseTracker」。
細かく指の動きまでつけたいのであれば、「HolisticMotionCapture」。
表情をしっかり見せたいのであれば、「VSeeFace」か「3tene」かのどちらかを利用するのが良いでしょう！
そして、この２つのソフトですが、単純な読み取り制度だけで言えば「VSeeFace」に軍配が上がると考えています。
口の開閉だけでなく眉の動きや細かい目の開き具合など、繊細な表情の変化まで読み取ってくれるのが「VSeeFace」です。
ただ、今回紹介したのはすべて無料で使えるものなので、ぜひいろいろと触って遊んでみてください！
ソフトを使って実際に遊んでみる
ソフトの使い方や特徴が分かったら、次は実際に遊んでみましょう！
トラッキングの基本的な使い方は、仮想カメラとして出力してカメラ代わりに使うことが主になります。
仮想カメラがピンとこない場合、普通の外付けのカメラを想像していただければ、大きく問題はありません。
その外付けのカメラにトラッキングソフトを噛ませることで、自分のリアルな姿ではなく、キャラクターとしてカメラに移すことができるようになる、というものです。
1.配信をしてみる
トラッキングソフトを使った遊び方の王道です。
生身の人間としてではなく、キャラクターの”皮”をかぶることが、トラッキングソフトを使うことで可能になります。
つまり、いわゆるVtuberのような配信ができてしまうわけです。
せっかくトラッキングの技術を使いこなせるようになったのなら、一度は配信をしてみたいもの。
Vtuberを始めるにあたって、「視聴者○万人！」や「収益化！」といった目標を立てたくなるかもしれませんが、最初から大きな目標を立ててしまうと、始める前に挫折してしまいがちです。
まずはお試しの気持ちで、とりあえず始めてみましょう！
Vtuberの始め方は、こちらの記事を参考にしてみてください。
2.通話で仮想カメラを使ってみる
せっかくトラッキングや仮想カメラを使いこなせるようになったら、ぜひ日頃のビデオ通話もトラッキングソフトを使ってみましょう！
ただ話をするだけでは飽きてきますが、キャラクターの皮を被れば日常も楽しくなります。
また、キャラクターの皮を使うことで、ロールプレイのようなものも、より没入してできるようになるという楽しみもありますよ！
（通話相手が理解のある相手であるという前提が必要ですが……）
以上、いかがでしたでしょうか。
少しでもトラッキングソフトの特徴や使い方について理解していただけたなら幸いです。
ぜひトラッキングソフトを使いこなして、素敵な趣味ライフをお過ごしください！
コメント