VRChat向けアバター ハビ -Habi- 説明書

トラッキングガイド

当ページでは、VRChatアバターの上半身トラッキングとフェイシャルトラッキングについて、外部デバイスとツールの説明を中心に解説します。

基本的な環境は、Steam版VRChatのデスクトップモードを想定しています。Quest/Quest2や全身フルトラッキングには対応していませんのであらかじめご了承ください。 また、外部デバイスはiOS向けです。PCとデバイスはwi-fiでインターネットに接続しているものとします。

前提条件 少なくともSteamとVRChat(Steam版)が既にインストール済みであるものとします。 どちらか一つでも未導入の方は、「🔰初心者向けの導入ガイド」を参照してください。
[目次] 上半身トラッキング機能について フェイシャルトラッキング機能について
上半身トラッキング機能について

本アバターは、オプション機能 としてスマホ等のカメラを用いた上半身トラッキング に 対応しています。
方法はいくつかありますがテスト済みの環境構築 DroidCam & OBS 方式をご紹介します。

すでに使い慣れたトラッキング環境がある方はそちらをお使いください。以下は無視して構いません。
外部デバイス

iPhoneまたはiPadなどのスマートフォン、タブレットが1台必要です。（以下、「iOS端末」とします。）
Android向けスマホについては未検証です。申し訳ございません。

※後でご紹介する「フェイシャルトラッキング」と併用する場合は、iOS端末が2台必要になります。
トラッキングアプリが１台につき１つしか起動・トラッキングできないためです。

もし、1台しか用意できないという場合は、上半身トラッキングのみにすることをおすすめします。フェイシャルトラッキングがなくてもまばたきと口パクはしますし エモートによる表情変化もあります。
デバイスのプライベートWi-Fiアドレスを「固定」に
iOS端末の「設定」>「Wi-Fi」>おつかいのWi-Fi右側の「！」マークをタッチ>「プライベートWi-Fiアドレス」を「固定」にします。
もしも「オフ」や「ローテーション」だとPCと同じWi-Fiに接続しているつもりが違うアドレスになってしまいます。

改めて、PCとiOS端末が同じWi-Fiに接続していることを確認します。
上半身トラッキングアプリのインストール

iOS端末側…AppStoreで「DroidCam」と検索して「DroidCam WebCam & OBS Camera」をインストールします。「DroidCam」を起動します。
もし画面にカメラへのアクセスその他を要求されたら全てOKとします。アクセス権を与えないとトラッキングできません。
PC側…Steamを起動してログインします。OBS Studioを無料でインストールします。
「DroidCam for OBS」にアクセスし、「Install the OBS Plugin」の中からおつかいのOS（Windows）を選択肢クリックします。画面の指示に従ってインストールします。
SteamのライブラリからOBS Studioを起動します。

画面下部の「ソース」下部の「+」（ソース追加）をクリックし、「DroidCam OBS」をクリックします。追加できたらそれをさらにクリックします。
droid in OBS
デバイス「Wi-fi IPを使う」にし、「デバイスリストを更新」してiOS端末が出たら「OK」
OBSでWi-Fi IP
接続できるとiOS端末のアプリ側にカメラ撮影した映像が表示され、PCのOBSにも同じ映像が出ます。このPC側映像は、プレビューをオフにすると映らなくなります。

※もしもiOS端末側が黒い画面のままである場合はその左上部にある「WiFi IP」と OBSの「ソース」>「DroidCam OBS」内の「WiFi IP」が異なっているかもしれません。 PC側 OBSのソース内で「無効」を一度押して「WiFi IP」欄に iOS側「DroidCam」の左上部「Wi-Fi IP」と同じ数字を入力して、改めて「有効」にして「OK」してください。
PC側 OBSの右下「仮想カメラ開始」ボタンを押すと上半身トラッキングの準備ができます。
OBSバーチャルカメラ
PCでSteamのライブラリから「VRChat」を起動します。
Escキー>Settings（詳細設定　拡大　□→アイコン）>「Tracking＆IK」>「CURRENT　WEBCAM　DEVICE」に「OBS Virtual Camera」が表示されているか確認します。なければ、その右隣の「Change WebCam Device」をクリックして「OBS Virtual Camera」を選択してください。
カメラトラッキング

問題なければ、アバターがカメラに映った上半身の動き通りに動くはずです。（フェイシャルトラッキングは別なので表情は変化しません。)
無料版アバターではジェスチャーのエモート置き換えはしていません。よって無料版かつ上半身トラッキングが無効であればVRC標準ジェスチャー（ハンドジェスチャー）に従いアバターの手のポーズが変わります。
一方、上半身トラッキングが有効な間、VRC標準ジェスチャー（のうちアバターへの手のポーズ反映）が無効になります。※入力自体は受け取っているため上半身トラッキングとエモートは重複して利用できます
△ページトップに戻る

フェイシャルトラッキング機能について


本アバターの有料版は、オプション機能 として スマホ等のカメラを使用したフェイストラッキングに 対応しています。
※ 無料のお試し版は非対応です。トラッキングを使用しない場合でも、アバター自体は通常通りアップロード・使用できます。
※ 無料版では、表情に関するシェイプキーを削除しているため、トラッキング用テンプレートPrefab「VF_UE_VRCFT」を導入済みでもトラッキングができずアバターの表情が変わりません。

Unityに対して必要な外部パッケージ フェイストラッキングを行う方のみ、以下のツールをVCC経由で導入してください。

VRCFury
https://vrcfury.com/
「Download VRCFury」>「Click here to add VRCFury to the VRChat Creator Companion」の文字列をクリック

VRCFT-Jerry’s templates
https://adjerry91.github.io/VRCFaceTracking-Templates/   「Add to VCC」をクリック
これらはセットで使用します。単体では動作しないためご注意ください。
外部機器の設定とは別に、「最短導入ガイド」から上記のパッケージを適用したアバターをVRChat上にアップロードしてください。
外部デバイス

iPhoneまたはiPadなどのスマートフォン、タブレットが1台必要です。（以下、「iOS端末」とします。）
Android向けスマホについては未検証です。申し訳ございません。

※後でご紹介する「フェイシャルトラッキング」と併用する場合は、iOS端末が2台必要になります。
トラッキングアプリが１台につき１つしか起動・トラッキングできないためです。

もし、1台しか用意できないという場合は、上半身トラッキングのみにすることをおすすめします。フェイシャルトラッキングがなくてもまばたきと口パクはしますし エモートによる表情変化もあります。
デバイスのプライベートWi-Fiアドレスを「固定」に
iOS端末の「設定」>「Wi-Fi」>おつかいのWi-Fi右側の「！」マークをタッチ>「プライベートWi-Fiアドレス」を「固定」にします。
もしも「オフ」や「ローテーション」だとPCと同じWi-Fiに接続しているつもりが違うアドレスになってしまいます。

改めて、PCとiOS端末が同じWi-Fiに接続していることを確認します。
△ページトップに戻る
フェイシャルトラッキングアプリのインストール

iOS端末のAppStoreで「LiveLink」と検索し「LiveLinkFace For UnrealEngine」を無料でインストールします。
(PC側で主に使うゲームエンジンはUnityですが、トラッキングアプリはUE向けで大丈夫です。）

「LiveLinkFace」アプリを起動してカメラ等へのアクセスを求められたら全てOKします。上部の⚙歯車アイコンをタッチして設定を開きます。
キャプチャモードを「ARKit」にします。ストリーミング欄に「Live Link iPhone >」などと表示されているので開きます。
ここで一旦、iOS端末は置いておいて、PC側の設定を行います。
PCのSteamを起動してログインし、検索で「VRChat FaceTracking」のページに行き、無料でインストールします。
Steamのライブラリから「VRChat FaceTracking」(以下、「VRCFT」とします)を起動します。（OBSやSteaｍと同時起動できます）
VRCFTの「モジュール管理」をクリックし、「LiveLink」（作者Dazbume and tkya）を選択して追加します。
VRCFTの「デバッグログ」をクリックし、

IP Address(es)
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
192.168.🔳🔳.🔳🔳
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝

の数字を確認します。
カメラトラッキング
さきほど開いた、iOS端末の「LiveLinkFace」アプリ設定内、ストリーミング欄「Live Link iPhone>」を展開した画面に戻り、ターゲット>「ターゲット追加」に192.168.🔳🔳.🔳🔳とPCのVRCFTのデバッグログにあったのと同じ数値を打ちます。
設定を閉じ、LiveLinkFaceアプリ上部の「Live」が緑色に点灯していることを確認します。暗くなっていたらタッチして緑色にしてください。
PCのVRCFTの左下「設定」>「OSCアドレス」でRegacy Receive Portが「11111」（IP Addressは自動入力なので触らず）Send Portが「9000」であることを確認します。違ったらそのように変更してください。
※11111はLiveLink用の、9000はVRChat用のポート番号です。←他のフェイシャルトラッキングアプリを使用した場合ポート番号が異なりますのでご注意ください。
カメラトラッキング
VRCFTの「ホーム」に戻って、上部に「Apple ARKit via LiveLink」「✔トラッキング」（青色ボタン）が表示されたら接続は成功しています。
カメラトラッキング
もし、VRCFTの「ホーム」からiOS端末とLiveLinkが見つからない場合は接続できていないので改めて各アプリ、PC、iOS端末の設定を見直してください。
特に、iOSのWi-Fi設定内使用Wi-Fiの「i」マーク内詳細にあるプライベートWi-Fiアドレスが「固定」であることが重要ですので改めてご確認ください。「固定」でない場合、PC版と同じWi-Fiに接続しているつもりで別のアドレスになっています。

ここまで出来たら、PCのSteamでVRChatを起動して各種設定を行います。
△ページトップに戻る
[VRChat内でのチェックポイント]
  1. VRChat内でEscキー>Settings（詳細設定　拡大　□→アイコン）>Avater>「OSC」が有効になっていることを確認
  2. VRChat内メニュー（Rキー）＞「Expession」＞「FaceTracking」内の「Lip Tracking」と「Eye Tracking」、「Eye Diration」、 「Visemes Enabled」が有効になっている（アイコン周辺の円が回転している）ことを確認
    3. ※もし「FaceTracking」がない場合、Unityでのフェイシャルトラッキング用設定ができていない可能性が高いです。
    「最短導入ガイド」を参照して、トラッキング用テンプレートPrefab「VF_UE_VRCFT」をアバターPrefab「Habi」内に導入してからアップロードしなおしてください
    [この時点でもフェイシャルトラッキングできていない場合]
  3. VRChat内メニュー（Rキー）＞（Back/Back）「Options」>「OSC」>「Enabled(有効）」であることを確認 ※もし有効でも一度切ってもう一度有効にすると改善する場合があります。
  4. VRChat内メニュー（Rキー）＞「Expession」＞「FaceTracking」内の「Debug」をクリックでシェイプキー一覧とOSC経由の入力を表示させ確認
    5. ※パラメータが何も動いていない場合、OSCの情報受け取りに失敗しています。このページを読み直してアプリや端末の設定に誤りがないかチェックしてください。
    [OSC情報を受け取っていてパラメータが変化しているのにアバターの顔が動いていない場合]
  5. アバター内のブレンドシェイプキー名がテンプレートのものとは違う物になっている可能性
    6. メニュー（Rキー）＞「Expession」＞「FaceTracking」内の「デバッグ（Debug)」にあったシェイプキー一覧と、大文字小文字まで完全一致しているキーでなければトラッキングに失敗します。
    もしもUnity上でシェイプキーやエモートに関する改造を行っている場合、これが原因である可能性があるので再チェックしてみてください。
    なお、デバッグに表示されているキー一覧はアバターが持つシェイプキーとは無関係なテンプレートですので、これを見てもアバターのキー一覧は分かりません。Unity内でご確認下さい。
    アバターの表情に関するシェイプキーは、 Hierarchy（Unity左型）に置いたアバターPrefab「Habi」>「Body」を選択して　Inspector（Unity右側）の「Skinned Mesh Renderer」>「BlendShapes」内にあります。
    [まだ失敗している場合]
  6. そもそも有料版ではない？
    7. 無料版では、表情に関するシェイプキーを削除しているため、トラッキング用テンプレートPrefab「VF_UE_VRCFT」を導入済みでも表情が変わりません。
  7. iOS端末側の「LiveLinkFace」アプリで表情自体（目を閉じるなど）が読み取れていない
    8. アプリ右下の(-_-)のようなアイコンをタッチして、無表情を登録し直せば 改善する可能性があります。(キャリブレーション/表情変化前の基準の顔を設定)
  8. LiveLinkFaceアプリの上部の「Live」が緑色に光っていない
    9. タッチして緑色にしてください。
  9. 関連ツールの再起動
    10. 上半身とフェイシャルトラッキングを両方行っている場合、各アプリの起動順が良くなかった可能性もあるので、iOS端末…「LiveLinkFace」「DroidCam」/PC…「Steam」「VRChat」「VRC Face Tracking(VRCFT)」「OBS Studio」 一度全て停止して再起動してみてください。
ちなみにiOS端末の「LiveLinkFace」アプリ内の設定にあるOSC関連の有効・無効、遠隔操作は、本件にはあまり関係ないようです。ローカルWiFi IPアドレスでやりとりするため。

トラブルシューティング

上記の手順でトラッキングの導入に失敗した場合は、「困った時は？」の関連項目やチェックリストを参照してください。※内容は当ページと重複があります。
△ページトップに戻る