パーフェクトシンク

From AVTuber Wiki
用語集 > パーフェクトシンク
このページまたはセクションの内容は未完成であり、加筆が望まれています。


パーフェクトシンク (Perfect Sync) とは、iOSのARKit機能[1]を活用した3次元フェイシャルトラッキング技術である。

アバター運用において、従来の固定的・限定的な表情制御とは異なり、使用者自身の生の表情をリアルタイムにアバターの顔へと反映させることのできる技術として、VTuber業界でも2020年秋頃から普及を見せている[2]

動作の仕組み[edit | edit source]

従来の光学カメラによる縦横のみの平面的な(奥行きを認識できない)トラッキング方式とは異なり、以下のような仕組みによって動作する。

  1. iOS機器に搭載された赤外線カメラが、30,000点以上の目に見えない赤外線ドットを使用者の顔に投射し、立体的な奥行きのある形状を認識する。
  2. 1で得られたトラッキング情報を、同じくiOS機器に搭載された専用の制御チップとARKitが解析し、52種類のパラメータに変換する。
  3. 2のパラメータ情報をアバター表示ソフトが受信し、専用の加工(52種類のパラメータ情報に対応したシェイプキーの実装)が施されたアバターの表情を細かく変化させる。

52種類のパラメータの中には、眉を上下させる・唇を伸縮させる・目を見開くなどの基本的な動作に加え、頬を膨らませる・舌を出すといったものもあり、これらが常時複雑に組み合わさることにより、使用者自身の顔の動きを詳細にアバターに反映させることができる。

歴史[edit | edit source]

ARKitによるフェイシャルトラッキング技術を活用したコンテンツとしては、2017年発売のiPhone X(iOS11.1)から「アニ文字」「ミー文字」といった機能がiOS自体に実装されていたが、外部機器との連携機能までは実装されておらず、技術情報そのものは公開されていながらも応用例の少ない状態が続いていた。

2020年に、技術者・はいぬっかによってARKitの仕様とVRMアバターの仕様との相性が良いということが発見され[3]、同年6月、3Dアバター配信アプリ『vear[4]』Ver.1.23.0にて、ARKitとの連携を行う新機能「パーフェクトシンク(仮)」が実装[5]「パーフェクトシンク」という名称はここが初出となる。

これに先駆け、2020年1月には外部機器への送信機能を備えたiOS用フェイストラッカーアプリ『iFacialMocap[6]』が登場しており、当初は専用のPC用クライアントソフト経由でMaya・Unity・Blenderといった開発ツールでの使用を想定されていたが、2020年8月にPC用3Dアバター表示ソフト『VMagicMirror[7]』Ver.1.3.0が連携機能を実装し[8]、同じく「パーフェクトシンク」の名称を使用。続いて同年末、企業所属VTuberにも広く使われていた[9]3Dアバター表示ソフト『Luppet[10]』もVer.2.0.2にて同様の機能を実装した[11]ことにより、以降の3Dアバター表示ソフトにおいても標準的に実装されていった。

一方、2020年5月リリースのiOSアプリ『waidayo[12]』も、当初は『バーチャルモーションキャプチャー[13]』向けのフェイストラッカーアプリとして提供されていたところにパーフェクトシンク対応機能が実装され[14]、こちらは英語ドキュメントの充実や『VSeeFace[15]』等との連携によって海外ユーザーを中心に普及している。

AVTuberでの活用事例については、ポータルプロから2021年2月12日に発売された[16]動画作品『清水ゆかりさん001/顔認識の新技術を活用したロリママ風あまえんぼゆかりさんの遠隔いじめられ初配信』が史上初とされている。ポータルプロはそれ以降も所属メンバーの使用するアバターの大半にパーフェクトシンクを標準装備しており、ハンドトラッキングや全身トラッキング等の技術と合わせて、アダルト配信における効果の高さを実証している。

なお、ARKitの仕様自体はAppleが公式に定めたものではあるが、パーフェクトシンクはあくまで個人ユーザーが開発した応用技術であり、正式な規格や公式仕様書などは今のところ存在しない。そのため、当初は企業よりも個人VTuberを中心に切り札的な技術として草の根的に受け入れられていった一方、その名称の定義は普及するほどに曖昧なものとなってしまっているのが実情である。SRanipal[17]等の似て異なるフェイシャルトラッキング技術との混同や、後述の光学カメラによる擬似的な実装そのものをパーフェクトシンクと誤認する、またiOS機器が必須であることを理解しないまま導入を望むようなケースも散見されるため、話題とする場合は事前に定義のコンセンサスを取っておくことが望ましい。

対応ハード・ソフト[edit | edit source]

ハードウェア面では、前述の通りARKit対応のiOS機器が必須であり、具体的な対応機種はiPhone X以降となる。ただし、iPhone Xに搭載のApple A11 BionicチップはARKit対応チップとして最初期のものであり、動作安定性や消費電力において不安定な面があることから非対応のアプリも多く[18]、実質的には次世代のApple A12 Bionicチップ搭載機(iPhone XSシリーズ・iPhone XR・iPad Air 3)以降を使用することが望ましい。

ソフトウェア面では、iOS側のフェイストラッカーアプリとしては『iFacialMocap』『waidayo』、PC側のアバター表示用ソフトとしては、3Dは『Luppet』『VMagicMirror』『バーチャルモーションキャプチャー』『3tene』『VSeeFace』『Warudo』『Webcam Motion Capture』『VRoom』、2Dは『VTube Studio』『nizimaLIVE』などが代表的なものとして挙げられる。また、iOS用アプリ単体で3D表示を完結するものについても『vear』『VIRTU』『hatracker』『おでかけAR』『irtual Face』などが存在する。

なお、Androidアプリ『MeowFace』のように光学カメラで擬似的に動作するものも存在するが、あくまで平面的なトラッキングしか行えないため、舌を出す・頬を膨らませるといった奥行きのある動きへの対応は不可能となっている。

メリット[edit | edit source]

使用者の顔の動きが常時そのままアバターに反映されることにより、アバターと使用者との合一性を飛躍的に高め、通常のトラッキング技術を用いたものとは一線を画した臨場感溢れる配信が可能となる。細かい表情作りの演技が可能となる一方で、突発的な状況における「カメラの存在を忘れた素の表情」が飛び出す可能性もあり、通常の会話はもちろんのこと、実況・飲食・歌唱などの実演系配信とは特に相性が良い。

また、「表情変更のためのキー操作が殆ど必要なくなる分、配信者の両手が比較的自由になる」「会話ができない状況であっても表情は動かせるので配信のテンポが損なわれることがない」といった副次的効果も発生するため、「アバターを意図的に操作する余裕が無い」「まともに会話することが難しい」といった状況を補う手段としても効果的であり、配信の自由度そのものを大きく広げる可能性を秘めている[19]

デメリット[edit | edit source]

導入にはARKit対応のiOS機器が必須であり、PCとの連携にはWi-Fi環境も必要となるため、普段からそれらを所持していない場合、金銭的・技術的な導入コストは高いものとならざるを得ない[20]

また、使用者の顔の動きがそのままアバターに反映されるということは、くしゃみ・あくびなどの生理現象までもがはっきりと見えてしまうだけでなく[21]、時には使用者自身の健康状態・精神状態さえもアバターの表情を通して読み取れてしまうことでもあり、この点は上記のメリットと表裏一体と言える。前者については赤外線カメラを手で覆うなどして一時的にトラッキングを無効化することも不可能ではないが、咄嗟に対応することは慣れを要する上に、トラッキングが途切れてしまった際(意図的ではない場合も含む)の違和感も相応に大きなものとなってしまうため、配信状況によっては適宜フォローが必要である。

使用する対応アバターについても、単に52種類のシェイプキーを一律に実装すれば良いというわけではなく、モデル制作者が本来想定していない動きをすることで起こり得る形状破綻の対策や、使用者自身の顔の形状や動かし方に合わせた細かい調整が欠かせない(特に制作者と使用者が異なる場合に顕著となる)ため、ワンオフモデルや、市販モデルであってもマイナーなものについては、実装コストは比較的高いものとなる傾向にある[22]

技術的限界[edit | edit source]

トラッキングアプリ自体にキャリブレーション機能は備わっているものの、アバター表示ソフト側では「この表情を基準とする」という機能が基本的に存在しない(トラッキングを行っている間は何かしらのシェイプキーが必ず動作する)ため、使用者は真顔のつもりであっても、アバター本来の基本表情とは異なるものとなる可能性がある[23]。フェイストラッキングの常として、眼鏡やメイク、前髪の長い髪型との相性も良いものであるとは言えないため、全体的な認識の精度を上げるためには、顔面を覆うものをなるべく少なくすることが求められる。

また、アバターの顔が使用者と同じように動くという特性上、漫画的な「笑い目(上向きの弧を描いた目の閉じ方)」の表現はやや苦手としており、「頬の動きに笑い目の成分を加える」「瞬きの動きそのものを笑い目にする(下向きの弧を描いた目の閉じ方と二択)」「従来の固定表情操作と組み合わせる」など、対応のためにはアバター側・表示ソフト側での工夫が必要となる。

舌を出す動きについては更に限定的で、他の部位とは異なり「出す・出さない」の完全な二択判定のみとなり、上下左右の動きも認識できないため、他の部位と比べて動作の自由度が格段に低い。この点については、アバターによって、唇の左右移動に舌を追従させることで擬似的に舌を左右に動かせるような工夫をしているものもある。

注釈[edit | edit source]

  1. Appleが開発した、iOS機器(iPhone、iPadなど)で拡張現実(AR)アプリを開発するためのフレームワーク。カメラやモーションセンサーと連携し、画像認識・平面検出・光源検出・モーショントラッキングといった複雑な処理を容易に実装することができる。
  2. 3Dアバター(VRM)が発祥ではあるものの、技術的には3D・2Dを問わず実装可能なものであり、2Dアバターでの導入事例も増加している。
  3. https://hinzka.hatenablog.com/entry/2020/08/15/145040
  4. 開発:noppe
  5. https://note.com/noppefoxwolf/n/nf7a3ac22aaef
  6. 開発:江本靖(peco)
  7. 開発:獏星(ばくすたー)
  8. https://malaybaku.github.io/VMagicMirror/changelog/
  9. 主な理由としては、「ハンドトラッキングシステム『Leap Motion』との連携が可能であること」「個人開発ではなく企業開発のソフトであるためサポート体制が充実しており、法人向けライセンスの販売や、特定用途に向けたカスタマイズサービスも提供されていたこと」などが挙げられる。
  10. 開発:株式会社ラペットテクノロジーズ
  11. https://luppet-document.web.app/ja/releasenote/
  12. 開発:nmちゃん
  13. 開発:あきら
  14. https://akira.fanbox.cc/posts/2477224
  15. 開発:Emiliana、Deat
  16. 収録配信は2021年1月20日。
  17. HTCの定めるフェイシャルトラッキング規格。「VIVE Pro Eye」や「VIVEフェイシャルトラッカー」といったVIVE系VR機器のトラッキング機能で使用可能。
  18. 『vear』『waidayo』など。
  19. 当然ながら、AVTuber配信においては殊更に相性が良いものであることは言うまでもない。
  20. 最低動作機種であるiPhone Xの64GBモデルでさえも、2024年8月現在の中古平均価格は17,000円程度であり、単にパーフェクトシンクのみを目的とした機材として見る場合、個人ユーザーにとっては高額な部類である。
  21. 「使用者があくびをする→アバターもあくびをする→アバターのあくびが使用者に移る→更にアバターがあくびをする……」というループ現象も確認されている。
  22. VRoid Studio製アバターの場合、顔の形状が変化しても頂点数は同一であるという特性を利用した「HANA_APP」というツールにより、半自動的に基礎設定が可能となっており、実装は比較的容易である。
  23. 例えば、使用者自身が目の大きな顔の作りをしている場合、アバターも常に目を見開いた状態として動作してしまうことがある。これは女性使用者に比較的多く見られるケースであり、目を見開く動きの成分を眉のシェイプキーに分散させるなど、アバター側の設定を工夫することである程度対応可能である。