はいぬっかメモ

キャラクターモデルをVR空間で眺めたい

パーフェクトシンクであそぼう!

f:id:hinzka:20200826210703p:plain

<概要>

iPhoneのデプスカメラを使ったフェイスキャプチャーで、モデルの顔がリアルタイムにいっぱい動く
このしくみに対応したアプリでVRMモデルを動かしてあそんでみよう
 

1.パーフェクトシンクとは

iOSのARKitで取得できるBlendShapeLocation全52点を、VRMの同名BlendShapeClipに適用させる実装です。(noppeさん命名
アニ文字のように、豊かで自然な表情アニメーションを実現します。

f:id:hinzka:20200815094421g:plain

アニ文字(iPhoneアバター機能)

 

FaceID対応端末でのみ動作します。※iOS14以降で対応端末が追加されました。

対応機種

iPhone
iPhone 11 Pro Max
iPhone 11 Pro
iPhone 11
iPhone XS Max
iPhone XS
iPhone XR
iPhone X

iPhonrSE(2020)※iOS14 以降

iPad
iPad Pro 12.9 インチ (第 4 世代)
iPad Pro 12.9 インチ (第 3 世代)
iPad Pro 11 インチ (第 2 世代)
iPad Pro 11 インチ

A12 Bionicチップ搭載のiPad ※iOS14以降

 

2.パーフェクトシンク対応モデル

2-1.要件

1)ARKitで定義された52個のBlendShapeを全部または一部備えていること
 全部そろっていなくてもOK

f:id:hinzka:20200816105223p:plain

各シェイプキーはBlender等の3Dモデリングツールで作成する必要があります。

形状について別エントリにてまとめています。

hinzka.hatenablog.com

 
2)上記に対応するVRMBlendShapeClipを備えていること
 VRMのしくみで動作させるため、シェイプキーを同名のClipに登録します。
Clipの命名ルールはUnityのEnum ARKitBlendShapeLocationに準じています(Clip名が異なると動作しません)。
 Clipに登録されたBlendShape名称の文字列が共通であれば、コピーツールを利用してClipを既存のモデルからコピーすることができます。手順はこちら 
 

2-2.サンプルモデル

VRoidのデフォルトキャラクターを改変し、パーフェクトシンクに対応させたVRMモデルです。自由に利用できるサンプルとしてVRoid hubにて配布しています。

ハート♡をつけておくと、VRoid hub連携によりvear上ですぐに動かすことができます。

2-3.VRoid雛形からのBlendShapeコピー 

VRoidは、BlendShapeを持つFaceオブジェクトの頂点構成が共通のため、一定の条件下でBlendShapeを丸ごとコピーすることができます。

f:id:hinzka:20200821070645p:plain

f:id:hinzka:20200815144711p:plain

 
Unityアセット『HANA Tool』を使うと簡単に導入ができます。
 
以下はツールがない頃の、UnityとBlenderを使った手順です(いまとなっては全くおすすめしません)

VRoidでかんたん!パーフェクトシンク(2/3) 

VRoidでかんたん!パーフェクトシンク(3/3)

 

作成した顔を差し替えることで、衣装違いモデルにも簡単に対応できます。

 

 

3.パーフェクトシンク対応アプリ

VRMのしくみで動くアプリのリストです(現状4つ)

対応アプリ増えてくれると嬉しいです どうぞよろしくよろしくおねがいします!

3-1.iOS単体アプリ

VRoid hubで配布中のサンプルモデル(前述)に♡をつけておくと、VRoid hub連携ですぐに利用できます。

 vear

vear - バーチャルライブ配信アプリ

vear - バーチャルライブ配信アプリ

  • Tomoya Hirano
  • ユーティリティ
  • 無料

apps.apple.com

 ※プレミアムモード機能

 

 Emosign

Emosign

Emosign

  • akihiro ueyama
  • エンターテインメント
  • 無料

apps.apple.com

 

 

 waidayo

github.com

 

3-2.PC併用アプリ

 VMagicMirror

malaybaku.github.io

iFacialMocapiOSアプリ)と連携した外部トラッキング機能(Ex.Tracker機能)

iFacialMocap on the App Store

 

 waidayo

github.com

waidayoのPC用ビューワ Oredayo

Home · gpsnmeajp/Oredayo4V Wiki · GitHub

waidayoと連携で全身モーキャプ バーチャルモーションキャプチャー(ばもきゃ)

VirtualMotionCapture | バーチャルモーションキャプチャー