はいぬっかメモ

キャラクターモデルをVR空間で眺めたい

アバターを使ってZoomミーティングに参加する手順

 

f:id:hinzka:20200402075734p:plain

 
 
アバターとは、ユーザーの分身となって画面に表示されるキャラクターです
Windowsアプリを使ったZoomミーティングで、生身の自分のかわりにアバターを画面に表示させる手順について説明します
 
 

1. 準備

  全体的な流れ

 ①Webカメラを使ってリアルタイムにアバターを操作するソフトウェアを実行
   ↓
 ②映像をOBS(ストリーミング配信ソフト)上に表示
   ↓
 ③映像ソースとしてZoomに流し込む

 

 OBS上に表示している映像がそのままZoomに送られます
 複数のソースを組み合わせることで、さらに背景や字幕を重ねることも可能です

 
 必要なハードウェア
Webカメラおよびマイクが接続されたWindowsPC
  ※スマホ単体でZoomにアバター参加するのはいまのところ難しそう
 

2. アバターの表示

概要

アバター表示用ソフトウェアと、それに対応するモデルデータを用意します
 
アバターを表示・操作するソフトウェアには様々なものがあり、対応するモデルの形式も複数存在します
いずれもOBSを経由させることでZoom上に表示させることができます
 

アバター表示ソフト

Webカメラでユーザーの動きをキャプチャしてリアルタイムにモデルに反映する、簡易的なVtuber支援ソフトです
以下に一部を紹介します
 
・FaceRig(有料)Live2Dモデル対応※モデルはソフトウェアに同梱
  ※FaceRigを使う場合はこの記事ではなく以下を参照してください

qiita.com


 
・Luppet(無料体験版あり)VRMモデル対応

luppet.appspot.com

・3tene(無料版あり)Live2Dモデル・VRMモデル対応

3tene.com

・VMagicMirror(無償版・ブースト版あり)VRMモデル対応

アバターのモデルデータ( VRM形式)

主要な3Dアバター表示用ソフトウェアは、VRMという形式に対応しています
 
VRMのモデルデータは、たとえばVRoid Hubからダウンロードすることができます

f:id:hinzka:20200402124417p:plain

VRoidHubは、ユーザーが作成したキャラクターモデルを他の人と共有するためのサービスです
モデルごとに利用条件やダウンロードの可・不可が設定されており、
「他の人の利用 OK」となっているモデルはダウンロードして利用できます
ただし、ダウンロード可能なモデルでも、アバターとしての利用が制限されているものや、用途により利用不可なもの(商用利用など)、利用時にクレジット表記が必要なものなどがあります ライセンス内容に注意してください

f:id:hinzka:20200402124349p:plainf:id:hinzka:20200402124458p:plain

 
 
BOOTHなどで配布・有償販売されているモデルもあります
VRoid hubと同様に、アバター利用等が明示的に許可されているモデルを探してみましょう
 
 
 
使いたいVRMのキャラクターモデルをダウンロードしておきます
 

アバター表示ソフトの使用例

今回はVMagicMirrorで説明します
 
VMagicMirrorのZipファイルをダウンロードし、解凍してexeファイルを実行します
VRoid hubでダウンロードしたキャラクターのVRMファイルを読み込みます
顔のキャプチャに使うカメラを選択します

f:id:hinzka:20200402010734p:plain

使用するマイクを設定すると口パクしてくれます
視線の動きは マウスを追跡(デフォルト)/Webカメラから判定/固定 の3種から選択
その他、影のオンオフなどをここで設定できます
 
フリーカメラにチェックを入れ、必要に応じてキャラクターの向きを調整できるようにしておきましょう
 
 Webカメラに向かって頭を動かし、モデルの動作をテストします
 自分の動きに従って、画面上のキャラクターが動けばアバターの準備完了です
 
 
 

3. Zoom導入

Zoomアカウントの作成

Zoom公式サイトの「サインアップ」からアカウントを作成

f:id:hinzka:20200402103023p:plain

 

Zoomのインストール

f:id:hinzka:20200402102958p:plain

f:id:hinzka:20200402103014p:plain

 

仮想カメラ対応パッチのインストール

 Zoomの最新版ではカメラデバイスのチェック処理が追加されており、そのままではOBSの映像を表示させることができません
 仮想カメラを使用可能にするため、非公式のパッチを当てます(自己責任でお願いします)
 このページの下のほうにある「 ok_zoomer.zip」をクリックしてダウンロードし解凍
 Zoomが起動していない状態で実行してください
 (起動中だった場合Zoomを再起動するまで有効になりません Zoomを完全に再起動するにはOSの再起動が必要な場合があります)
 
 (最新バージョンの組み合わせでは不要になったようです)
 

4. OBS導入

OBSのインストール

f:id:hinzka:20200402102322p:plain

 Windowsインストーラをダウンロードしてインストール
 
 
OBSの映像ソースに、キャプチャ対象のウインドウ(今回はVMagicMirror)を追加します
ソースの「+」をクリックしてゲームキャプチャを選択します

f:id:hinzka:20200402162811p:plain

 新規作成を選び、新しい映像ソースに名前をつけます(デフォルトは「ゲームキャプチャ」)OKをクリックするとプロパティ画面が開きます

f:id:hinzka:20200402163525p:plain

 モードに「特定のウインドウをキャプチャ」
 ウインドウのメニューからアバター表示ソフトのウインドウ(今回は「VMagicMirror」)を指定します
 ※VMagicMirrorのウインドウは設定画面と表示画面の2つあるので注意
 OBSの画面にアバター表示ソフトの画面が表示されます
 「カーソルをキャプチャ」のチェックは外しておきましょう
 OKで設定画面を閉じます
 
 OBSの画面にきちんとおさまるように、アバター表示ソフトのウインドウをリサイズします
 また、画面内に表示されたアバターの位置を調整します
  OBS側でもキャプチャ対象ウインドウのリサイズや位置調整ができます

 OBS仮想カメラの追加

github.com

f:id:hinzka:20200402102346p:plain

 OBSが起動していない状態でインストールしてください

 

 
 OBSを起動すると、ツールのメニューにVirtualCamが追加されているはずですf:id:hinzka:20200402162657p:plain

 

 OBSのメニューから、ツール > VirtualCam を選択します
 VirtualCamのウインドウが表示されます

f:id:hinzka:20200402163915p:plain

 TargetCameraに「OBS-Camera」が選択されていることを確認して Start をクリックします
 (リストにはOBS-Camera、OBS-Camera2、OBS-Camera3、OBS-Camera4 の4つがあります ここで選択した仮想カメラと同じものをZoomで指定してください)
 VirtualCamのウインドウはバッテンで閉じます
 
 

5. Zoom上にアバター映像を表示

 Zoomを起動します
 右上の歯車マークをクリックし、設定ウインドウを開きます
 設定ウインドウの左のメニューから「ビデオ」を選択します
 カメラのプルダウンメニューから「OBS-Camera」を選びます
 上部のプレビュー画面にアバターの映像が表示されることを確認します
 ※ここで現実側のWebカメラを選択するとリアル側の映像が流れてしまいます
 
 設定ウインドウの仮想背景で任意の背景を選び
 ウインドウ下部の「グリーンスクリーンがあります」にチェックを入れます
 
 映像が表示されない場合、OBSのVirtualCamがStartされているかを確認してください