アプリ

カメラの録画から 3D Gaussian シーンを作成

同期済みの Arcturus Vision Camera の MP4 を、Steam Frame の Arcturus Vision Gaussian XR で表示できる 3D Gaussian シーンに変換します。

Linux

スクリプトは同期されたステレオ画像を抽出してトーンマッピングを行い、録画のキャリブレーションと軌跡に位置合わせしたシーンを再構成します。半分の解像度で学習し、Gaussian の数を最大 150 万個に制限します。Linux では Spirula のネイティブ再構成、LichtFeld ワークフローでは COLMAP を使用します。

1. 1. スクリプトをダウンロードして展開

   AV1 3DGS Pipeline をダウンロード

   ZIP を展開し、av1_to_3dgs.py があるフォルダーでターミナルを開きます。続いて、お使いの環境に合った以下の手順に進んでください。

2. 2. ワークフローを設定して実行

   Spirula Studio

   LinuxNVIDIA / AMD

   必要環境

   動作する Vulkan ドライバーを備えた NVIDIA または AMD GPU。

   Linux でビルド

   ダウンロードしたスクリプトの README にある Linux 手順で Spirula をソースからビルドし、uv をインストールしてください。指定リビジョンでの Linux ビルドは未再検証です。Linux インストーラーは近日公開予定です。

   GitHub の Spirula Studiouv

   任意：SOG 出力

   SOG を出力する場合は Node.js と SplatTransform をインストールしてください。

   Node.js

   npm install -g @playcanvas/splat-transform

   実行

   同期済みのカメラ MP4 と新しい出力フォルダーを選びます。展開したスクリプトのフォルダーで、recording.mp4 と output-directory を実際のパスに置き換えて実行してください。

   学習して PLY を出力（Node.js 不要）

   uv run av1_to_3dgs.py recording.mp4 output-directory \
       --backend spirula --sfm-backend spirula --no-undistort \
       --spirula /path/to/spirula-studio/build_vulkan/spirula \
       --iterations 30000

   学習して PLY と SOG を出力

   uv run av1_to_3dgs.py recording.mp4 output-directory \
       --backend spirula --sfm-backend spirula --no-undistort \
       --spirula /path/to/spirula-studio/build_vulkan/spirula \
       --iterations 30000 --splat-transform splat-transform

   --spirula にはビルドした実行ファイルのパスを指定してください。

   LichtFeld Studio

   LinuxNVIDIA

   必要環境

   LichtFeld Studio のワークフローには、次の環境とツールが必要です。

   • LichtFeld Studio での学習には、Compute Capability 7.5 以上の NVIDIA GPU（GTX 16 シリーズ、RTX 20 シリーズ以降）と NVIDIA ドライバー 570 以降が必要です。 LichtFeld Studio の動作要件
   • uv
   • COLMAP — PATH 上で使用できるコマンド名： colmap
   • LichtFeld Studio — PATH 上で使用できるコマンド名： LichtFeld-Studio

   実行

   同期済みの Arcturus Vision Camera の MP4 と新しい出力フォルダーを選びます。recording.mp4 と output-directory を実際のパスに置き換え、次のコマンドを実行してください。

   uv run av1_to_3dgs.py recording.mp4 output-directory

   LichtFeld Studio が開き、学習の様子を確認できます。画面を開かずに実行するには --headless を追加します。

3. 3. 出力

   SOG 出力なしの場合、Spirula は output-directory/spirula/scene.ply を保存します。SOG 出力ありの場合は output-directory/scene.sog も作成します。

   LichtFeld または Spirula の任意の SOG 出力を使う場合の保存先： output-directory/scene.sog.