暗黙的な表面ライトフィールドの学習

今日は、この論文について紹介していきます！

Learning Implicit Surface Light Fields

Implicit representations of 3D objects have recently achieved impressive results on learning-based 3D reconstruction tasks. While existing works use simple text...

arxiv.org

ひとこと紹介

視点・光源によらない 3Dオブジェクトの生成を可能に！

イントロダクション

光・形状・表面特性などを考慮して3D構造の再構築をする必要がある

Graphic & Vision分野

• 従来の手法：3Dモデリング、物理ベースのレンダリング

(手間も時間もかかる)

• 今後への期待
  • 学習ベースの物体の豊かな外観を合成する手法

この研究での目標

• 照明条件を操作することができる条件付き表面ライトフィールドを推論する
• 物体や照明に依存しない(物体や照明ごとにモデルを学習させる必要のないものを作る)

提案手法

条件付きのサーフェスライトフィールドをパラメータ化するための暗黙的な表現

入力：objectのRGB画像＋形状情報

出力：任意の視点・光の配置におけるobjectの画像の生成

• 実写にもOK
• 影や鏡面ハイライトなども反映OK

この論文のまとめ

• 3Dオブジェクトの新しい外観表現であるConditional Implicit Surface Light Fields (cSLF)を提案
• 手法は、3Dオブジェクトのテクスチャ、拡散反射、鏡面反射、そして影を表現できることを実験的に検証
• このモデルを用いて，1枚のRGB画像から新規の物体の外観を予測する．我々のモデルを適用して，グランドトゥルースと推論された3D形状情報が与えられた1枚のRGB画像から新規の物体の外観を予測
• 表現の生成的モデリング能力を実証するために 物理的に妥当な新しい外観を転送・合成することで、我々の表現の生成的モデリング能力を実証

この論文の構成

1. Introduction
2. 関連研究
3. Method
4. 実験評価(Experimental Evaluation)
5. Conclusion