天天看点

《Rendering synthetic objects into real scenes》论文笔记

刚刚入门人脸光照估计,目前就看了一篇《A morphable model for the synthesis of 3D Faces》。现在在看《Rendering synthetic objects into real scenes_ bridging traditional and image-based graphics with global illumination and high dynamic range photography》,打算把自己的思路好好理一下,太乱了。。

先贴一段论文介绍:

《Rendering synthetic objects into real scenes》论文笔记

论文的中心思想:提出一种基于图像的办法,而不是合成光源来照亮虚拟物体。在上面的图片有所介绍了。

Abstract

文章主要介绍了一种方法(也就是论文的中心思想),其中主要思想就是把场景分为三个部分来模拟这三个部分的相互作用。然后介绍了一种差分渲染技术。这里提到基于光的模型有两个因素:一是场景的大概几何特征,二是通过light probe来测量合成物体放置位置的入射光。

  1. Introduction

    之前提到场景被分为三个部分,如图所示:

    《Rendering synthetic objects into real scenes》论文笔记

    在我们把合成物体添加进基于光的模型的方法中,把场景分为了三个部分:远景,局部景已经合成物体。然后利用全局光照来照亮着三个部分以及它们之间的interplay,但是从远景反射回来的光被忽略,所以远景的反射模型(反射率)这些信息(文中说了个BRDF information 我还不是很了解)是不需要的。我们需要估计局部景的几何以及材料特性来模拟它和合成物体之间的interplay。

    文中提到如果有了全局光照算法以及整个场景的BRDF信息,我们可以很容易的把合成物体渲染到场景中,只需要重新计算全局光照模型就好了。但获取这个场景的BRDF基本不可能,而且没有必要,因为像远景这种和合成物之间不会有任何影响,所以只需要她在特定光照下的辐射就好了。

    作者的上一篇文章(上面图片介绍里的另一篇)介绍了一种获取HDR图片的办法,通过结合image-based建模技术和几何测量,得到的radiance maps可以拿来构造scene radiance的空间表示。

    此处提到三个模型:

    《Rendering synthetic objects into real scenes》论文笔记

    此处又提了一次文章成果:提出一个普适方法:准确测量了scene radiance,与全局光照算法相结合,来实现渲染合成物体到light-based model。

    几个需要实现的点:

    估计局部景的BRDF。 提出差分渲染技术来矫正感知效果。 light probe的使用(用来得到合成物体放置位置的HDR全景radiance map)。 场景的几何信息就可以与得到的radiance map 的value对应。

  2. background and related work

    提到了已有的全局光照算法文献(下去要读一读,现在略过)还提到了很多其他文献此处先不详谈了,下去再好好补充这些文献。

  3. Illuminating synthetic objects with real light(利用真实光照照亮合成物体)

    前面introduction提到了我们可以获取场景的radiance maps,通过这个方法我们就可以照亮任何材质的物体。整个第三节就强调了获取的radiance maps必须是HDR,以及给出了一些例子HDR map和LDR map分别加上全局光照来渲染合成物体的效果(肯定HDR的好嘛)。这里不贴图了,原文里有。作者还比较了两种环境贴图对场景渲染后的效果。

  4. The general method

    这一节主要解释我们加入合成物体到light-based scene的方法。分别讨论了introduction里面场景三个元素的几何以及光度要求( geometric and photometric requirements )。

    ①A light-based model of the distant scene(远景:基于光模型)

    合成物体会接收到来自这部分模型的光照,所以这部分模型必须要有真实的radiance测量。重要的点:准确测量在期望的视点,合成物体附近的入射光照。前面提到过,不考虑物体反射会远景的光,所以远景的BRDF信息是不需要的。在RADIANCE(又是一篇文献)系统中,这种远景的特性可以用“发光”(glow)材料属性指定。

    ②An approximate material-based model of the local scene(局部景:基于估计材料模型)

    这部分模型会和合成物体产生交互(interact)了,所以需要知道几何以及反射特性(可以是估计的),几何特性很容易估计(??),BRDF information的估计在第七节介绍。这里提到了一些把场景是划分为local scene 还是distant scene的情况。从观察视角看,(由于合成物的加入)只要是会被明显影响到外观的场景都应该被认为是local scene。由于local scene是一个完全的BRDF模型(?),所以可以像其他任何物体一样被加入到场景中。但是估计BRDF很难,所以一般会选择改变local scene的外观来计算估计BRDF。(这里有很多不清楚的地方)

    ③Complete material-based models of the objects

    这个没什么好说的了。

    只要这三个部分被合理建模与放置,用全局光照模型就可以进行渲染了。

  5. Compositing using a light probe

    这一节介绍了一个特别的技术——创建一个light-based模型使其可以把合成物体加入到特定位置。前面第四节提到,远景的基于光模型重要的一点在于准确测量在期望的视点,合成物体附近的入射光照。期望视点可以采用获取期望视点的radiance maps得到满足(采用对镜面球拍照的办法)。

    5.1 Mapping from the probe to the local scene

    为了把镜面球的表面信息与入射光一一对应,所以需要记录球与相机的相对位置,球的大小等一系列信息。通过这些信息,可以直接通过图像(radiance map)的像素跟踪来自摄像机中心的光线,并将光线从球中反射到环境中(这里大概能懂那个意思但是理解不直观,有点抽象)。 假设球相对于环境较小并且相机的视图是正交的,通常会产生良好的近似。从单个ball中得到的图像会有伪影(即把相机那些也记录进去了),这里提到一个办法将两个相距90度的ball的图像组合在一起可以消除相机伪影,避免不良采样。

    5.2 Creating renderings

    前提:合理的local scene model已经建立好了,radiance map以及其他相机位置等信息有了,全局光照算法把这三个部分点亮。

    先建立一个local scene为白,distant scene为黑的蒙版。这里说了一句感觉很重要但我没看懂,感觉也是渲染的一个重要思想:

    This compositing can be considered as a subset of the general method (Section 4) wherein the light-based model of the distant scene acts as follows: if (Vx;Vy;Vz) corresponds to an actual view of the scene, return the radiance value looking in direction(Θ;φ). Otherwise, return the radiance value obtained by casting the ray (Θ;φ;Vx;Vy;Vz) onto the radiance-mapped distant scene model.
  6. Improving quality with differential rendering(差分渲染技术)

    就是讲了当局部景的BRDF信息估算的不好时,如何提高渲染效果,由于不是本次我看这篇论文的重点,先不写了。

  7. Estimulating the local scene BRDF(估计局部场景的BRDF值)

    等我把BRDF看了再来补充。。

  8. Compositing Results

    给出了合成结果。具体不展开谈了。

继续阅读