本項目生成的三維立體畫設計為用“牆眼”方式觀看。看到它們的最好方法,就是讓眼睛聚焦在圖像後面的點(如牆上)。有點神奇,一旦在這些圖案中感覺到某樣東西,眼睛就會自動将它作為關注的焦點,如果三維圖像已“鎖定”,你很難對它視而不見的(如果你仍然無法看到圖像,請看Gene Levin的文章“How to View Stereograms and Viewing Practice”[1],或許有幫助)。

圖8-1 一張令人費解的圖像,可能讓你感到痛苦[2]
8.1 工作原理
三維立體畫的工作原理是改變圖像中圖案之間的線性間距,進而産生深度的錯覺。在觀看三維立體畫中的重複圖案時,大腦會将間距解釋為深度資訊,如果有多個圖案和不同的間距,尤其會這樣。
8.1.1 感覺三維立體畫中的深度
如果你的眼睛彙聚在圖像背後一個假想的點,大腦将左眼看到的一些點與右眼看到的另一些點比對起來,你将會看到這些點位于圖像之後的一個平面上。到該平面的感覺距離取決于圖案中的間距的數量。例如,圖8-2展示了3行A。這些A每行間的距離相等,但它們的水準間距從上至下增加。
如果用“牆眼”的方式來看,圖8-2中最上面一行應該出現在紙後面,中間行應該看起來像在第一行後面一點,底部一行應該出現在最遠的位置。文本“floating text”應該看起來“浮在”這幾行頂部。
為什麼大腦将這些圖案的間距解讀為深度?通常情況下,如果看遠處的物體,你的雙眼協作,聚焦并彙聚在同一點,雙眼向内轉,直接指向目标點。但用“牆眼”方式觀看三維立體畫時,聚焦和彙聚發生在不同的位置。眼睛專注于三維立體畫,但大腦将重複的模式看成來自同一個虛拟(虛構的)對象,眼睛彙聚在圖像背後的一個點,如圖8-3所示。解耦的聚焦和彙聚疊加在一起,讓你在三維立體畫中看到深度。
圖8-2 線性間距和深度知覺
圖8-3 在三維立體畫中看到深度
三維立體畫的感覺深度取決于像素的水準間距。因為圖8-2中的第一行具有最近的間隔,它出現在其他行的前面。然而,如果點的間距在圖像中是變化的,大腦将認為每個點處于不同的深度,是以我們會看到一個虛拟的三維圖像。
8.1.2 深度圖
“深度圖”是這樣一幅圖像:其中每個像素的值表示深度值,即從眼睛到該像素表示的對象部分的距離。深度圖往往表現為一幅灰階圖,亮的區域表示近的點,暗的區域表示遠的點,如圖8-4所示。
圖8-4 深度圖
注意,鲨魚的鼻子是圖像中最亮部分,似乎最接近你。朝向尾部的較暗區域看起來最遠。
因為深度圖表示從每個像素中心到眼睛的深度或距離,是以可以用它來獲得與圖像中像素位置相關聯的深度值。我們知道,在圖像中,水準偏移被認為是深度。是以,如果按照對應像素值深度值的比例,來偏移(圖案)圖像中的像素,就會對該像素産生與深度圖一緻的深度知覺。如果對所有像素這樣做,最終就會将整個深度圖編碼到圖像中,生成三維立體畫。
深度圖的每個像素存儲了深度值,并且該值的分辨率取決于表示它的位數。因為本章采用常見的8位圖像,深度值的範圍是[0,255]。
順便說一下,圖8-4中的圖像就是用于建立圖8-1中的三維立體畫的深度圖。你很快就能學會自己如何做到這一點。
該項目的代碼将遵循以下步驟:
1.讀入深度圖;
2.讀入一幅平鋪圖像或建立一個“随機點”平鋪圖像;
3.通過重複平鋪圖像建立一幅新圖像。該圖像的尺寸與深度圖一緻;
4.對新圖像中的每個像素,根據該像素相關聯的深度值,将它按比例地向右移;
5.将三維立體畫寫入一個檔案。
8.2 所需子產品
本項目使用Pillow讀取圖檔,通路它們的底層資料,建立和修改圖像。
8.3 代碼
為了從輸入的深度圖生成三維立體畫,首先重複一幅給定的平鋪圖像,生成一幅中間圖像。接下來,生成一幅充滿随機點的平鋪圖像。然後進入生成三維立體畫的核心代碼,即利用所提供的深度圖中的資訊,移動輸入的圖像。要檢視完整的項目,請直接跳到8.4節。
8.3.1 重複給定的平鋪圖像
我們從利用createTiledImage()方法開始,通過平鋪一個圖形檔案,建立一幅新的圖像。圖像尺寸由dims元組指定,該元組形式為(width, height)。
# tile a graphics file to create an intermediate image of a set size
def createTiledImage(tile, dims):
# create the new image
❶ img = Image.new('RGB', dims)
W, H = dims
w, h = tile.size
# calculate the number of tiles needed
❷ cols = int(W/w) + 1
❸ rows = int(H/h) + 1
# paste the tiles into the image
for i in range(rows):
for j in range(cols):
❹ img.paste(tile, (j*w, i*h))
# output the image
return img
在❶行,利用提供的尺寸(dims)建立新的Python圖像庫(PIL)Image對象。新圖像的尺寸由元組dims給出,形式是(width, height)。接着,儲存平鋪圖像和輸出檔案的寬度和高度。在❷行,确定列數,在❸行,确定中間圖像所需的行數,方法是用最終圖像的尺寸除以平鋪圖像的尺寸。除的結果每次加1,如果輸出圖像的尺寸不是正好是平鋪圖像的整數倍,這也能確定右邊最後的平鋪圖像不會缺失。如果沒有這種預防措施,圖像的右邊可能被切斷。然後,在❹行,循環周遊行和列,并用平鋪圖像填充它們。通過乘積(j*w, i*h),确定平鋪圖像左上角的位置,這樣它能對準行和列。完成後,該方法傳回指定尺寸的Image對象,用輸入圖像tile平鋪。
8.3.2 從随機圓建立平鋪圖像
如果使用者不提供平鋪圖像,就利用createRandomTile()方法,用随機圓圈建立一張平鋪圖像。
# create an image tile filled with random circles
def createRandomTile(dims):
# create image
❶ img = Image.new('RGB', dims)
❷ draw = ImageDraw.Draw(img)
# set the radius of a random circle to 1% of
# width or height, whichever is smaller
❸ r = int(min(*dims)/100)
# number of circles
❹ n = 1000
# draw random circles
for i in range(n):
# -r makes sure that the circles stay inside and aren't cut off
# at the edges of the image so that they'll look better when tiled
❺ x, y = random.randint(0, dims[0]-r), random.randint(0, dims[1]-r)
❻ fill = (random.randint(0, 255), random.randint(0, 255),
random.randint(0, 255))
❼ draw.ellipse((x-r, y-r, x+r, y+r), fill)
return img
在❶行,用dim給出的尺寸建立新的Image對象。用ImageDraw.Draw() ❷在該圖像中畫圓圈,用寬或高中較小值的1/100作為半徑,畫圓圈❸(Python的*運算符将dim元組中的寬度和高度值解包,這樣就能傳入到min()方法中)。
在❹行,設定要畫的圓圈數為1000。然後調用random.randint(),獲得範圍為[0, width-r]和[0, height-r]的兩個随機整數,進而算出每個圓圈的x和y坐标❺。“-r”確定生成的圓圈保持在width×height的圖像矩形内部。不帶-r,畫的圓圈可能就在圖像邊緣,這意味着它會被切掉一部分。如果平鋪這樣的圖像來建立三維立體畫,結果不會好看,因為兩個平鋪圖像之間沒有空間。
要生成一個随機圓圈,先畫出輪廓,然後填充顔色。在❻行,在[0,255]的範圍内随機選取RGB值,用選擇顔色填充。最後,在❼行,用draw中的ellipse()方法繪制每個圓圈。該方法的第一個參數是圓的邊界矩形,它由左上角和右下角指定,分别為(x-r, y-r)和(x+r, y+r),其中(x, y)是該圓的圓心,r是半徑。
讓我們在Python解釋器中測試這種方法。
>>> import autos
>>> img = autos.createRandomTile((256, 256))
>>> img.save('out.png')
>>> exit()
圖8-5展示了測試的輸出。
圖8-5 嘗試運作createRandomTile()
正如你在圖8-5中看到的,我們已經建立了随機點的平鋪圖像。可以使用它來建立的三維立體畫。
8.3.3 建立三維立體畫
現在,讓我們建立一些三維立體畫。createAutostereogram()方法完成了大部分工作,如下所示:
def createAutostereogram(dmap, tile):
# convert the depth map to a single channel if needed
❶ if dmap.mode is not 'L':
dmap = dmap.convert('L')
# if no image is specified for a tile, create a random circles tile
❷ if not tile:
tile = createRandomTile((100, 100))
# create an image by tiling
❸ img = createTiledImage(tile, dmap.size)
# create a shifted image using depth map values
❹ sImg = img.copy()
# get access to image pixels by loading the Image object first
❺ pixD = dmap.load()
pixS = sImg.load()
# shift pixels horizontally based on depth map
❻ cols, rows = sImg.size
for j in range(rows):
for i in range(cols):
❼ xshift = pixD[i, j]/10
❽ xpos = i - tile.size[0] + xshift
❾ if xpos > 0 and xpos < cols:
❿ pixS[i, j] = pixS[xpos, j]
# display the shifted image
return sImg
在❶行,進行完整性檢查,確定深度圖和圖像具有相同的尺寸。在❷行,如果使用者沒有提供平鋪圖像,就建立随機圓圈平鋪圖像。在❸行,建立一張平鋪好的圖像,符合提供的深度圖的大小。然後,在❹行生成這張平鋪好的圖像的副本。
在❺行,調用Image.load()方法,将圖像資料加載到記憶體中。該方法允許用形如[i, j]的二維數組來通路圖像像素。在❻行,将圖像的尺寸儲存為行數和列數,将圖像看成單個像素構成的網格。
三維立體畫建立算法的核心在于,根據從深度圖中收集的資訊,移動平鋪圖像中像素的方式。要做到這一點,周遊平鋪圖像,處理每一個像素。在❼行,根據深度圖pixD中的相關像素,查找偏移的值。然後将這個深度值除以10,因為這裡用的是8位深度圖,這意味着深度的範圍是0到255。如果除以10,得到的深度值範圍是0到25。由于深度圖輸入圖像的尺寸通常是幾百像素,是以這些偏移值很合适(嘗試改變除數,看看它如何影響最終圖像)。
在❽行,計算像素的新x位置,用平鋪圖像填充三維立體畫。每隔w個像素,像素的值不斷重複,由公式ai = ai + w表示,其中的ai是在x軸下标i處的給定像素的顔色(因為考慮的是像素行,而不是列,是以忽略y方向)。
要建立深度感,就要讓間隔(或重複的間距)與該像素的深度圖值成正比。這樣在最終的三維立體畫圖像中,每個像素和它前一次(周期地)出現相比,偏移了delta_i。這可以表示為bi=bi-w+δt
這裡,bi表示最後的三維立體畫圖像中,下标i處給定像素的顔色值。這正是❽行所做的事。深度圖值為0(黑色)的像素沒有偏移,被視為背景。
在❿行,用偏移的值替換每個像素。在❾行,檢查確定沒有試圖通路不在圖像中的像素,因為偏移,在圖像邊緣可能發生這種情況。
8.3.4 指令行選項
現在,我們來看看該程式的main()方法,其中提供了一些指令行選項。
# create a parser
parser = argparse.ArgumentParser(description="Autosterograms...")
# add expected arguments
❶ parser.add_argument('--depth', dest='dmFile', required=True)
parser.add_argument('--tile', dest='tileFile', required=False)
parser.add_argument('--out', dest='outFile', required=False)
# parse args
args = parser.parse_args()
# set the output file
outFile = 'as.png'
if args.outFile:
outFile = args.outFile
# set tile
tileFile = False
if args.tileFile:
tileFile = Image.open(args.tileFile)
在❶行,像以前的項目一樣,利用argparse為程式定義了一些指令行選項。一個必需的參數是深度圖檔案,兩個可選的參數是平鋪圖像檔案名和輸出檔案名。如果未指定平鋪圖像,程式會生成随機圓圈平鋪圖像。如果未指定輸出檔案名,則三維立體畫會輸出到as.png檔案。
8.4 完整代碼
下面是完整的三維立體畫程式。也可以從https://github.com/electronut/pp/blob/ master/autos/autos.py下載下傳這段代碼。
import sys, random, argparse
from PIL import Image, ImageDraw
# create spacing/depth example
def createSpacingDepthExample():
tiles = [Image.open('test/a.png'), Image.open('test/b.png'),
Image.open('test/c.png')]
img = Image.new('RGB', (600, 400), (0, 0, 0))
spacing = [10, 20, 40]
for j, tile in enumerate(tiles):
for i in range(8):
img.paste(tile, (10 + i*(100 + j*10), 10 + j*100))
img.save('sdepth.png')
# create an image filled with random circles
def createRandomTile(dims):
# create image
img = Image.new('RGB', dims)
draw = ImageDraw.Draw(img)
# set the radius of a random circle to 1% of
# width or height, whichever is smaller
r = int(min(*dims)/100)
# number of circles
n = 1000
# draw random circles
for i in range(n):
# -r makes sure that the circles stay inside and aren't cut off
# at the edges of the image so that they'll look better when tiled
x, y = random.randint(0, dims[0]-r), random.randint(0, dims[1]-r)
fill = (random.randint(0, 255), random.randint(0, 255),
random.randint(0, 255))
draw.ellipse((x-r, y-r, x+r, y+r), fill)
# return image
return img
# tile a graphics file to create an intermediate image of a set size
def createTiledImage(tile, dims):
# create the new image
img = Image.new('RGB', dims)
W, H = dims
w, h = tile.size
# calculate the number of tiles needed
cols = int(W/w) + 1
rows = int(H/h) + 1
# paste the tiles into the image
for i in range(rows):
for j in range(cols):
img.paste(tile, (j*w, i*h))
# output the image
return img
# create a depth map for testing
def createDepthMap(dims):
dmap = Image.new('L', dims)
dmap.paste(10, (200, 25, 300, 125))
dmap.paste(30, (200, 150, 300, 250))
dmap.paste(20, (200, 275, 300, 375))
return dmap
# given a depth map image and an input image,
# create a new image with pixels shifted according to depth
def createDepthShiftedImage(dmap, img):
# size check
assert dmap.size == img.size
# create shifted image
sImg = img.copy()
# get pixel access
pixD = dmap.load()
pixS = sImg.load()
# shift pixels output based on depth map
cols, rows = sImg.size
for j in range(rows):
for i in range(cols):
xshift = pixD[i, j]/10
xpos = i - 140 + xshift
if xpos > 0 and xpos < cols:
pixS[i, j] = pixS[xpos, j]
# return shifted image
return sImg
# given a depth map (image) and an input image,
# create a new image with pixels shifted according to depth
def createAutostereogram(dmap, tile):
# convert the depth map to a single channel if needed
if dmap.mode is not 'L':
dmap = dmap.convert('L')
# if no image is specified for a tile, create a random circles tile
if not tile:
tile = createRandomTile((100, 100))
# create an image by tiling
img = createTiledImage(tile, dmap.size)
# create a shifted image using depth map values
sImg = img.copy()
# get access to image pixels by loading the Image object first
pixD = dmap.load()
pixS = sImg.load()
# shift pixels horizontally based on depth map
cols, rows = sImg.size
for j in range(rows):
for i in range(cols):
xshift = pixD[i, j]/10
xpos = i - tile.size[0] + xshift
if xpos > 0 and xpos < cols:
pixS[i, j] = pixS[xpos, j]
# return shifted image
return sImg
# main() function
def main():
# use sys.argv if needed
print('creating autostereogram...')
# create parser
parser = argparse.ArgumentParser(description="Autosterograms...")
# add expected arguments
parser.add_argument('--depth', dest='dmFile', required=True)
parser.add_argument('--tile', dest='tileFile', required=False)
parser.add_argument('--out', dest='outFile', required=False)
# parse args
args = parser.parse_args()
# set the output file
outFile = 'as.png'
if args.outFile:
outFile = args.outFile
# set tile
tileFile = False
if args.tileFile:
tileFile = Image.open(args.tileFile)
# open depth map
dmImg = Image.open(args.dmFile)
# create stereogram
asImg = createAutostereogram(dmImg, tileFile)
# write output
asImg.save(outFile)
# call main
if __name__ == '__main__':
main()
8.5 運作三維立體畫生成程式
現在,我們用凳子(stool-depth.png)的深度圖運作該程式。
$ python3 autos.py --depth data/stool-depth.png
圖8-6左邊展示了深度圖,右邊展示了生成的三維立體畫。因為沒有為平鋪提供圖像,這張三維立體畫使用了随機生成的平鋪圖像。
圖8-6 autos.py運作示例
現在,讓我們給定一個平鋪圖像作為輸入。像前面一樣使用stool-depth.png深度圖,但這一次,提供圖像escher-tile.jpg[3]作為平鋪圖像。
$ python3 autos.py --depth data/stool-depth.png –tile data/escher-tile.jpg
圖8-7展示了輸出。
圖8-7 使用平鋪圖像的autos.py運作示例
8.6 小結
在本項目中,我們學習了如何建立三維立體畫。給定深度圖的圖像,我們現在可以建立随機點的三維立體畫,或用提供的圖像來平鋪。
如果你想知道如何利用程式設計來了解和探索想法。那麼你可以看看這本《Python極客項目程式設計》,這本書的項目假設你了解基本的Python文法和基本的程式設計概念,并假設你熟悉高中數學知識。我已經盡了最大的努力,詳細解釋了所有項目中需要的數學知識。
《Python極客項目程式設計》
本書包含了一組富有想象力的程式設計項目,它們将引導你用Python 來制作圖像和音樂、模拟現實世界的現象,并與
Arduino 和樹莓派這樣的硬體進行互動。你将學習使用常見的Python 工具和庫,如numpy、matplotlib 和pygame,
來完成以下工作:
● 利用參數方程和turtle子產品生成萬花尺圖案;
● 通過模拟頻率泛音在計算機上創作音樂;
● 将圖形圖像轉換為ASCII文本圖形;
● 編寫一個三維立體畫程式,生成隐藏在随機圖案下的3D圖像;
● 通過探索粒子系統、透明度和廣告牌技術,利用OpenGL着色器制作逼真的動畫;
● 利用來自CT和MRI掃描的資料實作3D可視化;
● 将計算機連接配接到Arduino程式設計,建立響應音樂的雷射秀。
通過本書,你可以享受作為極客的真正樂趣!
作者通過一系列不簡單的項目,向你展示如何用Python來解決各種實際問題。在學習這些項目時,你将探索Python程式設計語言的細微差别,并學習如何使用一些流行的Python庫。但也許更重要的是,你将學習如何将問題分解成幾個部分,開發一個算法來解決這個問題,然後從頭用Python來實作一個解決方案。解決現實世界的問題可能很難,因為它們往往是開放式的,并且需要各個領域的專業知識。但Python提供了一些工具,協助解決問題。克服困難,尋找實際問題的解決方案,這是成為專家級程式員的旅途中最重要的環節。
讓我們來看看有哪些練手項目?
第一部分:熱身運動
第1章展示了如何解析iTunes播放清單檔案,并從中收集有用的資訊,如音軌長度和共同的音軌。在第2章中,我們使用參數方程及海龜作圖法,繪制類似萬花尺産生的那些曲線。
第1章 解析iTunes播放清單
第2章 萬花尺
第二部分:模拟生命
這部分是用數學模型來模拟現象。在第3章中,我們将學習如何實作Conway遊戲的生命遊戲算法,産生動态的模式來建立其他模式,以模拟一種人工生命。第4章展示了如何用Karplus-Strong算法來建立逼真的彈撥音。然後,在第5章中,我們将學習如何實作類鳥群算法,模拟鳥類的聚集行為。
第3章 Conway生命遊戲
第4章 用Karplus-Strong算法産生音樂泛音
第5章 類鳥群:仿真鳥群
第三部分:圖像之樂
這部分介紹使用Python讀取和操作2D圖像。第6章展示了如何根據圖像建立ASCII碼藝術圖。在第7章中,我們将進行照片拼接。在第8章中,我們将學習如何生成三維立體圖,它讓人産生3D圖像的錯覺。
第6章 ASCII文本圖形
第7章 照片馬賽克
第8章 三維立體畫
第四部分:走進三維
這一部分的項目使用OpenGL的3D圖形庫。第9章介紹使用OpenGL建立簡單3D圖形的基本知識。在第10章中,我們将建立粒子模拟的煙花噴泉,它用數學和OpenGL着色器來計算和渲染。在第11章中,我們将使用OpenGL着色器來實作立體光線投射算法,來渲染立體資料,該技術常用于醫療影像,如MRI和CT掃描。
第9章 了解OpenGL
第10章 粒子系統
第11章 體渲染
第五部分:玩轉硬體
在最後一部分中,我們将用Python來探索Arduino微控制器和樹莓派。在第12章中,我們将利用Arduino,通過一個簡單電路讀取并标繪傳感器資料。在第13章中,我們将利用Python和Arduino來控制兩個旋轉鏡和雷射器,生成響應聲音的雷射秀。在第14章中,我們将使用樹莓派打造一個基于網絡的氣象監測系統。
第12章 Arduino簡介