天天看點

Python 的練手項目:用Python建立一張三維立體畫

本項目生成的三維立體畫設計為用“牆眼”方式觀看。看到它們的最好方法,就是讓眼睛聚焦在圖像後面的點(如牆上)。有點神奇,一旦在這些圖案中感覺到某樣東西,眼睛就會自動将它作為關注的焦點,如果三維圖像已“鎖定”,你很難對它視而不見的(如果你仍然無法看到圖像,請看Gene Levin的文章“How to View Stereograms and Viewing Practice”​​[1]​​,或許有幫助)。

Python 的練手項目:用Python建立一張三維立體畫

圖8-1 一張令人費解的圖像,可能讓你感到痛苦​​[2]​​

8.1 工作原理

三維立體畫的工作原理是改變圖像中圖案之間的線性間距,進而産生深度的錯覺。在觀看三維立體畫中的重複圖案時,大腦會将間距解釋為深度資訊,如果有多個圖案和不同的間距,尤其會這樣。

8.1.1 感覺三維立體畫中的深度

如果你的眼睛彙聚在圖像背後一個假想的點,大腦将左眼看到的一些點與右眼看到的另一些點比對起來,你将會看到這些點位于圖像之後的一個平面上。到該平面的感覺距離取決于圖案中的間距的數量。例如,圖8-2展示了3行A。這些A每行間的距離相等,但它們的水準間距從上至下增加。

如果用“牆眼”的方式來看,圖8-2中最上面一行應該出現在紙後面,中間行應該看起來像在第一行後面一點,底部一行應該出現在最遠的位置。文本“floating text”應該看起來“浮在”這幾行頂部。

為什麼大腦将這些圖案的間距解讀為深度?通常情況下,如果看遠處的物體,你的雙眼協作,聚焦并彙聚在同一點,雙眼向内轉,直接指向目标點。但用“牆眼”方式觀看三維立體畫時,聚焦和彙聚發生在不同的位置。眼睛專注于三維立體畫,但大腦将重複的模式看成來自同一個虛拟(虛構的)對象,眼睛彙聚在圖像背後的一個點,如圖8-3所示。解耦的聚焦和彙聚疊加在一起,讓你在三維立體畫中看到深度。

Python 的練手項目:用Python建立一張三維立體畫

圖8-2 線性間距和深度知覺

Python 的練手項目:用Python建立一張三維立體畫

圖8-3 在三維立體畫中看到深度

三維立體畫的感覺深度取決于像素的水準間距。因為圖8-2中的第一行具有最近的間隔,它出現在其他行的前面。然而,如果點的間距在圖像中是變化的,大腦将認為每個點處于不同的深度,是以我們會看到一個虛拟的三維圖像。

8.1.2 深度圖

“深度圖”是這樣一幅圖像:其中每個像素的值表示深度值,即從眼睛到該像素表示的對象部分的距離。深度圖往往表現為一幅灰階圖,亮的區域表示近的點,暗的區域表示遠的點,如圖8-4所示。

Python 的練手項目:用Python建立一張三維立體畫

圖8-4 深度圖

注意,鲨魚的鼻子是圖像中最亮部分,似乎最接近你。朝向尾部的較暗區域看起來最遠。

因為深度圖表示從每個像素中心到眼睛的深度或距離,是以可以用它來獲得與圖像中像素位置相關聯的深度值。我們知道,在圖像中,水準偏移被認為是深度。是以,如果按照對應像素值深度值的比例,來偏移(圖案)圖像中的像素,就會對該像素産生與深度圖一緻的深度知覺。如果對所有像素這樣做,最終就會将整個深度圖編碼到圖像中,生成三維立體畫。

深度圖的每個像素存儲了深度值,并且該值的分辨率取決于表示它的位數。因為本章采用常見的8位圖像,深度值的範圍是[0,255]。

順便說一下,圖8-4中的圖像就是用于建立圖8-1中的三維立體畫的深度圖。你很快就能學會自己如何做到這一點。

該項目的代碼将遵循以下步驟:

1.讀入深度圖;

2.讀入一幅平鋪圖像或建立一個“随機點”平鋪圖像;

3.通過重複平鋪圖像建立一幅新圖像。該圖像的尺寸與深度圖一緻;

4.對新圖像中的每個像素,根據該像素相關聯的深度值,将它按比例地向右移;

5.将三維立體畫寫入一個檔案。

8.2 所需子產品

本項目使用Pillow讀取圖檔,通路它們的底層資料,建立和修改圖像。

8.3 代碼

為了從輸入的深度圖生成三維立體畫,首先重複一幅給定的平鋪圖像,生成一幅中間圖像。接下來,生成一幅充滿随機點的平鋪圖像。然後進入生成三維立體畫的核心代碼,即利用所提供的深度圖中的資訊,移動輸入的圖像。要檢視完整的項目,請直接跳到8.4節。

8.3.1 重複給定的平鋪圖像

我們從利用createTiledImage()方法開始,通過平鋪一個圖形檔案,建立一幅新的圖像。圖像尺寸由dims元組指定,該元組形式為(width, height)。

# tile a graphics file to create an intermediate image of a set size
def createTiledImage(tile, dims):
  # create the new image
❶  img = Image.new('RGB', dims)
  W, H = dims
  w, h = tile.size
  # calculate the number of tiles needed
❷  cols = int(W/w) + 1
❸  rows = int(H/h) + 1
  # paste the tiles into the image
  for i in range(rows):
    for j in range(cols):
❹      img.paste(tile, (j*w, i*h))
  # output the image
  return img      

在❶行,利用提供的尺寸(dims)建立新的Python圖像庫(PIL)Image對象。新圖像的尺寸由元組dims給出,形式是(width, height)。接着,儲存平鋪圖像和輸出檔案的寬度和高度。在❷行,确定列數,在❸行,确定中間圖像所需的行數,方法是用最終圖像的尺寸除以平鋪圖像的尺寸。除的結果每次加1,如果輸出圖像的尺寸不是正好是平鋪圖像的整數倍,這也能確定右邊最後的平鋪圖像不會缺失。如果沒有這種預防措施,圖像的右邊可能被切斷。然後,在❹行,循環周遊行和列,并用平鋪圖像填充它們。通過乘積(j*w, i*h),确定平鋪圖像左上角的位置,這樣它能對準行和列。完成後,該方法傳回指定尺寸的Image對象,用輸入圖像tile平鋪。

8.3.2 從随機圓建立平鋪圖像

如果使用者不提供平鋪圖像,就利用createRandomTile()方法,用随機圓圈建立一張平鋪圖像。

# create an image tile filled with random circles
def createRandomTile(dims):
  # create image
❶  img = Image.new('RGB', dims)
❷  draw = ImageDraw.Draw(img)
  # set the radius of a random circle to 1% of
  # width or height, whichever is smaller
❸  r = int(min(*dims)/100)
  # number of circles
❹  n = 1000
  # draw random circles
  for i in range(n):
    # -r makes sure that the circles stay inside and aren't cut off
    # at the edges of the image so that they'll look better when tiled
❺    x, y = random.randint(0, dims[0]-r), random.randint(0, dims[1]-r)
❻    fill = (random.randint(0, 255), random.randint(0, 255),
        random.randint(0, 255))
❼    draw.ellipse((x-r, y-r, x+r, y+r), fill)
  return img      

在❶行,用dim給出的尺寸建立新的Image對象。用ImageDraw.Draw() ❷在該圖像中畫圓圈,用寬或高中較小值的1/100作為半徑,畫圓圈❸(Python的*運算符将dim元組中的寬度和高度值解包,這樣就能傳入到min()方法中)。

在❹行,設定要畫的圓圈數為1000。然後調用random.randint(),獲得範圍為[0, width-r]和[0, height-r]的兩個随機整數,進而算出每個圓圈的x和y坐标❺。“-r”確定生成的圓圈保持在width×height的圖像矩形内部。不帶-r,畫的圓圈可能就在圖像邊緣,這意味着它會被切掉一部分。如果平鋪這樣的圖像來建立三維立體畫,結果不會好看,因為兩個平鋪圖像之間沒有空間。

要生成一個随機圓圈,先畫出輪廓,然後填充顔色。在❻行,在[0,255]的範圍内随機選取RGB值,用選擇顔色填充。最後,在❼行,用draw中的ellipse()方法繪制每個圓圈。該方法的第一個參數是圓的邊界矩形,它由左上角和右下角指定,分别為(x-r, y-r)和(x+r, y+r),其中(x, y)是該圓的圓心,r是半徑。

讓我們在Python解釋器中測試這種方法。

>>> import autos
>>> img = autos.createRandomTile((256, 256))
>>> img.save('out.png')
>>> exit()      

圖8-5展示了測試的輸出。

Python 的練手項目:用Python建立一張三維立體畫

圖8-5 嘗試運作createRandomTile()

正如你在圖8-5中看到的,我們已經建立了随機點的平鋪圖像。可以使用它來建立的三維立體畫。

8.3.3 建立三維立體畫

現在,讓我們建立一些三維立體畫。createAutostereogram()方法完成了大部分工作,如下所示:

def createAutostereogram(dmap, tile):
  # convert the depth map to a single channel if needed
❶  if dmap.mode is not 'L':
    dmap = dmap.convert('L')
  # if no image is specified for a tile, create a random circles tile
❷  if not tile:
    tile = createRandomTile((100, 100))
  # create an image by tiling
❸  img = createTiledImage(tile, dmap.size)
  # create a shifted image using depth map values
❹  sImg = img.copy()
  # get access to image pixels by loading the Image object first
❺  pixD = dmap.load()
  pixS = sImg.load()
  # shift pixels horizontally based on depth map
❻  cols, rows = sImg.size
  for j in range(rows):
    for i in range(cols):
❼      xshift = pixD[i, j]/10
❽      xpos = i - tile.size[0] + xshift
❾      if xpos > 0 and xpos < cols:
❿        pixS[i, j] = pixS[xpos, j]
  # display the shifted image
  return sImg      

在❶行,進行完整性檢查,確定深度圖和圖像具有相同的尺寸。在❷行,如果使用者沒有提供平鋪圖像,就建立随機圓圈平鋪圖像。在❸行,建立一張平鋪好的圖像,符合提供的深度圖的大小。然後,在❹行生成這張平鋪好的圖像的副本。

在❺行,調用Image.load()方法,将圖像資料加載到記憶體中。該方法允許用形如[i, j]的二維數組來通路圖像像素。在❻行,将圖像的尺寸儲存為行數和列數,将圖像看成單個像素構成的網格。

三維立體畫建立算法的核心在于,根據從深度圖中收集的資訊,移動平鋪圖像中像素的方式。要做到這一點,周遊平鋪圖像,處理每一個像素。在❼行,根據深度圖pixD中的相關像素,查找偏移的值。然後将這個深度值除以10,因為這裡用的是8位深度圖,這意味着深度的範圍是0到255。如果除以10,得到的深度值範圍是0到25。由于深度圖輸入圖像的尺寸通常是幾百像素,是以這些偏移值很合适(嘗試改變除數,看看它如何影響最終圖像)。

在❽行,計算像素的新x位置,用平鋪圖像填充三維立體畫。每隔w個像素,像素的值不斷重複,由公式ai = ai + w表示,其中的ai是在x軸下标i處的給定像素的顔色(因為考慮的是像素行,而不是列,是以忽略y方向)。

要建立深度感,就要讓間隔(或重複的間距)與該像素的深度圖值成正比。這樣在最終的三維立體畫圖像中,每個像素和它前一次(周期地)出現相比,偏移了delta_i。這可以表示為bi=bi-w+δt

這裡,bi表示最後的三維立體畫圖像中,下标i處給定像素的顔色值。這正是❽行所做的事。深度圖值為0(黑色)的像素沒有偏移,被視為背景。

在❿行,用偏移的值替換每個像素。在❾行,檢查確定沒有試圖通路不在圖像中的像素,因為偏移,在圖像邊緣可能發生這種情況。

8.3.4 指令行選項

現在,我們來看看該程式的main()方法,其中提供了一些指令行選項。

# create a parser
   parser = argparse.ArgumentParser(description="Autosterograms...")
  # add expected arguments
❶  parser.add_argument('--depth', dest='dmFile', required=True)
  parser.add_argument('--tile', dest='tileFile', required=False)
  parser.add_argument('--out', dest='outFile', required=False)
  # parse args
  args = parser.parse_args()
  # set the output file
  outFile = 'as.png'
  if args.outFile:
    outFile = args.outFile
  # set tile
  tileFile = False
  if args.tileFile:
    tileFile = Image.open(args.tileFile)      

在❶行,像以前的項目一樣,利用argparse為程式定義了一些指令行選項。一個必需的參數是深度圖檔案,兩個可選的參數是平鋪圖像檔案名和輸出檔案名。如果未指定平鋪圖像,程式會生成随機圓圈平鋪圖像。如果未指定輸出檔案名,則三維立體畫會輸出到as.png檔案。

8.4 完整代碼

下面是完整的三維立體畫程式。也可以從​​https://github.com/electronut/pp/blob/​​ master/autos/autos.py下載下傳這段代碼。

import sys, random, argparse
from PIL import Image, ImageDraw

# create spacing/depth example
def createSpacingDepthExample():
  tiles = [Image.open('test/a.png'), Image.open('test/b.png'),
       Image.open('test/c.png')]
  img = Image.new('RGB', (600, 400), (0, 0, 0))
  spacing = [10, 20, 40]
  for j, tile in enumerate(tiles):
    for i in range(8):
      img.paste(tile, (10 + i*(100 + j*10), 10 + j*100))
  img.save('sdepth.png')

# create an image filled with random circles
def createRandomTile(dims):
  # create image
  img = Image.new('RGB', dims)
  draw = ImageDraw.Draw(img)
  # set the radius of a random circle to 1% of
  # width or height, whichever is smaller
  r = int(min(*dims)/100)
  # number of circles
  n = 1000
  # draw random circles
  for i in range(n):
    # -r makes sure that the circles stay inside and aren't cut off
    # at the edges of the image so that they'll look better when tiled
    x, y = random.randint(0, dims[0]-r), random.randint(0, dims[1]-r)
    fill = (random.randint(0, 255), random.randint(0, 255),
        random.randint(0, 255))
    draw.ellipse((x-r, y-r, x+r, y+r), fill)
  # return image
  return img

# tile a graphics file to create an intermediate image of a set size
def createTiledImage(tile, dims):
  # create the new image
  img = Image.new('RGB', dims)
  W, H = dims
  w, h = tile.size
  # calculate the number of tiles needed
  cols = int(W/w) + 1
  rows = int(H/h) + 1
  # paste the tiles into the image
  for i in range(rows):
    for j in range(cols):
      img.paste(tile, (j*w, i*h))
  # output the image
  return img

# create a depth map for testing
def createDepthMap(dims):
  dmap = Image.new('L', dims)
  dmap.paste(10, (200, 25, 300, 125))
  dmap.paste(30, (200, 150, 300, 250))
  dmap.paste(20, (200, 275, 300, 375))
  return dmap

# given a depth map image and an input image,
# create a new image with pixels shifted according to depth
def createDepthShiftedImage(dmap, img):
  # size check
  assert dmap.size == img.size

# create shifted image
sImg = img.copy()
# get pixel access
pixD = dmap.load()
pixS = sImg.load()
# shift pixels output based on depth map
cols, rows = sImg.size
for j in range(rows):
  for i in range(cols):
    xshift = pixD[i, j]/10
    xpos = i - 140 + xshift
    if xpos > 0 and xpos < cols:
      pixS[i, j] = pixS[xpos, j]
  # return shifted image
  return sImg

# given a depth map (image) and an input image,
# create a new image with pixels shifted according to depth
def createAutostereogram(dmap, tile):
  # convert the depth map to a single channel if needed
  if dmap.mode is not 'L':
    dmap = dmap.convert('L')
  # if no image is specified for a tile, create a random circles tile
  if not tile:
    tile = createRandomTile((100, 100))
  # create an image by tiling
  img = createTiledImage(tile, dmap.size)
  # create a shifted image using depth map values
  sImg = img.copy()
  # get access to image pixels by loading the Image object first
  pixD = dmap.load()
  pixS = sImg.load()
  # shift pixels horizontally based on depth map
  cols, rows = sImg.size
  for j in range(rows):
    for i in range(cols):
      xshift = pixD[i, j]/10
      xpos = i - tile.size[0] + xshift
      if xpos > 0 and xpos < cols:
        pixS[i, j] = pixS[xpos, j]
  # return shifted image
  return sImg

# main() function
def main():
  # use sys.argv if needed
  print('creating autostereogram...')
  # create parser
  parser = argparse.ArgumentParser(description="Autosterograms...")
  # add expected arguments
  parser.add_argument('--depth', dest='dmFile', required=True)
  parser.add_argument('--tile', dest='tileFile', required=False)
  parser.add_argument('--out', dest='outFile', required=False)
  # parse args
  args = parser.parse_args()
  # set the output file
  outFile = 'as.png'
  if args.outFile:
    outFile = args.outFile
  # set tile
  tileFile = False
  if args.tileFile:
    tileFile = Image.open(args.tileFile)
  # open depth map
  dmImg = Image.open(args.dmFile)
  # create stereogram
  asImg = createAutostereogram(dmImg, tileFile)
  # write output
  asImg.save(outFile)

# call main
if __name__ == '__main__':
  main()      

8.5 運作三維立體畫生成程式

現在,我們用凳子(stool-depth.png)的深度圖運作該程式。

$ python3 autos.py --depth data/stool-depth.png      

圖8-6左邊展示了深度圖,右邊展示了生成的三維立體畫。因為沒有為平鋪提供圖像,這張三維立體畫使用了随機生成的平鋪圖像。

Python 的練手項目:用Python建立一張三維立體畫

圖8-6 autos.py運作示例

現在,讓我們給定一個平鋪圖像作為輸入。像前面一樣使用stool-depth.png深度圖,但這一次,提供圖像escher-tile.jpg​​[3]​​作為平鋪圖像。

$ python3 autos.py --depth data/stool-depth.png –tile data/escher-tile.jpg      

圖8-7展示了輸出。

Python 的練手項目:用Python建立一張三維立體畫

圖8-7 使用平鋪圖像的autos.py運作示例

8.6 小結

在本項目中,我們學習了如何建立三維立體畫。給定深度圖的圖像,我們現在可以建立随機點的三維立體畫,或用提供的圖像來平鋪。

如果你想知道如何利用程式設計來了解和探索想法。那麼你可以看看這本《Python極客項目程式設計》,這本書的項目假設你了解基本的Python文法和基本的程式設計概念,并假設你熟悉高中數學知識。我已經盡了最大的努力,詳細解釋了所有項目中需要的數學知識。

《Python極客項目程式設計》

Python 的練手項目:用Python建立一張三維立體畫

本書包含了一組富有想象力的程式設計項目,它們将引導你用Python 來制作圖像和音樂、模拟現實世界的現象,并與

Arduino 和樹莓派這樣的硬體進行互動。你将學習使用常見的Python 工具和庫,如numpy、matplotlib 和pygame,

來完成以下工作:

● 利用參數方程和turtle子產品生成萬花尺圖案;

● 通過模拟頻率泛音在計算機上創作音樂;

● 将圖形圖像轉換為ASCII文本圖形;

● 編寫一個三維立體畫程式,生成隐藏在随機圖案下的3D圖像;

● 通過探索粒子系統、透明度和廣告牌技術,利用OpenGL着色器制作逼真的動畫;

● 利用來自CT和MRI掃描的資料實作3D可視化;

● 将計算機連接配接到Arduino程式設計,建立響應音樂的雷射秀。

通過本書,你可以享受作為極客的真正樂趣!

作者通過一系列不簡單的項目,向你展示如何用Python來解決各種實際問題。在學習這些項目時,你将探索Python程式設計語言的細微差别,并學習如何使用一些流行的Python庫。但也許更重要的是,你将學習如何将問題分解成幾個部分,開發一個算法來解決這個問題,然後從頭用Python來實作一個解決方案。解決現實世界的問題可能很難,因為它們往往是開放式的,并且需要各個領域的專業知識。但Python提供了一些工具,協助解決問題。克服困難,尋找實際問題的解決方案,這是成為專家級程式員的旅途中最重要的環節。

讓我們來看看有哪些練手項目?

第一部分:熱身運動

第1章展示了如何解析iTunes播放清單檔案,并從中收集有用的資訊,如音軌長度和共同的音軌。在第2章中,我們使用參數方程及海龜作圖法,繪制類似萬花尺産生的那些曲線。

第1章 解析iTunes播放清單

第2章 萬花尺

第二部分:模拟生命

這部分是用數學模型來模拟現象。在第3章中,我們将學習如何實作Conway遊戲的生命遊戲算法,産生動态的模式來建立其他模式,以模拟一種人工生命。第4章展示了如何用Karplus-Strong算法來建立逼真的彈撥音。然後,在第5章中,我們将學習如何實作類鳥群算法,模拟鳥類的聚集行為。

第3章 Conway生命遊戲

第4章 用Karplus-Strong算法産生音樂泛音

第5章 類鳥群:仿真鳥群

第三部分:圖像之樂

這部分介紹使用Python讀取和操作2D圖像。第6章展示了如何根據圖像建立ASCII碼藝術圖。在第7章中,我們将進行照片拼接。在第8章中,我們将學習如何生成三維立體圖,它讓人産生3D圖像的錯覺。

第6章 ASCII文本圖形

第7章 照片馬賽克

第8章 三維立體畫

第四部分:走進三維

這一部分的項目使用OpenGL的3D圖形庫。第9章介紹使用OpenGL建立簡單3D圖形的基本知識。在第10章中,我們将建立粒子模拟的煙花噴泉,它用數學和OpenGL着色器來計算和渲染。在第11章中,我們将使用OpenGL着色器來實作立體光線投射算法,來渲染立體資料,該技術常用于醫療影像,如MRI和CT掃描。

第9章 了解OpenGL

第10章 粒子系統

第11章 體渲染

第五部分:玩轉硬體

在最後一部分中,我們将用Python來探索Arduino微控制器和樹莓派。在第12章中,我們将利用Arduino,通過一個簡單電路讀取并标繪傳感器資料。在第13章中,我們将利用Python和Arduino來控制兩個旋轉鏡和雷射器,生成響應聲音的雷射秀。在第14章中,我們将使用樹莓派打造一個基于網絡的氣象監測系統。

第12章 Arduino簡介