Python 資料處理，切片，替換，去重，排序

一、把下面這組資料進行處理，進行規則排序。

<a href="http://s3.51cto.com/wyfs02/M00/70/33/wKiom1W0Pc6jCEM6AACvT06AFio287.jpg" target="_blank"></a>

第一版代碼：

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

<code>#!/usr/local/python3/bin/python3</code>

<code>#定義了一個函數，用來做資料的分隔符轉換，保證資料風格的一緻，才能有效排序。</code>

<code>def</code> <code>sanitize(time_string):   </code>

<code>    </code><code>if</code> <code>'-'</code> <code>in</code> <code>time_string:    </code>

<code>        </code><code>splitter</code><code>=</code><code>'-'</code>

<code>    </code><code>elif</code> <code>':'</code> <code>in</code> <code>time_string:</code>

<code>        </code><code>splitter</code><code>=</code><code>':'</code>

<code>    </code><code>else</code><code>:</code>

<code>        </code><code>return</code><code>(time_string)</code>

<code>#将取到的一段資料，通過判斷中定義的分割符切開為兩組，分别報存到mins，secs變量中。</code>

<code>    </code><code>(mins,secs) </code><code>=</code> <code>time_string.split(splitter) </code>

<code>#在傳回結果的時候，完成字元串合并。</code>

<code>    </code><code>return</code><code>(mins </code><code>+</code> <code>'.'</code> <code>+</code> <code>secs)   </code>

<code>#使用with open打開檔案，和open不同于with open會自動關閉檔案，不需要手動關閉。    </code>

<code>with </code><code>open</code><code>(</code><code>'james'</code><code>) as jam:</code>

<code>    </code><code>data </code><code>=</code> <code>jam.readline()</code>

<code>#把資料進行首尾去空格，使用，最為分隔符切分。    </code>

<code>james1 </code><code>=</code> <code>data.strip().split(</code><code>','</code><code>)</code>

<code>#這裡也可以通過這種方式排序，在最後輸出的時候，直接輸出james2就可以了。</code>

<code>#james2 = sorted(james1)</code>

<code>with </code><code>open</code><code>(</code><code>'julie'</code><code>) as jul:</code>

<code>    </code><code>data </code><code>=</code> <code>jul.readline()</code>

<code>julie1 </code><code>=</code> <code>data.strip().split(</code><code>','</code><code>)</code>

<code>#julie2 = sorted(julie1)</code>

<code>with </code><code>open</code><code>(</code><code>'mikey'</code><code>) as mik:</code>

<code>    </code><code>data </code><code>=</code> <code>mik.readline()</code>

<code>mikey1 </code><code>=</code> <code>data.strip().split(</code><code>','</code><code>)</code>

<code>#mikey2 = sorted(mikey1)</code>

<code>with </code><code>open</code><code>(</code><code>'sarah'</code><code>) as sar:</code>

<code>    </code><code>data </code><code>=</code> <code>sar.readline()</code>

<code>sarah1 </code><code>=</code> <code>data.strip().split(</code><code>','</code><code>)</code>

<code>#sarah2 = sorted(sarah1)</code>

<code>clean_james</code><code>=</code><code>[]</code>

<code>clean_julie</code><code>=</code><code>[]</code>

<code>clean_mikey</code><code>=</code><code>[]</code>

<code>clean_sarah</code><code>=</code><code>[]</code>

<code>#通過疊代每組資料，調用sanitize函數，再把轉換好的資料添加到新的清單中，這樣清單中的資料風格就是一緻的。</code>

<code>for</code> <code>each_t </code><code>in</code> <code>james1:</code>

<code>    </code><code>clean_james.append(sanitize(each_t))  </code>

<code>for</code> <code>each_t </code><code>in</code> <code>julie1:</code>

<code>    </code><code>clean_julie.append(sanitize(each_t))</code>

<code>for</code> <code>each_t </code><code>in</code> <code>mikey1:</code>

<code>    </code><code>clean_mikey.append(sanitize(each_t))</code>

<code>for</code> <code>each_t </code><code>in</code> <code>sarah1:</code>

<code>    </code><code>clean_sarah.append(sanitize(each_t))</code>

<code>#輸出新清單并排序</code>

<code>print</code><code>(</code><code>sorted</code><code>(clean_james)) </code>

<code>print</code><code>(</code><code>sorted</code><code>(clean_julie))</code>

<code>print</code><code>(</code><code>sorted</code><code>(clean_mikey))</code>

<code>print</code><code>(</code><code>sorted</code><code>(clean_sarah))</code>

輸出結果：

<a href="http://s3.51cto.com/wyfs02/M01/70/31/wKioL1W0RvWi_6MbAADcTt72ius974.jpg" target="_blank"></a>

這就完成了規則排序。

二、需要給資料去重複，排序，隻輸出前三項資料。

第二版代碼：

58

59

60

61

62

63

64

65

66

67

68

69

70

<code>def</code> <code>sanitize(time_string):</code>

<code>    </code><code>if</code> <code>'-'</code> <code>in</code> <code>time_string:</code>

<code>    </code><code>(mins,secs) </code><code>=</code> <code>time_string.split(splitter)</code>

<code>    </code><code>return</code><code>(mins </code><code>+</code> <code>'.'</code> <code>+</code> <code>secs)</code>

<code>#定義函數來解決去除重複資料項的問題，此函數接受兩個清單作為參數帶入，當資料不存在新清單中就把資料添加到新清單，如果有存在則不會添加，代替了下面使用每個清單使用for疊代的方式，代碼更簡潔。    </code>

<code>def</code> <code>pomoto(old_list,new_list):</code>

<code>    </code><code>for</code> <code>i </code><code>in</code> <code>old_list:</code>

<code>        </code><code>if</code> <code>i </code><code>not</code> <code>in</code> <code>new_list:</code>

<code>            </code><code>new_list.append(i)</code>

<code>unique_james </code><code>=</code> <code>[]</code>

<code>unique_julie </code><code>=</code> <code>[]</code>

<code>unique_sarah </code><code>=</code> <code>[]</code>

<code>unique_mikey </code><code>=</code> <code>[]</code>

<code>#從疊代的方式改為了清單推導的方式</code>

<code>clean_james </code><code>=</code> <code>sorted</code><code>([sanitize(each_t) </code><code>for</code> <code>each_t </code><code>in</code> <code>james1])</code>

<code>clean_julie </code><code>=</code> <code>sorted</code><code>([sanitize(each_t) </code><code>for</code> <code>each_t </code><code>in</code> <code>julie1])</code>

<code>clean_mikey </code><code>=</code> <code>sorted</code><code>([sanitize(each_t) </code><code>for</code> <code>each_t </code><code>in</code> <code>mikey1])</code>

<code>clean_sarah </code><code>=</code> <code>sorted</code><code>([sanitize(each_t) </code><code>for</code> <code>each_t </code><code>in</code> <code>sarah1])</code>

<code>#調用函數完成去重複</code>

<code>pomoto(clean_james,unique_james)</code>

<code>pomoto(clean_julie,unique_julie)</code>

<code>pomoto(clean_mikey,unique_mikey)</code>

<code>pomoto(clean_sarah,unique_sarah)</code>

<code>#每清單疊代方式的去重複</code>

<code>#for i in clean_james:</code>

<code>#    if i not in unique_james:</code>

<code>#        unique_james.append(i)</code>

<code>#for i in clean_julie:</code>

<code>#    if i not in unique_julie:</code>

<code>#        unique_julie.append(i)</code>

<code>#for i in clean_mikey:</code>

<code>#    if i not in unique_mikey:</code>

<code>#        unique_mikey.append(i)</code>

<code>#for i in clean_sarah:</code>

<code>#    if i not in unique_sarah:</code>

<code>#        unique_sarah.append(i)</code>

<code>#輸出去重複後的唯一新清單，隻列印前三項資料</code>

<code>print</code><code>(unique_james[</code><code>0</code><code>:</code><code>3</code><code>])</code>

<code>print</code><code>(unique_julie[</code><code>0</code><code>:</code><code>3</code><code>])</code>

<code>print</code><code>(unique_mikey[</code><code>0</code><code>:</code><code>3</code><code>])</code>

<code>print</code><code>(unique_sarah[</code><code>0</code><code>:</code><code>3</code><code>])</code>

<a href="http://s3.51cto.com/wyfs02/M00/70/32/wKioL1W0S4iTXXCsAABhehYxaX0484.jpg" target="_blank"></a>

三、使用集合删除重複項，将重複的with open定義為函數，簡潔代碼，進行逆序排序，輸出前三項。

第三版代碼：

<code>    </code> 

<code>#定義函數打開檔案擷取資料傳回，并加入了錯誤處理代碼。</code>

<code>def</code> <code>get_file_data(filename):</code>

<code>    </code><code>try</code><code>:</code>

<code>        </code><code>with </code><code>open</code><code>(filename) as f:</code>

<code>            </code><code>data </code><code>=</code> <code>f.readline()</code>

<code>        </code><code>return</code><code>(data.strip().split(</code><code>','</code><code>))</code>

<code>    </code><code>except</code> <code>IOError as ioerr:</code>

<code>        </code><code>print</code><code>(</code><code>'File error'</code> <code>+</code> <code>str</code><code>(ioerr))</code>

<code>        </code><code>return</code><code>(</code><code>None</code><code>)</code>

<code>#調用函數直接得到檔案中經過切片後的資料。  </code>

<code>james1 </code><code>=</code> <code>get_file_data(</code><code>'james'</code><code>)</code>

<code>julie1 </code><code>=</code> <code>get_file_data(</code><code>'julie'</code><code>)</code>

<code>mikey1 </code><code>=</code> <code>get_file_data(</code><code>'mikey'</code><code>)</code>

<code>sarah1 </code><code>=</code> <code>get_file_data(</code><code>'sarah'</code><code>)</code>

<code>print</code><code>(</code><code>sorted</code><code>(</code><code>set</code><code>([sanitize(i) </code><code>for</code> <code>i </code><code>in</code> <code>james1]),reverse</code><code>=</code><code>True</code><code>)[</code><code>0</code><code>:</code><code>3</code><code>])</code>

<code>print</code><code>(</code><code>sorted</code><code>(</code><code>set</code><code>([sanitize(i) </code><code>for</code> <code>i </code><code>in</code> <code>julie1]),reverse</code><code>=</code><code>True</code><code>)[</code><code>0</code><code>:</code><code>3</code><code>])</code>

<code>print</code><code>(</code><code>sorted</code><code>(</code><code>set</code><code>([sanitize(i) </code><code>for</code> <code>i </code><code>in</code> <code>mikey1]),reverse</code><code>=</code><code>True</code><code>)[</code><code>0</code><code>:</code><code>3</code><code>])</code>

<code>print</code><code>(</code><code>sorted</code><code>(</code><code>set</code><code>([sanitize(i) </code><code>for</code> <code>i </code><code>in</code> <code>sarah1]),reverse</code><code>=</code><code>True</code><code>)[</code><code>0</code><code>:</code><code>3</code><code>])</code>

<a href="http://s3.51cto.com/wyfs02/M02/70/37/wKiom1W0WGizgEvUAABfXXwVwfM221.jpg" target="_blank"></a>

定義get_file_data函數代替了，多行的with open，使得代碼簡潔。

<a href="http://s3.51cto.com/wyfs02/M01/70/37/wKiom1W0WPLwTbfDAAEOINoQmqY626.jpg" target="_blank"></a>

Python 集合資料結構：集合中的資料項是無序的，而且不允許重複的，這和我們數學中的集合很像。

<a href="http://s3.51cto.com/wyfs02/M00/70/37/wKiom1W0WnvD9MAnAACrJyNrpKc193.jpg" target="_blank"></a>

最後print輸出代碼：

<a href="http://s3.51cto.com/wyfs02/M01/70/34/wKioL1W0XojDpMvHAADyLuhrjY8699.jpg" target="_blank"></a>

本文轉自qw87112 51CTO部落格，原文連結:http://blog.51cto.com/tchuairen/1678435