Python基础知识（9）：文件操作（IO技术）

文本文件和二进制文件

按文件中数据组织形式，我们把文件分为文本文件和二进制文件两大类。

1. 文本文件

        文本文件存储的是普通“字符”文本，python 默认为unicode 字符集（两个字节表示一个字符，最多可以表示：65536 个），可以使用记事本程序打开。但是，像word 软件编辑的文档不是文本文件。

2. 二进制文件

        二进制文件把数据内容用“字节”进行存储，无法用记事本打开。必须使用专用的软件解码。常见的有：MP4 视频文件、MP3 音频文件、JPG 图片、doc 文档等等。

文件操作相关模块概述

 创建文件对象open()

open()函数用于创建文件对象，基本语法格式如下：

                                open(文件名[,打开方式])

如果只是文件名，代表在当前目录下的文件。文件名可以录入全路径，比如：D:\a\b.txt。

为了减少“\”的输入，可以使用原始字符串：r“d:\b.txt”

 文本文件对象和二进制文件对象的创建：

如果我们没有增加模式“b”，则默认创建的是文本文件对象，处理的基本单元是“字符”。如果是二进制模式“b”，则创建的是二进制文件对象，处理的基本单元是“字节”。

文本文件的写入

基本的文件写入操作

文本文件的写入一般就是三个步骤：

1. 创建文件对象

2. 写入数据

3. 关闭文件对象

f = open(r"a.txt","a")
f.write("itbaizhan\nsxt\n")
f.close()
           

常用编码介绍

 ASCII

        全称为American Standard Code for Information Interchange，美国信息交换标准代码，这是世界上最早最通用的单字节编码系统，主要用来显示现代英语及其他西欧语言。

        ASCII 码用7 位表示，只能表示128 个字符。只定义了27=128 个字符，用7bit 即可完全编码，而一字节8bit 的容量是256，所以一字节ASCII 的编码最高位总是0。

        0～31 表示控制字符如回车、退格、删除等；32～126 表示打印字符即可以通过键盘输入并且能显示出来的字符；其中48～57 为0 到9 十个阿拉伯数字，65～90 为26 个大写英文字母，97～122 号为26 个小写英文字母，其余为一些标点符号、运算符号等，具体可以参考ASCII 标准表（大家自行百度，不在此赘述）。

ISO8859-1

        ISO-8859-1 又称Latin-1，是一个8 位单字节字符集，它把ASCII 的最高位也利用起来，并兼容了ASCII，新增的空间是128，但它并没有完全用完。

        在ASCII 编码之上又增加了西欧语言、希腊语、泰语、阿拉伯语、希伯来语对应的文字符号，它是向下兼容ASCII 编码。

GB2312,GBK,GB18030

GB2312

        GB2312 全称为信息交换用汉字编码字符集，是中国于1980 年发布，主要用于计算机系统中的汉字处理。GB2312 主要收录了6763 个汉字、682 个符号。

        GB2312 覆盖了汉字的大部分使用率，但不能处理像古汉语等特殊的罕用字，所以后来出现了像GBK、GB18030 这种编码。

        GB2312 完全兼容ISO8859-1。

GBK

        全称为Chinese Internal Code Specification，即汉字内码扩展规范，于1995 年制定。它主要是扩展了GB2312，在它的基础上又加了更多的汉字，它一共收录了21003 个汉字

GB18030

        现在最新的内码字集于2000 年发布，并于2001 年强制执行，包含了中国大部分少数民族的语言字符，收录汉字数超过70000 余个。

        它主要采用单字节、双字节、四字节对字符编码，它是向下兼容GB2312 和GBK 的，虽然是我国的强制使用标准，但在实际生产中很少用到，用得最多的反而是GBK 和GB2312

UTF-8

        对于英文字母，unicode 也需要两个字节来表示。所以unicode 不便于传输和存储。因此而产生了UTF 编码，UTF-8 全称是（8-bit UnicodeTransformation Format）。

        UTF 编码兼容iso8859-1 编码，同时也可以用来表示所有语言的字符，不过，UTF 编码是不定长编码，每一个字符的长度从1-4 个字节不等。其中，英文字母都是用一个字节表示，而汉字使用三个字节。

        【老鸟建议】一般项目都会使用UTF-8。unicode 中虽然汉字是两个字节，UTF-8 中汉字是3 个字节。但是互联网中一个网页也包含了大量的英文字母，这些英文字母只占用1 个字节，整体占用空间，UTF-8 仍然由于Unicode。

中文乱码问题

windows 操作系统默认的编码是GBK，Linux 操作系统默认的编码是UTF-8。当我们用open()时，调用的是操作系统打开的文件，默认的编码是GBK。

#测试写入中文
f = open(r"b.txt","w",encoding="utf-8")
f.write("孙悟空\n西天取经\n")
f.close()
           

 或者直接指定文件编码类型

#测试写入中文
f = open(r"b.txt","w",encoding="utf-8")
f.write("孙悟空\n西天取经\n")
f.close()
           

 write()/writelines()写入数据

write(a)：把字符串a 写入到文件中

writelines(b)：把字符串列表写入文件中，不添加换行符

close()关闭文件流

        由于文件底层是由操作系统控制，所以我们打开的文件对象必须显式调用close()方法关闭文件对象。当调用close()方法时，首先会把缓冲区数据写入文件(也可以直接调用flush()方法)，再关闭文件，释放文件对象。

        为了确保打开的文件对象正常关闭，一般结合异常机制的finally 或者with 关键字实现无论何种情况都能关闭打开的文件对象。

#使用异常机制管理文件对象的关闭操作
try:
    f = open(r"c.txt","w")
    strs = ["aa\n","bb\n","cc\n"]
    f.writelines(strs)
except BaseException as e:
    print(e)
finally:
    f.close()
           

with 语句(上下文管理器)

with 关键字（上下文管理器）可以自动管理上下文资源，不论什么原因跳出with 块，都能确保文件正确的关闭，并且可以在代码块执行完毕后自动还原进入该代码块时的现场。

with open(r"d.txt","a") as f:
    f.write("aaa,i love u!")
           

文本文件的读取

文件的读取一般使用如下三个方法：

1. read([size])

从文件中读取size 个字符，并作为结果返回。如果没有size 参数，则读取整个文件。读取到文件末尾，会返回空字符串。

2. readline()

读取一行内容作为结果返回。读取到文件末尾，会返回空字符串。

3. readlines()

文本文件中，每一行作为一个字符串存入列表中，返回该列表

with open("e.txt","r",encoding="utf-8") as f:
    lines = f.readlines()
    lines = [ line.rstrip()+" #"+str(index+1)+"\n" for index,line in enumerate(lines)]  #推导式生成列表

with open("e.txt","w",encoding="utf-8") as f:
    f.writelines(lines)
           

二进制文件的读取和写入

二进制文件的处理流程和文本文件流程一致。首先还是要创建文件对象，不过，我们需要指定二进制模式，从而创建出二进制文件对象。例如：

f = open(r"d:\a.txt", 'wb') #可写的、重写模式的二进制文件对象

f = open(r"d:\a.txt", 'ab') #可写的、追加模式的二进制文件对象

f = open(r"d:\a.txt", 'rb') #可读的二进制文件对象

创建好二进制文件对象后，仍然可以使用write()、read()实现文件的读写操作。

#读取图片文件，实现文件的拷贝
with open("aa.gif","rb") as f:
    with open("aa_copy.gif","wb") as w:
        for line in f.readlines():
            w.write(line)

print("图片拷贝完成.........")
           

文件对象的常用属性和方法

#seek()移动文件指针示例
with open("e.txt","r",encoding="utf-8") as f:
    print("文件名是：{0}".format(f.name))
    print(f.tell())
    print("读取的内容：{0}".format(str(f.readline())))
    print(f.tell())
    f.seek(0,0)
    print("读取的内容：{0}".format(str(f.readline())))
           

 使用pickle 序列化

        Python 中，一切皆对象，对象本质上就是一个“存储数据的内存块”。有时候，我们需要将“内存块的数据”保存到硬盘上，或者通过网络传输到其他的计算机上。这时候，就需要“对象的序列化和反序列化”。对象的序列化机制广泛的应用在分布式、并行系统上。

        序列化指的是：将对象转化成“串行化”数据形式，存储到硬盘或通过网络传输到其他地方。反序列化是指相反的过程，将读取到的“串行化数据”转化成对象。

        我们可以使用pickle 模块中的函数，实现序列化和反序列操作。

序列化我们使用：

pickle.dump(obj, file) obj 就是要被序列化的对象，file 指的是存储的文件

pickle.load(file) 从file 读取数据，反序列化成对象

#将对象序列化到文件中
import pickle

a1 = "孙悟空"
a2 = 234
a3 = [10,20,30,40]

with open("data.dat","wb") as f:
    pickle.dump(a1,f)
    pickle.dump(a2,f)
    pickle.dump(a3,f)

with open("data.dat","rb") as f:
    b1 = pickle.load(f);b2 = pickle.load(f);b3 = pickle.load(f)
    print(b1);print(b2);print(b3)

    print(id(a1));print(id(b1))
           

输出结果为

 CSV 文件的操作

csv(Comma Separated Values)是逗号分隔符文本格式，常用于数据交换、Excel文件和数据库数据的导入和导出。与Excel 文件不同，CSV 文件中：

        1.值没有类型，所有值都是字符串

        2.不能指定字体颜色等样式

        3.不能指定单元格的宽高，不能合并单元格

        4.没有多个工作表

        5.不能嵌入图像图表

Python 标准库的模块csv 提供了读取和写入csv 格式文件的对象。

csv.reader 对象和csv 文件读取

#测试CSV文件的读取和写入
import csv

with open("dd.csv","r") as f:
    a_csv = csv.reader(f)
#    print(list(a_csv))
    for row in a_csv:
        print(row)

with open("ee.csv","w") as f:
    b_csv = csv.writer(f)
    b_csv.writerow(["ID","姓名","年龄"])
    b_csv.writerow(["1001","高淇","18"])

    c = [["1002","希希","3"],["1003","东东","4"]]
    b_csv.writerows(c)
           

os 和os.path 模块

        os 模块可以帮助我们直接对操作系统进行操作。我们可以直接调用操作系统的可执行文件、命令，直接操作文件、目录等等。在系统运维的核心基础。

os 模块-调用操作系统命令

1.os.system 可以帮助我们直接调用系统的命令

#os.startfile：直接调用可执行文件
import os
os.system("notepad.exe")
           

【注】Linux 是命令行操作更容易，我们可以通过os.system 可以更加容易的调用相关的命令

【注】控制台输出中文可能会有乱码问题，可以在file-->setting 中设置：

2.os.startfile：直接调用可执行文件

#运行安装好的微信
import os
os.startfile(r"C:\Program Files (x86)\Tencent\WeChat\WeChat.exe")
           

os 模块-文件和目录操作

        我们可以通过前面讲的文件对象实现对于文件内容的读写操作。如果，还需要对文件和目录做其他操作，可以使用os 和os.path 模块。

#coding=utf-8
#测试os 模块中，关于文件和目录的操作
import os
#############获取文件和文件夹相关的信息################
print(os.name) #windows->nt linux 和unix->posix
print(os.sep) #windows->\ linux 和unix->/
print(repr(os.linesep)) #windows->\r\n linux-->\n\
print(os.stat("my02.py"))
##############关于工作目录的操作###############
print(os.getcwd())
os.chdir("d:") #改变当前的工作目录为：d:盘根目录
os.mkdir("书籍")
################创建目录、创建多级目录、删除#############
os.mkdir("书籍")
os.rmdir("书籍") #相对路径都是相对于当前的工作目录
os.makedirs("电影/港台/周星驰")
os.removedirs("电影/港台/周星驰") #只能删除空目录
os.makedirs("../音乐/香港/刘德华") #../指的是上一级目录
os.rename("电影","movie")
dirs = os.listdir("movie")
print(dirs)
#############################
           

os.path 模块

#coding=utf-8
#列出指定目录下所有的.py 文件，并输出文件名

import os
path = os.getcwd()
file_list = os.listdir(path) #列出子目录和子文件
for filename in file_list:
       if filename.endswith("py"):
        print(filename,end="\t")

print("##################")
file_list2 = [filename for filename in os.listdir(path) if filename.endswith(".py") ]
for filename in file_list2:
    print(filename,end="\t")
           

walk()递归遍历所有文件和目录

os.walk()方法：返回一个3 个元素的元组，(dirpath, dirnames, filenames),

        dirpath：要列出指定目录的路径

        dirnames：目录下的所有文件夹

        filenames：目录下的所有文件

shutil 模块(拷贝和压缩)

        shutil 模块是python 标准库中提供的，主要用来做文件和文件夹的拷贝、移动、删除等；还可以做文件和文件夹的压缩、解压缩操作。

        os 模块提供了对目录或文件的一般操作。shutil 模块作为补充，提供了移动、复制、压缩、解压等操作，这些os 模块都没有提供。

#实现递归的拷贝文件夹内容(使用shutil 模块)
import shutil
#"音乐"文件夹不存在才能用。
shutil.copytree("电影/学习","音乐",ignore=shutil.ignore_patterns("*.html","*.htm"))
#将文件夹“电影/学习”下面的内容拷贝到文件夹“音乐”下。拷贝时忽略所有的html 和htm 文件
           

#实现将压缩包解压缩到指定文件夹(使用shutil 模块)
import shutil
import zipfile
#解压缩：
z2 = zipfile.ZipFile("a.zip","r")
z2.extractall("d:/") #设置解压的地址
z2.close()
           

递归算法

    递归的基本思想就是“自己调用自己”，一个使用递归技术的方法将会直接或者间接的调用自己。

    利用递归可以用简单的程序来解决一些复杂的问题。比如：斐波那契数列的计算、汉诺塔、快排等问题。

递归结构包括两个部分：

 定义递归头。解答：什么时候不调用自身方法。如果没有头，将陷入死循环，也就

是递归的结束条件。

 递归体。解答：什么时候需要调用自身方法。

#coding=utf-8
#使用递归计算n的阶乘(5!=5*4*3*2*1)

def factorial(n):
    if n==1:
        return n
    else:
        return n*factorial(n-1)

print(factorial(5))
           

#coding=utf-8
#递归打印所有的目录和文件

import os

allfiles = []
def getAllFiles(path,level):
    childFiles = os.listdir(path)
    for file in childFiles:
        filepath = os.path.join(path,file)
        if os.path.isdir(filepath):
            getAllFiles(filepath,level+1)
        allfiles.append("\t"*level+filepath)


getAllFiles("test_os",0)

for f in reversed(allfiles):
    print(f)