天天看点

数据库导入大量数据

突然想学一下其他的,巴拉网盘的时候发现这个,上网找一下视频学习

下面为笔记,侵权请联系我进行删除

数据库导入大量数据

用笔记本打不开

数据库导入大量数据

excel可以打开很大数据的文件,但也有个限度

数据库导入大量数据

大约百万行(假数据,练习用,现已销毁)

数据库导入大量数据

发现qq与电话中间的分隔符为双引号

复制到笔记本发现其还有一个类似tab建的空白部分(蓝色那里)

数据库导入大量数据

利用python替换分割符

记得用with open打开文件别用read()或readline()之类的

因为with打开在内存中是读取一行删除一行,而后面的则是先加载整个文档–》数据量不大可以,如果数据量太大,最好别尝试

"""
=============青铜亦可仰望星空=================
__AUTHOR__    :   星空下de青铜
__DATE__      :   2021/3/6
__TIME__      :   18:10
==============================================
"""
# coding = utf-8

def replace(file1,file2,ord_str, new_str):
    with open(file1, 'r', encoding='utf-8') as f1,\
        open(file2, 'w+', encoding='utf-8') as f2:
        for line in f1:
            if '"' in line:
                line = line.replace(ord_str, new_str)
            if '	' in line:
                line = line.replace('	', "---")
            f2.write(line)
if __name__ == '__main__':
    replace('D:\\soft_data\\BaiduNetdiskDownload\\20190qq.txt', 'D:\\soft_data\\BaiduNetdiskDownload\\3.txt', '"', "")

           

创建数据库,新建一张表,长度这么多刚好,太多没必要

数据库导入大量数据

在这里点击导入文件

数据库导入大量数据

不一定是txt格式csv也行,喜欢就好

数据库导入大量数据
数据库导入大量数据

哦,记得 下面这很重要,索引要在数据导入之后再创建,别一开始就创建索引

如果不是经常更改数据,两个都给它一个索引最好

数据库导入大量数据

以下就是做了索引后的查询速度,不做索引的话 查询一次等到天荒地老

数据库导入大量数据

本文仅限学习用,数据为网上下载的假数据,已删除