唐诗分析器

数据可视化— — 唐诗分析

一、抓取模块

1.步骤

1）抓取详情页（html格式）

2）从html中提取1）详情页信息 2）总共抓多少诗

3）分别抓取详情页（html格式）

4）从详情页html中提取诗词信息（标题、朝代、作者、正文）

5）计算sha256（标题+正文）求一个hash值，保证数据不重复

6）调用一个分词第三方库，对内容进行分词

7）把数据保存到数据库的表中

2.数据抓取阶段需要的第三方依赖

1）数据库操作

2）HTML页面请求+解析：htmlunit

3）分词：ansj_seg

项目编写

1.预研阶段

1）技术选型：网页抓取的第三方库很多，为什么选择了htmlunit

大家都在用，出现问题可以请教，htmlunit比较成熟

2）用法调研：可以通过实现简单的demo，熟悉库的使用

3）实验评估：效率是否满足需求，内存使用是否满足需求，使用过程中是否遇到的复杂问题

通过域名得到ip地址

ping so.gushiwen.org（其中一个ip）

nslookup so.gushiwen.org（所有ip）

wireshark过滤条件

1）ip.addr219.144.99.106

2）http.hostso.gushiwen.org

3.建表

create database db_tangshi charset utf8;
use db_tangshi;
           

唐诗表：

1）自增主键

2）朝代

3）标题

4）作者

5）正文

6）分词信息（用逗号分割的词）

7）唯一键hash（标题+正文） SHA-256

create table tangshi(
	id int primary key auto_increment,
	sha256 char(64) not null unique,
	dynasty varchar(10) not null,
	title varchar(100) not null,
	author varchar(10) not null,
	content text not null,
	words text not null
	);
           

4.多线程版本

1）提高效率

将请求详情页，提取诗词信息，计算sha256，计算分词，存数据库

2）问题

WebClient不是线程安全的：每个线程创建自己的client对象

Connection不是线程安全的：每个线程创建自己的connection

MessageDigest不是线程安全的：每个有自己的对象

3）重复插入错误

如果是重复插入，忽略错误

catch (SQLException e) {
     if(!e.getMessage().contains("Duplicate entry")){
           e.printStackTrace();
     }
}
           

4）进程不会结束

原因：JVM结束的条件：所有非后台线程结束才会结束

线程池中的线程是不会结束的

改进方法：

1》等所有的诗都下载结束，调用pool.shutdown()才能结束

2》CountDownLutch

等的线程await()

完成线程countDown()

5.代码部分

1）下载详情页

2）解析详情页

3）计算SHA-256

4）计算分词

5）保存数据库

二、可视化

1.开发步骤

1）只用echarts，数据是写死的，开发想要的效果出来

2）预研下ajax技术，选择使用jquery来进行ajax请求，理由使用jquery相对比较简单，文档比较成熟，只用jquery，完成了一个最简单的ajax情况（数据是静态数据）

3）集合echarts和jquery，完成了一个针对静态数据的ajax请求+可视化效果

4）把静态资源替换成动态资源，把写死的这个rank.json中的数据改成Servlet处理，从DB中读取

5）预研返回JSON的第三方库（Gson）

2.词频统计

1.通过select words from tangshi:拿到所有的词

2.通过Map，统计每个词出现的次数