天天看点

heritrix1.4.2安装

1、下载heritrix-1.14.2-src.zip和heritrix-1.14.2.zip两个压缩包,并解压,以后分别简称SRC包和ZIP包;

  2、在Eclipse下新建Java项目,取名Heritrix.1.14.2;

  3、复制SRC包下面src/java文件夹下org和st两个文件夹到项目中的src包下;

  4、复制SRC包下src下conf文件夹到项目根目录;

  5、复制SRC包下lib文件夹到项目根目录;

  6、[color=red]复制ZIP包下webapps文件夹到项目根目录;[/color](一定要是ZIP包下的webapps,要是src目录下的,一访问就报错)

  7、修改项目下conf下heritrix.properties文件(注意红色部分)

----------

[color=red]heritrix.version = 1.14.2 [/color]

# Location of the heritrix jobs directory.

heritrix.jobsdir = jobs

# Default commandline startup values.

# Below values are used if unspecified on the command line.

[color=red]heritrix.cmdline.admin = admin:admin

heritrix.cmdline.port = 8080 [/color]

heritrix.cmdline.run = false

heritrix.cmdline.nowui = false

heritrix.cmdline.order =

heritrix.cmdline.jmxserver = false

heritrix.cmdline.jmxserver.port = 8081

-------------

8、在项目上右键选择构建路径->配置构建路径->库选项卡->添加Jar,将lib目录下的所有.jar文件选中,点击完成!

  9、在项目/src/org.archive.crawler包下Heritrix.java上点击右键选运行,并用-Xmx512m命令增加最大堆内存为512M。

10、虽然配制好了,但Eclipse把Heritrix运行起来,还是存在WUI下建立JOB时,存在“Modules界面不能改变选择项”的问题。解决办法:

在Eclipse的Run Dialog中,Classpath标签Table,选中User Entries,然后右边会有Advance选项,选Add External Folder,把你的Conf加进去就行了)。再试,在Modules页面中的功能正常了。

11、在浏览器地址栏输入:http://localhost:8088/即可登录WUI,输入用户名:admin密码:admin,即可登录设置抓取任务。

继续阅读