1 solr实现全文搜索
solr 是apache下的一个顶级开源项目,采用java开发,它是基于lucene的全文搜索服务器。solr提供了比lucene更为丰富的查询语言,同时实现了可配置、可扩展,并对索引、搜索性能进行了优化。
solr是一个全文检索服务器,只需要进行配置就可以实现全文检索服务。
solr的版本:4.10.3
需要把solr服务器安装到linux环境:
第一步:安装linux、jdk、tomcat(因为solr的搜索是在web下面进行的搜索,所以需要将solr部署到tomcat上面)
[root@bogon ~]# ll
total 8044
-rw-r--r--. 1 root root 8234674 oct 27 2013 apache-tomcat-7.0.47.tar.gz
[root@bogon ~]# tar -zxf apache-tomcat-7.0.47.tar.gz
total 8048
drwxr-xr-x. 9 root root 4096 sep 10 17:55 apache-tomcat-7.0.47
[root@bogon ~]# mkdir /usr/local/solr
[root@bogon ~]# cp apache-tomcat-7.0.47 /usr/local/solr/tomcat
cp: omitting directory `apache-tomcat-7.0.47'
[root@bogon ~]# cp apache-tomcat-7.0.47 /usr/local/solr/tomcat -r
[root@bogon ~]# cd /usr/local/solr/
[root@bogon solr]# ll
total 4
drwxr-xr-x. 9 root root 4096 sep 10 17:56 tomcat
[root@bogon solr]#
第二步:把solr的压缩包上传到服务器。并解压。
第三步:把/root/solr-4.10.3/dist/solr-4.10.3.war包部署到tomcat下。并改名为solr.war
[root@bogon dist]# cp solr-4.10.3.war /usr/local/solr/tomcat/webapps/solr.war
第四步:解压war包。启动tomcat自动解压。关闭tomcat。删除solr.war.
第五步:把/root/solr-4.10.3/example/lib/ext 目录下所有的jar包复制到solr工程中。
[root@bogon ext]# cp * /usr/local/solr/tomcat/webapps/solr/web-inf/lib/
第六步:创建solrhome。solrhome是存放solr服务器所有配置文件的目录。
[root@bogon example]# pwd
/root/solr-4.10.3/example
[root@bogon example]# cp -r solr /usr/local/solr/solrhome
[root@bogon example]#
第七步:告诉solr服务器solrhome的位置。
需要修改solr工程的web.xml文件。
第八步:启动tomcat
1、在solr中默认是中文分析器,需要手工配置。配置一个fieldtype,在fieldtype中指定中文分析器。
2、solr中的字段必须是先定义后使用。
第一步:使用ik-analyzer。把分析器的文件夹上传到服务器。
第二步:需要把分析器的jar包添加到solr工程中。
[root@bogon ik analyzer 2012ff_hf1]# cp ikanalyzer2012ff_u1.jar /usr/local/solr/tomcat/webapps/solr/web-inf/lib/
[root@bogon ik analyzer 2012ff_hf1]#
第三步:需要把ikanalyzer需要的扩展词典及停用词词典、配置文件复制到solr工程的classpath。
/usr/local/solr/tomcat/webapps/solr/web-inf/classes
[root@bogon ik analyzer 2012ff_hf1]# cp ikanalyzer.cfg.xml ext_stopword.dic mydict.dic /usr/local/solr/tomcat/webapps/solr/web-inf/classes
注意:扩展词典及停用词词典的字符集必须是utf-8。不能使用windows记事本编辑。
第四步:配置fieldtype。需要在solrhome/collection1/conf/schema.xml中配置。
技巧:使用vi、vim跳转到文档开头gg。跳转到文档末尾:g
<fieldtype name="text_ik" class="solr.textfield">
<analyzer class="org.wltea.analyzer.lucene.ikanalyzer"/>
</fieldtype>
业务字段判断标准:
1、在搜索时是否需要在此字段上进行搜索。例如:商品名称、商品的卖点、商品的描述
2、后续的业务是否需要用到此字段。例如:商品id。
需要用到的字段:
1、商品id
2、商品title
3、卖点
4、价格
5、商品图片
6、商品分类名称
7、商品描述
solr中的业务字段:
1、id——》商品id
其他的对应字段创建solr的字段。
<field name="item_title" type="text_ik" indexed="true" stored="true"/>
<field name="item_sell_point" type="text_ik" indexed="true" stored="true"/>
<field name="item_price" type="long" indexed="true" stored="true"/>
<field name="item_image" type="string" indexed="false" stored="true" />
<field name="item_category_name" type="string" indexed="true" stored="true" />
<field name="item_desc" type="text_ik" indexed="true" stored="false" />
<field name="item_keywords" type="text_ik" indexed="true" stored="false" multivalued="true"/>
<copyfield source="item_title" dest="item_keywords"/>
<copyfield source="item_sell_point" dest="item_keywords"/>
<copyfield source="item_category_name" dest="item_keywords"/>
<copyfield source="item_desc" dest="item_keywords"/>
重新启动tomcat
添加:添加一个json格式的文件就可以。
修改:在solr中没有update,只需要添加一个新的文档,要求文档id和被修改文档的id一致。原理是先删除后添加。
删除:使用xml格式。
删除两种方法:
1、根据id删除:
<delete>
<id>test001</id>
</delete>
<commit/>
2、根据查询删除:
<query>*:*</query>
2 solrj客户端
需要依赖solrj的jar包。
<!-- solr客户端
-->
<dependency>
<groupid>org.apache.solr</groupid>
<artifactid>solr-solrj</artifactid>
</dependency>
public class solrjtest {
@test
public void adddocument() throws exception {
//创建一连接
solrserver solrserver = new httpsolrserver("http://192.168.25.154:8080/solr");
//创建一个文档对象
solrinputdocument document = new solrinputdocument();
document.addfield("id", "test001");
document.addfield("item_title", "测试商品2");
document.addfield("item_price", 54321);
//把文档对象写入索引库
solrserver.add(document);
//提交
solrserver.commit();
}
public void deletedocument() throws exception {
//solrserver.deletebyid("test001");
solrserver.deletebyquery("*:*");
}
使用java程序读取mysql数据库中的商品信息,然后创建solr文档对象,把商品信息写入索引库。
需要发布一个服务。
为了灵活的进行分布式部署需要创建一搜素的服务工程发布 搜素服务。