天天看点

solrCloud 4.7 分布式搜索重要bug QueryComponent.mergeIds() unmarshals all docs' sort field values once per doc instead of once per shard

引用请声明原文:http://blog.csdn.net/duck_genuine/article/details/21794803  

  solr开源社区真的很强大 ,当很多人在使用一个开源系统的时候 ,缺陷或者有bug的功能更快被使用者提出来解决,异或是有人跟你出现同样的问题,并提出解决方案,当你要使用选择某个发布版本的时候,有一个重要习惯就是看发布版本之后的另一个版本开发中,已处理了哪些bug或者哪些功能在完善。我想这就是我一直忠于solr而非es的吧。!!

   今天逛了一下solr  jira ,关注一下最近要上线的solr4.7,发现solr4.7.1正处理掉某个很重要的bug

https://issues.apache.org/jira/browse/SOLR-5875

QueryComponent.mergeIds() unmarshals all docs' sort field values once per doc instead of once per shard

在分布式搜索中,mergeIds方法会合并每个分片过来的数据,处理中当然有个排序字段的处理,排序字段保存的值可以看成一个二维数组,每一维是一个字段对应的值 ,而这个对象是可以共享于每一个shardDoc对象。4.7中且重复计算于每一个shardDoc,重复计算多次,每一个分片返回10个doc,意味着相对要10倍的时间与空间消耗。

所以bug应该修改为如下:

NamedList sortFieldValues = (NamedList)(srsp.getSolrResponse().getResponse().get("sort_values"));
+        NamedList unmarshalledSortFieldValues = unmarshalSortValues(ss, sortFieldValues, schema);      
-          shardDoc.sortFieldValues = unmarshalSortValues(ss, sortFieldValues, schema);
+          shardDoc.sortFieldValues = unmarshalledSortFieldValues;
       

solr在每一个版本都有一些bug存在,但有些bug是可以避免掉,但是搜索QueryComponent这个类是重要功能,性能消耗起到重要影响,所以solr4.7要上线的朋友就要注意修复该bug,或者等新版本发布!

继续阅读