SOLR自定義實作增量更新

SOLR自定義實作增量更新

為了在SOLR定制過程中，更好的了解SOLR使用方式，個人決定對solr增量更新使用自定義方案，即整合SOLR源碼實作增量更新。

方式：

1、引入第三方架構quatz

理由：通過引入該架構實作執行個體增量資料更新的線上維護，并盡可能的保證各個增量執行個體更新時序的獨立性。

最重要的是該架構操作簡單，友善。

2、SOLR與quzta整合

在SOLR項目中引入，quatz-*.jar檔案，

參考整合代碼：

public class SchedulerFactory {
	
	public static Scheduler getScheduler()  {
		StdSchedulerFactory sfact = new StdSchedulerFactory();
                 Scheduler scheduler=null;
		try {
			scheduler= sfact.getScheduler();
			return scheduler;
		} catch (SchedulerException e) {
			e.printStackTrace();
		}
                return scheduler;
	}
}
           

增量任務：

public class DeltaImportJob implements Job{
	@Override
	public void execute(JobExecutionContext context) throws JobExecutionException {
		JobDataMap map = context.getJobDetail().getJobDataMap();
		String coreName=map.getString("coreName");
		String entity=map.getString("entity");
		HttpClientResult clientResult=MySolrClient.full_import(coreName, entity);
		System.out.println("json 回執--->"+JSONObject.toJSONString(clientResult));
	}
}

           

自定義增量方式：

主要封裝總要的功能點，通過API方式調用可以減少對SOLR-core源碼的污染（技術薄弱的人改造core核心代碼産生bug機率高）

/**
 * 封裝solr api調用
 * */
public class MySolrClient {
	/**
	 * 全量更新
	 * command=full-import&verbose=false&clean=false&commit=true
	 * &core=new_core&entity=bisInspLog&name=dataimport
	 * */
	public static HttpClientResult full_import(String coreName,String entity) {
		PropertiesUtils props=PropertiesUtils.getInstance();
		Map<String,String> params=new HashMap<>();
		params.put("command", "full-import");
		params.put("commit", "true");
		params.put("core", coreName);
		if(StringUtils.isNotBlank(entity)) {
			params.put("entity", entity);
		}
		params.put("clean", "false");
		params.put("name", "dataimport");
		String solrUrl=props.getProperty("solr_url")+coreName+"/dataimport?wt=json&indent=on";
		try {
			return HttpClientUtils.doPost(solrUrl, params);
		} catch (Exception e) {
			
			e.printStackTrace();
		}
		return new HttpClientResult(HttpStatus.BAD_REQUEST_400,"全量更新失敗!!");
	}
	
	/**
	 * 增量更新
	 * command=delta-import&verbose=false&clean=false&commit=true
	 * &core=new_core&entity=bisInspLog&name=dataimport
	 * */
	public static HttpClientResult delta_import(String coreName,String entity) {
		PropertiesUtils props=PropertiesUtils.getInstance();
		Map<String,String> params=new HashMap<>();
		params.put("command", "delta-import");
		params.put("commit", "true");
		params.put("clean", "false");
		params.put("core", coreName);
		if(StringUtils.isNotBlank(entity)) {
			params.put("entity", entity);
		}
		params.put("name", "dataimport");
		String solrUrl=props.getProperty("solr_url")+coreName+"/dataimport?wt=json";
		try {
			return HttpClientUtils.doPost(solrUrl, params);
		} catch (Exception e) {
			
			e.printStackTrace();
		}
		return new HttpClientResult(HttpStatus.BAD_REQUEST_400,"增量更新失敗!!");
	}
	
	public static HttpClientResult add_field(String cloumn,String coreName) {
		PropertiesUtils props=PropertiesUtils.getInstance();
		Map<String,String> retMap=new HashMap<String,String>();
		retMap.put("stored", "true");
		retMap.put("name", cloumn);
		retMap.put("type", "string");
		retMap.put("indexed", "true");
		retMap.put("uninvertible", "true");
		Map<String,Map> retParam=new HashMap<String,Map>();
		retParam.put("add-field", retMap);
		String solrUrl=props.getProperty("solr_url")+coreName+"/schema?wt=json";
		try {
			String json=JSONObject.toJSONString(retParam);
			return HttpClientUtils.post(solrUrl, json);
		} catch (Exception e) {
		}
		return new HttpClientResult(HttpStatus.BAD_REQUEST_400,"添加一般屬性!!");
	}
	
	/**
	 * reload 加載資料
	 * http://localhost:8080/solr/admin/cores?
	 * _=1566869343572&action=RELOAD&core=default_core&wt=json
	 * */
	public static HttpClientResult reload(String coreName) {
		
		try {
			PropertiesUtils props=PropertiesUtils.getInstance();
			String solrUrl=props.getProperty("solr_url")+"admin/cores?wt=json&_="+new Date().getTime()+"&action=RELOAD&core="+coreName;
			return HttpClientUtils.doGet(solrUrl);
		} catch (Exception e) {
			
		}
		return new HttpClientResult(HttpStatus.BAD_REQUEST_400,"加載資料成功");
	}
}

           

3、改造SOLR控制台頁面代碼

SOLR頁面主要架構為angularJs,通過系統現有的架構和路由機制新增操作頁面或者功能頁面都極為簡單。

最終頁面效果如下：

總結：完成以上代碼後，點選start系統将會增量更新對應執行個體資料，點選stop後，增量更新不再繼續。使用quatz最大的好處就是可以做到增量資料的可視化維護，不用糾結于SOLR各種各樣的配置檔案。而本碼農改造SOLR的第一個任務就是盡可能實作SOLR的可視化維護。