map集合分割以及多线程处理数据

测试主线程，MapFetch.java

<code>package</code> <code>com.sohu.servlet;</code>

<code>import</code> <code>java.util.ArrayList;</code>

<code>import</code> <code>java.util.HashMap;</code>

<code>import</code> <code>java.util.Iterator;</code>

<code>import</code> <code>java.util.List;</code>

<code>import</code> <code>java.util.Map;</code>

<code>import</code> <code>java.util.Map.Entry;</code>

<code>import</code> <code>java.util.Set;</code>

<code> </code><code>* @author liweihan ([email protected])</code>

<code> </code><code>* @version 1.0 (2015年7月27日下午2:18:47)</code>

<code>public</code> <code>class</code> <code>MapFetch {</code>

<code> </code><code>static</code> <code>Map<String, String> map = </code><code>new</code> <code>HashMap<String, String>();</code>

<code> </code><code>public</code> <code>static</code> <code>void</code> <code>main(String[] args) {</code>

<code> </code><code>System.out.println(</code><code>"....test...."</code><code>);</code>

<code> </code><code>map.put(</code><code>"3"</code><code>, </code><code>"three"</code><code>);</code>

<code> </code><code>map.put(</code><code>"key"</code> <code>+ i, </code><code>"value"</code><code>+i);</code>

<code> </code><code>//1.循环map</code>

<code> </code><code>/*Set<String> set = map.keySet();</code>

<code> </code><code>Iterator<String> it = set.iterator();</code>

<code> </code><code>while(it.hasNext()) {</code>

<code> </code><code>String key = (String) it.next();</code>

<code> </code><code>String value = map.get(key);</code>

<code> </code><code>System.out.println(key + " → " + value);</code>

<code> </code><code>//2.循环map</code>

<code> </code><code>/*Set<Entry<String,String>> se = map.entrySet();</code>

<code> </code><code>for (Entry<String,String> en : se) {</code>

<code> </code><code>System.out.println(en.getKey() + " : " + en.getValue());</code>

<code> </code><code>//3.循环map</code>

<code>/* Set<Entry<String, String>> set = map.entrySet();</code>

<code> </code><code>Iterator<Entry<String, String>> iterator = set.iterator();</code>

<code> </code><code>while (iterator.hasNext()) {</code>

<code> </code><code>Entry<String, String> entry = iterator.next();</code>

<code> </code><code>String key = entry.getKey();</code>

<code> </code><code>String value = entry.getValue();</code>

<code> </code><code>System.out.println( key + " -- " + value);</code>

<code> </code><code>//4.合并map</code>

<code> </code><code>/*Map<String, String> map1 = new HashMap<String, String>();</code>

<code> </code><code>Map<String, String> map2 = new HashMap<String, String>();</code>

<code> </code><code>map1.putAll(map2);</code>

<code> </code><code>System.out.println(map1);*/</code>

<code> </code><code>//5.分割map+多线程</code>

<code>/* int totalSize = map.size();</code>

<code> </code><code>System.out.println("Map totalSize : " + totalSize);</code>

<code> </code><code>//线程的数量</code>

<code> </code><code>int threadNum = 16;</code>

<code> </code><code>//每个线程处理的数量</code>

<code> </code><code>int threadSize = totalSize / threadNum;</code>

<code> </code><code>System.out.println("每个线程处理的数量：" + threadSize);</code>

<code> </code><code>List<Thread> threadList = new ArrayList<Thread>();</code>

<code> </code><code>if (i == threadNum - 1) {</code>

<code> </code><code>//最后一个线程</code>

<code> </code><code>end = threadSize + totalSize % threadNum ;</code>

<code> </code><code>end = threadSize;</code>

<code> </code><code>int beginNum = i * threadSize;</code>

<code> </code><code>int endNum = i * threadSize + end;</code>

<code> </code><code>System.out.println(i + " begin : " + beginNum + "," + endNum);</code>

<code> </code><code>//分割map</code>

<code> </code><code>Map<String, String> mapThread = new HashMap<String, String>();</code>

<code> </code><code>for(Entry<String, String> entry : map.entrySet()) {</code>

<code> </code><code>if (sync > beginNum && sync <= endNum) {</code>

<code> </code><code>mapThread.put(entry.getKey(), entry.getValue());</code>

<code> </code><code>StarRelationThread st = new StarRelationThread(mapThread,map,i);</code>

<code> </code><code>Thread thread = new Thread(st);</code>

<code> </code><code>threadList.add(thread);</code>

<code> </code><code>thread.start();</code>

<code> </code><code>//join()线程-必须等join的线程执行完,才能继续执行下面的代码</code>

<code> </code><code>for (Thread thread : threadList) {</code>

<code> </code><code>thread.join();</code>

<code> </code><code>} catch (InterruptedException e) {</code>

<code> </code><code>e.printStackTrace();</code>

<code> </code><code>map.clear();</code>

<code> </code><code>System.out.println("------------over---------------");</code>

<code> </code><code>//6.map的分割</code>

<code> </code><code>Iterator<Entry<String, String>> iterator = map.entrySet().iterator();</code>

<code> </code><code>Map<String, String> mapThread0 = </code><code>new</code> <code>HashMap<String, String>();</code>

<code> </code><code>Map<String, String> mapThread1 = </code><code>new</code> <code>HashMap<String, String>();</code>

<code> </code><code>Map<String, String> mapThread2 = </code><code>new</code> <code>HashMap<String, String>();</code>

<code> </code><code>Map<String, String> mapThread3 = </code><code>new</code> <code>HashMap<String, String>();</code>

<code> </code><code>Map<String, String> mapThread4 = </code><code>new</code> <code>HashMap<String, String>();</code>

<code> </code><code>Map<String, String> mapThread5 = </code><code>new</code> <code>HashMap<String, String>();</code>

<code> </code><code>Map<String, String> mapThread6 = </code><code>new</code> <code>HashMap<String, String>();</code>

<code> </code><code>Map<String, String> mapThread7 = </code><code>new</code> <code>HashMap<String, String>();</code>

<code> </code><code>Map<String, String> mapThread8 = </code><code>new</code> <code>HashMap<String, String>();</code>

<code> </code><code>Map<String, String> mapThread9 = </code><code>new</code> <code>HashMap<String, String>();</code>

<code> </code><code>Map<String, String> mapThread10 = </code><code>new</code> <code>HashMap<String, String>();</code>

<code> </code><code>Map<String, String> mapThread_default = </code><code>new</code> <code>HashMap<String, String>();</code>

<code> </code><code>while</code> <code>(iterator.hasNext()) {</code>

<code> </code><code>Map.Entry<String, String> entry = iterator.next();</code>

<code> </code><code>String.valueOf(key);</code>

<code> </code><code>int</code> <code>hashCode = Math.abs(String.valueOf(key).hashCode());</code>

<code> </code><code>switch</code> <code>(hashCode % </code><code>11</code><code>) {</code><code>//分割成11份</code>

<code> </code><code>mapThread0.put(key, map.get(key));</code>

<code> </code><code>break</code><code>;</code>

<code> </code><code>mapThread1.put(key, map.get(key));</code>

<code> </code><code>mapThread2.put(key, map.get(key));</code>

<code> </code><code>mapThread3.put(key, map.get(key));</code>

<code> </code><code>mapThread4.put(key, map.get(key));</code>

<code> </code><code>mapThread5.put(key, map.get(key));</code>

<code> </code><code>mapThread6.put(key, map.get(key));</code>

<code> </code><code>mapThread7.put(key, map.get(key));</code>

<code> </code><code>mapThread8.put(key, map.get(key));</code>

<code> </code><code>mapThread9.put(key, map.get(key));</code>

<code> </code><code>mapThread10.put(key, map.get(key));</code>

<code> </code><code>default</code><code>:</code>

<code> </code><code>mapThread_default.put(key, map.get(key));</code>

<code> </code><code>System.out.println(mapThread0.size());</code>

<code> </code><code>System.out.println(mapThread1.size());</code>

<code> </code><code>System.out.println(mapThread2.size());</code>

<code> </code><code>System.out.println(mapThread3.size());</code>

<code> </code><code>System.out.println(mapThread4.size());</code>

<code> </code><code>System.out.println(mapThread5.size());</code>

<code> </code><code>System.out.println(mapThread6.size());</code>

<code> </code><code>System.out.println(mapThread7.size());</code>

<code> </code><code>System.out.println(mapThread8.size());</code>

<code> </code><code>System.out.println(mapThread9.size());</code>

<code> </code><code>System.out.println(mapThread10.size());</code>

<code> </code><code>System.out.println(mapThread_default.size());</code>

<code> </code><code>int</code> <code>a = mapThread0.size() + </code>

<code> </code><code>mapThread1.size() +</code>

<code> </code><code>mapThread2.size() +</code>

<code> </code><code>mapThread3.size() +</code>

<code> </code><code>mapThread4.size() +</code>

<code> </code><code>mapThread5.size() +</code>

<code> </code><code>mapThread6.size() +</code>

<code> </code><code>mapThread7.size() +</code>

<code> </code><code>mapThread8.size() +</code>

<code> </code><code>mapThread9.size() +</code>

<code> </code><code>mapThread10.size() +</code>

<code> </code><code>mapThread_default.size();</code>

<code> </code><code>System.out.println(</code><code>"a:"</code> <code>+ a);</code>

业务处理子线程StarRelationThread.java

<code> </code><code>* @version 1.0 (2015年7月27日下午3:47:09)</code>

<code>public</code> <code>class</code> <code>StarRelationThread </code><code>implements</code> <code>Runnable{</code>

<code> </code><code>private</code> <code>Map<String, String> mapThread ;</code>

<code> </code><code>private</code> <code>Map<String, String> map ;</code>

<code> </code><code>private</code> <code>int</code> <code>threadNum;</code>

<code> </code><code>public</code> <code>StarRelationThread(Map<String, String> mapThread ,Map<String, String> map,</code><code>int</code> <code>threadNum) {</code>

<code> </code><code>this</code><code>.threadNum = threadNum;</code>

<code> </code><code>this</code><code>.mapThread = mapThread;</code>

<code> </code><code>@Override</code>

<code> </code><code>public</code> <code>void</code> <code>run() {</code>

<code> </code><code>System.out.println(</code><code>" 第 "</code> <code>+ threadNum + </code><code>" 个线程处理-开始 ,此线程处理的数量 "</code> <code>+ mapThread.size() + </code><code>",总的数量为："</code><code>+map.size());</code>

<code> </code><code>System.out.println(</code><code>"处理数据 ,并写入redis中"</code><code>);</code>

<code> </code><code>if</code> <code>(threadNum > </code><code>3</code><code>) {</code>

<code> </code><code>Thread.sleep(</code><code>20000</code><code>);</code>

<code> </code><code>} </code><code>catch</code> <code>(InterruptedException e) {</code>

<code> </code><code>for</code> <code>(Entry<String, String> en : mapThread.entrySet()) {</code>

<code> </code><code>System.out.println(</code><code>"key :"</code> <code>+ en.getKey() + </code><code>", value :"</code> <code>+ en.getValue());</code>

<code> </code><code>System.out.println(</code><code>" 第 "</code> <code>+ threadNum + </code><code>" 个线程执行完毕！"</code><code>);</code>

本文转自韩立伟 51CTO博客，原文链接：http://blog.51cto.com/hanchaohan/1680036，如需转载请自行联系原作者

map集合分割以及多线程处理数据

继续阅读

关于Gradle配置的小结

Java小案例——随机数猜测随机数猜测

nginx location中斜线的位置的重要性

27 Best Free Eclipse Plug-ins for Java Developer to be ProductiveCode Quality PluginsText Editor PluginsDependency ManagementVersion Control Integration PluginsFramework Development Continuous Integration Related PluginsOther Utility Plugins

Java String.format方法的简单使用

neo4j之cypher使用文档

GitHub连夜封杀！这份阿里 10W 字内部 Java 字面试手册到底有多强？

spark/scala关于【资源文件】加载方法概述外部文件加载方案测试资源文件打包入jar包中小结

mybatis_入门程序Mybatis入门

AOP编程_Android优雅权限框架(1)概念基础，2021金三银四前言正文大纲正文

Effective Java 8:通用程序设计

OOM三种类型

工厂模式-三种类型

【递归】高效率求2的n次幂

win10本地scala和spark安装安装scala安装spark

scala (3) Function 和 Method