eclipse使用hadoop插件出现java.lang.OutOfMemoryError: Java heap space

<code>14</code><code>/</code><code>09</code><code>/</code><code>20</code> <code>22</code><code>:</code><code>41</code><code>:</code><code>13</code> <code>WARN util.NativeCodeLoader: Unable to load </code><code>native</code><code>-hadoop library </code><code>for</code> <code>your platform... using builtin-java classes where applicable</code>

<code>14</code><code>/</code><code>09</code><code>/</code><code>20</code> <code>22</code><code>:</code><code>41</code><code>:</code><code>13</code> <code>WARN mapred.JobClient: Use GenericOptionsParser </code><code>for</code> <code>parsing the arguments. Applications should implement Tool </code><code>for</code> <code>the same.</code>

<code>14</code><code>/</code><code>09</code><code>/</code><code>20</code> <code>22</code><code>:</code><code>41</code><code>:</code><code>13</code> <code>INFO input.FileInputFormat: Total input paths to process : </code><code>2</code>

<code>14</code><code>/</code><code>09</code><code>/</code><code>20</code> <code>22</code><code>:</code><code>41</code><code>:</code><code>14</code> <code>WARN snappy.LoadSnappy: Snappy </code><code>native</code> <code>library not loaded</code>

<code>14</code><code>/</code><code>09</code><code>/</code><code>20</code> <code>22</code><code>:</code><code>41</code><code>:</code><code>14</code> <code>INFO mapred.JobClient: Running job: job_local911496586_0001</code>

<code>14</code><code>/</code><code>09</code><code>/</code><code>20</code> <code>22</code><code>:</code><code>41</code><code>:</code><code>14</code> <code>INFO mapred.LocalJobRunner: Waiting </code><code>for</code> <code>map tasks</code>

<code>14</code><code>/</code><code>09</code><code>/</code><code>20</code> <code>22</code><code>:</code><code>41</code><code>:</code><code>14</code> <code>INFO mapred.LocalJobRunner: Starting task: attempt_local911496586_0001_m_000000_0</code>

<code>14</code><code>/</code><code>09</code><code>/</code><code>20</code> <code>22</code><code>:</code><code>41</code><code>:</code><code>14</code> <code>INFO mapred.Task:  Using ResourceCalculatorPlugin : </code><code>null</code>

<code>14</code><code>/</code><code>09</code><code>/</code><code>20</code> <code>22</code><code>:</code><code>41</code><code>:</code><code>14</code> <code>INFO mapred.MapTask: Processing split: hdfs:</code><code>//192.168.1.112:9000/txt/yw/mic.php:0+338124</code>

<code>14</code><code>/</code><code>09</code><code>/</code><code>20</code> <code>22</code><code>:</code><code>41</code><code>:</code><code>14</code> <code>INFO mapred.MapTask: io.sort.mb = </code><code>100</code>

<code>14</code><code>/</code><code>09</code><code>/</code><code>20</code> <code>22</code><code>:</code><code>41</code><code>:</code><code>14</code> <code>INFO mapred.LocalJobRunner: Starting task: attempt_local911496586_0001_m_000001_0</code>

<code>14</code><code>/</code><code>09</code><code>/</code><code>20</code> <code>22</code><code>:</code><code>41</code><code>:</code><code>14</code> <code>INFO mapred.MapTask: Processing split: hdfs:</code><code>//192.168.1.112:9000/txt/yw/pip.txt:0+96393</code>

<code>14</code><code>/</code><code>09</code><code>/</code><code>20</code> <code>22</code><code>:</code><code>41</code><code>:</code><code>14</code> <code>INFO mapred.LocalJobRunner: Map task executor complete.</code>

<code>14</code><code>/</code><code>09</code><code>/</code><code>20</code> <code>22</code><code>:</code><code>41</code><code>:</code><code>14</code> <code>WARN mapred.LocalJobRunner: job_local911496586_0001</code>

<code>java.lang.Exception: java.lang.OutOfMemoryError: Java heap space</code>

<code>    </code><code>at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:</code><code>354</code><code>)</code>

<code>Caused by: java.lang.OutOfMemoryError: Java heap space</code>

<code>    </code><code>at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.&lt;init&gt;(MapTask.java:</code><code>954</code><code>)</code>

<code>    </code><code>at org.apache.hadoop.mapred.MapTask$NewOutputCollector.&lt;init&gt;(MapTask.java:</code><code>673</code><code>)</code>

<code>    </code><code>at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:</code><code>756</code><code>)</code>

<code>    </code><code>at org.apache.hadoop.mapred.MapTask.run(MapTask.java:</code><code>364</code><code>)</code>

<code>    </code><code>at org.apache.hadoop.mapred.LocalJobRunner$Job$MapTaskRunnable.run(LocalJobRunner.java:</code><code>223</code><code>)</code>

<code>    </code><code>at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:</code><code>441</code><code>)</code>

<code>    </code><code>at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:</code><code>303</code><code>)</code>

<code>    </code><code>at java.util.concurrent.FutureTask.run(FutureTask.java:</code><code>138</code><code>)</code>

<code>    </code><code>at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:</code><code>886</code><code>)</code>

<code>    </code><code>at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:</code><code>908</code><code>)</code>

<code>    </code><code>at java.lang.Thread.run(Thread.java:</code><code>619</code><code>)</code>

<code>14</code><code>/</code><code>09</code><code>/</code><code>20</code> <code>22</code><code>:</code><code>41</code><code>:</code><code>15</code> <code>INFO mapred.JobClient:  map </code><code>0</code><code>% reduce </code><code>0</code><code>%</code>

<code>14</code><code>/</code><code>09</code><code>/</code><code>20</code> <code>22</code><code>:</code><code>41</code><code>:</code><code>15</code> <code>INFO mapred.JobClient: Job complete: job_local911496586_0001</code>

<code>14</code><code>/</code><code>09</code><code>/</code><code>20</code> <code>22</code><code>:</code><code>41</code><code>:</code><code>15</code> <code>INFO mapred.JobClient: Counters: </code><code>0</code>

解决：

<a href="http://s3.51cto.com/wyfs02/M02/49/E3/wKioL1QdkrCxHMpHAANv0soBJb0842.jpg" target="_blank"></a>

本文转自 梦朝思夕 51CTO博客，原文链接:http://blog.51cto.com/qiangmzsx/1556392