目前分類:學習 (2)

瀏覽方式: 標題列表 簡短摘要

原本架好的2-node cluster太小,突然多了兩台機器可以加進來

在此記錄一下如何新增node,還有遇到的問題與解決方式

原本正在執行的Hadoop process都不用關掉

正常來說也是要這樣的,畢竟HDFS上已經有好多檔案或是可能有其他人也要使用

但只要別執行bin/hadoop namenode -format 這個指令,HDFS上的檔案都還會存在啦~沒毀掉目錄結構

※※※以下是碎碎念※※※

作業系統不同仍然可組成同一個cluster哦

重點是Hadoop的版本必須相同!

最好就是把正在運行的/opt/hadoop資料夾整個複製到新的機器上

在測試過程中我就遇到這個問題浪費了些時間= =" 本來就知道是裝Hadoop1.1.2

Celia 發表在 痞客邦 留言(0) 人氣()

碰這東西也好一段時間了,也跟碩論有關

單純想用自己的話來描述MapReduce執行過程中的流程細節,並做個記錄

如果我的理解或敘述有誤還煩請告知^^

 


 

資料來源(1):

http://www.cs.rutgers.edu/~pxk/417/notes/content/mapreduce.html

資料來源(2):

hadoop作業調優參數整理及原理

 

Celia 發表在 痞客邦 留言(3) 人氣()