?????????????????????????????????????????????hadoop??????У???????hadoop????????????????????????hadoop?????????????????????hadoop????????????顣????????????????????????Щ????????????????????????Щ????????????

??????????????????

????1??reduce???????????????????????????????????????????

?????????????????????л???????????????????????????????????е???ε???????????????

???????????????????hdfs???????и???д???????????reduce???????????????????hdfs???????hdfs?????????????????????????????????Щ????????????

?????????????????????????????????????????????????????????????????????????ж????????????????????????

????2??HADOOP_HOME??????????????

??????????????????????????????????hadoop??????????????????????hadoop dfs –ls path????????????????????????????????????????????????

???????????????????????????????ж??hadoop??????????????????hadoop??????????shell?????????????hadoop?????????????????HADOOP_HOME?μ?hadoop????????HADOOP_HOME??????????????????????????????hadoop?????????????????????????

???????????????????????????hadoop???????????????hadoop?????·?????????rd????????У?hadoop?????·??????????

????3??Hadoop?????????????????

??????????????????????????????????·??????????????????????????????

????????????????????·?????????????????????????rd???????????????????????·???????????????????ж?????????в????????????????????????·??????б??????????????./a/??/a//b??/a/./b????map?????????????·????????map??????????????????????·?????ж??????????????????????????????ж??????????????????κ???????????????????????????????????????????????????????????????hdfs???????????????????????????????

?????????????????????????????????????????棺 Map input records??????????0???????0????????????????????????Map output records????0. Map output records????map????????????0?????????????map??α??????????????????????????????????Reduce input records????0????rduece???????0???????????0???

????4??Hadoop???????????????????

????????????reduce?????????????????????hdfs??????????????????????????????????????????????????????????????????????е?reduce???????????????????????????????????????????????????

???????????????hadoop????map??red?????????????????task???л????????????????????????????Щtask???????task???????task??????????????????task?????????????kill?????task????????????±???task??kill??????????????????????????????????o????????????????????????????????

?????????????????hdfs?????????????????в??????????????в??????????????reduce?н???hdfs??????????????????????????????????????Σ?????????????1?????????????????????????????????????????2?????????????????д???????????磬???????????????????????mapred????

????5??Reduce??????????

????????????????????????淢???е?reduce?????????????е?reduce???????????

??????????????????????hadoop??????????????????????????????????hash???????????·??????????????reduce????????????????

??????????????????hadoop???????????????T????????????????????????????????????????μ????????????????????????????????????????泬?????????kill??????????????????ū??????????key???????????????????????

????6??worker???????????

?????????????task??????????????????????????????????????????

?????????????????????????????????????????????task??????????????????????????worker??????????????????????У????и??????worker?????????????н???????????

??????????????????????????????????????????????????????????????????????????????work????????hy????50?????????????????????????????????????????????????????????棬???????????е?worker????