1. ä¸éåäºå¡/åä¸è¯·æ±å¤ç
MapReduceç»å¯¹æ¯ä¸ä¸ªç¦»çº¿æ¹å¤çç³»ç»ï¼å¯¹äºæ¹å¤çæ°æ®åºç¨å¾å¾å¥½ï¼MapReduceï¼ä¸è®ºæ¯Googleçè¿æ¯Hadoopçï¼æ¯ç¨äºå¤çä¸éåä¼ ç»æ°æ®åºçæµ·éæ°æ®ççæ³ææ¯ãä½å®åä¸éåäºå¡/åä¸è¯·æ±å¤çãï¼HBase使ç¨äºæ¥èªHadoopæ ¸å¿çHDFSï¼å¨å
¶å¸¸ç¨æä½ä¸å¹¶æ²¡æ使ç¨MapReduceãï¼
2. ä¸è½éå³è¯»å
3. 以è®å代æ¿ç´¢å¼
å¨ç´¢å¼æ¯æ´å¥½çååæºå¶æ¶ï¼MapReduceå°å£å¿å°½æ¾ã
4. low-levelè¯è¨åæä½
âç´æ¥å¼å§ä½ æ³è¦ç -- èä¸æ¯å±ç¤ºä¸ä¸ªç®æ³ï¼è§£éå¦ä½å·¥ä½çãâ (å
³ç³»åæ°æ®åºçè§ç¹) -- High levelï¼DBMSï¼
âå±ç¤ºæ°æ®ååçç®æ³ãâ (Codasyl çè§ç¹) -- Low levelï¼MapReduceï¼
5. æ§è½é®é¢
æ³æ³N个mapå®ä¾äº§çM个è¾åºæ件-æ¯ä¸ªæåç±ä¸åçreduce å®ä¾å¤ç, è¿äºæ件åå°è¿è¡mapå®ä¾æºå¨çæ¬å°ç¡¬ç. å¦æNæ¯1,000, Mæ¯500, mapé¶æ®µäº§ç500,000个æ¬å°æ件. å½reduceé¶æ®µå¼å§, 500个reduceå®ä¾æ¯ä¸ªéè¦è¯»å
¥1,000æ件ï¼å¹¶ç¨ç±»ä¼¼FTPåè®®æå®è¦çè¾å
¥æ件ä»mapå®ä¾è¿è¡çèç¹ä¸pullåè¿æ¥. åå¦åæ¶ææ°é级为100çreduceå®ä¾è¿è¡, é£ä¹2个æ2个以ä¸çreduceå®ä¾åæ¶è®¿é®åä¸ä¸ªmapèç¹æ¥è·åè¾å
¥æ件æ¯ä¸å¯é¿å
ç-导è´å¤§éç硬çæ¥æ¾, ææç硬çè¿è½¬é度è³å°éä½20%. è¿å°±æ¯ä¸ºä»ä¹å¹¶è¡æ°æ®åºç³»ç»ä¸å®ç°splitæ件, éç¨push(æ¨å°socketå¥æ¥å)èä¸æ¯pull. ç±äºMapReduceçåºè²å®¹éä¾èµäºå¦ä½å®ç°splitæ件, MapReduceæ¡æ¶æ¯å¦æåå°è½¬å使ç¨pushèå¼, ä¸æ¯å¾æ¸
æ¥.
6. ä»
æä¾äºç°ä»£DBMSåè½çä¸å°é¨å
ä½ä¸ºç¨äºåå¸å¼å¤ççç®æ³ææ¯ï¼MapReduceä¸æ¯æ°æ®åºï¼ä¸æ¯æç´¢å¼ãæ°æ®æ´æ°ãäºå¡åå®æ´æ§çº¦æçï¼ä¸ä¸å¤æ°DBMSå·¥å
·ä¸å
¼å®¹ã
7. ä¸éåä¸è¬webåºç¨
大é¨åwebåºç¨ï¼åªæ¯å¯¹æ°æ®è¿è¡ç®åç访é®ï¼æ¯æ¬¡è¯·æ±å¤çæèè´¹çèµæºå
¶å®é常å°ï¼å®çé®é¢æ¯é«å¹¶åï¼æ以è¦éç¨è´è½½åè¡¡ææ¯æ¥åæ
è´è½½ãåªæå½ç¹æ®æ
åµä¸ï¼æ¯å¦å»ºç´¢å¼ï¼è¿è¡æ°æ®åæçï¼æå¯è½ç¨MRã
温馨提示:答案为网友推荐,仅供参考