ãã究ç«æ¯ä»ä¹åå 产çäºå¦æ¤æ¬æ®çé度ï¼æç½åå¨Quoraä¸æåºäºè¿ä¸ªé®é¢ï¼å¹¶å¾å°äºReynold Xinç解çï¼
ããRedshiftéç¨äºä¸æçå«åParAccelç并è¡æ°æ®åºå®ç°æºå¶ãææ³å¨å¾å¤å·¥ä½æ
å¢ä¸ï¼ä½ ä¼åç°å¤§å¤æ°å¹¶è¡æ°æ®åºå¼æè¦æ¯Hiveå¿«ãæ¥ä¸æ¥ï¼æå°ç»åºçæ¡ï¼å¹¶è§£éå
¶ä¸çæäºåå ã请注æçæ¯ï¼è½ç¶è¯¥çæ¡é对çæ¯ParAccelï¼å
¶ä¸ç大é¨åå ç´ ä¹éç¨äºVerticaãGreenplumãOracleRACç并è¡æ°æ®åºã
ããå¨çæ¡ä¸å¢ï¼æå°ä½¿ç¨ä¸ä¸ªå¯äºæ¢çæ¯è¯â并è¡æ°æ®åºâãâå
³ç³»åæ°æ®åºâåâåæåæ°æ®åºâã
ããæ¯èµ·å¹¶è¡æ°æ®åºï¼Hiveå¨å¯æ©å±æ§ãçµæ´»åº¦æ¹é¢é¥é¥é¢å
ãä¾å¦ï¼Facebook使ç¨Hiveæ°æ®ä»åºè·¨è¶æåä¸ä¸ä¸ªèç¹ã说起çµæ´»åº¦ï¼Hive设计çåè¡·æ¯ä¸ä¸äºç³»ååå¨ç³»ç»ï¼HDFSãHBaseãS3ï¼é
å使ç¨ï¼å¹¶è½å¤æ¯æå¤ç§è¾å
¥æ ¼å¼ï¼å缩ãæªå缩ãAvroã纯ææ¬ãJSONï¼ã
ããææ©å±åé«çµæ´»åº¦å¨ç»ä½ 带æ¥ä¾¿å©çåæ¶ï¼å´ä¹é»ç¢äºä½ æ建æ§è½æ´å¥½çæ¥è¯¢å¼æãæ¥ä¸æ¥ï¼æå°å举åªäºç¹å¾ä¼å½±åæ¥è¯¢æ§è½ï¼
ããæ°æ®æ ¼å¼ï¼æ°æ®ä»¥ç±»ä¼¼çº¯ææ¬æ件ï¼ç¸å¯¹æªä¼åçå½¢å¼åå¨å¨HDFSä¸ãHive ä½ä¸å¨å¤çæ°æ®ä¹åï¼éè¦å
è±å¤§éæ¶é´ä»ç¡¬çä¸è¯»åæ°æ®ï¼åååºååè¿äºæ°æ®ã
ããåèµ·ä»»å¡çç³»ç»å¼éï¼Hadoop MapReduce 使ç¨å¿è·³æºå¶ï¼heartbeatsï¼å¶å®ä½ä¸è®¡åï¼æ¯é¡¹ä»»å¡ä½ä¸ºä¸ç¬ç«çJVMè¿ç¨åèµ·ãå¨Hadoop MapReduce ä¸ï¼ä»
ä»
æ¯åèµ·ä¸é¡¹ä½ä¸å°±éè¦å åç§éï¼å¨ç§çº§æ¶é´åä½å
ï¼æ¯æ æ³è¿è¡ä»»ä½è¿ç¨çãç¸åï¼å¹¶è¡æ°æ®åºæ¥ææç»è¿ç¨æ线ç¨æ± ï¼å®ä»¬è½å¤å¤§å¤§åå°ä»»å¡å®æååèµ·æéè¦çç³»ç»å¼éã
ããä¸é´æ°æ®ç©å vsæ°æ®ä¼ è¾ï¼Hive 使ç¨æ¥æäºé¶æ¨¡å(MapåReduce)çMapReduceæ¥æ§è¡ãé常ä¸ä¸ªå¤æçSQLæ¥è¯¢è¢«æ å°ä¸ºMapReduceçå¤ä¸ªé¶æ®µï¼ä¸åé¶æ®µçä¸é´æ°æ®å¨ç¡¬çä¸ç©åã并è¡æ°æ®åºå
ç½®æç¨äºæ§è¡SQLæ¥è¯¢çå¼æï¼æ§è¡æ¥è¯¢æ¶ï¼è¯¥å¼æå¨æ¥è¯¢æä½ç¬¦åæ°æ®æµï¼steram dataï¼ä¹é´è·¨èç¹ä¼ éæ°æ®ã
ããåæ°æ®æ ¼å¼ï¼åæ°æ®åºå°æ°æ®æç
§åå¼çæ ¼å¼è¿è¡åå¨ãå¨å
¸åçæ°æ®ä»åºä¸ï¼æ¯å¼ æ°æ®è¡¨è½å¤åå¨æç¾ä¸ååï¼è大å¤æ°æ¥è¯¢ä»
æ¥æ¾å°æ°åã让æ们æ¥èèä¸ä¸å¦ä¸æ¥è¯¢ï¼è¦æ¥æ¾çæ¯æ²å°çæ¯å®¶åºçè¥ä¸é¢ãå®ä»
éè¦æ¥æ¾ä¸¤ä¸åï¼ååºçç¼å·ãæ¯ä»¶ååçé¶å®ä»·ï¼æè
è¿æéå®æ¥æï¼ã以åå¼åå¨æ°æ®ï¼æ§è¡æ¥è¯¢æ¶ï¼å¼æå¯ä»¥è·³è¿ä¸ç¸å
³çåãè¿æ ·å¯ä»¥åå°ä¸ç¾æ¬¡ç硬çI/Oãæ¤å¤ï¼æååå¨æ°æ®è½å¤å¤§å¤§å¢å å缩æ¯çã
ããåæ¥è¯¢å¼æï¼é¤äºä¸é¢æå°çæåå¼åå¨çæ°æ®æ ¼å¼ï¼è¿å¯ä»¥æåæ建æ¥è¯¢æ§è¡å¼æï¼è¯¥å¼æå¨åæåå·¥ä½è´è½½æ¹é¢å¾å°äºè¾å¥½çä¼åãå
¶ä¸çæå·§å
æ¬ï¼ææç©åï¼late materializationï¼ãç´æ¥æä½å缩è¿çæ°æ®ãå©ç¨ç°ä»£CPUæä¾çåéåæä½ï¼SIMDï¼ã
ããæ´å¿«çS3è¿æ¥ï¼å¨è¿éæå°ç»åºä¸ä¸ªå¤§èççæµï¼AWSå¯è½å·²ç»ä¸ºä»ä»¬çRedshiftå®ä¾å®ç°äºä¸ä¸ªæ¯æ®éS3è½å¤æä¾çæ´é«å¸¦å®½çS3æ´ä½è´è½½ã
ããæéè¦ç³æï¼æ们åå讨论çè¿äºå ç´ æ¯åºäºHiveå½åçæ¬ï¼2013å¹´2æï¼ã毫æ ç½®çï¼Hive社åºå°ä¼æ¨è¿å¼åå·¥ä½ï¼å¹¶è§£å³å
¶ä¸çä¸äºé¾é¢ã
温馨提示:答案为网友推荐,仅供参考