ä¸ã使ç¨çææ¯æ ï¼
ç¬è«ï¼python27 +requests+json+bs4+time
åæå·¥å
·ï¼ ELKå¥ä»¶
å¼åå·¥å
·ï¼pycharm
æ°æ®ææç®åçå¯è§ååæ
1.æ§å«åå¸
0 绿è²ä»£è¡¨çæ¯ç·æ§ ^ . ^
1 代表çæ¯å¥³æ§
-1 æ§å«ä¸ç¡®å®
å¯è§ç¥ä¹çç¨æ·ç·æ§é¢å¤ã
äºãç²ä¸æå¤çtop30
ç²ä¸æå¤çåä¸ååï¼ä¾æ¬¡æ¯å¼ ä½³ç®ãæå¼å¤ãé»ç»§æ°ççï¼å»ç¥ä¹ä¸æ¥è¿äºäººï¼ä¹å·®ä¸å¤è¿ä¸ªæåï¼è¯´æç¬åçæ°æ®å
·æä¸å®ç说æåã
ä¸ãåæç« æå¤çtop30
åãç¬è«æ¶æ
ç¬è«æ¶æå¾å¦ä¸ï¼
说æï¼
éæ©ä¸ä¸ªæ´»è·çç¨æ·ï¼æ¯å¦æå¼å¤ï¼çurlä½ä¸ºå
¥å£url.并å°å·²ç¬åçurlåå¨setä¸ã
æåå
容ï¼å¹¶è§£æ该ç¨æ·çå
³æ³¨çç¨æ·çå表urlï¼æ·»å è¿äºurlå°å¦ä¸ä¸ªsetä¸ï¼å¹¶ç¨å·²ç¬åçurlä½ä¸ºè¿æ»¤ã
解æ该ç¨æ·ç个人信æ¯ï¼å¹¶ååå°æ¬å°ç£çã
logstashåå®æ¶çè·åæ¬å°ç£ççç¨æ·æ°æ®ï¼å¹¶ç»elsticsearchkibanaåelasticsearché
åï¼å°æ°æ®è½¬æ¢æç¨æ·å好çå¯è§åå¾å½¢ã
äºãç¼ç
ç¬åä¸ä¸ªurl:
解æå
容ï¼
åæ¬å°æ件ï¼
代ç 说æï¼
* éè¦ä¿®æ¹è·årequests请æ±å¤´çauthorizationã
* éè¦ä¿®æ¹ä½ çæ件åå¨è·¯å¾ã
æºç ä¸è½½ï¼ç¹å»è¿éï¼è®°å¾starå¦ï¼https : // github . com/forezp/ZhihuSpiderManå
ãå¦ä½è·åauthorization
æå¼chormeï¼æå¼https : // www. zhihu .com/ï¼
ç»éï¼é¦é¡µé便æ¾ä¸ªç¨æ·ï¼è¿å
¥ä»ç个人主页ï¼F12(æé¼ æ å³é®ï¼ç¹æ£æ¥)ä¸ãå¯æ¹è¿çå°æ¹
å¯å¢å 线ç¨æ± ï¼æé«ç¬è«æç
åå¨urlçæ¶åææç¨çset(),并ä¸éç¨ç¼åçç¥ï¼æå¤åªå2000个urlï¼é²æ¢å
åä¸å¤ï¼å
¶å®å¯ä»¥åå¨redisä¸ã
åå¨ç¬ååçç¨æ·æ说éåçæ¯æ¬å°æ件çæ¹å¼ï¼æ´å¥½çæ¹å¼åºè¯¥æ¯åå¨mongodbä¸ã
对ç¬åçç¨æ·åºè¯¥æä¸ä¸ªä¿¡æ¯çè¿æ»¤ï¼æ¯å¦ç¨æ·çç²ä¸æ°éè¦å¤§ä¸100æè
åä¸è¯é¢æ°å¤§äº10çæåå¨ãé²æ¢æåäºè¿å¤çåµå°¸ç¨æ·ã
å
«ãå
³äºELKå¥ä»¶
å
³äºelkçå¥ä»¶å®è£
å°±ä¸è®¨è®ºäºï¼å
·ä½è§å®ç½å°±è¡äºãç½ç«ï¼https : // www . elastic . co/å¦å¤logstashçé
ç½®æ件å¦ä¸ï¼
ä»ç¬åçç¨æ·æ°æ®å¯åæçå°æ¹å¾å¤ï¼æ¯å¦å°åãå¦åãå¹´é¾ççï¼æå°±ä¸ä¸ä¸å举äºãå¦å¤ï¼æè§å¾ç¬è«æ¯ä¸ä»¶é常æææçäºæ
ï¼å¨è¿ä¸ªå
容æ¶è´¹å级ç年代ï¼å¦ä½å¨å¹¿éçäºèç½çæ°æ®æµ·æ´ä¸æææä»·å¼çæ°æ®ï¼æ¯ä¸ä»¶å¼å¾æèåéä¸æè·µè¡çäºæ
ã
温馨提示:答案为网友推荐,仅供参考