如何在网站找数据

如题所述

第1个回答  2020-12-01
这种其实就是做一个采集工具了。

首先看你的需求,你需要采集一个网站的名称和价格然后和另一个网站做对比。

那么总结一下,也就是你需要采集两个网站的数据(对比其实就是按照名称关联一下)

在这里说一下爬虫的几个主要环节

1.网页内容获取(html获取)

获取的方法有很多种,最常见的就是直接通过get和post下载页面html,基本所有语言都有现成的可以调用,当然你也会遇到异步加载或者其他问题,这时候可以试着使用调用浏览器解决。

2.网页内容提取(你需要的名称和借个提取)

网页内容提取就是通过正则表达式或者xpath获取你需要的数据,这个应该不用我多说

3.提取内容入库(获取到的数据保存到表格或者数据库或者页面显示)

入库的话就看你使用什么样的形式了,一般会用轻量一点的数据库,这样之后对于比价(关联查询)也会比较方便。

需要用到的知识大概就是一点编程基础(看一些开源的爬虫程序),一些网络基础(抓包发包),会正则表达式或者xpath,有简单的数据库基础,这样感觉就差不多了。

当然现在网上的采集工具也很多,对于数据量不大或者采集比较简单的可以不用自己写程序,通过采集工具就可以完成。
相似回答