不借助工具怎样查看蜘蛛是否爬取过网站？

如题，如果不用工具的话，能否查看搜索引擎爬取网站的记录？

举报该问题

推荐答案 2013-08-26

查看自己的iis日志就知道了，是否蜘蛛来爬行过，是最简单的方法，先在你的空间里，有个控制面板进入，找到下载iis日志，下载后，再去你ftp空间里iis日志根目录下，就能看到你的iis日志，蜘蛛爬行的纪录，一般能看到一个月的日志内容，

温馨提示：答案为网友推荐，仅供参考

当前网址：http://99.wendadaohang.com/zd/BOBz7jBXv.html

第1个回答 2013-08-26

这个问题也可以帮我解决一下，就看有没有人回答正确了

第2个回答 2013-08-26

h话费规范化高鸿股份菲菲峰峰规范化广泛黑寡妇黑寡妇很反感

第3个回答 2013-08-26

这个问题问的好！我也想知道。借助工具用什么工具？。。。。

相似回答

谁能告诉我怎样看百度蜘蛛有没有爬过我们的网站。答：1.要观察百度蜘蛛的爬行记录，最好的办法是通过查看网站日志。2.只要你的网页被访问过，不管是人还是百度蜘蛛、或者其他搜索引擎蜘蛛。网站日志中都可以把它记录下来。正规的网站空间一般提供网站日志服务。网站日志的下载可以通过ftp。具体的目录可以咨询网站空间商。比较常见的目录有：www_logs、logs等。3...

如何知道百度蜘蛛是否来过自己的网站?答：通过查看网站日志，可以了解搜索引擎蜘蛛的访问情况。通过FTP访问网站的根目录。可以看到一个log的文件夹，这是存放日志的地方。可以压缩（日志文件一般很大）后通过下载到本地电脑上解压缩后打开日志文件。1、网站刚上线，看搜索引擎蜘蛛的抓取情况；如果网站提交给搜索引擎2天后，发现日志里蜘蛛不少，并都...

用什么工具可以查到蜘蛛是否来过网站抓取内容答：一般在http服务器目录下配置robots.txt文件，具体写法网上查；不过也是有办法突破的，基本上防君子不防小人；大网站也用robots.txt这么做，不过更多的是一种法律上的手段禁止别人爬取，要想技术上做到绝对不允许爬取的话很难，比如taobao屏蔽baidu就是一个例子；靠robots.txt文件的配置能挡掉很大一部分了...

查看百度蜘蛛来没来自己的网站,是不是只能从网站日志里边看呢?答：这个是最好的，但是目前貌似有一些大牛开发了一些程序之类的可以网页版的看到蜘蛛是否来过，但是那个安全性并不高，所以你要是想看的话叫你的主机商给你搞一下，你那里看不到主要是你没有生成或者是屏蔽了记录蜘蛛爬取记录的原因。

如何查看蜘蛛爬取日志如何查看蜘蛛爬取日志记录答：如何查看网站日志中搜索引擎蜘蛛的访问记录网站日志可以从服务器下载，文件扩展名为。日志。下载后可以使用爱站工具包进行日志分析，可以分析蜘蛛抓取的网站目录、网站页面、蜘蛛ip。但是免费用户只能查看20M以下的日志文件。全文搜索引擎一般采用什么原理来采集信？搜索引擎工作原理：发现网页-蜘蛛捉爬取-建立...

如何判断网站是否被搜索引擎惩罚?答：3、服务器是否线路正常，有没有拦截蜘蛛的迹象或者服务器线路不稳定基于以上几点分析，站点如果还是不收录，肯定是被惩罚了。可能的原因，多数是内容问题。分析方法：1、看近期蜘蛛，分析汇总蜘蛛爬取的页面 2、分析最后一次爬取的时间点。3、查看站点对应时间点的数据，觉得异常的统统删除。4、删除的...

如何分析网站日志答：我们就可以借助网站日志文件来查看，怎么看?看网站日志是否有搜索引擎的蜘蛛来网站抓取过，看返回的状态码是200还是其他，如果返回200说明抓取成功，如果返回404说明页面错误，或者页面不存在，就需要做301永久重定向或者302暂时重定向。一般抓取成功后被搜索引擎放出来的时间也会晚点，一般谷歌机器人放出来的...

蜘蛛日志分析工具-免费网站收录蜘蛛爬取分析工具批量分析答：使用这款工具，你可以轻松地进行以下操作：1. 自动爬取与分析蜘蛛日志，实时掌握收录动态；2. 数据迁移与URL结构调整，确保新旧网站内容的无缝衔接；3. 301重定向与HTTPS优化，提升用户体验并可能提升搜索引擎评分。别忘了，内链管理是SEO优化中的隐形杀手，妥善处理好内链，就像给网站的血脉注入活力。

百度蜘蛛一天来你网站多少次才算不错答：看你权重的，有些站，蜘蛛一天只怕一次，有些是几分钟爬一次！百度蜘蛛，是百度搜索引擎的一个自动程序。它的作用是访问收集整理互联网上的网页、图片、视频等内容，然后分门别类建立索引数据库，使用户能在百度搜索引擎中搜索到您网站的网页、图片、视频等内容。工作机制编辑百度蜘蛛的构建的原理。

大家正在搜

网站蜘蛛爬取日志在哪里看怎么在宝塔看爬取蜘蛛网站禁止蜘蛛爬取网站爬取工具网站数据爬取工具模仿蜘蛛爬网站全站爬取工具蜘蛛爬取禁止蜘蛛爬取的代码

怎样查看蜘蛛是不是来抓取你的网站了？

怎样查看百度蜘蛛是否来过自己的网站

如何知道百度蜘蛛是否来过自己的网站？

如何能知道百度蜘蛛是否来我网站爬取过

谁能告诉我怎样看百度蜘蛛有没有爬过我们的网站。

如何查看网站百度蜘蛛是否爬取呢

用什么工具可以查到蜘蛛是否来过网站抓取内容

如何查看自己网站是否有蜘蛛来过