怎么了解百度蜘蛛到哪个网站，怎么判断百度蜘蛛是否来过自己的网站

来源：整理时间：2023-04-29 08:38:58 编辑：航空兔素材手机版

本文目录一览

1，怎么判断百度蜘蛛是否来过自己的网站
2，谁能告诉我怎样看百度蜘蛛有没有爬过我们的网站
3，如何知道百度蜘蛛是否爬过我的网站
4，如何查看蜘蛛访问网站的记录
5，有没有简单的方法查看百度蜘蛛是否来过自己的网站
6，如何知道百度蜘蛛是否来过自己的网站

1，怎么判断百度蜘蛛是否来过自己的网站

蜘蛛的爬行可以通过你空间的IIS日志查看，一般网站的根目录下都有LOG这样的文件夹。日志就保存在里面。不知道你的是不是win的系统，我用过wordpress的一个插件，是可以统计到机器人的访问记录

怎么判断百度蜘蛛是否来过自己的网站

2，谁能告诉我怎样看百度蜘蛛有没有爬过我们的网站

回复 Amity 的帖子搜索引擎抓取网站信息必会在服务器上留下信息，这个信息就在网站日志文件里。我们通过日志可以了解搜索引擎的访问情况，一般通过主机服务商开通日志功能，再通过FTP访问网站的根目录，在根目录下可以看到一个log或者weblog文件夹，这里面就是日志文件，我们把这个日志文件下载下来，用记事本(或浏览器)打开就可以看到网站日志的内容。如果想要知道网站日志文件包含了什么内容，首先必须知道各搜索引擎的蜘蛛名称，比如bd的蜘蛛程序名称是baiduspider，Google的机器人程序名称是Google-Googlebot等等，我们在日志的内容里搜索上述的的蜘蛛名就可以知道哪个搜索引擎已经爬取过网站了，这里就留下了他们的蛛丝马迹。再者，必须能看懂常见的http状态码，最常见的HTTP状态码有200(页面抓取成功)、304(上次抓取的和这次抓取的没变化)，404(未找到页面，错误链接)500(服务器未响应，一般由服务器维护和出故障，网站打不开时出现的)，服务器状态码的值是我们和蜘蛛交流的信号。知道了这些基本信息以后我们就可以根据网站日志进行分析了，一般来说我们只看bd和谷歌蜘蛛的爬行和抓取情况，当然有特殊需要的也可以对其他几个蜘蛛的爬行情况进行分析。网站日志中出现大量的谷歌蜘蛛和bd蜘蛛，说明搜索引擎蜘蛛时常来光顾你的网站。

谁能告诉我怎样看百度蜘蛛有没有爬过我们的网站

3，如何知道百度蜘蛛是否爬过我的网站

这里介绍通过看日志来了解百度蜘蛛是否来过：很多网站目前使用的都是虚拟空间，都能够提供日志。日志是指在网站根目录下的logfiles文件夹里面日期.txt文本文件。下载到本地，用记事本打开.txt文本，一般百度蜘蛛代码是“baiduspider”，我们可以查找下文档中是否存在“baiduspider”，如果存在，看下里面的代码：2010-04-19 21:06:44 W3SVC725 58.221.29.72 GET /robots.txt - 80 - 220.181.7.14 Baiduspider+(+http://www.baidu.com/search/spider.htm) 200 0 0 305 209。下面我来解释下这段代码：1、2010-04-19 21:06:44是日期，也就是蜘蛛来的日期和时间了。2、 GET /robots.txt 访问的页面 get表示获取3、80是端口4、220.181.7.14是蜘蛛的ip地址5、Baiduspider+(+http://www.baidu.com/search/spider.htm)是百度蜘蛛了6、200表示抓取成功。有时会出现其他代码如：404 - 请求的网页不存在；503 - 服务器暂时不可用如果你还想知道有没有其它搜索引擎的蜘蛛来过你的站，你可以在日志文件中搜索“spider”这个词，或者搜索蜘蛛的IP，例如Soso的蜘蛛“sosospider”，可以查看Soso的蜘蛛是否来过。

看日志

查看iis日志有baidu 字样的就是百度蜘蛛了

如何知道百度蜘蛛是否爬过我的网站

4，如何查看蜘蛛访问网站的记录

对于很多做网站的新手来说，都没有经过系统地授课进行网络技术和建站知识学习，做网站都是靠自学，遇到难题在论坛发帖提问，更不会懂得网站优化，对于较基本操作——通过网站日志看蜘蛛来访情况都不知到哪里看，怎么看。前两天看到很多人发帖提问，回复者的答案却比较精炼，不具体，提问者还是云里雾里的，现我就以自己的网站来系统地操作一次，提交给大家参考，有说错的地方，请批评指正。1、打开FTP登录软件，我用的是FlashFXP，登录空间FTP登录FTP后，你会发现根目录下有一个wwwlogs文件夹，（有的是weblog，注：不同的服务器空间生成的日志文件目录名称不一样，仅供参考，一般文件夹中包含Log字符的就是日志文件夹）。2、打开wwwlogs文件夹后，里面有一些以日期格式特征为文件名的.gz后缀结尾的文件，这些就是我们需要下载到本地的日志文件。3、下载到电脑桌面后，解压缩打开，里面是一个记事本格式的文件，打开文件，看到的是下图这样的代码，我下载的是3月7日的那个文件。4、分析代码上图1是百度蜘蛛的IP地址；2是蜘蛛来访日期时间（2012年3月6日1时21分22秒），3月7日的日志文件记录的是从3月6日凌晨开始，至3月7日1时11分39秒整个时间段的n多次来访记录）；3是百度蜘蛛baiduspider4是我网站被访问的网页地址；5是sogou 搜狗蜘蛛的来访，同样也能看到时间和被访网页。如果是简单的查看，您可以在记事本中搜索baiduspider ，如果想精确分析，可借助一些专用的分析软件。分析下哪些时间段百度蜘蛛来的最频繁，那么我们就在这个时间段更新我们的网站内容，很容易被百度收录的。通过分析蜘蛛来访纪录，可以了解本站的大体情况，而不用再为百度不放出内页或者不收录的问题而苦恼了。蜘蛛来访正常，可以确切的说，搜索引擎对你的站很友好的，坚持更新自己的网站，会有不错的收录的。注：有些共享IP空间可能不支持日志功能，对于独立ip虚拟主机则提供每天的日志下载，而实在没有可以日志功能的空间可以参考使用蜘蛛爬行插件的一些方法进行分析。

5，有没有简单的方法查看百度蜘蛛是否来过自己的网站

查看服务器后台的网站访问日志，形如：GET /index.asp - 9999 - 180.76.15.145 Mozilla/5.0+(compatible;+Baiduspider/2.0;++http://www.baidu.com/search/spider.html) 200 0 64

判断蜘蛛有没有来过自己的网站可以查看iis日志代码。或者联系空间商开通了蜘蛛访问记录也可以。如果你的空间商给你的空间支持查询蜘蛛访问记录的话。可以在ftp找到weblog的文件夹，具体步骤如下：1.打开ftp登陆软件(这里以flashfxp为例),登陆你的空间ftp。登陆进ftp后,你会发现在根目录下有一个weblog的文件夹(注:不同的idc空间生成的日志文件目录名称不一样,仅供参考.一般文件夹中包含log字符的都是日志文件夹)2.打开weblog目录后,里面有一些以日期格式特征为文件名的.gz后缀结尾的文件.这些就是我们需要下载到本地的日志文件.3.打开压缩文件,发现里面只有一个以.log结尾的日志文件,我们需要的就是这个文件了.4.解压后,打开日志文件.ctrl+f查找baidu.com/search特征字符(这里以百度蜘蛛为例)通过分析蜘蛛来访纪录,可以了解本站的大体情况,而不用再为百度不放出内页或者不收录的问题而苦恼了.蜘蛛来访正常,可以确切的说,搜索引擎对你的站很友好的,坚持更新自己的网站,会有不错的收录的.注:有些共享ip空间可能不支持日志功能.对于独立ip虚拟主机则提供每天的日志下载.而实在没有可以日志功能的空间可以参考使用蜘蛛爬行插件的一些方法进行分析.

6，如何知道百度蜘蛛是否来过自己的网站

通过查看网站日志，可以了解搜索引擎蜘蛛的访问情况。通过FTP访问网站的根目录。可以看到一个log的文件夹，这是存放日志的地方。可以压缩（日志文件一般很大）后通过下载到本地电脑上解压缩后打开日志文件。1、网站刚上线，看搜索引擎蜘蛛的抓取情况；如果网站提交给搜索引擎2天后，发现日志里蜘蛛不少，并都返回200，则说明已经可以正常。只是Google展示的时间比较快，而百度则需要20天左右（经验平均值）展示出来。2、网站异常，对比日志中蜘蛛的行为情况；正常增加时和现在异常时的日志，进行对比分析。如果没有异常，则应该是搜索引擎展示数据库出问题所致。如果蜘蛛爬取量明显减少，是否突然减少很多。如果日志依然，则认为是搜索引擎的展示问题。3、解决网站被封问题时，日志情况。网站被封时，往往日志里有百度蜘蛛，但很少，而且往往只访问robots.txt文件和首页。经过站长检查修改一切不符合搜索引擎的优化行为后，再将自己网站提交给百度，之后的2天日志情况如果一直只是百度蜘蛛很少光临，而且往往只访问robots.txt文件和首页。这样的情况维持1个月，可以考虑放弃该域名。如果蜘蛛明显增加，而且返回200代码居多，则被百度重新收录的希望很大，只是时间问题，需要站长更加努力。

百度知道来过就会收录你的网站的,很简单的方法,就是你在百度中搜索你网站的名称或者关键词,看是否有你的网站在百度的搜索页中显示

Baiduspider会自动根据服务器的负载能力调节访问密度。在连续访问一段时间后，Baiduspider会暂停一会，以防止增大服务器的访问压力。所以在一般情况下，Baiduspider对您网站的服务器不会造成过大压力。