免费SEO视频教程下载

Baiduspider - 百度蜘蛛

一、Baiduspider - 百度蜘蛛是什么

昨天谈过谷歌的PageRank,pr是谷歌对一个网站的判断标准,而百度却没有一个官方的标准来衡量。今天不谈百度权重,说说百度蜘蛛。百度是如何收录到那么多网页的呢?这个百度用以抓取互联网上数以亿计的网页的程序,就叫做Baiduspider - 百度蜘蛛。

它是一个程序,夜以继日得在互联网上找寻新的URL,接着抓取URL上的内容,返回到百度的网页暂存数据库。

百度用来抓取网页内容的程序,叫做Baiduspider,抓取其他内容的蜘蛛,则是新的名字:

产品名称                 对应user-agent

网页搜索                Baiduspider
无线搜索                Baiduspider-mobile
图片搜索                Baiduspider-image
视频搜索                Baiduspider-video
新闻搜索                Baiduspider-news
百度搜藏                Baiduspider-favo
百度联盟                Baiduspider-cpro

不少朋友会在自己的网站日志里看到这个蜘蛛Baiduspider-cpro,现在我们明白它是百度联盟蜘蛛,用以百度联盟程序匹配相应的广告。

Baiduspider - 百度蜘蛛

二、Baiduspider - 百度蜘蛛常见的几个问题

 

1.Baiduspider对一个网站服务器造成的访问压力如何?

答:一般情况下,Baiduspider对您网站的服务器不会造成过大压力。

2.为什么Baiduspider不停的抓取我的网站?

答:对于您网站上新产生的或者持续更新的页面,Baiduspider会持续抓取。此外,您也可以检查网站访问日志中Baiduspider的访问是否正常,以防止有人恶意冒充Baiduspider来频繁抓取您的网站。

3.我不想我的网站被Baiduspider访问,我该怎么做?

答:Baiduspider遵守互联网robots协议。您可以利用robots.txt文件完全禁止Baiduspider访问您的网站,或者禁止Baiduspider访问您网站上的部分文件。 但是需要注意的是:禁止Baiduspider访问您的网站,将使您的网站上的网页,在百度搜索引擎以及所有百度提供搜索引擎服务的搜索引擎中无法被搜索到。

4.为什么我的网站已经加了robots.txt,还能在百度搜索出来?

答:百度的缓存问题。因为搜索引擎索引数据库的更新需要时间。虽然Baiduspider已经停止访问您网站上的网页,但百度搜索引擎数据库中已经建立的网页索引信息,可能需要二至四周才会清除。 另外也请检查您的robots配置是否正确。

5.我希望我的网站内容被百度索引但不被保存快照,我该怎么做?

答:Baiduspider遵守互联网meta robots协议。您可以利用网页meta的设置,使百度显示只对该网页建索引,但并不在搜索结果中显示该网页的快照。和robots的更新一样,因为搜索引擎索引数据库的更新需要时间,所以虽然您已经在网页中通过meta禁止了百度在搜索结果中显示该网页的快照,但百度搜索引擎数据库中如果已经建立了网页索引信息,可能需要二至四周才会在线上生效。

6.百度蜘蛛在robots.txt中的名字是什么?

答:“Baiduspider” 首字母B大写,其余为小写。

7.Baiduspider多长时间之后会重新抓取我的网页?

答:百度搜索引擎每周更新,网页视重要性有不同的更新率,频率在几天至一月之间,Baiduspider会重新访问和更新一个网页。

8.Baiduspider抓取造成的带宽堵塞?

答:Baiduspider的正常抓取并不会造成您网站的带宽堵塞,造成此现象可能是由于有人冒充baidu的spider恶意抓取。

 

关于Baiduspider - 百度蜘蛛就谈着两个问题:它是什么;二它的几个常见问题。更多百度资讯请参考百度那坑爹的算法机制

本文来自 >> 百科SEO教程;转载请注明:http://www.bktj.net/ssyq/259.html

  • 上一篇: PR值,PageRank
  • 下一篇:快照不更新和快照倒退
  • 相关文章

    推荐文章

    2014年百科SEO教程全新改版,创建更加强大的SEO培训、谷歌SEO、百度seo优化、搜索引擎优化教程分享平台。
    在后续的文章中将会分享更多关于SEO培训、谷歌SEO教程、百度SEO优化和搜索引擎优化教程。

    - Copyright  ©2012~2013 - 百科SEO教程(www.bktj.net)版权所有 - 站长QQ1414929496 - 网站地图 - Power By-Z-Blog -
    <