来自谷歌博客消息：原来谷歌抓取移动设备的蜘蛛统称为Googlebot移动版，谷歌分析称受此项更新影响的网址不到0.001%，而此项更新可让站长更好地控制对其内容的抓取和编入索引操作。 由于功...robots

Robot英文直译是机器人，在搜索引擎优化SEO中，我们经常翻译为:探测器。 有时，你会碰到crawler（爬行器），spider（蜘蛛），都是探测器之一，只是叫法不同。西安做网站推荐阅读 robots.txt文件...robots

搜索引擎三巨头打的不亦乐乎，但偶尔也合作一下。去年Google，雅虎，微软就合作，共同遵守统一的Sitemaps标准。前两天三巨头又同时宣布，共同遵守的robots.txt文件标准。Google，雅虎，微软各...robots

什么是robots.txt文件? 搜索引擎机器人通过链接抵达互联网上的每个网页，并抓取网页信息。搜索引擎机器人在访问一个网站时，会首先检查该网站的根目录下是否有一个叫做robots.txt的纯文本文...robots

robots.txt是什么？ 有没有想过，如果我们某个站点不让百度和google收录，那怎么办？ 搜索引擎已经和我们达成一个约定，如果我们按约定那样做了，它们就不要收录。 这个写约定的的文件命名...robots

robots.txt文件放在哪里 robots.txt文件应该放置在网站根目录下。举例来说，当spider访问一个网站（比如 http://www.abc.com）时，首先会检查该网站中是否存在http://www.abc.com/robots.txt这个文件，如果...robots

我所在的网站算是一个大型网站，百度收录3000万，每天百度爬虫抓取总次数在500w次左右，单页的百度收录率 80%，看起来已经是一个相当不错的数据，但分析一下详细的日志文件，还是可以发...robots

404错误：当baiduspider在抓取您网站时，发现大量的404页面（协议死链或内容死链）时，会在抓取异常工具中将这类页面进行展示，建议通过百度站长平台--死链工具提交死链的方式进行处理，以...404页面

一、简介概念 404页面是客户端在浏览网页时，服务器无法正常提供信息，或是服务器无法回应，且不知道原因。404错误信息通常是在目标页面被更改或移除，或客户端输入页面地址错误后显示...404页面

作SEO时，我们经常会在日志上看到类似这样的代码： 61.135.166.232 - - [31/Dec/2007:02:30:11 +0800] GET /category21.html HTTP/1.1 200 10968 - Baiduspider+(+http://www.baidu.com/search/spider.htm) 66.249.70.172 - - [31/Dec/2007:03:36...404页面