前天修改了3个网站的robots.txt,修改robots之后还没有生效

前天修改了3个网站的robots.txt,其中包括本东莞网站优化站。修改robots之后还没有生效,本站快照经过投诉后发现首页快照隔天更新，估计是换空间原因，目前还没有收录内页，希望不会是把我的网站拉回考核期吧！虽然本站是新站，不过收录情况基本是良好吧！我禁用了那个tags，不知道会是什么结果！

到底修改robots之后多久生效
百度Lee：不同的站点略有不同，但通常在几天内陆续生效。如果有发现很久不生效等意外情况，可以在这里或者通过 tousu.baidu.com 反馈给我们。据观察：Google蜘蛛会在发现robots.txt文件修改之后24小时内生效。 仔细分析网站日志，也可以判断修改robots.txt之后的生效时间。例如：你修改robots.txt之后，蜘蛛爬行了修改后的文件，那在蜘蛛下次爬行时就会生效。
另外还有一种情况：robots.txt里禁止的目录或者单个页面，有外链存在的话，蜘蛛还是会从其它网站来爬行该目录或者页面，直到robots.txt生效为止。

还有一个哥们问了没有提交给百度也无反向链接为何被百度收录
百度Lee：我们把问题明确一下，百度spider是否能识别和处理纯文本形式的链接（非<a></a>标签）？答案是可以的，搜索引擎的spider需要及时发现和抓取互联网上的链接，至于链接是什么形式，并不重要。也许有一天，我们还可以识别图片里、语音里、视频里或是其它什么形式的链接
排名升分析：意味着以后大家发广告，以及站内信息不必一味的加链接，纯文本的形式也可以被识别，并抓取。

分享到: QQ空间 腾讯微博 腾讯朋友