在搜索引擎优化过程中你是否遇到过这样的问题：服务器访问的CPU利用率接近100%页面加载速度特别慢似乎受到了DDoS的攻击。

经过回顾我发现原来的目标网站经常被大量无关的“爬虫”抓走这对一个小网站来说可能是一场灾难。

因此在进行网站优化时我们需要有选择地引导特定的蜘蛛。

根据以往SEO经验分享优帮云SEO小编将通过以下几点来阐述：

对于国内的小伙伴来说我们都知道在SEO的过程中我们面对的最常见的爬虫就是搜索引擎的爬虫比如百度蜘蛛还有各种搜索引擎的蜘蛛比如：

①360Spider、SogouSpider、Bytespider

②Googlebot、Bingbot、Slurp、Teoma、iauarchiver、twiceler、MSNBot

③其他爬行动物

如果不故意配置robots.txt文件理论上可以对目标页进行爬网和爬网。然而对于一些中小型网站来说它偶尔会浪费自己的服务器资源。

此时我们需要做出有选择性、合理的指导特别是一些尴尬的问题比如：你希望谷歌减少对网站的爬网但不能完全屏蔽它你可能需要一些提示比如：对于具体的爬网访问反馈不同的文章列表：

①控制更新频率表

②反馈重复性强内容农场页面

③善意的“蜘蛛陷阱”如flash

④如何调整对方的SEO管理平台获取评论并进行适当调整

虽然这样的策略很可能会对页面声誉造成损害但我可以想出一个相对“有效”的方法合理控制那些不想频繁爬行但需要不断爬行的蜘蛛的爬行。

从目前来看一个SEO外部链分析管理工具需要每天花费大量的服务器资源来抓取和检测每个网站的页面链接。

对于一些资源密集型的网站来说每天爬行数千次是可能的这种爬行动物很常见。

如果你不想让自己的网站参与其中最简单的策略是在robots协议中完全关闭此类爬虫程序。

但当我们面对一些恶意的内容收集爬虫时就相对尴尬了。另一方经常采用“看不见”的状态比如：模拟一个著名搜索引擎蜘蛛的名字。

要解决这个问题只能手工判断对方庐山的真伪比如：使用IPpan解析命令判断真伪。

①Linux平台：主机IP

②Windows平台：nslookupip

从而确定对方的解析地址是否为相应的搜索引擎域名。

目前市面上有很多人做百度蜘蛛池其主要目的是协助更多的页面做百度快速收录但由于一些随意下载蜘蛛池的程序设计不规范。

由于没有对不同的蜘蛛进行合理的抓取和限制服务器资源经常被服务提供商占用很容易被关闭。

如果你试图使用这个策略来提高你的页面包含率那么你可能需要更多的关注。