在做SEO的过程中,你是否遇到这样一种问题:服务器访问CPU使用率几乎100%,而且页面加载速度特别慢,貌似被DDOS攻击一样。
经过一番审查才发现原来自己的目标网站被大量不相关的“爬虫”频繁的抓取,这对于一个小网站来讲,可能是灭顶之灾。
因此,我们在做网站优化的时候,就需要针对特定蜘蛛有选择的引导。
那么,如何与恶意“蜘蛛”暗度陈仓?
根据以往SEO经验分享诠网科技将通过如下内容阐述:
1、搜索引擎爬虫
对于国内的小伙伴,我们都知道在做SEO的过程中,我们面对的最常见的爬虫就是搜索引擎的爬虫,比如:百度蜘蛛,同时,还会面临各种搜索引擎的蜘蛛,比如:
①360Spider、SogouSpider、Bytespider
②Googlebot、Bingbot、Slurp、Teoma、ia_archiver、twiceler、MSNBot
③其他爬虫
如何你没有刻意的配置你的robots.txt文件的话,理论上,你的目标页面是都可以抓取与爬行的,但对于一些中小网站,它偶尔会严重浪费自己的服务器资源。
这个时候我们就需要做出有选择性的合理引导,特别是一些比较尴尬的问题,比如:你希望谷歌降低对网站爬行,而又不能完全屏蔽,你可能需要一些小技巧,比如:针对特定爬虫的访问,反馈不同的文章列表:
①控制更新频率的列表
②反馈大量重复性,内容农场的页面
③善意的“蜘蛛陷阱”比如:Flash
④如何对方SEO管理平台,可以调整抓取评论,适当调整一下
虽然,这样的策略,很可能造成页面信誉度受损,但这是我能想到,针对这些不希望经常爬行,而又需要保持爬行的蜘蛛,合理控制抓取的一个相对“有效”的方法。
2、链接分析爬虫
从目前来看,一个SEO外链分析管理工具,每天需要耗费大量的服务器资源去全网爬行与检测每一个网站的页面链接。
针对一些资源密集型的站点,每天可能爬行成千上万次,这样的爬虫屡见不鲜。
如果你不想自身的网站参与其中,最简单的策略就是在robots协议中,全封闭这样的爬虫。
3、内容采集爬虫
但当我们面对一些恶意的内容采集爬虫而言,就相对的尴尬,对方往往是采用“隐身”的状态,比如:模拟知名搜索引擎蜘蛛的名称。
针对这样的问题,我们只能手动的判断去审查一下对方的庐山真面,比如:利用IP泛解析命令,去判断一下,它到底是不是真的。
①Linux平台:hostip
②Widows平台:nslookupIP
从而去判断对方的解析地址,是否为对应的搜索引擎域名。
4、蜘蛛池爬虫
目前市面上有很多人做百度蜘蛛池,它主要的目的是辅助更多的页面做百度快速收录,但由于一些任意下载的蜘蛛池程序设计的不规范化。
没有做到合理的针对不同蜘蛛的爬行与限定,往往导致服务器资源被大量占用,很容易被服务商关停服务器。
如果你试图利用这个策略,提升自己页面收录,那么,你可能需要多加注意。(但我们并不推荐)
总结:SEO工作是一个细节性的工作,每个策略都影响着整站的运营状态,而上述内容只是浅析,适用于中小站长,仅供参考!
更多SEO优化排名资讯请关注:杭州诠网科技有限公司 www.hzik.cn
实惠点的 u可以用 AMD弈龙9500 大概1400多点现在 主板用AMD790x芯片组系列的 捷波 悍马HA03 上周报价是699 显卡可以使用 双敏最近新推出了一款 HD3850 首次搭载了ddr4显存 容量为512MB 价格为1499 也是非常的实惠
这三款配件搭配起来就属于AMD定位于高性能 游戏发烧的蜘蛛平台 当然还有更好的搭配 但这三款象征着蜘蛛的经典 非常的平民化 十分实惠 当然如果你有更加发烧的追求可以组个交火系统 那
主流蜘蛛平台三大件,只要符合前三个就是蜘蛛平台了:
CPU:AMD Phenom X4 9500
芯片组:AMD 770芯片组
显卡:AMD Radeon HD 3850
内存用DDR2 800 1GBx2
其他配件按自己需求配置
例如
硬盘:7200.10 500GB
光驱:20X DVD刻录机
LCD:22英寸以上
电源:符合2.0、2.2版本以上的450W以上电源,最好符合80Plus,这样比较省电
机箱:选用散热性能较好的机箱,推荐酷冷至尊
键鼠:随便了吧..
AMD官方超频软件 蜘蛛平台特色功能解析
除了CPU、主板芯片组、显卡外,AMD“蜘蛛”平台其实还包含了一个对玩家相当有意义的软件,那就是AMD OverDrive软件。一直以来,不管是英特尔还是AMD都没有在任何正式的场合提倡用户对CPU进行超频,但AMD这次所发布的OverDrive软件却是专门冲着超频而来。这款软件提供了强大的系统信息监控能力和各项频率、电压调节选项,而且它的界面显得非常简单,用户只需要通过简单的设置就可以将整个平台的性能提升。由此可见,与英特尔的“迅驰”不同,AMD的“蜘蛛”更注重用户的动手能力,体验感更强。