最近帮一位徒弟搭建了蜘蛛池、本身蜘蛛稳定在3万左右了,可是好景不长、没2天蜘蛛量突然急剧下降,徒弟过来找我,说服务器非常慢,一看原来是运行堵塞,于是开始研究起来,并且解决问题。
运行堵塞
我们在宝塔里,通过top指令,查看到占用CPU的是php,而php能让我想到的,肯定是有其他爬虫或是有人恶意访问我们的网站,频率非常高,从而使php不断工作,导致运行堵塞,通过查看网站日志,发现一些IP访问的频次非常的高,如下图:
日志
真正导致服务器慢的原因,是因为这些IP不断访问页面,而PHP要不断解析页面,从而使PHP占用了CPU,导致了运行堵塞,既然我们知道了原理,我们就开始想办法屏蔽这些爬虫:
1、从蜘蛛池的层面,因为目前用的是【某旋风】,我们直接禁止游客访问,如下图:
屏蔽游客访问
通过游客访问屏蔽,着实快了不少,因为就算这些IP访问,我们也不用PHP解析页面给他,就不会影响服务器方面的性能。而且这样做的好处是,并不影响蜘蛛访问。
2、从宝塔防火墙的层面屏蔽IP
Nginx防火墙
Nginx防火墙提供IP/URL/UA屏蔽,根据本人实战的结果来讲,不建议用IP屏蔽,因为IP屏蔽的话,他们不仅是C段不同,前面的也会不同,治标不治本。
通过日志,我们不难发现,他们的UA中基本就分为2类,一类带有Android,一类带有Dalvik,于是,我们把带有这两个字符串的UA屏蔽即可,如下图:
UA黑名单
通过对UA的屏蔽,终于,我们的宝塔变绿了,运行也不卡了:
恢复
蜘蛛池
蜘蛛池也基本开始恢复,前2天掉蜘蛛,是因为蜘蛛来到显示502,或是无法打开页面,导致蜘蛛无法循环,从而掉了蜘蛛,
1.可能是电脑配置问题
2.是软件问题,ie浏览器本来就比较卡,建议用其他的比如safari等。
3.看看有没有人蹭网,测网速时,软件会强烈的去抢网,所以此时蹭网的也没办法,但测完之后可能会被蹭网的抢回去
你家里用的什么宽带呢。
网站加载速度慢的原因有很多:
1、网速也影响到你的网站加载速度。
2、你网站中图片的数量过多也会影响到你的网站加载速度。
3、当地网速不稳定也会影响到你的网站加载速度。
4、你的页面中有很多的js代码也会影响到你的网站加载速度。
5、网站加载速度慢还有可能就是你的浏览器缓存太多 ,影响你的网站加载
【问题描述】:
网页游戏黑屏,白屏,IE导致的无法调出flash.
【原因分析】:
Flash游戏无法运行时,可能由于IE内核导致无法调穿明观增出flash插件督古热苏导致。我们尝试通过对IE的升降级进行测试,以下是IE升降级的教程,
【简易步骤】:
IE降级:【360安全卫士】—【软件管家】—【软件安装】-搜索IE8。找到并运行卸载程序
IE升级:【360安全卫士】—你持谁材跑【软件管家】—【软件安装】-搜索IE8。找到并运行安装程序
【解决方案】:
一.I临督会陈陆定毛清律练E降级
1. 点击【360安全卫士】—【软件管家】,这样您就可以打开软件管家了。(如图1)
图1
在打开的软件管家中,我们搜索IE8,可以看到【Internet Explorer 8.0正式版】这个软件(如图2)
图2
下载并运行【Internet Explorer 8.0正式版】这个软件,(如图3)
4.同意软件的使用来自条款(如图4)
图4
选择安装更新,并点击下一步:(如图6)
图6
软件会自动运行:(如图7)
图7
安装完成后会提示敌策重启电脑:(如图8)
图8
卸载IE8:
点击【360安全卫士】—【软件管家】,这样您就可以打开软件管浓蛋因叶入去步亮家了。(如图9)
图9
找到卸载项点击卸载
软件管家会提示,选择仍然卸载:
卸载程序会自动击击级毛积刚增三族试序运行:
卸载完成后选择不要重启,点完成,卸载完成