在世界经济论坛发布的《The Global Risks Report 2018》中,网络安全已经成为除自然灾害以外,最大的风险所在。据统计,2017 年黑产从业人员超 150 万,市场规模更是达到了千亿级别……
2018年全球风险报告
网络安全已经成为除自然灾害以外,最大的风险所在
全球互联网的至暗时刻
早在2016年网络安全技术高峰论坛上,全球著名信息安全专家,卡巴斯基创始者尤金•卡巴斯基曾表示,目前网络安全正处于一个黑暗时代……
卡巴斯基公司CEO 尤金•卡巴斯基先生发表讲话
网络威胁呈现几何式增长
从1986年出现的第一次网络威胁,20年间,数据显示有100万恶意软件的攻击。20年后,在2006年的短短一周内,恶意攻击数据已达到220万。而如今,仅是发现的漏洞就超过40亿,网络威胁已超过了前两年的总和……
全球资产损失达千亿美元
尤金·卡巴斯基表示网络犯罪每年造成的全球损失在4千亿到5千亿美元之间,而随着全球企业和政府对数字系统的依赖日益增加,“网络攻击”已经取代“社会两极分化”成为影响未来十年经济稳定最大的风险。
全球最大的保险公司Lloyd’s of London在2017年发布报告表示,大型全球性网络攻击可能会使得全球经济平均损失530亿美元,而这一数据甚至已超过 2012年导致美国113人死亡,联合国总部受损的飓风“桑迪”(飓风“桑迪”所带来的经济损失,总计300亿至500亿美元之间)。Lloyd’sof London向全球发出警告,网络攻击带来的经济损失堪比飓风或其它自然灾难!
网络威胁更加复杂
随着物联网的发展,以及人工智能技术的突破,让网络攻击形式与手段变得愈发多样。曾以为办公室系统或手机是最容易被攻击的,事实上很多连接到物联网上的设备都可能受到攻击。包括:智能家居、智能汽车、智能火车、地铁甚至一些电厂电站等,现在它们都变成最容易被攻击的目标。另外一方面,人工智能技术应用逐渐渗透到各个领域,黑产组织已实现高度还原自然人行为的技术突破,骗过传统风控体系,给政府以及企业带来致命打击。
然而讽刺的是,这位全球信息安全的领军人物,至今不用智能手机…..
前卡巴斯基代言人 周杰伦
“网络黑产”,另一个平行的互联网世界
没错,不经意间,这群人的确将地下产业链玩成了“产业”,而且市场规模更是达到了千亿级别……
源自《2017年度网络黑产威胁源研究报告》
黑产是黑色产业的简称,广义上包括贩毒、高利贷、私彩、网络诈骗等行业,狭义上是指利用互联网技术不正当获取利益的一个行业,现在提到黑产一般指狭义上的黑产。黑产一般都有交易链,通常在搜索引擎搜索不到、一般人也难以进入的暗网进行大规模交易,也会在私人网站或者交易论坛进行交易。
而作为黑产的重要地下交易变现的平台,其实暗网是深网(Deep Web)的一个子集,“暗网”一词最初由Dr.Jill Ellsworth于1994年提出。通常指只能用特殊软件、特殊授权、或对电脑做特殊设置才能连上的网络,其服务器地址和数据传输也通常是匿名、匿踪的。
根据美国Market Watch调查数据显示,目前全球范围内,存在三大黑网交易市场,分别为:Dream、Wall Street与PointMarketplace。
Dream市场
作为深网最古老的市场,Dream从2013年就屹立不倒,而这对于黑网来说,可以说是历史悠久了。诈骗和萧条通常会在一年内终结一家暗网市场,而Dream仍然存在,这证明其稳健强大。它接受比特币核心钱包,比特币现金和门罗币,拥有50,000个数字商品和63,000个药品目录。在“其他业务”类别中又包括:复古Air Jordan运动鞋、500欧元纸币、信用卡号码和变态色情订阅。还有一个“服务”部分,在这个部分你可以购买假身份证或针对Youtube上您特别讨厌的视频订购差评服务。只需0.8 BTC,你可以完全消失,然后以全新的身份出现。
Wall Street
充满恶意和双重交易的Wall Street是一个罪恶与阴谋汇集地。该网站声称拥有将近3000个供应商和400,000个客户,并接受BTC和XMR。相对于Dream而言,WallStreet的产品较少,但拥有更多的类别包括“安全与托管”,就在“欺诈”一栏边上。并非所有可以在深网上购买的东西都是非法的,比如,曾有媒体表示,在上面看到过有人卖代餐食品。
Point MarketplacePoint
前身为Tochka,是自2015年以来一直运行的俄罗斯DNM。它具有许多创新特性,包括秘密交收情报点,使供应商可以将产品留在某个位置,买家随后收集。该网站的正常运行时间比Wall Street和Dream的要少(三者分别为90%和97%和98%),并且在过去几天内一直处于离线状态。不过,Point的客户服务得到高度评价,并且该网站会储存你期望在深网上找到的所有常用物品。
而我们接触到更多的还是在暗网上售卖的各类互联网巨头的敏感信息,其中就包括Gmail、Facebook、Uber以及Grubhub等用户信息,售价分别为每份1美元、5.2美元、7美元、9美元……
而在上面交易的各方,因为暗网的特殊性,并不为人所知。这里面就包括巨头Facebook……
2015年从雅虎跳槽到Facebook的阿列克斯·斯塔莫斯(Alex Stamos)表示,曾经为核查用户有没有选择弱口令,公司从黑市购入黑客售卖的口令,与网站所用的加密口令进行交叉参照。
Facebook首席安全官AlexStamos
遗憾的是,3年后东窗事发,Facebook曝出信息泄露丑闻。多家英美媒体披露一家名为“剑桥分析公司”的数据分析企业,在未经授权的情况下,获取了美国社交媒体脸书多达5000万用户的个人信息,用于软件设计以预测并影响选民投票。而在这次数据泄露事件引发Facebook内部动荡中,首席安全官AlexStamos也宣布将于8月离职。
“网络黑产”,一个规模达千亿级的市场
作为全球互联网黑色产业的风向标,网络“黑产”在中国的发展史极具代表性:
2003年前后,互联网刚刚开始在大众中普及。QQ号被盗,几乎就是当时出现最多的网络安全事件。不过,这样的互联网安全事件当时大多以个体行为进行,其目的大多是窥探隐私等个人目的,或为了获取“靓号”给自己用,并未造成太大的社会危害;
2005年到2006年前后,一批以盈利为目的、小作坊式的批量盗号团伙开始出现,盗号开始成为违法分子获取非法收入的一个重要途径;
2016年之后,互联网金融、区块链等热门行业,均成为“黑产”从业者瞄准的对象。从虚拟账户、虚拟货币以及虚拟财产,转向人们的银行卡资产升级
而这个规模达千亿级的市场,更是表现出惊人的细分,其中主流的包括:薅羊毛、电信金融诈骗、养号刷单、木马病毒、网络私彩、知识盗版、搜索引擎“优化”、大流量DDoS攻击八大类。在这八大类下,又延伸细分出更多领域。
黑产图谱
一、木马病毒产业链:
这一产业链历史悠久,也是伴随着电脑病毒的社会化而逐渐成熟。
从最早的兴趣无意制造病毒开始,变成了:设计制造木马病毒、交易买入流量推广、传播扩散木马病毒、对中毒用户进行信息窃取、对信息及虚拟财产套现等多个链条环节,从而形成一种暴利行业。它之所以可以赢利的模式是:
1,最早的制造者开发并制作具有盗号、远程控制、自动传播等功能的木马病毒,并根据时事热点设计这类木马的传播方式、触发环境,并及时针对杀毒软件开发出免杀功能,及时更新并维护;
2,提供流量交易环节的人比较复杂,有网络行业的内鬼、有无良站长,也有黑客,他们会通过各种手段实施“挂马”为木马病毒提供传播与存在的平台及流量;
3,“包马人”是这一产业链的核心,他们对上购买木马病毒,对下采购网络流量,实施网络“挂马”之后,开始从中窃取收获各类有用信息并进行整理,主要是各种实名信息、隐私信息以及各类网络帐号以及帐号内的虚拟财产;
4,最后就是变现环节,实际上许多正规企业以及互联网品牌都有可能涉及这一块。他们会以“大数据分析”为由,采购各类来自于这里的个人隐私信息。也有更多的会是一些诈骗团队甚至犯罪团伙,采购了此类信息,然后进行各种诈骗活动或者是欺骗式营销;
变种与扩展:
这一黑色产业链中,也有从具体的木马病毒之外,通过人工网上钓鱼或者是设计的程序进行撞库尝试等手法,同样进行各类盗取帐号的行为,然后再进行整理、“洗号”等等手法,最后再出售变现;
最近由于苹果设备的流行,更有研究利用Apple ID的管理规则为被盗iPhone进行解锁服务的等等,都大致可以属于这一大类产业链中。
二、养号刷单产业链:
这一产业链包括:养号、刷单与利益变现这三个主要环节。
养号这一块有两个来源,一是通过网络招募人来参加,只是这类号的平台非常分散,质量参差不齐,而且也难以统一调度,越来越不被重视。
而眼下真正能够形成市场的是通过定制开发的程序甚至是专门设备,可以批量拥有大批的手机号、指定系统的帐号甚至是能拥有一定权限与层别的帐号。
然后以这些帐号按照指定规则去生成所需要的相关数据与指标,最后拿这一结果来兑换最终的收益;
虽说是流程相似,但是在具体的实施操作中,会根据刷单的目的分为数据刷量服务、奖励补贴盈利以及敲诈勒索等多种方向:
1,数据刷量服务:多服务于淘宝卖家、APP或自媒体号运营者以及眼下到处热门的投票评选活动的参加对象。他们或者想提升自已的排名、名次、形象,或者需要一定的对外展示数据。根据不同平台对于反刷量的技术限制,这类服务都会有对应的解决方案,其收费标准也不一样;
2,奖励补贴盈利:做这一类工作的也称羊毛党。主要是针对电商平台、商家促销、媒体自身有奖推广等活动,研究其规则漏洞或规律,以大量的养号、密集的操作以及快速的技术应对,从中赚取大量的奖品、兑换券、优惠券甚至是直接的返利金额,再将不同收益通过相关渠道进行变现;
3,敲诈勒索:最早的是电商平台上的职业差评师。它们会把手中的号养成非常具有说服力的用户帐号,然后再研究各个大型平台的管理规则,有针对性地利用这些平台的惩罚机制,大规模发起各种差评、投诉以及恶意评价行为,借此逼迫被差评对象支付相应的赔偿或费用,并从中盈利;
变种与扩展:
正规的刷单平台,当然只是赚取中间的差价,或者被他们包装成为管理费。但是在现实中,更会有许多平台最终会直接吞掉刷单带来的所有收益,甚至根本就是假装成刷单平台,利用大家对这一黑色产业链的基本认知,骗人加入,通过各种方法收费或拿到收入后直接跑路,实质沦为直接的诈骗行为;
此外,网络上也经常介绍的游戏装备低价代购、低价代充值等等黑产业链,利用的是苹果公司或其它平台公司的退款漏洞,这是属于这一条里的变种;还有一些代收验证码、代注册帐号等,也是这一类里羊毛党里的变种;
三、流量劫持产业链:
这是最具互联网特质的黑色产业链。
因为网络企业大多都离不开流量,无论哪个行业、哪个品牌,都需要各种访问量、展示量。依赖于广告营收的行业更是离不到高流量的支撑。
那么,除了常规的广告推广与各种引导之外。通过一些不光彩的技术手段,对正常网民上网的访问流量进行劫持、误导甚至是替换,就有了非常大的应用市场;
1,有直接在不同电信服务商内部的员工与技术人员,私自进行网络协议层面的恶意解析,在确保劫持概率在正常人不易发觉的前提下,将原本是访问A的流量故意解析劫持到B处去,再向B收取高额的流量推广费用;
2,有黑客或木马病毒的制造者,通过攻击用户家里的路由器或者某些小区、单位里的相关网络设备,从而掌握一大批能够被自己所控制的“肉机”设备,然后针对不同用户的需求,直接将这里所能拥有的一定流量进行劫持后出卖;
3,更有一些小品牌的路由器厂家,也有各类杂牌电脑、山寨手机,都会在它们的硬件设备内部,留有后门;又或者会在产品内加入一些软件层面的误导与诱导,从而可以根据市场上的业务需求,可以随时开关、启动流量的劫持功能;
在这一产业中,也会有一些灰色部分。
比如说某些打着安全监控名义的软件,某些打着网址导航旗号的产品,也有直接做浏览器、搜索引擎的软件方。
会以各种擦边球,诱导用户在指定情况下进入它们的页面。这本质仍然是一种劫持。然后再把劫持下来的流量变卖给出价的一方;
四、网络私彩产业链:
由于国内至今为止都未对网络彩票开放牌照申请,因此,凡是在网络上开展彩票业务的,均属于黑色产业。
简单来说,网络私彩其开彩的数据,无论是声称来源于国内的福彩体彩,还是说同步于国外的知名彩票网站,这些都不具备任何技术监控与公平保证。当然更多的就是开设私彩方自己所提供的盘口;
私彩最大的问题就在于,没有任何授权许可部门以及监管力量。
比如说,某些自称同步于国内体彩与福彩数据的站点。对方根本就没有真实出票,这被叫做“吃票”。
而万一有人中了不大的奖金,私彩站也就自己出了,这与购买费用来比,是小巫见大巫。而万一有人中了大奖金,私彩站也就直接卷钱跑路,大不了改头换脸再来;
稍微正规一点的私彩站,实际采取的是非法赌场的思路,它们看起来似乎更讲究信用,实际上却是“放长钱钓大鱼”,采取的是培养重度用户的策略,最早是分析并发现有价值的用户,然后通过小奖诱惑,让他们步步入局,但是在整个过程之中,所有的中奖率都是被它们完全控制的;
五、知识盗版产业链:
这一条黑色产业链的历史更为悠久,衍生发展的也非常之多。
主要包括有盗版影视网站、盗版书籍阅读、盗版论文检索服务、还有大家更熟悉的游戏私服(盗版游戏)。其主要参与环节包括源数据窃取(非法翻录、盗窃、复制、破解)、非法站点建立及维护、收费或流量变现。
这类站点从最早的互联网上遍地都有,到目前的躲躲藏藏,但其背后的利润率,却随着知识产权的水涨船高而变得越来越丰厚;
六、电信金融诈骗产业链
这一类大家更熟悉了,之前主要基于电话手机进行,之后随着QQ、微信的普及,开始在互联网上漫延。
主要由群发信息撒网、客服接听收线、钓鱼诱导或直接诈骗、钱款到帐后快速转移等多个环节密切配合。
这类产业链的手法不断更新换代,其核心就是利用人的贪念、色欲、胆小及人情弱点。有冒充公检法警、有冒充家人亲友、有冒充领导客户、有冒充名人大腕,虽然花样百出,但均属同一类型;
七、黑帽SEO
黑帽seo,手法不符合主流搜索引擎发行方针规定。黑帽SEO获利主要的特点就是短平快,为了短期内的利益而采用的作弊方法。
目前,白帽seo与黑帽seo没有一个精准的定义。笼统来说,所有使用作弊手段或一些可疑手段(如博客作弊、网页劫持、挂黑链、垃圾链接,隐藏网页、蜘蛛池页面引流等)的都可称为黑帽SEO。
八、大流量DDoS攻击
DDOS(Distributed Denial of Service),中文全称分布式拒绝服务,就是借助多台计算机作为平台来攻击服务器的一种方式的统称,DDOS攻击还包括 CC攻击、NTP攻击、SYN攻击、DNS攻击等。遭受DDOS攻击的网站会出现:网站无法访问、访问提示“server unavailable”、服务器CPU使用率100%、内存高占用率。
通俗一点,类似于电影里面经常出现的桥段,黑势力为了获取保护费,组织大量社会闲散人员恶意占座,导致个体商户无法正常经营。而这一手段,对受攻击企业来说,其危害可能是毁灭性的。也是目前最强大、最难防御的攻击之一。
专家意见:技术创新、人才培养和政府合作
针对上面一系列问题,目前安全圈还未有一个趋近完美的解决方案。Magiccc这里就搬运尤金·卡巴斯基的意见,因为觉得这个思路是当前看到最为靠谱的论断:
技术创新
新技术在信息安全领域的应用,这个是源动力。一些新的技术、新的创新,会逐渐应用在企业信息安全平台建设中。但是这需要时间,要很久才能够把信息安全技术整合在关键的技术上,可能未来的五六年后才会发酵。到那时,网络安全的黑暗时代,就像曲线一样会滑到谷底,必将会被终结(Magiccc始终觉得这是大佬们安慰客户爸爸的说法)
人才创新
如果说技术创新是信息安全领域突破的源动力,那么人才创新则是这一切的源动力。世界各国要花很长的时间才能让IT人员变成信息安全类的专家。大佬说的很对,目前信息安全这块的人才,可以说已关乎到一个企业未来能走多远。
政府合作
黑产背后都是一群人,针对这群人,仅凭企业、服务商以及政府中的一个,可以说很难应对。但是,如果三方合作,将获得意想不到的效果。目前,互联网巨头们已尝到甜头,加紧了与政府的合作与联系。
最后,还是想说,信息安全的攻与防将是一场持久战,我们均在其中,唯有重视安全建设,不断技术创新才有可能在黑产组织攻击之前做好防御,抵御潜在威胁。
*本文作者:GEETEST极验,转载自FreeBuf.COM
判断蜘蛛有没有来过自己的网站可以查看IIS日志代码。
或者联系空间商开通了蜘蛛访问记录也可以。如果你的空间商给你的空间支持查询蜘蛛访问记录的话。可以在ftp找到WebLog的文件夹,具体步骤如下:
1.打开FTP登陆软件(这里以FlashFxp为例),登陆你的空间FTP。登陆进FTP后,你会发现在根目录下有一个WebLog的文件夹
(注:不同的IDC空间生成的日志文件目录名称不一样,仅供参考.一般文件夹中包含Log字符的都是日志文件夹)
2.打开WebLog目录后,里面有一些以日期格式特征为文件名的.gz后缀结尾的文件.这些就是我们需要下载到本地的日志文件.
3.打开压缩文件,发现里面只有一个以.log结尾的日志文件,我们需要的就是这个文件了.
4.解压后,打开日志文件.Ctrl+F查找baidu.com/search
特征字符(这里以百度蜘蛛为例)
通过分析蜘蛛来访纪录,可以了解本站的大体情况,而不用再为百度不放出内页或者不收录的问题而苦恼了.
蜘蛛来访正常,可以确切的说,搜索引擎对你的站很友好的,坚持更新自己的网站,会有不错的收录的.注:有些共享IP空间可能不支持日志功能.对于独立ip虚拟主机则提供每天的日志下载.而实在没有可以日志功能的空间可以参考使用
蜘蛛爬行插件
的一些方法进行分析.希望看在我说了这么多的份上,给个采纳!!谢谢
这还是很简单的嘛,IIS日志可以查看的
百度蜘蛛,是百度搜索引擎的一个自动程序。它的作用是访问收集整理互联网上的网页、图片、视频等内容,然后分门别类建立索引数据库, 使用户能在百度搜索引擎中搜索到您网站的网页、图片、视频等内容。
1.打开FTP登陆软件(这里以FlashFxp为例),登陆你的空间FTP。登陆进FTP后,你会发现在根目录下有一个WebLog的文件夹
(注:不同的IDC空间生成的日志文件目录名称不一样,仅供参考.一般文件夹中包含Log字符的都是日志文件夹)
2.打开WebLog目录后,里面有一些以日期格式特征为文件名的.gz后缀结尾的文件.这些就是我们需要下载到本地的日志文件.
3.打开压缩文件,发现里面只有一个以.log结尾的日志文件,我们需要的就是这个文件了.
4.解压后,打开日志文件.Ctrl+F查找baidu.com/search
蜘蛛挂机吧,现在不能用了,有时间限制的
好用不好用,需看他企冷劳怀字审苏排防是否能够对网站收录提供帮助
原理蜘蛛池是一堆由域名组成的站群,在每个站点下都生成海量页面(抓一堆文本内容相互组合),页面模板与正常网页没多大区别
由于每个站点都有海量的页面,所以整个站群的蜘蛛总抓取量也是巨大的
给未收录的页面引兰察血翻蜘蛛,在网站开一个模板专门放需要收录的链接
这就是蜘蛛池实现促进网站收录的原理