360安全大脑九年简史
9月17日,2018国家网络安全宣传周安全博览会在成都正式拉开帷幕,360集团技术总裁、首席安全官谭晓生应邀出席并发表了演讲,他认为当下网络安全已进入“大安全”时代,需要以“360安全大脑”构建大安全时代的整体防御策略体系,并且还为到访嘉宾及记者科普了安全大脑的发展历程。
服务器设备不稳定、卡顿、服务响应延迟,CPU利用率一度高达700%……2018年初,国内某企事业单位机器出现了这匪夷所思的一幕。一个长期运营着的僵尸网络DDG逐渐浮出水面。
恶意代码大规模扫描互联网上的数据库服务器,大量感染僵尸程序,用所控制设备的算力进行挖矿,其目标则是挖取行情走俏的数字货币——门罗币。
彼时,DDG迅速实现了财富积累。能够确认该僵尸网络挖取的门罗币超过3395枚,折合人民币近600万。更夸张的是,DDG巅峰时,劫持了互联世界全网百分之几的流量。
螳螂捕蝉,黄雀在后。一个自认为刷爆全网流量,闷声发大财的黑客组织,却早就被安全公司盯上了,这只黄雀就是360公司的主动防御系统。
主动防御系统可以简单理解为PC用户常见的360安全卫士内置模块,它在用户的电脑里运行,判断机器有没有遇到攻击。
当主动防御系统检测到有异常时,会将问题上报,后台会结合域名解析信息,进行攻击情况判断,并根据终端数量、恶意脚本投放渠道、网站访问纪录等定位攻击者。
最终,360主动防御系统揪出了幕后黑手,这是一家利欲熏心的广告公司,它除了赚取广告费,还想趁区块链大热,发一笔横财。
2009年 安全大脑雏形
从第一次工业革命以来,让机器帮人做点什么一直是人们的朴素梦想。在经历了起步、反思、发展、低迷之后,2009年机器学习开始真正走入大众视野。
在此期间,深蓝战胜了国际象棋冠军,IBM提出智慧地球,我国提出了“感知中国”,中国物联网与互联网的融合开始起步。在互联网浪潮的推动下,人工智能开始了大面积创新与应用。
也就在这一年,360公司开始尝试用机器学习做杀毒。
360公司一直在尝试能不能依靠算法来监测过去要依靠安全特征才能检测到的安全攻击。网络流量中的攻击和正常访问肯定是有差别的,归结到最后也是分类的问题。机器学习算法其实就是解决分类的问题,这个东西分到哪一类,是0,还是1,所以杀毒引擎说到最后也是分类问题。
在没有数据量的时候,还不知道判断规则。人已经做出一些分类,机器学习之后还可以训练出一些规则,用这个规则再去分类就会有一定的准确度。
杀毒引擎上使用的QVM就是实现可执行文件的分类。2010年上线的QVM引擎是360自主研发,世界首个采用人工智能/机器学习技术的反病毒引擎,也是人工智能/机器学习在计算机安全领域首次大规模商用。
2013年 安全大脑发展
基于可执行文件的分类,能否拓展到基于网络流量和日志的分类?正常的流量和工具流量能不能分开?2013年初,360开始试图解决这个问题。
那时,深度学习也已经比较流行,360开始将机器学习和深度学习都用来做这类分类的尝试。在这个过程中,遇到了一些技术问题:分类确实是分出来了,一堆黑豆子、一堆白豆子,但是被分出来的黑豆子里面还混了很多白豆子,这样一来,就容易“错杀无辜”。
问题持续了四年多,直到去年年底把这个问题解决掉了:刚开始在一大堆里挑,有些方法论是不管用的,白的一大半都挑出去了,剩下的黑豆子里面混了一点白的;这个时候就找到了另外一种方法,把白豆子挑掉,剩下全是黑豆子。
这可以看作是360在算法上的进步,过去机器不能自动干的事情现在可以主动干了。让机器多干活,减少人工的消耗,这是机器进步程度可以做到的。
但是,网络安全现在的特性还是离不开人的经验积累,机器智能只是起辅助作用,最终还是要人去了解攻防知识。网络攻击是怎么回事、防御究竟要怎么防,这些都要人机相互配合才能完成。
360安全大脑中当然就包括了“人的经验”这部分,不是纯粹做出一套计算机系统去识别网络攻击,而是一套人机交互系统,由机器提高人的工作效率,帮人去做筛选,最终还是通过人的知识输入,让系统学习,让机器做得更好。
2014年 安全大脑极速发展
360现在的系统每天在监测互联网上新出现的域名。正常网站是慢慢推广的,它的曲线是逐渐上升。如果是干坏事的域名,经常是出现以后就是直线上升,被发现以后就会下降。从传播模型上看,二者是不一样的。
而域名也都是有规律的。360可以做到根据域名解析,收集到有什么样的域名被人解析过,只要解析过一次,就能抓到。抓到了之后就会计算这个域名是最有可能用来干什么的。也许该域名还没有真正启用,仅仅是做完以后准备要用。360可以分析出某个域名可能是勒索软件的家族最喜欢用的域名,它一出现便就可以立即抓到。这就是用人工智能算法做的“聚类”。
根据多次的攻防战经验,360还总结出了一套“云+端+边界”的防御思路。利用360云计算技术的优势研发了一套基于大数据的全流量侦听,未知威胁捕捉设备,结合终端管理系统和软硬件设备准入策略,可有效预防APT,并且可以在终端一旦被人搞定后迅速捕捉未知威胁,事实证明这种思路和这套系统对防APT是十分有效的。
360累计监测到38个国际APT组织,是中国发布APT报告最多的厂商。特别在捕获利用0-day漏洞的高级威胁攻击上,360积累了丰富经验,填补了国内APT研究及0-day漏洞在野攻击应急响应方面的空白。不仅如此,还实现APT攻击的溯源分析,是中国发布APT攻击报告最多的安全厂商,在全球的安全厂商中发现APT攻击的能力位于前列,已与10余个国家的安全研究机构建立了长期合作关系。
作为中国最大的互联网安全公司,360的安全产品部署在数十亿终端和WEB源上,拥有庞大黑白名单和恶意威胁特征代码等大数据。这些云端大数据,为360安全产品及时快速辨别恶意代码和行为提供了有效支撑,大大增强甄别未知攻击和恶意代码的准确率。
2017年 安全大脑成熟
2014年年初的时候360开始监测域名,通过域名的异常发现情报。这两年时间,360通过不断地研究,终于取得了另一项重要成果——成功解决误报率,10万台服务器,每天有若干亿次访问,告警可以控制在十几次,准确率达到了前所未有的高度。
这一成果在2016年轰动美国的Mirai僵尸网络事件上,体现的尤为明显。Mirai事件最初要追溯到2016年8月初,距离大选还剩约100天的美国,竞选活动正如火如荼地进行,最新民调显示两党支持率旗鼓相当,虽然两位总统时不时被黑客曝出一些黑料,但谁也想不到,一场大规模的网络攻击正在酝酿中。
几乎是同一时间,8月1日的北京,360网络安全研究院的蜜罐系统首次监测到一个僵尸网络活动的苗头;一个月后的9月6日,360感知到了这个新发现的僵尸网络正在快速蔓延,360持续跟踪、分析了这个僵尸网络的攻击特征并于10月16日发布了研究报告紧急向安全社区发布预警,而这就是臭名昭著的Mirai僵尸网络第一次出现在中国大众的视野中。
360依托强大的安全大数据资源,率先发现并持续追踪溯源了这个由摄像头等智能设备组成的僵尸网络。360 全球唯一发现Mirai僵尸网络的主控漏洞,从而能够控制主控, 并与全球最大的 ISP之一做了实际攻击能力测试, 结果表明8万个僵尸就能发起超过500 Gbps 的DDoS 攻击,89万个僵尸能产生的攻击流量足以打垮全球任何一个电信运营商,如果这些僵尸网络发起总攻将导致整个互联网骨干网络瘫痪。
2017年 安全大脑的提出
安全大脑是一个分布式智能系统,综合利用ABCI(大数据、人工智能、云计算、IoT智能感知、区块链)等新技术,保护国家、国防、关键基础设施、社会及个人的网络安全。
安全大脑采集一切与安全有关的数据,用人工智能的方法进行分析和计算,来实时感知网络安全运行状况和安全态势,预测可能要发生的攻击,监测和发现正在发生的攻击,发现攻击后就自动响应,协同分布在网络中的网络安全设备和软件对攻击进行处置,支撑应急指挥。因此,可以说“安全大脑”是智能经济时代的网络安全中枢。未来,360安全大脑还将为各个企业、厂商赋能,共同构建大安全时代真正的网络安全防护网。