又一个WordPress站点

快乐大本营张惠妹病 毒 引 擎 的 激 荡 30 年低调,隐秘,一直存在 反-飓风网络安全

病 毒 引 擎 的 激 荡 30 年低调,隐秘,一直存在 反-飓风网络安全

安全是一个基于已知行为来识别未知的经验学科,无论是本机还是网络,想要安全,就要付出资源被占用的代价,因此许多人选择了无知者无畏,个人用户在裸奔,企业用户则把安全当作IT建设的最末一环,安全是一个做不大又死不了的尴尬产业。
安全又从来没有像今天那么重要,5亿用户的安装量,360用了5年时间达到了传统安全厂商25年都没有达到的高度,安全几乎成了用户标配,也让从来都不重视安全的互联网企业开始将安全当作自己的属性。
360不但颠覆了整个安全行业,还把颠覆式创新当作企业发展的核心价值观,虽然互联网媒体颠覆了传统媒体、电商颠覆了线下商店、网络视频颠覆了传统电视,但是人们似乎只记住了360对安全的颠覆,因为它不但颠覆了传统安全,还颠覆了互联网公司的安全观888弹簧网,使从来不重视安全的互联网巨头都滋生了安全情怀。
互联网公司的安全情怀
互联网公司是天生看不上安全的。看不上是因为安全是一个投入大见效慢的行当,需要十年磨一剑的勇气和十年如一日的积累,才能将满腹武学变成杀人利器,这总比不上流量变现来得那么快那么直接,可以天天品尝一夜暴富的超快感董菲菲。
但安全又是粘性极强的事儿,用户对病毒的过分恐惧导致了对安全软件的过分依赖,安全一旦开始,就很难结束,在这种诱惑下,以腾迅百度阿里为首的互联网巨头开始染指安全行业。腾讯早在2004就建立了安全中心,但是经过五年的发展,也只产出了恶意URL人工举报这样一个边缘安全功能,没有反病毒没有引擎。之后的安全管家也只是通过内置德国小红伞引擎来解决病毒的识别问题,虽然老早就收购了知名反病毒专家刘杰的公司日月光华,但是直到2012年腾讯安全研究院才打算写自己的引擎,不过一年后研究院的院长到了百度。
百度借GOOGLE撤离中国之势一举成为国内搜索寡头,这种情况虽然多少有点运气的成分,但是没有客户端这一尴尬的事实始终让百度感觉搜索与用户之间有一层隔膜。于是多年前就开始组建安全团队,试图推出自己的客户端安全产品,但是一波三折,安全团队也是三撤三建,终于在吸收了腾讯研究院的研发主力后,在吸纳了瑞星的核心安全人员后对安全才变得坚定,开始研发自主反病毒引擎。
而阿里则是在电商一统天下之时,利用电商的超级红利顺势推出阿里云,而又利用阿里云的红利推出云盾,虽然没有在客户端上进行纠结,但是云安全之势已经成形。随着移动电商的进一步拓展,又推出了以移动安全+大数据模式的聚安全,阿里没有推出面对个人终端的安全软件,也没有推出传统的企业级安全产品,而是用这样几步安全棋,开始触碰企业安全市场。
反病毒引擎的光荣之路
现在谈起来,安全有了更多的内涵,有云防护、有APT、有IOT安全,而事实上,在早几年,反病毒几乎是安全的全部,反病毒引擎又是安全的核心竞争力。形象地说,反病毒引擎就是发动机,没有这个发动机极品判官,反病毒产品就只是一个空壳,无法正常运转。从技术角度讲,反病毒引擎就是一个文件识别系统,输入一个文件,引擎负责对这个文件进行判断,然后输出这个文件是否有害的结论。
反病毒引擎的历史悠久,经历了一个漫长的演化过程。世界上公认的第一个电脑病毒“大脑”于1986年产生,不过直到1989年,随着病毒样本的不断增多,才出现了反病毒引擎和反病毒产品。
病毒的发展产生了第一代反病毒引擎--检验法。检验法的目的是发现系统是否被病毒感染,它本身不具备病毒清除能力。早期的病毒主要是通过感染可执行文件来进行传播,病毒感染后,文件的大小和生成日期都会发生变化詹宇豪,检验法就是预先储存一些系统可执行文件的大小和产生日期的记录,然后对整个系统的所有可执行文件进行扫描,当发现文件的大小或日期被改动时,则就判断该系统已经中毒常海沧 ,然后就可以采用重新安装系统的方法来恢复被感染的系统。
虽然这种方法只能判断系统文件是否感染,并不实用,但还是引起了病毒编写者的高度重视,以后的病毒在感染文件时都会尽量保留文件的原始时间,以躲避该方法的追捕。
更重要的是,它滋生了真正的反病毒技术王者--特征码技术。它属于第二代反病毒引擎,是反病毒历史上最耀眼的明星,不但开了可以清除病毒的先河,也为以后反病毒技术的发展打了一个无比坚实的基础,时值今日,该技术仍然是反病毒软件的主要技术。
特征码技术抛弃了检验法的那种预先存储文件信息的方法,而是真正以病毒为对象,通过分析病毒的独有特征来鉴别病毒,把这些特征集合起来,就形成了今天所说的病毒库。特征码技术一开始是采用全文检索的方式,速度很慢,但是反来被反病毒大师“所罗门”进行了改进,创造出了“入口偏移量+特征码”的全新特征码技术,成为反病毒引擎的标准。
曾几何时,变形技术得到了发展,变形病毒纷纷出笼,从最初的几十种变形发展到上万种、甚至几十万种变形,1996年出现的“半条命”与“幽灵王”就是这一时期最具代表的病毒泰星ken。这类病毒有一个共同的特征,本身会带一个变形引擎,每感染一次,就会根据当时情况将自己变形一次罗凯珊,但是无论如何变形,变形引擎部分和一些关键的代码指令都不会变,正是根据病毒的这一特性,产生了第三代反病毒引擎--广谱特征码。
广谱特征码技术是江民公司首创,江民也正是靠着这个技术创造了昔日的辉煌。就象用通配符搜索文件一样,可以通过搜索*.mp3找出所有的MP3文件,也可以用LOVE*.*找出与LOVE相关的所有文件。广谱特征码正是这样一种技术,它将不变的部分做为固有特征,将变化的部分做为模糊特征对整个文件进行匹配,从而能有效地找出变形病毒。
在WINDOWS时代来临时,除了扩展的特征码扫描技术继续发展并成为WINDOWS平台的主流病毒扫描技术外,其它都不复存在了,这时一类以内存为传播途径、不感染文件的新型病毒如红色代码的爆发引起了安全界的深思,为了对抗这类病毒,产生了内存监控技术,然后由此为出发点,形成了今天的内存监控、文件监控、注册表监控、邮件监控、漏洞监控等完整而庞大的监控体系,也将反病毒提高到了一个新的门槛,先别说这几大监控的技术需要一一掌握,就算掌握了技术,要想让这些底层驱动运行稳定,没有几年的时间是不行的,这些门槛造就了反病毒领域的技术底蕴,任何踏入这个领域的企业都必须补课。
未知反病毒引擎的黑暗探索
传统特征码技术虽然准确率高,但是需要经过病毒截获、分析、入库三步曲,因此病毒的查杀总会落后病毒的产生,为了解决这一问题,产生了第四代反病毒引擎--启发式扫描。该技术不是通过病毒指纹特征而是通过病毒破坏动作进行判断,它将典型的破坏代码当作一种特征串记录下来,形成启发库,然后按照危险等级附以不同的权值,当一个文件的权值很大时就会被判定为病毒。该技术由卡巴斯基首创,而国内由金山公司继承,虽然通过搜索破坏动作代码然后再进行加权的办法略嫌机械,却是探索未知反病毒领域的一次有效尝试。
与此同时,当时是国内反病毒老大的瑞星则走了另外一条路求退人间界,创造了第五代反病毒引擎-行为查杀。该技术借鉴了虚拟机的思想,用代码在内存中构建出一个模拟CPU,就象黑客帝国里的MATRIX一样,所有的程序都可以在这个虚拟CPU中执行,然后由行为判断引擎控制,边执行边分析程序的行为,当发现该程序有破坏动作时,就对该程序进行相应的处理,而这一点又有些象“少数派报告”里的警察,先让嫌疑人在未来发生犯罪行为,再以此为证据来拘捕现在的嫌疑人,有效避免了犯罪的发生。
瑞星靠着独创的未知行为查杀引擎和当时最全的监控体系以及对宏病毒的首杀,成了当时最赚钱的安全公司,那时江民已经风光不在,而金山还在WPS的泥沼中艰难前行。就象十月革命的一声炮响送来了马克思主义一样,一个偶然事件的发生,彻底改变了安全市场的格局,这个事件就是云计算。
云引擎裂变与样本王道
在云计算爆火之前,反病毒领域面临着一次小小的危机,就是2008年前后木马病毒的泛滥。随着金山追剿灰鸽子进入高潮邹国俊 ,黑色产业链开始浮出水面,正是这些产业链的流行,导致了木马病毒数量暴涨,彻底颠覆了传统厂商“收集-分析-升级”的经典三段式样本分析体系。
云计算的出现让反病毒公司眼前一亮,趋势提前嗅到了价值,全球首家推出了云安全体系,而瑞星跟风,则成为国内第一家云安全体系的缔造者,这两家的云安全思想类似,都是将可疑样本送到云端样本分析集群里进行自动分析,然后将分析的结果形成特征库再下放到客户端,形成一个互联网病毒样本自动处理中心。不同的是,趋势是靠2千台服务器组成的爬虫矩阵来收集样本,而瑞星则用了卡卡客户端的8000万用户。
互联网公司的春天来了,姬云飞就象特斯拉电动汽车一夜之间颠覆了整个传统汽车行业一样,其实它颠覆的不是传统汽车行业的饭碗,而是几十年的技术壁垒。云安全体系彻底让互联网企业有了颠覆传统安全企业的可能,而把这个可能变成事实的企业是360。
360在还没有自己的反病毒引擎的时候,是依靠安全卫士创造的泛安全概念来征服用户的,别人不爱做的补丁管理、系统优化、加速和修复,再加上一对一安全专家服务,360包揽了在安全厂商眼里完全没有技术含量的活,没有迎得掌声却赢得了用户。
当时在安全卫士里有一个其实并不能算是引擎的木马查杀引擎,它就是将文件的哈希值当做文件的特征码来进行病毒的识别,在云安全之前,这是一种最落后的技术,在云安全之后却成了最先进的技术。
原因在于用文件的哈希值魔运苍茫,最大的问题就是每个样本都要产生一个特征码,这样会瞬间让库变大,而且文件只要改动一个字节,就要重新计算哈希特征。传统的特征码技术则是基于样本的人工分析,通过有经验的病毒分析师提取一段经典的指纹特征,不管病毒如何变种,这段特征基本不变,经验丰富的病毒分析师提取的一条特征可以灭掉上百万的样本,这种差距量出了普通程序员到大师的距离,也让反病毒变成了一个阳春白雪的行业。
自08年之后,病毒爆发式增长,全球样本首次突破千万,增长速度更是达到每年千万的量级,人工完全分析已然不可能,这时候人们把目光转向了最落后的哈希技术,这种天然呆的技术却有着天然的优势,就是哈希值的产生不依赖于文件结构,通过机器就能自动提取特征。样本的分析问题解决了,但是本地库的问题怎么办,不加控制,用户的内存很快就会被这种方式的特征库占满,这时360发挥了颠覆式创新的本能,发明了第六代反病毒引擎--云查杀。
引擎的原理非常简单,就是将所有通过云安全自动分析体系产生的特征库不下发到本地,而是放在云端,当本地引擎发现不认识的样本时,就直接把样本的哈希值传到云端利用云上的大库做鉴定天和追风膏,很快云引擎就成了行业标准,拥有云引擎的企业开始拼样本的采集速度,虽然瑞星、金山都有云安全体系,但是有钱有客户的360很快就占了上风大内神捕,快乐大本营张惠妹坐上了世界第一大云安全体系的交椅,此时的江民已经完全错失了建云安全体系的时机,腾讯则刚开始通过安全管家铺它的样本采集渠道,而百度还没有开始。
智能引擎之路
360从安全的清洁工做起,到首创了云查杀引擎,这只能说明它是一个好学的学生,但是反病毒不仅需要积累和沉淀,还需要一定的天分启遨t1,启明星辰、天融信这些厂商在很早之前就对反病毒技术垂涎三尺,但是经过几年的挣扎,终于放弃了研发自主反病毒引擎的梦想,通过引擎合作的方式来解决自己的反病毒能力。
而360对安全的执着超出了所有人的预期,通过几年的积累,不但补上了之前缺失的功课,还独创了一个真正属于他自己的引擎,并且靠着这个引擎在反病毒业界占据了重要的位置朱无视。2010年11月,360向业界公布了第七代反病毒引擎—人工智能引擎QVM(Qihoo Support Vector Machine),它是在Vapnik著作的机器学习经典《StatisticalLearning Theory》中的理论基础上进行了创新,首次将机器学习的理论用于未知病毒识别。
它的技术原理是先通过对病毒样本的分析和分类形成样本向量和向量机,然后建立一个机器学习的决策机模型近视回归镜,利用决策树和向量机,对大量样本进行学习,从而识别恶意程序。官方声明中说,随着学习样本数量的增加,不用分析文件和添加特征,就能对样本的识别率达到95%以上。
按理说这是一个非常好的解决方案,但是识别率与误报率天生就是一对孪生兄弟,QVM在带来高识别率的情况下也带来了极高的误报率,在重要的场合,识别出来的样本不敢轻易处理,于是360又创造性地使用了白名单技术来解决病毒的误报问题,QVM识别出来的黑样本再用白名单过滤一下,如果不存在于白名单之中,则极有可能是真正的病毒,就可以进行相应的处理。
说到白名单,这里要加一个插曲,白名单最早也是被抛弃的技术,因为那时恶意样本的数量很小,而正常样本的数量极大,用白名单做判定有着更大的风险,自从赛门铁克报出误杀操作系统文件的误杀门事件后,开始尝试引入操作系统白名单机制,以防止类似的惨剧发生。而360则把白名单放到了云端,结果做成了全球最大的白名单库。
反病毒引擎的流派之争
跳出反病毒引擎纵向发展的轨迹,从横向看,反病毒引擎可以分为两大技术流派:效率派和效力派。效率派简单说就是活糙手快,对病毒样本不做更多的人工分析,纯粹靠机器分析和处理,象熊猫、赛门铁克的引擎就是这样的流派。
效力派就是用精湛的反病毒技术辅以人工分析,用尽量少的特征来匹配更多样本,卡巴斯基、江民则属于这种流派,其中卡巴斯基则更是做到了极致,它十年前的引擎仍然能驱动今天的病毒库,针对病毒的加壳行为,则在引擎里实现了2000多个脱壳模块,引擎的架构能力和技术攻关能力令人惊艳。
在这两大流派中间,还有一个综合派,它们是多引擎的倡导者,一边用效率引擎加着样本,一边通过人工分析使效力引擎越来越强,特征记录尽量减少。微软和360都是这样的流派。
说到多引擎,不得不提金山,因为他是多引擎的首创者,他开始没有自己的引擎,通过OEM DR.WEB引擎的方式做出了金山毒霸第一版,一年后开始研发自主的引擎蓝芯,但是由于自主引擎能力较弱,因此采用双引擎的方式进行互补,还因此同瑞星爆发了引擎的单双大战,虽然最终以瑞星的单引擎言论占了上风,但是多引擎的传统却保留了下来,腾讯、百度、360,这些安全领域的后进者,无一不是依靠多引擎的方式迈出了安全的第一步。
本来金山做出自主反病毒引擎蓝芯的目的是用来替代DR.WEB引擎,但是没想到这种替换竟然用了五年之久,直到蓝芯V5,整个引擎才基本可用,其实安全的积淀不在于门槛的高低,而是必须承受十年磨一剑的孤独。
去年,腾讯和百度不约而同推出了自主反病毒引擎TAV和雪狼,迈出了可喜的一步南京黑老大,它标志着国产安全厂商开始全面进入自主引擎时代,对于安全厂商而言,自主反病毒引擎仅仅是迈进了专业反病毒厂商的门,要想真正成为专业的安全厂商,还需要经历更多时间和更多用户的考验。总而言之,竞争越多,带给用户的安全就会越多。
反病毒引擎的未来
如果说现在还有新的引擎的话,那应该算是第八代殷商玄鸟纪,当大数据时代来临时,基于大数据的威胁情报思想已经成形,早在2013年,Gartner就定义了威胁情报的概念,而今天则滋生了很多基于威胁情报的安全创业团队。
ALPHA GO的成功,让大家看到了深度机器学习的威力和价值,深度机器学习不仅应用在博弈上,在人脸识别、路况识别中也有着良好表现,因此基于深度机器学习的自动驾驶和辅助驾驶技术开始逐渐商用化。
目前在病毒识别上魏晓南,基于大数据思想和机器深度学习的思想已经形成业内共识,无论是反病毒和攻击,基于样本学习的思想开始显得过时。互联网不但是工具,更是计算核心,基于互联网的强大计算能力和收集能力,可以将外围的大数据转化成威胁情报,可以利用互联网计算能力做深度机器学习,可以将威胁识别提升到一个前所未有的级别,这是安全的好事,不过就实际来说,这样的引擎还没有出现。
安全界有一个说法,叫“魔道之争30年”,意思是说安全是随威胁变化而螺旋上升的学习型产业,因此安全也是一个苦逼的行业。互联网是带给安全的一个巨大红利,安全的价值被认可,也被不断放大,这样可以让安全走得更远,更有尊严朱英辉 。
后记
根据叙事的方便,把引擎细分了很多代,其实从本质上来看,引擎可以分成特征码引擎、云引擎和大数据引擎三代。
文章转载自:http://sec.chinabyte.com/288/13806788.shtml
关键词: