探秘安全 | 如何利用AI提升未知威胁检测能力 科汇科技- 四川 深信服 SANGFOR 官方授权分销代理商
据MarketsandMarkets人工智能网络安全预测报告,到2026年,AI赋能的网络安全市场规模预计将从2019年的88亿美元增长到382亿美元,年复合增长率高达23.3%。
市场增长的主要驱动力源于当前日益复杂的网络安全形势,网络犯罪和黑客攻击的规模和频率不断增加,且黑客不断试水新技术来进行攻击,未知威胁频发。安全团队对于未知威胁的抵御越来越捉襟见肘,行业开始寻求更先进的解决方案来抵御未知威胁。深信服认为,为达成上述效果,在未知威胁检测方面,AI技术具有不可替代的优势。
为什么利用AI能够检测未知威胁?
泛化能力越强,检测未知威胁的能力就越强, 检出率就越高。
随着新型病毒的大量出现以及网络攻击的愈加频繁,现在业界普遍使用的基于规则或特征码的检测方案的有效性正在变得越来越低。一方面,黑白名单和传统特征规则只能处理已知的恶意软件,而对于未知攻击,这类检测方案的效用通常很低。另一方面,攻击者的技术升级,新型恶意软件越来越多,安全专家通过人工分析恶意样本以提取新规则或特征码的难度大大增加。
而基于人工智能的恶意文件查杀引擎优于传统基于特征码的查杀引擎,原因在于机器学习、神经网络等AI技术具有泛化能力,通过使用已知样本进行训练就可以在未知样本集达到很好的效果,因此可以发现新型的恶意文件。
以黑样本为例,在攻击手段迭代更新的过程中,黑客并不总是另起炉灶来重新制作攻击向量。他们常常是通过对现有攻击手段进行优化、整合和更新,进而实施下一次攻击。因此,未知威胁和已知威胁通常具有某种意义上的相似性。而AI检测算法就是期望通过对已知数据的学习,提取其中的固定模式,最终达到检测相似未知的目的。相似的,白样本的演进流程中同样存在这样的比变量,比如开发代码复用等。综上所述,安全检测场景中的泛化能力其本质是检测算法是否能够提取潜在的固定模式,进而在相似样本集上输出一致的检测结果。
那么,如何评估检测算法的泛化能力呢?
基于前面对泛化能力的分析,深信服安全专家给出了检测算法泛化能力的一个评估方法:检测算法的泛化能力等同其对相似样本检测结果的一致性。
简单来说,可以通过以下两步来衡量一个检测算法的泛化能力:
1. 定义样本相似性,用来描述你的泛化需求。比如指定相差10条指令的恶意文件为相似文件,那么你所关注的就是在已知样本和未知样本拥有10条指令差异下的泛化检测能力。
2. 统计检测算法在这些相似样本上的结果一致性。一致性是表示检测算法输出的统一程度,具有强泛化能力的检测算法应当在相似样本上输出相同的检测结果。因此,一致性越高,则说明算法的泛化能力越强;反之,泛化能力越弱。
泛化能力的量化评估公式具体如下:
1. 随机选取N个样本集,每个集合内的样本相互间具有相似性,标记为S1,S2,...,SN。
2. 对每一个集合Si, 评估检测算法的结果一致性。假设Si 有M 个样本,将算法的检测结果序列记为o1,o2,...,oM,计算o1,o2,...,oM表征的熵,记为ei。假设此检测任务的理论最大熵值为E,则可以使用E-ei表征算法对Si的结果一致性。
3. C= E- (e1 + e2 + ... + eN)/N 则表征了算法在整个样本集上的平均一致性, 即泛化能力。
业界引擎的泛化能力分布
目前很多安全产品中都集成了恶意文件检测能力,在Virustotal平台上就有70多家的恶意文件检测引擎。从公开信息上看,不少检测引擎都标称采用了机器学习算法。那么现在业界检测引擎的泛化能力到底如何,AI检测引擎之间是否有差异?
我们构建了包含15万黑样本的共7256个相似样本集。这些样本覆盖了2019.1.1~2020.5.20期间的线上热门样本。此外,通过VT平台获取70+业界引擎对相似样本集的检测结果(手动触发重分析,确保为引擎最新结果),以公平比较他们的泛化能力。如下图所示。图中的每一个点对应VT上一种检测引擎,其中蓝色的点表示深信服SAVE引擎的AI模型在不同配置下的效果;黄色实心点表示可从公开信息确认的业界机器学习引擎;灰色的点表示技术路线未知的其他引擎。
业界引擎的泛化能力分布
- 从图中可以观测到,检测率的整体趋势是随着泛化能力增强而增强。将业界所有引擎综合起来看,随着泛化能力数值变大,检出率的变化范围越来越窄,并最终收敛到100%。
- 大部分业界已知AI引擎均较其他未知引擎有更强的泛化能力,而未知引擎的泛化能力普遍较弱。但部分技术未知引擎也体现出了很强的泛化能力,可能也使用了AI技术来支撑检测。
- 相较于其他所有引擎,深信服安全智能检测引擎SAVE AI 模型几乎总是能在相同检出率下,达到最强的泛化能力。需要注意的是,此AI模型训练于去年10月份,相似样本集中约有一半样本属于AI模型的未知样本。
如何构建泛化能力
以深信服SAVE安全智能检测引擎为例,SAVE在设计过程中,从样本质量、特征设计、算法组合、以及模型训练方法等多个维度来思考AI的泛化能力构建方法。
提升泛化能力的前提是理解泛化的本质。因此深信服构建了多个内部系统来支撑算法团队对样本演变过程理解和使用,比如NLP标签系统和Origin相似代码搜索系统:
数据标签的质量决定了最终AI模型的能力上限。我们利用NLP技术将样本来自多个源头的文本标签信息进行整合(黑白标签,家族标签等),用以提升数据标签精度以及信息含量。通过NLP系统处理过的标签,可以更好的掌握样本间的家族关系。
为了从更深层次理解样本代码的关联关系,我们基于大数据平台构建了Origin 系统。通过Origin,可以从海量样本中进行快速的相似代码匹配,定位样本代码片段的来源、属性、以及演变过程。更可以对线上样本进行快速的聚类分析,加快对问题的闭环速度。
随着对泛化能力本质的理解深入,SAVE AI算法也在持续演进。前述分析系统获得的准确标签和关联关系,支撑安全专家不断挖掘更优质的判别输入,选择更有效的高维特征提取方法,细化模型的检测的功能,以及提升模型的精度。与此同时,为了保证AI模型的泛化能力持续保持在较高水准,深信服对端到端的训练流程进行了分布式重构。通过分布式集群,可以在数千万量级的样本集上,以天为单位进行模型更新迭代,确保线上模型效果的稳定性。
恶意软件的检测流程往往是将AI检测算法和传统检测算法结合使用,大致有两种思路来进行整合:第一种是以传统检测技术为主,同时以AI为辅来提升未知检测能力;第二种是以AI能力为主,尽可能释放AI模型的泛化能力,同时利用其他手段来提升鉴白能力。
从前面的实验结果看,业界大部分基于AI的文件检测引擎的确较其他类型引擎有明显的泛化能力提升。为提升对未知威胁的检测能力,适应病毒瞬息万变的发展态势,厂商应尽可能释放AI模型的泛化能力。
IT解决方案:
移动办公安全解决方案 移动应用安全解决方案
在线业务优化解决方案 在线业务安全解决方案
企业数据安全解决方案
分支组网优化解决方案
业务容灾备份解决方案
互联网安全管控解决方案
新型智慧城市解决方案
政务数据中心建设方案 政务专网建设解决方案
互联网安全优化方案 政务移动安全接入方案
业务全网等级保护三级整改建设案例 业务内网等级保护三级整改建设案例
电子政务专网应用加速及传输优化解决方案
政府信息中心上网行为管理解决方案
企业办公无线解决方案 电子商务网站优化解决方案
企业办公桌面云解决方案 数字校园解决方案
桌面云解决方案 数字图书馆解决方案
业务与支撑系统安全 随势而变的ICT
云资源池安全与优化 广电网络解决方案
网络安全等级保护(等保2.0)解决方案
等保一体机解决方案 云安全解决方案
产品应用场景:
终端安全建设 办公网安全建设 数据中心安全建设
移动安全建设 构建网端云敏捷安全架构
关键业务上云 涉密虚拟化建设 私有云建设
分支云建设 容器云建设 托管专属云建设 同架构混合云建设
数据中心容灾备份 云数据中心建设 改善网络访问体验
服务器负载均衡 双活数据中心 IPv6改造
替换传统PC终端 云数据中心统一存储 海量非结构化数据存储
多分支组网 全球访问加速
企业级数据中心新建/改造
业务系统新建/改造
关键应用上云 容灾备份云
开发测试云 容器云
IT价值:
运维 稳定 安全
安全品类:
边界安全 云安全 终端安全 威胁检测
身份与访问安全 安全审计与运营
云产品HCI超融合一体机:
配置管理
资源监控
分布式防火墙
异构虚拟化管理
CDP及数据备份
集成docker
集成aSEC
产品方向:
安全类
云镜YJ 下一代防火墙NGAF 上网行为管理AC SSL VPN 终端检测响应EDR 合规类产品 EMM 安全感知平台 XSEC WEB应用防火墙WAF 云眼/云盾 /云图 上网安全服务平台ISSP 等级保护 安全服务
云计算类
超融合 HCI 超融合云管平台aCMP 监控中心aMC 涉密虚拟化sCloud
基础架构类
桌面云aDesk 应用交付AD SDWAN-WOC SDWAN-MIG 集中管理平台SC&BBC SDWAN-aBOS SD-WAN 企业级分布式存储EDS SDW-R
云产品核心优势:
架构更简单
扩容更便捷
应用部署更简单
数据更可靠
稳定高效承载关键业务
多维度的安全防护能力
更高效的安全策略管理
可视化极简运维
产品:国行原装正品, 深信服科技官网
深信服官网:sangfor.com , 深信服科技官网
产品分类:
企业级安全
边界安全 下一代防火墙AF
云安全 信服云盾 信服云眼
重构入云业务安全边界 威胁检测 安全感知平台SIP
安全解决方案
网络安全等级保护(等保2.0)解决方案 云安全解决方案
网端云敏捷安全架构
终端安全
终端检测响应平台EDR 企业移动管理EMM
身份与访问安全
上网行为管理AC SSL VPN 硬件VPN EasyConnect
行为感知系统BA
安全审计与运营
数据库安全审计DAS
云计算
企业级云aCloud 超融合aCloud
新型智慧城市解决方案 服务器虚拟化
云管平台aCMP 大数据智能平台
超融合软件 超融合一体机
基础架构
桌面云aDesk 应用交付AD
软件定义统一存储系统EDS
一体化网关MIG 广域网优化WOC 安全SD-WAN2.0
深信服总代理(深信服经销商/深信服代理商):
四川深信服:德阳深信服 绵阳深信服,攀枝花深信服,西昌深信服,雅安深信服,内江深信服,资阳深信服,南充深信服,眉山深信服,乐山深信服,自贡深信服 泸州深信服 广元深信服 遂宁深信服 宜宾深信服 广安深信服 达州深信服 雅安深信服 巴中深信服 资阳深信服 攀枝花深信服 凉山彝族自治州深信服 甘孜藏族自治州深信服 阿坝藏族羌族自治州深信服
企业级无线方案适用机型:
无线AC控制器
千兆无线控制器NAC-6100
千兆无线控制器NAC-6200
千兆无线控制器NAC-6300
千兆无线控制器NAC-6380
千兆无线控制器NAC-6600
万兆无线控制器NAC-7100
万兆无线控制器NAC-7200
万兆无线控制器NAC-7300
万兆无线控制器NAC-7600
小型无线控制器HG-2005-P
软件控制器SAC-1000
室内无线AP
11n型SMB无线接入点NAP-1500
11ac型无线接入点NAP-1600
11ac wave2型无线接入点NAP-1700
11n型SMB无线接入点NAP-2400-S
11ac wave2双频无线NAP-3600(MU)
11ac wave2双频无线接入点NAP-3700
11ax 高性能无线接入点NAP-3720-X
11ac蓝牙无线接入点NAP-4650
11ac wave2智能天线无线NAP-5600
11ax 高性能无线接入点NAP-5820-X
11ac wave2智能天线无线接入点SDU-1800
室外无线AP
11ac无线接入点NAP-8000
11ac无线接入点NAP-8000(L)内置天线
11ac无线接入点NAP-8000(L)外置天线
11ac wave2无线接入点NAP-8100
11ac wave2无线NAP-8100(L)内置天线
11ac wave2无线NAP-8100(L)外置天线
11ax 高性能无线接入点NAP-8220-X
面板无线AP
802.11n面板NAP-2800-P
802.11ac面板NAP-3500-P
802.11ac wave2面板NAP-3560-P
802.11ac wave2面板NAP-3600-P(MU)
特殊无线AP
NAP-1720-LTE室内wave2无线接入点
室外4G全网通无线接入点NAP-8100(L)-LTE
NAP-4100V全网通移动车载无线AP
NAP-3620电子书包场景专用无线AP
NAP-3620(R3)高密环境专用三频无线AP
NAP-3680医疗场景零漫游无线AP
11ac wave2高密定向无线NAP-3700(D)
NAP-8100工业级防爆无线AP
无线网络相关配件:
网口防雷器
天馈防雷器
室内专用美化天线
室外专用定向天线
室外专用全向天线
超远距离中继天线
四川 成都 深信服 代理:
深信服成都渠道代理商有哪些;深信服渠道代理商有哪些;深信服nat代理上网;深信服代理商资质查询;深信服总代怎么样;深信服的渠道有哪些;深信服金牌代理;深信服成都金牌经销商;深信服四川金牌经销商;深信服金牌代理商;深信服金牌 成都深信服科技有限公司
深信服科技成都分公司 深信服成都区主管是谁 深信服成都
深信服成都办事处 深信服成都网络安全
深信服成都代理商有哪些 深信服成都防火墙
四川SANGFOR:德阳SANGFOR 绵阳SANGFOR,攀枝花SANGFOR,西昌SANGFOR,雅安SANGFOR,内江SANGFOR,资阳SANGFOR,南充SANGFOR,眉山SANGFOR,乐山SANGFOR,自贡SANGFOR 泸州SANGFOR 广元SANGFOR 遂宁SANGFOR 宜宾SANGFOR 广安SANGFOR 达州SANGFOR 雅安SANGFOR 巴中SANGFOR 资阳SANGFOR 攀枝花SANGFOR 凉山彝族自治州SANGFOR 甘孜藏族自治州SANGFOR 阿坝藏族羌族自治州SANGFOR
深信服 防火墙 上网行为管理 具体型号:
深信服 AC-1000-A400 深信服 AF-1520 深信服 AC-1000-B400
深信服 AC-1000-C600 深信服 NGAF-1000-D420
深信服 VPN-2050 深信服防火墙NGAF-1000 深信服 AC-1400
深信服 AF-1300 深信服 NGAF-1000-D440 深信服 AC-1000-D600 深信服 NGAF-1020
深信服 NGAF-1120 深信服 AC-1700 深信服 VPN-2150 深信服 VPN-1100 深信服VPN-6050
深信服 AC-1000-A200 深信服 AC-1000-A300
深信服 NGAF-1000-B400 深信服 防火墙 NGAF-1020
深信服SANGFOR AC-550 深信服 AC-1000-B400
深信服 NGAF-1000-E800 防火墙 深信服AF-1800
深信服 VPN-1000-I440 深信服VPN网关 VPN-1000-I440
深信服VPN网关管理软件V7.0 深信服短信模块软件V2.0
深信服EMM企业 移动管理软件 V2.0 深信服SSL VPN授权软件 V6.0
适用于1001-2000个授权使用 深信服AF-3020
深信服多线路系统软件V1.0 深信服网关杀毒软件V6.0
深信服AD-1000-G642 深信服应用交付网关
深信服应用交付软件V7.0
深信服维修(sanfor维修),以及更多产品和详情请咨询:
成都科汇科技有限公司 — 专业企业级安全、云计算与IT基础架构服务商
无论您是解决企业级安全、云计算,还是IT基础架构,都可以使您的IT更简单、更安全、更有价值
成都科汇科技有限公司(深信服官方授权代理商)
地址:成都市人民南路四段1号时代数码大厦18F
电话:400-028-1235
QQ: 1325383361
手机:180 8195 0517(微信同号)