我们现在生活的时代，人工智能（AI）已经开始渗透到我们日常生活的方方面面，从语音助手到自动驾驶汽车。与所有新兴技术一样，虽然人工智能可能会让某些人受益，但它也被网络犯罪分子用于各种恶意用途。
其中一个例子就是 2017 年创造的术语 Deepfakes。Deepfakes 是由生成式人工智能利用机器学习（ML）技术、生成式对抗网络、扩散模型和大型语言模型（LLM）或其组合创建的高度逼真、令人信服的合成数字媒体。输出的形式通常是视频、静态图像或音频。深度伪造通常用于娱乐、创意或艺术目的，但也会被恶意者蓄意滥用，通过网络犯罪、在线诈骗、政治虚假信息/错误信息等进行欺骗。
尽管创造虚假数字内容的艺术远非新鲜事物，但这一强大新技术的快速传播及其可获取性引发了深刻的道德问题。人工智能有能力为复杂的虚假信息活动提供动力，并使影响真人的许多其他网络犯罪（如身份盗窃和网络欺诈）得以延续，这正在迅速侵蚀我们这个日益互联的世界中的公共和私人信任。
在本报告中，我们将深入探讨深度伪造技术，讨论其演变和风险、缓解措施和治理挑战，并研究它给社会带来的各种挑战，以及我们作为维护者在未来如何应对这些挑战。我们的目标是让领导者了解如何应对这一复杂问题，重点关注道德、透明度和用户赋权。
什么是 Deepfake？
Deepfake 是一种模拟或数字篡改的媒体，通过利用强大的人工智能算法生成超逼真的多媒体内容。这种人工内容有多种形式，从令人信服的音频和逼真的图像到栩栩如生的视频，不一而足。深度伪造最常见的应用是将一个人的数字肖像无缝、令人信服地替换成另一个人的数字肖像。
最常见的是将演员的脸或声音替换成名人的脸或声音，如知名演员或政治家，以达到娱乐或讽刺的目的，但 "普通 "人的肖像也可能被盗用。这种虚假肖像随后可能被滥用于网络欺凌活动、假新闻、金融欺诈、虚假信息等。
什么是人工智能？
人工智能 本身并不新鲜。机器学习、神经网络、计算机视觉等技术已经存在多年。它们通常使用算法，即一组数学定义的表达式，旨在根据数据解决一类特定问题。每当你上网浏览个性化广告、滚动 Facebook feed、查看智能手机上的一行预测文本或点击 YouTube 上的推荐视频时，你都在观看基于人工智能的算法在工作。
机器学习 是人工智能的一个子领域，它赋予计算机从现有内容中学习的能力，而无需人类明确编程。机器学习本身并不创造任何新的东西；它只是根据以前所学到的所有可用数据之间的关系进行概率推理。例如，当你养了一只新狗，网上突然出现了很多狗产品的广告，这看起来就像变魔术一样，其实不然。机器学习算法只是注意到你观看了大量的小狗训练视频，推断出你现在养了一只狗，并得出你现在可能想购买狗产品的逻辑结论。这种机器学习系统被称为推荐引擎。
另一方面，生成式人工智能是一种生成新的原创内容的人工智能，它使用概率技术生成最有可能对请求或问题做出最佳响应的内容。它的学习方式甚至与我们学习事物的方式类似。生成式人工智能应用可以生成文本、图像、计算机代码和许多其他类型的合成数据。所有生成式人工智能应用都是使用基础模型和大型语言模型构建的：
- 基础模型 是预先训练好的大型机器学习模型，然后针对更具体的语言理解和生成任务进行微调。基础模型经过训练后，开发人员可以对其进行调整，使其专门用于不同的任务；例如，理解医学文本、翻译语言、编写代码或创作诗歌。就像坚固的地基支撑着一座建筑一样，这些模型为人工智能系统提供了坚实的知识基础。
- 大型语言模型 是在海量数据集（有时是数十亿页文本）上训练的深度学习模型，用于处理不同类型的语言处理任务。它们可以接收来自人类用户的文本输入，并生成模仿人类日常自然语言的文本输出。
基础模型和 LLM 协同工作，根据人类输入的信息生成它们认为在统计学上可能的输出结果。它们可以完成以前只有有机大脑才能完成的各种任务，例如根据上下文推断意义、根据上下文回答问题、总结文本，甚至执行创意写作任务。
以人类自然语言接收输入并产生输出的能力是计算机发展史上的一大进步，传统上，计算机需要非常具体的语言或命令，这阻碍了计算机的发展。当人类与软件程序交互时，通常需要一定水平的技术技能，如编写计算机代码的能力或知道一系列特定命令的能力。另一方面，任何会用母语打字的人都可以与 LLM 通信，并要求它生成输出结果。LLM 已经很好地掌握了语言的模式和结构，以至于它们可以预测句子的下一个单词，而且它们可以写得非常好，其输出结果读起来就像人写的一样。
LLM 使用人工神经网络 ，其工作方式与人类大脑类似。它们允许计算机从实例中学习，并根据学习结果做出决策，就像我们一样。与人类大脑一样，它们可以从数十亿或数万亿个潜在连接中进行选择，从输入中推导出输出。
我们不是用一行行代码来告诉它们如何做，而是用训练小狗或婴儿的方式来 "训练 "它们。婴儿不会得到一本指导手册，告诉她如何说话，也不会坐下来上传统的语言课。相反，婴儿会听大人说话，久而久之就会将某些声音模式与特定含义联系起来。然后，她会尝试用这些声音进行交流，在短短几年内，从无意义的咿呀学语到简单尝试 "dada "等单词，再到产生完整的单词，然后将它们串成更复杂的句子。
同样，神经网络可以让人工智能程序从大量数据中发现模式。在训练过程中，人工智能版本（也称为模型）会被输入与所需结果相关的大量数据；就 LLM 而言，它们会被输入人类语言，通常来自互联网。训练的目的是生成一个能够理解并回答任何问题的人工智能模型。
ML 模型通过一种或多种方式进行训练：
- 监督学习： 在这类课程中，人工智能模型会被灌输由人类专门标记的数据。例如，为识别猫的照片而开发的 ML 算法可能会收到数百万张各种品种、颜色、形状和大小的猫的照片，每张照片都标有 "猫 "字样。人工智能会在这些照片中寻找共同的模式，例如主体有四条腿、胡须和尖耳朵。随着时间的推移和人类的反馈，人工智能就能准确地了解猫之所以是猫的原因。
- 无监督学习： 在这里，ML 模型被告知要在未标记的数据中搜索独特的模式。这种类型的学习会产生有趣的结果，因为它可能会发现没有明确要求它寻找的模式。例如，它可能会分析所有理论物理学白皮书，发现人类科学家没有注意到的理论漏洞。
- 强化学习： 这种类型的训练使用奖励系统，通过试错来采取最佳行动。在强化学习中，当模型做出正确的决定时，人类会告诉它，这有助于它随着时间的推移学会采取什么行动。
- 微调： 这是人类对通用训练的一种改进，以确保人工智能模型在响应输入时产生最佳输出。就像一级方程式赛车团队试图通过增加马力、简化车身形状或减少阻力来优化他们的赛车一样，人类开发人员会反复调整 ML 模型，以更精细地调整其性能。
- 成熟度： 人工智能模型存在的时间越长，接受的训练越多，就越 "成熟"。这一成熟度不仅适用于 LLM，也适用于所有类型的人工智能模型。
需要注意的是，我们必须明白，尽管 LLM 和其他此类模型的输出结果看似非常有说服力，但它们仍然可能产生不准确的输出结果。因为这些模型是根据从互联网、书籍、报纸等获取的真实世界数据训练出来的，它们可能会吸收社会的偏见，从而导致从医疗保健到人力资源等各个领域的负面结果。它们还可能产生 "幻觉"，即 LLM 或人工智能神经网络无意中产生偏离现实的输出。这些幻觉有多种形式，从无意义的文本到不准确的图像，不一而足。
生成式人工智能的类型
生成式人工智能模型最令人惊讶的一点是其多功能性。只要输入足够多的高质量训练数据，成熟的模型就能产生近似人类创造力的输出结果。例如，它们可以创作诗歌或戏剧、讨论法律案件、就给定主题集思广益、编写计算机代码或音乐、撰写研究生论文、为高中课程制作教案等等。目前唯一限制其使用的是（具有讽刺意味的）人类的想象力。
与公众对人工智能软件和相关系统的兴趣一样，人工智能软件和相关系统的市场也在快速增长。根据联邦调查局、国家安全局和网络安全与基础设施安全局（CISA）最近联合发布的一份网络安全概况介绍，到 2030 年，人工智能生成市场预计将超过 1000 亿美元，并将以每年超过 35% 的速度增长。
生成式人工智能模型的一些类型包括
文本到文本
它的功能和包装盒上写的一模一样。基于文本的生成式人工智能应用程序会接收用户的文本，并用自然的人类语言进行 "回复"。ChatGPT就是这类生成器的一个例子，它基于 OpenAI 的 GPT（预训练生成转换器）架构。输入生成式人工智能对话框的文本被称为提示。
文本到图片
文本到图像生成器允许用户输入一个描述性短语，人工智能模型会自动生成相应的图像。例如，用户可以要求它生成一张猫滑旱冰的图片，或者爱因斯坦坐在巴黎长椅上吃面条的图片。Midjourney、DALL-E 和Stable Diffusion就是基于人工智能的文本到图像生成器的例子。用户可以要求生成器使用传统艺术家使用的各种不同参数（如特定风格、情绪或色调）来创建图像。
图像到图像
这些类型的人工智能生成器能以多种艺术方式处理图像。除了根据文本提示渲染图像外，它们还允许用户将自己的图像上传到生成器中。在生成器中，用户可以执行更复杂的操作，比如将不同的图像合成。Adobe Firefly（目前处于公开测试阶段）就是这类模型的一个例子，它可以对来自公共领域、知识共享（Creative Commons）、维基媒体共享（Wikimedia Commons）和 Flickr Commons 的图片，以及公司自己通过 Adobe Stock 服务收集的大量授权图片进行训练。
文字转视频
较新的生成式人工智能模型甚至可以根据文字提示生成视频。2024年2月，人工智能研究机构OpenAI预告，一种新型系统可以根据文字提示生成逼真的视频。这个被称为 "索拉"（Sora）的人工智能系统可以快速生成短视频，表现 "具有多个角色、特定运动类型以及主体和背景的准确细节的复杂场景"。关于产品发布的新闻报道猜测，新系统可能会加剧人们对人工智能可能传播错误信息的担忧，尤其是在即将到来的大选年。
图像到视频
2024 年 4 月，微软发布了VASA-1，这是一种人工智能模型，可以根据单张图像和声音轨迹生成一个人的说话视频。VASA框架是 "Visual Affective Skills Animator"（视觉情感技能动画）的缩写，它利用ML生成流畅、逼真的视频，并伴有面部表情、头部动作和与现有音频同步的唇语。研究人员在一个数据集上对 VASA-1 进行了训练，该数据集包含从 YouTube 视频中提取的 6112 位名人的 100 多万个语句。据微软网站称，"在我们确定该技术将被负责任地使用并符合适当的法规之前，我们没有计划发布在线演示、API、产品、额外的实施细节或任何相关产品"。
商业媒体中的深度伪造
随着深度伪造逐渐成为主流，利用生成式人工智能制作深度伪造视频的能力也在深度伪造进化的阶梯上迈出了重要一步。
好莱坞各大电影公司已经在以各种创造性的方式使用由人工智能驱动的视觉特效，例如再现著名历史人物或为年长演员减龄。例如，最新的《夺宝奇兵》电影使用专有的 "FaceSwap"技术，在一个 25 分钟的闪回场景中，让 82 岁的演员哈里森-福特重新变得年轻。
音乐行业也兴致勃勃地搭上了人工智能的列车，推出了 "vocalswap"软件。尽管迄今为止法律还禁止将这种技术用于商业用途，但乐迷和艺术家们现在可以利用生成技术对名人（在世的或已故的）的声音进行采样，并用它生成一首曲目，由他们 "演唱 "一首他们在现实生活中从未演唱过的歌曲--结果往往会引起争议。
在进一步了解深度伪造在现实世界中的应用之前，让我们先仔细看看深度伪造是如何产生的。
创建基于面部的深度伪造
基于面部的静态和动态深度伪造可以使用大量生成式人工智能软件工具生成，如DeepFaceLab、Reface AI 和DeepBrain AI。每个软件工具都有不同的功能，例如，Deep Nostalgia Ai 是 MyHeritage 开发的一款应用程序，它利用计算机视觉和深度学习将祖先或历史人物的照片制作成动画。随着这些模型的改进，它们的输出也在不断提高。这些工具生成的虚假图像栩栩如生、真实可信，而且使用方便、门槛低。
这些应用程序还提供人脸替换和换头功能，人工智能算法会仔细分析和复制面部特征，将一个人的脸叠加到另一个人的脸上。这种技术利用深度学习数据模型来实现，用另一个人的肖像来操纵现有数字媒体中目标人物的外观。
面部深度伪造的生成过程可分为以下几个步骤：
数据收集： 要生成深度伪造图像，创建者必须首先获得源人脸和目标人脸的清晰数字图像或视频。需要大量数据来训练底层模型，以获得高质量的结果。这也是公众人物和名人最容易成为深度伪造目标的原因，因为在公共领域很容易获得大量的数字数据。
模型训练： 创建一个令人信服的深度伪造模型依赖于生成模型之间的对抗，尤其是生成对抗网络（GAN）。生成式对抗网络由两个神经网络组成--"生成器"和 "判别器"。
顾名思义，"生成器 "的目标就是生成虚假内容，然后输入到 "鉴别器 "中，"鉴别器 "会使用预编程的机器逻辑来评估内容的真假。通过迭代训练（又称实践），生成器稳步提高其创建更逼真内容的能力，而鉴别器反过来也能更好地辨别真假。在这个过程中，每次重复处理都会使生成的 deepfake 越来越逼真。
微调： 在初始训练期结束后，可以使用其他数据对模型进行微调，以提高生成内容的质量，使其更有说服力。如果需要，还可以采取进一步措施，利用计算时间、资源和功率来提高深度伪造的真实性。
人脸互换： 然后将训练好的模型应用于目标图像或视频。该模型试图将源人物的面部特征准确映射到目标人物上。如果对模型进行足够细致的训练，就能实现逼真的无缝交换。
后期处理： 深度伪造的总体目标是使 "伪造 "的介质真实可信。为了进一步提高拟真效果，可以使用后期处理来编辑拟真模型生成器的最终输出。额外的像素平滑、光照调整和细节的仔细推敲都可以用来提高 deepfake 的整体质量和逼真度。
输出： 上述过程的结果是用受害者的肖像替换最初的目标，令人信服，其输出结果可能会让第一次观看录像或图像的人完全信服，而不知道它是假的。这种欺骗可以用于娱乐目的，但也可以被网络犯罪分子和政党用作武器。
生成式人工智能与深度伪造的伦理问题
通过使用生成人工智能（GAI），现在可以购买软件，让你制作出非常真实的深度伪造视频，普通人可能很难将其与真实视频区分开来。还有一些软件可以让你进行所谓的 "视频-视频 "互换，即软件记录下你的声音和面部表情，然后通过数千甚至数百万个捕捉到的数据点，将它们替换成另一个人的声音和面部表情。最新的软件功能强大，可以实时完成这一操作，从而为各种令人震惊的场景（如深度伪造视频通话诈骗）敞开大门。
此外，有了足够广泛的训练数据集，基于音频的深度伪造或 "深度语音 "软件不仅可以生成语音，还可以生成情感细微差别、语气和音调，以近似模仿目标声音。最近，许多政治人物和名人的声音都被克隆，以便在他们不知情或未经许可的情况下编造虚假声明或宣传错误信息。虽然有些声音是为了讽刺和模仿而产生的，但这种操纵行为被滥用的可能性非常大，不容忽视。
道德问题的例子包括散布虚假言论，企图煽动民众骚乱，损害公众对目标受害者的看法或名誉。最近的例子包括希拉里-克林顿和乔-拜登总统，以及即将举行的 2024 年美国 总统大选 中的其他政治人物。
最近，英国政坛也出现了这种情况，2023 年末，伦敦市长萨迪克-汗（Sadiq Khan）遭到了虚假攻击。有人编造了一段深沉的语音片段，并通过社交媒体发布，声称他建议重新安排停战日，以适应支持巴勒斯坦的抗议活动。尽管伦敦警察厅审查了这一情况，并认定制作和传播该短片不构成刑事犯罪，但汗先生说，其意图显然是 "播下仇恨和分裂的种子"。
警惕网上假冒伪劣产品
社交媒体中的深度伪造
虽然 Facebook 和 X（前 Twitter）等社交媒体平台在删除甚至禁止深度伪造内容方面取得了进展，但由于深度伪造检测系统本身难以到位，因此监管力度和效果参差不齐。换句话说，如果人类难以辨别深层伪造视频的真伪，那么自动系统也同样难以辨别。
2023 年，乔-拜登总统努力争取各大人工智能公司承诺对人工智能生成的内容进行水印处理，目前技术公司正在合作制定水印处理标准。虽然目前这是一个自愿的过程，但如果法律对此做出规定，将是打击人工智能辅助欺骗行为的积极一步。当然，犯罪集团不会遵守任何此类立法。2023 年 9 月，内布拉斯加州共和党参议员皮特-里基茨（Pete Ricketts）制定了一项法案，要求对人工智能生成的内容加上水印，但这可能还不够，因为水印很容易被编辑软件去除。
弗吉尼亚大学前应用伦理学名誉教授德博拉-约翰逊（Deborah Johnson）说，我们正在进入一个非常浑浊的水域。
"深度伪造是误导信息这一更大问题的一部分，它破坏了人们对机构和视觉体验的信任--我们再也不能相信我们在网上看到和听到的东西了。贴标签可能是对付深度伪造的最简单也是最重要的办法--如果观众意识到他们正在观看的东西是捏造的，他们就不太可能上当受骗"。
网络犯罪利用深度伪造
深度伪造攻击示例
当复杂的实时视频动作捕捉技术与深度伪造音频技术相结合时，其结果可以如此令人信服，甚至连我们当中最持怀疑态度的人也会被说服。2024 年 2 月，一家跨国公司的一名财务人员被骗向骗子支付了 2500 万美元，骗子利用深度伪造技术冒充该公司的首席财务官。据香港警方称，这名工作人员参加了一次视频会议，他认为与会的都是真正的工作人员，但实际上都是deepfake。
这名工人起初对一条看似来自公司首席财务官、要求进行秘密交易的信息产生了怀疑。然而，在视频通话后，这名工人抛开了疑虑，因为在场的其他人看起来和听起来都很像他认识的员工。
在最近发生的一系列案件中，诈骗分子利用最新技术加强了最古老的骗术之一：诈骗艺术。全球各地的权威机构都警告说，这些行为会变得多么狡猾，唯一的限制就是欺诈者的想象力。
他们的策略可能包括以下任何或所有方面：
欺诈和身份盗窃
几千年来，骗局的精妙艺术不断被完善和重新定义，但互联网的诞生使数字欺诈成为一种持久的威胁。从网络钓鱼邮件到网站弹出窗口，网络犯罪变得越来越便宜和容易，而被抓的风险却相对较小。
根据身份盗窃资源中心（ITRC）的数据，在 2023 年的前三个季度，美国有近 2.34 亿人受到了某种数据泄露的影响。联邦贸易委员会（FTC）的消费者哨兵网络在 2023 年收到了超过 539 万份报告，其中 48% 涉及欺诈，19% 涉及身份盗窃。信用卡欺诈约占欺诈案件的 40%，紧随其后的是身份盗窃，占 25%，这一统计数字包括在线购物和支付账户欺诈、电子邮件和社交媒体欺诈以及其他类型的身份盗窃。
通常情况下，网络诈骗利用的是目标个人的假定弱点和易感性。在过去的几十年里，网络欺诈者利用最广泛的网络来欺骗大众，例如恶意垃圾邮件（带有恶意软件的垃圾邮件），但随着数字趋势的发展，网络欺诈者的战术和技术也在不断演变。深度伪造可能是社交工程游戏的转折点，因为它使欺诈者能够以较低的成本聚焦于特定个人。
深假诈骗
在社交媒体和数字消费主义的共同世界里，广告、营销和品牌代言在消费者对新产品或服务的认知中发挥着巨大作用。然而，在数字推广领域，非法使用名人和网络名人的深度假冒行为急剧增加。2023 年 10 月，汤姆-汉克斯（Tom Hanks）在自己的 Instagram 账户上重新发布了一段热门视频，视频中他似乎在推广一项牙科计划，并向粉丝发出警告："小心......我与此事无关。我与此无关"。
甚至在 "深度伪造 "出现之前，就有无数名人在不知情或未经许可的情况下，利用自己的肖像推销欺诈性服务和产品。埃隆-马斯克（Elon Musk）是世界上最知名的面孔之一，经常被骗子利用。这位特斯拉和 SpaceX 公司的首席执行官因其对加密货币的痴迷而众所周知，过去，他曾被利用来制作可信的深度假冒产品，推销加密货币骗局。这些钓鱼网站会诱骗受害者点击链接或创建账户，然后骗子会巧妙地解除他们的财务凭证和加密货币钱包中的多余资金。
生成式人工智能诈骗电话
抢答器和诈骗电话是一个无时不在的威胁，除了让人烦恼之外。根据Truecaller的最新统计数据，在 2023 年 4 月至 2024 年 3 月的 12 个月中，美国人因诈骗和机器人电话浪费的时间估计达 2.19 亿小时，损失总额达 254 亿美元。大多数诈骗都与信用卡诈骗、身份盗用、医疗保险和保险诈骗以及债务催收诈骗有关，每位受害者平均损失452美元。 该公司指出："人工智能正越来越多地被用于拨打这些诈骗电话和编写诈骗短信，使它们听起来更真实、更有效。"
2024 年 Truecaller 垃圾邮件和诈骗报告》还指出，在过去 12 个月中，诈骗手段已从大规模的抢答电话活动转向 "更复杂的人工智能驱动的鱼叉式网络钓鱼攻击，这些攻击具有高度针对性和上下文相关性。这些精确定位的活动因其有效性而构成重大威胁......并有可能利用与选举周期相关的更多移动目标"。
随着深度语音和生成式人工智能语音篡改软件的改进，这些工具很可能会更频繁地用于更有针对性的攻击。由于这种低级诈骗的常见性，我们大多数人现在都能更好地了解情况，并能在无意中与这类骗子接触时识别红旗。
但是，如果生成的声音更可信，就能大大提高那些试图获取受害者个人身份信息或接管其账户的人的成功率。账户接管（ATO）攻击（如SIM 卡交换攻击中常用的攻击）的目的是控制受害者的手机，以访问属于受害者的任何依赖多因素身份验证（MFA）的服务，如银行或其他金融服务。
深层语音欺诈
近年来，商业电子邮件入侵（BEC）已成为渗透受害组织的一种屡试不爽的方式。攻击者利用被入侵账户的 "受信任内部人员 "身份实施欺诈。然而，深度伪造音频欺诈是一种相对较新的现象。许多技术初创公司正在开发越来越复杂的基于人工智能的语音技术，包括加拿大的Resemble AI、伦敦的Aflorithmic 和乌克兰的Respeecher。
人工智能语音生成技术的使用降低了创建更逼真、更先进语音模型的门槛，使欺骗和欺诈请求更难被发现。虽然语音冒充和其他音频欺骗绝非新技术，但深度语音技术现在可以克隆声音，达到几乎与真人无异的程度。
这种新扩大的网络攻击面现在对各种规模的公司都构成了非常现实的威胁。举例来说，攻击者可以利用互联网上的声音样本克隆首席执行官的声音。许多高管都在公司的 YouTube 频道上发布访谈或演讲内容。然后，攻击者打电话给公司财务部，要求使用深层伪造的首席执行官的声音启动欺诈性转账。结合假电话号码生成器，这可能会导致公司被骗走大笔资金。
2021 年，一家日本公司收到其母公司一位董事看似合法的要求，授权转账近 3500 万美元。分公司经理了解该董事的声音，也习惯了该董事提出的此类要求，于是就放行了这笔资金。
尽管科幻系列剧《黑镜》等电视节目已经开始在企业范围内探讨这种技术令人深感不安的本质，但在日常生活中亲身经历音频魔术，却打破了前所未有的信任壁垒。我们这些在马戏团或电视上看着魔术表演长大的人已经知道，我们常常无法相信自己的眼睛，但作为一个社会，我们可能需要更长的时间才能意识到，我们再也无法相信自己的耳朵了。
网络欺凌
近年来，在真实人物不知情的情况下使用其深度伪造图像和音频来实施犯罪、欺诈或恶意破坏已成为一种普遍现象。越来越多令人不安的是，deepfake 技术还被滥用于未经受害者同意而制作剥削性材料。
通过深度伪造软件将一个人的头像叠加到另一个人的身体上以制作不当成人材料的技术已经非常普遍。由于我们中的许多人现在习惯性地通过 Facebook 和 YouTube 等社交网络在网上过度分享个人生活的许多信息，普通成年人现在比以往任何时候都能公开获得更多的照片、视频和音频，供任何人出于恶意目的进行复制。
对于隐私问题，人们经常说的一句话是："如果我没有什么可隐瞒的，为什么要担心呢？然而，对于想要进行网络欺凌或经济勒索的恶意人士来说，大量可免费获取的源材料为他们提供了制作和传播逼真视频所需的一切条件，当事人会不惜一切代价将其删除。
2024 年，一个令人担忧的新趋势出现在新闻报道中，那就是青少年使用人工智能软件生成同学或老师的裸体照片的事件层出不穷。据《纽约时报》报道，这一问题在美国少女中已成为一种流行病。虽然家长或老师通常将其视为 "青春期的越轨行为"，但它正成为网络欺凌的延伸，令人不安。这些图片可能会给年轻的受害者带来改变一生的影响。
法律和道德问题
深度伪造软件的使用引起了法律和道德方面的关注，涉及的话题包括使用和表达自由、隐私权，当然还有版权。由于基于人工智能的深度伪造软件目前在发布时没有设置什么防范措施，从法律角度看，日益严重的问题不是是否 会闹上法庭，而是什么时候会闹上法庭。如果公众形象受到威胁，最富有和最有权势的人有能力聘请律师来维护自己的公众形象，但那些没有那么多钱和影响力的人一旦成为攻击目标，可能在法律上毫无招架之力。
在许多备受瞩目的刑事审判中，被告已经开始打 "人工智能牌 "来质疑证据，而直到最近，许多人还认为这些证据是站不住脚的。例如，国际律师事务所 WilmerHale 在其专家分析报告《对方说你的证据是深度伪造的，现在怎么办？中，国际律师事务所 WilmerHale 讨论了犯罪分子的这种新辩护方式，他们认为，由于存在深度伪造的风险，录制的媒体可能无法被法庭采纳。从另一个角度来看，人工智能生成的视频和音频越来越逼真，这也加大了伪造证据进入法庭并造成不公正结果的风险。
WilmerHale 的论文中提到的一个例子是，在美国国会大厦骚乱的相关审判中，一名被告对检方引用的国会大厦骚乱的开源视频的真实性提出了质疑，这为今后类似的指控铺平了道路。
网络战与宣传
20 世纪 30 年代，斯大林在 "大清洗"期间对照片进行篡改，并从图像中删除任何政治反对派的证据，导致近百万人丧生。这项宣传工作强制推行政治意识形态，目的是清除那些被独裁者视为国家、个人和政权敌人的公民的所有记录。
虽然近一个世纪前的苏联人使用手工技术来处理照片和记录，而不是今天的计算机程序，但他们的努力成功地影响了苏联内外的人民，并产生了严重的连锁反应。
几十年来，不信任的气氛和广泛使用的监视手段持续存在。在当前的大众宣传时代，通过对视听媒体进行篡改而蓄意制造的错误信息使那些怀有地缘政治目的的人受益，并使民族国家散布的虚假信息长期存在。
俄罗斯入侵乌克兰已进入第三个年头，双方都在进行新形式的战时宣传。2022 年年中，一段伪造的沃洛德梅尔-泽连斯基总统视频显示，这位乌克兰领导人呼吁他的士兵放下武器投降。这段伪造的视频被上传到被篡改的乌克兰新闻机构，并在亲俄社交媒体和其他数字平台上传播。
加州大学伯克利分校教授、数字媒体取证专家哈尼-法里德（Hany Farid）在谈到这段视频时说："它污染了信息生态系统，给所有内容蒙上了阴影，而这些内容已经在应对复杂的战争迷雾。他指出，这样做的后果可能会进一步模糊民众对媒体的信任。"下次总统上电视时，有些人可能会想，'等一下--这是真的吗？
单个多媒体所能造成的破坏和恐惧，使深层伪造技术成为交战国武器库中的宝贵补充。随着世界上越来越多的人使用 Telegram 和 WhatsApp 等信息平台，虚假信息如野火般蔓延，要分清事实与虚构变得越来越困难。
将人工智能视为无害是一种危险的疏忽。软件公司 LiveAction 的首席技术官兼创始人约翰-史密斯（John Smith）在一篇题为 "为什么人工智能不一定是敌人"的文章中警告说："使用人工智能工具的恶意行为者构成了真正的威胁。但我们也不要忘记人类自身的破坏性记录。战争、社会分裂、环境破坏--人类用原始工具武装起来，已经给自身和地球造成了巨大伤害。这就引出了一个关键问题：我们是否将自身的缺陷投射到人工智能上，害怕我们自己创造的怪物？事实上，人工智能并不是什么外来的恶魔。它是我们自身的反映，是由我们的价值观和意图塑造出来的工具"。
著名 Deepfake 滥用和误用事件年表
深度伪造实例
2017
- 2017 年底，一名匿名 Reddit 用户利用家用电脑将名人的脸叠加到 X 级视频剪辑上。此后不久，另一人发布了一款应用程序，自动完成深度伪造的制作过程，在短短两个月内就被下载了 10 万多次。
- 进入 2017 年，淫秽的 deepfake 图片开始出现在互联网上，主要集中在 Reddit 社区。娜塔莉-波特曼（Natalie Portman）、艾玛-沃森（Emma Watson）和泰勒-斯威夫特（Taylor Swift）等明星只是其中一些发现自己成为这些成人deepfake不受欢迎的对象的女性名人。
2018
2019
- 2019 年初，KCPQ 电视台播放了时任总统唐纳德-特朗普在椭圆形办公室发表讲话时的深情假象，嘲笑他的外表和肤色。被发现 负有责任的流氓员工被迅速解雇。
- 2019 年 6 月，一个名为 DeepNude 的可下载应用程序网站上线。DeepNude 使用神经网络（如生成对抗网络）去除女性图片上的衣物。该应用程序对男性照片不起作用。该应用程序有 Windows® 和 Linux® 版本，付费版本售价 50 美元。本月底，该应用程序已被删除，用户也已退款。"致力于打击图像滥用的非营利组织 BADASS 的创始人兼首席执行官卡特琳-鲍登（Katelyn Bowden）说："公众不应该使用这种技术。
- 2019 年 9 月，一名骗子利用深度伪造技术骗取了一家英国能源公司 24.3 万美元。骗子利用深层语音软件，模仿该公司母公司首席执行官的声音，说服该公司转账。这家能源公司的首席执行官报告说，他认出了电话中的声音，特别提到了这个声音的德国口音和他声音的 "旋律"。
2020
2021
- 2021 年初，宾夕法尼亚州一名妇女因涉嫌伪造其女儿的竞争对手喝酒和吸食毒品的图片，并将这些图片发送给她们的父母，试图让她们被禁止参加啦啦队而被捕。她被指控对儿童进行网络骚扰及相关罪行。
2022
2023
- 2023 年初，芝加哥的一名建筑工人利用人工智能图像生成平台 Midjourney 制作了一张教皇方济各身着超现代白色 Balenciaga 夹克的静态图像。这张人工智能生成的图片在社交媒体上被浏览和分享了近 2000 万次。美国记者瑞安-布罗德里克（Ryan Broderick）称之为"第一个真正的大规模人工智能误报案例"。
- 2023 年 5 月，社交媒体上出现了一段副总统卡马拉-哈里斯（Kamala Harris）的深度伪造视频，据说她说话口齿不清，语无伦次。
- 2023 年 6 月，美国联邦调查局发布了一项新的警告，称网络犯罪分子正在利用公开的照片和视频实施深度伪造勒索计划。"联邦调查局不断收到受害者的报告，称其照片或视频被篡改为露骨内容，"该机构在警报中说。"这些照片或视频随后在社交媒体或色情网站上公开传播，以达到骚扰受害者的目的"。
- 韩国 MBN 电视网宣布使用真人电脑制作的深度仿真新闻主播金珠霞（Kim Joo-Ha）来朗读当天的头条新闻，观众对此反应不一。一些观众对其逼真程度印象深刻，而另一些观众则担心真正的金珠霞会因此丢掉工作。
2024
- 2024 年 2 月，一家跨国公司的香港分部员工在一场骗局中损失了 2560 万美元，因为该公司的首席财务官通过视频通话下令转账的深度伪造画面骗过了他们。
- 2024 年 5 月，ChatGPT-4 通过了图灵测试，这是人工智能掌握自然语言的一个重要里程碑。在测试中，GPT-4 能够让 54% 与之互动的人相信它是人类。图灵测试由艾伦-图灵于 1950 年提出，由人类 "法官 "通过文本与人类和机器对话。如果 "法官 "无法分辨两者之间的区别，那么这台机器就通过了测试。
- 2024 年 6 月，俄罗斯国有社交媒体上流传着一段深度伪造的视频片段，据称是美国国务院发言人马修-米勒（Matthew Miller）在评论华盛顿向乌克兰提供的武器援助。这段伪造的视频暗示，乌克兰与俄罗斯边境以北 25 英里处的俄罗斯城市别尔哥罗德是乌克兰打击的合法目标，因为那里 "基本上没有平民"。
深度伪造检测机制与对策
不一致分析
通过不一致性分析，机器学习算法对图像或视频的一个或多个方面进行深入分析，以检测数字伪造。例如，算法可以检测出原始人脸与伪造人脸之间的光照不一致，或者原始样本与疑似伪造图像之间的颜色一致性。这种分析方法可以检测出在生成图像时出现的人眼无法察觉的错误。
数字水印
几乎每个人都熟悉图片上显示创作者姓名的水印。例如 Getty Images 或 Shutterstock 等图片授权平台。合法内容创建者的数字水印有助于验证内容的来源和真实性。同样，如果没有这种标记，也可能表明媒体受到了损害或篡改。
拜登政府最近建议将水印作为解决深度伪造问题的政策方案，建议要求科技公司对人工智能生成的内容进行数字标记。例如，今年 2 月，OpenAI 宣布将在其文本到图像工具《DALL-E 3》 中添加水印，但警告说这些水印 "很容易被移除"。
加密技术
同样，在原创内容中嵌入加密签名也有助于验证其合法性和来源。基于区块链的验证是另一种不断发展的验证数字创作的方法。这些基于区块链的解决方案对于区分真实内容和伪造内容至关重要。
例如，在创建图片或视频时，会生成数字签名并附加到内容上。数字签名使用创建者的私人密钥生成，该密钥是创建者独有的，并安全地存储在区块链上。当有人想验证一段内容的真实性时，可以使用创建者的公钥（在区块链上公开）来验证数字签名。如果签名有效，就可以确认内容未被篡改，确实是由被验证的实体创建的。
比方说，一家新闻机构想要发布有关重大事件的视频报道。他们可以使用基于区块链的数字签名系统，以如下方式确保视频的真实性：
- 新闻机构的摄像师录制事件，并使用该机构的私人密钥生成视频的数字签名。
- 视频和数字签名一起上传到区块链网络。
- 当读者想要验证视频的真实性时，他们可以访问区块链上新闻机构的公钥，并用它来验证数字签名。
- 有效签名可确认视频未被篡改，且由经过验证的新闻机构制作。
这种方法通过提供内容来源和真实性的防篡改记录，有助于防止深度伪造内容的传播。它还能让用户在分享或消费数字内容之前验证其合法性。
信心分数
基于人工智能的系统在生成输出时，可以生成置信度分数或不确定性度量。这表明了模型对其所创建内容的准确信心或确定性水平。通过查看这些分数，软件使用者可以评估模型输出的可靠性。
偏见披露
偏见披露规定，用于训练人工智能模型的训练数据应完全透明。创建软件的公司应向最终用户提供有关数据集及其各自偏差的信息。通过公开说明软件训练数据的规模、来源和潜在限制，使用该软件的人就能更好地了解模型输出中可能出现的潜在偏差。
用户意识
许多网络威胁和骗局都以最终用户为猎物，认为他们是最薄弱的环节，只有在用户上当受骗的情况下才会成功。这一点在涉及社会工程学的骗局中尤为明显。最有效的缓解技术之一是用户意识和教育。
公司应实施一项强有力的培训计划，让员工了解深度伪造的威胁、网络犯罪分子如何利用它们、如何识别它们和在可疑情况下该怎么做，以及如果威胁行为者使用深度伪造攻击组织，会有哪些风险。这种用户教育对减少深度伪造攻击面大有帮助。
当前趋势与预测
提高复杂性
生成式人工智能继续以惊人的速度发展。随着这一趋势的继续，未来各类深度伪造媒体的复杂程度也将不断提高。网络犯罪分子将能够利用更先进的人工智能来创建更有说服力的深度伪造，从而实施更复杂的诈骗。
政治/选举干预
社交媒体是选举期间的有力工具。社交媒体平台的巨大影响力使其成为政治人物制造虚假信息的沃土。在社交媒体上，"深度伪造 "很容易被武器化，许多利用"深度伪造 "左右选民的著名案例就说明了这一点。随着 2024 年许多备受瞩目的选举的举行，我们很可能会继续看到深度伪造被用作虚假信息的工具。
高级社交工程攻击
社交工程一直是网络威胁行为者的主要手段；它假定员工是公司安全中最薄弱的环节。当与深度伪造技术相结合使用时，这些攻击的复杂程度会更上一层楼，深度伪造媒体可以用来试图增加一层 "真实性"，欺骗不知情的用户做出错误的决定。
"音频和视频深度伪造代表了 21 世纪技术的迷人发展，但同时也具有令人难以置信的潜在危险，对数据、资金和企业构成巨大威胁。
杰克-摩尔（Jake Moore）解释说，他是一名网络安全专家，曾在英国多塞特郡警察局数字取证组和网络犯罪小组工作 14 年，负责调查计算机犯罪。
"目前，我们正处于恶意行为者将专业知识和资源转移到使用最新技术来操纵人们的风口浪尖，而这些人却天真地不了解深度伪造技术的领域，甚至不知道它们的存在"。
公司和政府操纵
深度伪造可以用来试图破坏公司声誉，影响公司股价和客户满意度。深度伪造还可能威胁组织的品牌，冒充领导和财务人员，并使坏人有可能访问网络、通信和其他敏感系统和信息。考虑到潜在的影响，这类深度伪造会给许多首席执行官、首席信息安全官和政府领导人带来巨大的担忧。
深度伪造 "反品牌 "活动的例子包括：制作公司高管转发有关其产品的虚假信息的深度伪造视频，或者人工智能生成的评论员对某一品牌或服务留下虚假的负面视频评论。
缓解 Deepfake 威胁
随着基于人工智能的深度伪造技术日趋成熟，整体计算能力不断飙升，从电话诈骗、网络攻击到政治活动，一切都将变得更加有效，并在很大程度上有利于网络犯罪分子。随着时间一天天过去，市场上充斥着更多免费、易于获取的工具，这些工具将人工智能的力量带给大众，无论好坏。
黑莓公司产品工程和数据科学高级副总裁 Shiladitya Sircar 说、
"能够检测深度伪造的技术远远落后于新的人工智能软件和系统的生产速度。产品设计师、工程师和领导层必须共同努力，为数字内容定义加密安全的真实性验证标准"。
在此之前，我们建议您利用常识和现有工具来减轻 deepfake 欺诈对企业的潜在影响。我们为您提供了一份实用技巧清单，您现在就可以使用这些技巧来保护自己和公司的安全：
对网络访问实施实时验证。 考虑安装能够在实时通信期间运行的身份验证。仅有密码已经不够了，因为密码很容易泄露或被坏人窃取。
安装多因素身份验证（MFA）。 这种验证技术是上述步骤的重要组成部分，但要取得成功，必须在全公司范围内推广，不得有任何例外。它应采用一次性生成的密码或 PIN 发送到用户的手机或设备，并包括面部识别等生物识别技术。这种 "生命证明 "测试可以战胜基本攻击，确保丢失或被盗的手机不会给攻击者提供进入企业王国的钥匙。
保护公司高层人士的公开数据。 从事社交媒体工作的人都知道过度分享的危险。我们都看到过一些新闻报道，嘲笑那些在网上发布未经编辑的办公室照片的员工，照片上的机密白板甚至在便签上涂写的密码都清晰可见。现在，公司领导的高清图片或视频也存在同样的危险。虽然不可能打击第三方录制的领导录音（如在会议上发表的演讲），但可以讨论一项计划，防止攻击者利用公开的宣传材料对你进行攻击。考虑对此类录音进行数字水印处理，以降低攻击者从录音中获取高质量图像的风险。
积极监控企业的在线状态。 为公司名称和高管团队设置自动谷歌警报，并定期调查公司的在线情况，如社交媒体账户和企业新闻网站，以快速发现和消除任何潜在的深层伪造威胁。在当今这个超级互联的时代，"谎言的传播速度是真相的两倍 "这句格言值得牢记。攻击者知道这种监控在周末可能会降低，因此建立一个自动警报系统来应对这种情况可能是明智之举。
建立企业网络钓鱼防御系统。 即使有员工培训、防火墙、杀毒软件和端点检测与响应 (EDR) 产品，网络钓鱼仍是一个长期存在的问题。考虑参与公共和私营联盟，如内容真实性联盟（Coalition for Content Provenance and Authenticity）和起源项目（Project Origin），以建立抵御深度伪造威胁的能力。
培训人员，使其了解深度伪造的本质和危险。 是时候更新入职和培训材料，加入有关深度伪造的部分了。培训材料应包括一个概述，讨论深度伪造可能被用来造成声誉损失、针对高管、说服员工透露登录凭证或转移资金。员工应了解贵公司报告可疑受操纵媒体的程序。
以下来源已经提供了识别深度伪造的培训资源：
- SANS Institute - "学习一种新的生存技能：识别深度伪造"
- 麻省理工学院媒体实验室--"检测深度伪造：如何抵制人工智能创造的信息"
- 麻省理工学院--"媒体扫盲
- 微软 - "识破 Deepfake"
从事销售、财务和人力资源工作的员工应提高警惕，谨防骗子冒充客户访问机密的客户账户和财务信息。
建立验证程序。 培训员工在收到任何通过电子邮件、电话或视频通话发出的意外请求时，尤其是在请求涉及转账或共享公司凭证时，采用辅助手段验证信息的真实性。应教导员工始终通过第二替代渠道（如安全信息平台，甚至是老式电话）验证任何不寻常的高额请求的发件人身份。
制定事件响应 (IR) 计划，以应对 deepfake 攻击。 与安全运营中心 (SOC) 或安全团队一起制定适当的遏制计划，以便他们能够减轻攻击造成的损失。研究每种类型攻击的可能性。例如，如果您是一家初创企业，很少或根本没有社交媒体，那么攻击者不太可能（尽管并非不可能）找到您领导团队的公开视频。如果您是一家在互联网上拥有媒体内容并进行虚拟金融交易的大型企业，那么您将成为首要攻击目标。
确保与团队一起进行桌面演练，以帮助提前锁定计划并发现任何薄弱环节。此外，查看组织结构图并列出可能成为攻击目标的个人、行政人员和管理人员名单也可能会有所帮助。
向适当的美国政府机构报告恶意 deepfake 攻击。 这包括美国国家安全局国防部网络安全合作中心和联邦调查局（包括地方办事处或CyWatch@fbi.gov）。关于检测深度伪造的高级取证建议，可参见 CISA 最近发布的关于深度伪造意识和缓解的联合建议。CISA 的职责是收集并向美国政府机构传播所有与网络安全相关的信息。其报告网站为https://www.cisa.gov/report。
黑莓如何提供帮助
正如恶意使用人工智能目前是一个问题一样，人工智能也可能是解决方案的一部分。必须强调的是，目前还没有一种 "银弹 "可以百分之百地防范所有深度假冒行为或主动阻止它们。大多数利用深度伪造的骗局在很大程度上都依赖于社会工程学，这是一种心理操纵，即使是我们中最善意的人也可能成为受害者。
不过，有一些工具和解决方案可以帮助检测和减轻将深度伪造作为其攻击链一部分的威胁，从而打破这一攻击链，保护用户或组织免受伤害。
您可以建立先进的威胁检测系统，利用人工智能和预测性网络安全技术，直接在端点上阻止攻击，从而增强组织的网络安全态势。
独特恶意软件的使用呈上升趋势
无论企业规模大小，学会自我保护都至关重要。在 BlackBerry 2024 年 6 月发布的《全球威胁情报季度报告》中，我们分析了我们的产品所检测和阻止的网络攻击的传播情况，以揭示威胁行为者攻击组织时的目标。黑莓研究人员观察到，仅在去年，每分钟独特恶意软件攻击的数量就空前地增长了 250%，而且还呈持续上升趋势，这表明攻击者对这类攻击所针对的组织有着特别高的兴趣。
黑莓威胁研究和情报副总裁 Ismael Valenzuela 评论说、
"威胁行为者可能会将目标锁定为相关公司的个别员工。这些恶意行为者甚至可能通过使用生成式人工智能软件创建深度伪造，针对非常具体和典型的高价值目标部署更独特的工具和战术。"
随着攻击越来越个性化，使用独特或新型恶意软件的情况也在增加。不良分子通过窃取各种类型和行业的组织的机密数据进行敲诈，然后将这些数据用于各种邪恶目的--在黑市上出售、推进 "双重勒索 "勒索软件攻击（先窃取用户数据，然后在主机上加密），甚至用于间谍活动。
社会工程学方法通常使用深度伪造来诱导用户产生虚假的安全感。当以这种方式发送时，独特的恶意软件会给依赖传统防病毒（AV）产品提供保护的组织带来很大的麻烦。
"传统的防御措施通常基于静态病毒签名，"Valenzuela 说。"攻击者可以利用简单的自动化脚本，通过反复编译变化极小的相同源代码来创建新的恶意软件（又称独特哈希值）"。
这些变种很容易从传统的反病毒软件中逃脱，因为如果反病毒软件以前没有遇到过这种恶意软件，就不会识别或阻止它。
随着威胁形势的不断变化，攻击者和防御者使用的工具集中都增加了人工智能生成功能，评估各种基于人工智能的安全产品的相对有效性变得越来越重要，也越来越困难。
Cylance AI 简介
使用人工智能和机器学习模型（如Cylance® AI）提供的端点保护是抵御坏人使用生成式人工智能发动网络攻击的最佳防御手段。作为人工智能在网络安全领域的先驱，黑莓的Cylance AI 是市场上运行时间最长、不断改进的预测性人工智能。黑莓数据科学和机器学习团队不断改进我们预测性人工智能工具的模型性能和功效。
在过去十年中，我们不断创新、试验和发展人工智能，以取得最佳成果。我们取得的一些重大进展包括：从早期模型中单纯的监督式人工标记转变为综合训练方法，包括无监督学习、监督学习和主动学习--在云中和在我们保护的端点上进行。我们还优化了我们使用的属性和数据集，以便在长期检查超大数据量后提供最佳预测结果。
这种持续进化的结果是，人工智能模型能够准确预测和预知新的威胁。它已经学会了如何根据恶意软件的属性来识别商品恶意软件和独特的恶意软件，并在其造成危害之前，在执行前将其关闭。由Cylance AI 支持的 BlackBerry® 网络安全解决方案可提供针对攻击的自动化先期保护，同时还能发现入侵迹象 (IoC)，并更快地了解警报和事件的来龙去脉。
例如，IT 行业首屈一指的独立测试实验室和第三方验证服务提供商Tolly Group 最近进行的第三方测试表明，黑莓端点保护解决方案CylanceENDPOINT™ 可拦截 98.5% 的在线和离线商品和新型威胁。这是因为它可以主动预测恶意软件的行为，即使是全新的、独特的变种。要达到这样的功效，需要对正确类型的指标进行精确的模型训练。这些基于人工智能的解决方案可以保护您的端点免受自动和手动攻击，例如使用深度伪造作为其攻击链一部分的攻击，从而有助于在网络威胁开始之前就将其阻止。
当与我们的生成式人工智能工具Cylance® Assistant 结合使用时，SOC 分析师可以更快地了解复杂情况。Cylance Assistant 由Cylance AI 提供支持，并在 BlackBerry 屡获殊荣的网络威胁智能上进行了分层。它采用保护隐私、负责任的人工智能原则来增强隐私性和准确性，并且不会使用或共享客户数据来训练模型。它可以预测您的需求，并主动提供专家指导，帮助您事半功倍。
让我们仔细看看Cylance 人工智能如何阻止利用深度伪造或生成式人工智能欺骗用户允许恶意行为者访问网络的攻击链的每个阶段。
阻止初始访问
要想阻止攻击，您首先需要阻止坏人访问您的企业端点。黑莓的CylanceEDGE™由Cylance AI 提供支持，可提供网络保护，阻止用户访问零日攻击、网络钓鱼和社交工程活动中经常使用的有害网站。例如，有针对性的网络钓鱼电子邮件可能会发送给拥有高级网络访问权限的员工，如 IT 管理员。
许多公司都会培训员工不要理会写得糟糕且有错别字的电子邮件，但如果攻击者使用生成式人工智能工具用完美的英语制作了一封无懈可击的钓鱼信呢？这封信可能会谎称来自首席执行官或人力资源部门，并诱使员工立即采取行动，例如下载伪装成税单的恶意附件，或点击将其发送到恶意域的链接。
假设贵公司经常用于薪资管理的合法公司域名是 "ACMEPayroll.com"。攻击者可能会注册假域名 "ACMEPayrollinc.com"，并用它来托管恶意软件。这是一种被称为域名欺骗的常用技术。威胁者经常使用恶意域名和目的地进行攻击，而且他们的手段越来越高明，威胁比以往任何时候都大。如果员工被网络钓鱼电子邮件欺骗，点击链接访问恶意 "伪造 "域，攻击者就会向其公司设备投放恶意软件，窃取员工的薪资凭证（如用户名和登录名），甚至部署勒索软件。
CylanceEDGE 解决方案的网络保护包括 IP 和域信誉列表的组合，这些列表由 BlackBerry 编辑，包括开源和商业源。如果有任何内容与该 "声誉 "数据库不匹配，我们就会应用我们的人工智能/ML 模型，该模型可以准确预测恶意软件和发现钓鱼网站，并阻止命令与控制（C2）尝试和 DNS 隧道。我们的模型能够预测网站何时被用于恶意软件和网络钓鱼，即使该网站不在其他提供商提供的任何信息源中。
通过阻止用户访问这些不受信任的网站，CylanceEDGE 阻止了攻击的得逞。此外，CylanceEDGE 还能保护员工的端点免受多种类型的基于 C2 的渗透工具包（包括Cobalt Strike模拟器）的攻击。
阻止横向移动
假设入侵尝试的路径不同，用户被生成式人工智能创建的令人信服的深度伪造所欺骗。如果该员工决定采取超越安全措施的手动步骤，并可能允许攻击者访问其组织的网络，例如将恶意附件下载到其公司笔记本电脑上，CylanceEDGE 可以阻止攻击者的横向移动，并通过应用分割和零信任网络访问(ZTNA) 原则限制破坏。
横向移动通常是在获得初始访问权限后采取的第二步，攻击者试图加深其在组织中的立足点。他们可能会尝试提升权限、进行侦察、外泄机密数据以及植入间谍软件或勒索软件。
另外，如果威胁行为者利用社会工程学直接窃取用户凭据，从而设法获得网络访问权，CylanceEDGE 解决方案的零信任架构就会发挥作用。我们基于身份和上下文的访问控制，以及应用程序分段（隐藏应用程序，使其不被发现和公开），可以防止威胁行为者的横向移动和恶意软件的传播。有了这些措施，与您的环境相连的每个人和每件事都必须不断证明自己是值得信赖的，否则将被拒绝访问。
防止数据外泄
CylanceEDGE 还提供DNS 隧道检测功能，这种功能经常被用于外渗尝试中。我们将静态数据库和机器学习模型应用于所有流量，而不仅仅是用于公共互联网目的地的流量。我们还将我们的模型应用于客户网络中的私人流量，以寻找 C2 信号灯等红色信号。C2 信标通过建立僵尸网络或点对点恶意软件感染来工作，受感染的机器会与 C2 服务器建立通信（信标），等待进一步安装或开始从受害者的本地机器或网络进行数据外渗。
黑莓使用两种不同的模式来防止数据外泄。一个是 C2 模型，它可以检测 C2 通信尝试并阻止它们。这是通过 C2 机器学习模型实现的，该模型在公共互联网目的地未知时就会应用，并将其标记为风险或良性。另一个是 DNS 隧道模型。通过离线 ML 处理在运行时检测到的目的地将被标记为新的异常情况，称为 "零日检测"。
阻止 Deepvoice 诈骗电话
如果威胁行为者试图绕过端点控制，通过电话与员工联系，例如冒充贵公司服务台团队的成员，这些诈骗电话可以通过BlackBerry SecuSUITE® 来缓解，它为 iOS® 和 Android™ 提供了高安全性的语音和信息服务。SecuSUITE 受到全球各国政府、世界领导人和企业高管的信赖，通过在移动设备上实现安全通信，可保护从商业企业到国家安全的潜在目标免受威胁。
SecuSUITE 使用加密身份证明来防止身份欺骗，因此您可以确信与您通信的设备的身份。这与应用程序特定的访问控制相结合，确保使用该设备的人是正确的。它作为一个封闭的网络运行，用户的添加和删除都是通过管理进行的，这意味着没有公开的注册过程，网络犯罪分子可能会滥用这一过程。
SecuSUITE 是一个封闭的环境，每次通话或发送信息都会验证所有参与者的身份，因此消除了身份欺骗和垃圾电话的风险。此外，关于谁在与谁通话的通话和信息元数据被嵌入加密流中，因此第三方无法捕获和挖掘这些数据来实施社交攻击计划。
SecuSUITE 应用程序适用于 iOS 和部分安卓设备，符合最严格的全球网络安全标准，我们的加密套件经授权可保护信息达到 "绝密 "级别。它还获得了北约限制使用的认证和批准。我们通过了通用标准认证，并被列入 NIAP 合规产品列表以及美国国家安全局的美国机密商业解决方案 (CSfC) 组件列表。
SecuSUITE 提供端到端加密，并发布与安全电话号码绑定的受管理控制的安全用户列表，因此您甚至无需共享 SIM 卡电话号码。
我们对合乎道德的人工智能开发的承诺
ChatGPT 等新产品和其他产品充斥着当今市场，为生成式人工智能开辟了许多新途径，导致了最初的一轮炒作，许多成熟的网络安全公司和初创企业都试图参与其中。不过，黑莓采取了一种更可持续、更长远的方法，即基于企业级生成式人工智能模型开发新功能，而不是容易造成数据泄露和隐私侵犯的消费级模型。
黑莓公司拥有多项与人工智能（包括生成式人工智能）的多种形式和用途相关的专利，并坚定地致力于符合道德规范的人工智能开发，我们很早就采用了加拿大关于负责任地管理高级生成式人工智能系统的自愿行为准则，就证明了这一点。我们不使用或共享客户数据来训练我们的模型。
通过使用人工智能驱动的解决方案（如 BlackBerry 提供的解决方案）来保护您的组织，您可以打破利用恶意社交工程活动的攻击链，从而帮助保护用户的安全，即使在欺骗过程中使用了深度伪造。
最终想法
随着人工智能的发展，真实与人工之间的界限越来越模糊，人们不禁回想起一些警世故事，比如艾萨克-阿西莫夫（Isaac Asimov）先知先觉的《我，机器人》（I, Robot）文集，其中就有关于拥有 "正电子大脑 "的智能机器人的故事。这些写于 20 世纪 50 年代的故事在今天同样具有现实意义。阿西莫夫预见到需要有严格的规则来管理人工智能，其中最著名的是他的《机器人 三定律》，许多人认为这是在自动驾驶汽车中基于伦理的人工智能决策的实用基础，悄然从科幻小说变成了科学事实。
Deepfake 并不是什么恶意代码或计算机漏洞，而是超越防火墙规则和杀毒软件的数字卷须，针对那些不知情地消费或分享此类非法篡改内容的最终用户。社交媒体传播虚假信息的威力意味着，在网上阅读和分享信息时保持谨慎比以往任何时候都更加重要。
虽然存在法律后果，但起诉和反制措施远远滞后，目前正努力减轻这种新技术的影响。归根结底，我们正站在另一个人工智能时代的黎明，有了这样的技术，我们就必须对在这个数字影响范围内消费的内容保持警惕和批判，因为界限会继续变得人为地不透明。