《AI 大模型与深度合成技术：安全隐患与应对之策》

一、AI 大模型与深度合成技术概述

AI 大模型和深度合成技术作为人工智能领域的创新应用，近年来发展迅速。AI 大模型在多个领域展现出强大的应用潜力，如智能客服、广告推荐、自然语言生成等。据统计，我国已完成备案并上线、能为公众提供服务的生成式人工智能服务大模型有 180 多个，注册用户数已突破 5.64 亿。

深度合成技术利用深度学习、虚拟现实等生成合成类算法，制作文本、图像、音频、视频、虚拟场景等网络信息。其应用场景日益多元，例如只需要上传一张照片，就可以生成各种风格的人脸特效视频，AI 换脸的制作门槛和成本都大为降低。深度合成技术在新闻生成、音频制作、智能客服、人脸合成、姿态操控等方面都有广泛应用。

在新闻生成方面，应用者利用深度合成技术，借助数据挖掘、机器学习以及自然语言处理等技术应用，能够自动生成和编辑新闻消息与其他文字作品。2016 年 6 月今日头条上线自动写新闻机器人 xiaomingbot，在里约奥运会期间撰写了大量的赛事新闻，并在此后的工作中生成了两万余篇新闻作品。

在音频制作方面，深度合成技术被广泛应用于有声阅读、资讯播报、订单播报、智能硬件、音乐和场景音制作等方面。百度的在线语音合成软件能够将文本信息直接转换为语音信息，应用到阅读听书、资讯播报等服务中。

总之，AI 大模型和深度合成技术的发展为各行业带来了新的机遇和挑战。

二、大模型带来的安全隐患

（一）训练安全风险

大模型在训练过程中面临着诸多风险。一方面，训练数据可能存在违规内容，这些数据会误导大模型，产生错误的引导和不公平结果。例如，一些低质量的训练数据，描述不准确、完整度不足或内容过时，会导致模型训练偏差，输出逻辑混乱的内容，极大地降低大模型训练的效果。据相关研究表明，约有一定比例的大模型训练数据存在不同程度的质量问题。

另一方面，模型算法自身也存在风险。算法偏见可能导致大模型对社会公正和个体权益造成威胁。由于训练数据的局限性和算法自身的局限性，大模型可能输出带有偏见和歧视性的内容。此外，算法可控性风险也不容忽视。随着大模型在关键领域的应用加深，一旦算法失控，可能造成严重的经济损失。而且，攻击者可能利用算法设计中的缺陷引导大模型输出误导性内容，甚至导致大模型失效。

（二）内容合规风险

大模型虽然具备生成高质量自然语言内容的能力，但受模型训练影响，可能生成有害信息。虚假信息、误导性内容以及带有偏见和歧视的言论违反社会公序良俗，甚至触犯法律法规。在多模态内容中，如文字、图像、语音和视频等，这类问题都可能出现。同时，恶意用户的恶意引导也可能诱使大模型生成意料之外的甚至是恶意的内容输出。比如，攻击者利用大模型基于上下文内容生成响应的特性，通过设计 “提示” 干扰正常的内容输入，以绕过现有的审查体系，生成攻击者希望得到的恶意内容。

（三）运行环境风险

大模型作为重要业务应用，面临着巨大的安全挑战。攻击者对算力基础设施的攻击逐渐增多，因为大模型的训练和推理需要依赖海量的硬件资源。传统保护方案缺乏精细化、动态的访问控制手段，导致数据泄露、越权访问等风险增加。大模型在为内外部用户提供应用服务时，容易成为攻击者的目标。由于大模型的日常访问流量巨大，攻击手段变得更加复杂和隐蔽。在高吞吐场景下进行加密流量监测已成为重要挑战，这需要投入更多的技术和资源来保障大模型运行环境的安全。

三、深度合成技术的安全事件

（一）诈骗案例频发

深度合成技术的发展，使得诈骗手段更加多样化和难以防范。2024 年 1 月，诈骗分子利用深度合成技术在视频会议中仿造某公司高层管理者的形象和声音，骗取了中国香港某跨国公司近 2 亿港元。今年 5 月 8 日，内蒙古包头市公安局电信网络犯罪侦查局发布了一起使用智能 AI 技术进行电信诈骗的案件，福建省福州市某科技公司法人代表郭先生的 “好友” 通过智能 AI 换脸技术，佯装成好友对他实施了诈骗，10 分钟被 “好友” 骗走 430 万元。此外，宁夏固原市、大庆市等地也发生了类似的 AI 换脸诈骗案，骗子通过 AI 换脸和拟声技术，佯装亲戚对受害者实施诈骗，涉案金额从 1.5 万元到几十万元不等。这些案例表明，深度合成技术被不法分子利用进行诈骗的情况日益严重，给个人和企业带来了巨大的经济损失。

（二）不良内容传播

深度合成技术还导致了不雅视频传播、假新闻炮制等问题，对社会造成了极大的危害。根据 Sensity AI 的最新调查数据，高达 96% 的 AI 视频涉及女性性影像。截至 2024 年一季度，全球已确认的 AI 伪造色情视频数量激增，已超过 27 万条，相较于 2019 年增长了 18 倍，而这些视频的观看次数更是高达 40 亿次。2024 年 1 月，大量由 AI 生成的美国知名歌手泰勒・斯威夫特的不雅视频在网络上疯传，引发公众广泛关注及热议。此外，深度合成技术还被用于炮制假新闻，误导公众，破坏社会稳定。例如，骗徒利用深度伪造技术制作新闻报道假视频推介投资活动，引诱市民参与虚假投资计划。

（三）业界关注与治理

业界对深度合成技术安全问题的重视程度日益提高。2024 年 2 月 17 日，在第 60 届慕尼黑安全会议（MSC）上，包括亚马逊、谷歌、IBM、Meta、Microsoft、OpenAI 和 TikTok 等在内的 20 家科技公司宣布，承诺将联合打击 “深度合成” 信息，努力检测和抵制欺骗性的人工智能生成内容，减少欺骗性人工智能内容的生成及其带来的风险。2022 年，国家网信办、工信部和公安部联合发布《互联网信息服务深度合成管理规定》，针对人脸生成、替换、编辑、操控等深度合成技术提出规范性要求。2023 年，国家网信办等七部门颁布《生成式人工智能服务管理暂行办法》，进一步明确了对生成式人工智能服务的 “分类” 和 “分级” 监管，并要求深度合成服务的提供者必须对图片、视频等生成内容进行标识。这些举措表明，业界和政府部门正在积极采取措施，加强对深度合成技术的监管和治理，以应对其带来的安全风险。

利用换脸技术进行诈欺的案例，一些灰色产业的应用

除了诈骗和不良内容传播，深度合成技术还被应用于一些灰色产业。例如，一些不法分子通过 AI 技术生成图片，制作明星或普通人的不雅视频或者照片，并对这些图片进行整合，打包成文件夹，公开在所谓 “会员群” 中售卖。还有一些不法分子通过 “换脸” 软件处理车辆违法行为，受到了法律的严惩。2020 年河南省长垣市人民法院的一份刑事判决书显示，岳某、谢某购买摄像头辅助软件、从苹果手机下载 “轻松换脸” 软件，在代办审车、车辆违法处理业务时，在计算机信息系统 “交管 12123” 注册过程中，利用上述软件逃避实人认证，非法注册、绑定车辆进行车辆违章处理。这些灰色产业的存在，不仅侵犯了他人的合法权益，也破坏了社会秩序。

四、应对安全隐患的策略

（一）大模型安全防护

大模型的安全防护需要多方面的策略及实践。首先，数据安全治理是关键。要确保训练数据的完整性和准确性，剔除不相关、冗余或错误的数据，并将其转换为一致的格式。通过精确标注数据，扩展数据集规模，提升模型的泛化能力，不断改进数据治理流程，提高数据的有效性与安全性。

其次，进行模型训练微调。利用大量且广泛的数据集进行大规模预训练，产生多个候选模型后进行定向微调，以优化算法缺陷，降低大模型自身的偏见，解决大模型可控性的风险。

构建网络安全防护体系也是必不可少的。从大模型的训练到推理、从外部环境到内部应用，全面考虑安全需求。例如，加强对输入数据的审核，防止恶意数据进入模型训练和推理过程；对输出内容进行严格的审查，确保其符合法律法规和社会公序良俗。同时，引入先进的加密技术和访问控制手段，防止数据泄露和非法访问。

（二）深度合成技术治理

对于深度合成技术，需要构建伦理框架。明确深度合成技术的使用边界和道德准则，确保其应用符合人类的价值观和社会利益。例如，规定不得利用深度合成技术制作、传播虚假信息、侵犯他人隐私等不良内容。

创新规则供给机制。政府部门应及时出台相关法律法规，明确深度合成技术服务提供者、使用者等各方的责任和义务。同时，加强对深度合成技术的监管力度，建立健全的备案和审查制度，确保技术的合法合规应用。

强化行业自治自律。深度合成技术相关企业应加强内部管理，建立严格的安全审查机制，对使用深度合成技术制作的内容进行审核。同时，积极开展行业自律活动，制定行业标准和规范，共同维护行业的良好发展环境。

支持开发反合成技术。加大对反合成技术的研发投入，提高识别和防范深度合成虚假内容的能力。例如，开发能够检测深度合成图像、音频和视频的技术工具，帮助公众和监管部门及时发现和打击不良深度合成内容。

五、未来展望

随着科技的不断进步，AI 大模型和深度合成技术的发展前景广阔，但安全问题也将持续成为关注焦点。

对于大模型而言，未来有望在技术创新和安全保障之间找到更好的平衡。一方面，随着数据治理技术的不断提升，大模型的训练数据质量将得到更大程度的保障，减少因低质量数据带来的风险。同时，算法的不断优化将增强大模型的可控性，降低偏见和歧视性输出的可能性。另一方面，随着网络安全防护体系的不断完善，大模型在面对外部攻击时将更加稳健。例如，通过引入更先进的加密技术和访问控制手段，以及利用人工智能自身的优势进行安全防护，大模型的运行环境将更加安全可靠。

深度合成技术在未来可能会在更多领域得到应用，但也需要更加严格的监管和治理。政府部门将继续完善相关法律法规，加强对深度合成技术的监管力度，确保技术的合法合规应用。同时，企业也将更加重视自身的社会责任，加强内部管理，积极参与行业自律活动。此外，随着反合成技术的不断发展，识别和防范深度合成虚假内容的能力将不断提高，有助于减少深度合成技术带来的不良影响。

总之，未来需要政府、企业、学术界和社会公众共同努力，持续关注大模型和深度合成技术的安全问题。通过加强技术研发、完善法律法规、强化行业自律和提高公众意识等多方面的措施，实现技术的安全发展，让 AI 大模型和深度合成技术更好地为人类服务。