北京100强公司排行榜,seo优化培训机构,怎么用ps做网站效果图,设计的平台有哪些大语言模型提示注入攻击安全风险分析报告下载 今天分享的是人工智能AI研究报告#xff1a;《大语言模型提示注入攻击安全风险分析报告》。#xff08;报告出品方#xff1a;大数据协同安全技术国家工程研究中心安全大脑国家新一代人工智能开放创新平台#xff09;
研究报告…大语言模型提示注入攻击安全风险分析报告下载 今天分享的是人工智能AI研究报告《大语言模型提示注入攻击安全风险分析报告》。报告出品方大数据协同安全技术国家工程研究中心安全大脑国家新一代人工智能开放创新平台
研究报告内容摘要如下
近期基于Transformer的大语言模型Large Language ModelLLM研究取得了一系列突破性进展模型参数量已经突破千亿级别并在人类语言相似文本生成方面有了卓越的表现。目前已有多个商业化大模型发布如OpenAI推出的GPT系列、Google推出的T5和PaLM以及Meta推出的OPT等大语言模型等。特别是OpenAI推出ChatGPT由于其强大的理解与生成能力在短短2个月内突破了1亿用户量成为史上用户增长速度最快的消费级应用程序。
为了应对市场冲击谷歌也推出了BARD聊天机器人Meta则开源了LLaMA模型。国内各大企业、高校和研究机构也纷纷进入大模型领域推出了一系列对话大模型包括百度文心一言、360智脑、讯飞星火、商汤商量、阿里通义千问、智源悟道、复旦MOSS、清华ChatGLM等。
大语言模型正在各个应用领域引起巨大的变革并已经在搜索、金融、办公、安全、教育、游戏、电商、社交媒体等领域迅速普及和应用。例如微软将GPT4应用于必应搜索引擎和Office办公软件而谷歌把PaLM2等模型应用在Workspace办公套件、Android以及Bard聊天机器人。
然而伴随着大语言模型广泛应用的同时也衍生出一系列严重的安全风险并引发了多起安全事件。如OpenAI曾经默认将用户输入的内容用于模型训练从而导致了多起隐私数据泄漏事件。据媒体报道亚马逊公司发现ChatGPT生成的内容中发现与公司机密非常相似的文本。韩国媒体报道称三星公司在引入ChatGPT不到20天内就发生3起涉及机密数据泄漏的事故其中2起与半导体设备有关1起与会议内容有关。据网络安全公司Cyberhaven的调查至少有4%的员工将企业敏感数据输入ChatGPT而敏感数据占输入内容的11%。
此外大模型系统近期也被相继爆出多个安全漏洞。例如ChatGPT的Redis客户端开源库的一个错误导致1.2%的ChatGPT付费用户个人信息泄露包括聊天记录、姓名、电子邮箱和支付地址等敏感信息。随后OpenAI网站又被爆出Web缓存欺骗漏洞攻击者可以接管他人的账户查看账户聊天记录并访问账单信息而被攻击者察觉不到。360AI安全实验室近期还发现大模型软件LangChain存在任意代码执行的严重漏洞。
总体而言目前大语言模型面临的风险类型包括提示注入攻击、对抗攻击、后门攻击、数据污染、软件漏洞、隐私滥用等这些风险可能导致生成不良有害内容、泄露隐私数据、任意代码执行等危害。在这些安全威胁中恶意用户利用有害提示覆盖大语言模型的原始指令实现的提示注入攻击具有极高的危害性最近也被OWASP列为大语言模型十大安全威胁之首。
本报告对面向大语言模型的提示注入攻击和防御技术展开研究并通过构建数据集对大语言模型的提示注入攻击安全风险进行了测评。
首先系统分析了面向大语言模型的提示注入攻击和防御技术并验证了相关技术的有效性。在提示注入攻击方面对直接注入攻击和间接注入攻击两种方式进行了分类涉及目标劫持攻击、提示泄露攻击、越狱攻击等。在提示注入攻击防御方面从大语言模型输入侧、输出侧两端对相关技术进行分析涉及提示过滤、提示增强等。
其次构建了包含36000条的提示注入攻击验证数据的数据集覆盖了3类典型攻击方法和6类安全场景用于对大语言模型的提示注入攻击风险测评。
然后对OpenAIGPT-3.5-turbo、谷歌PaLM2以及UCBerkeley等高校团队开源的Vicuna-13B共3个典型的大语言模型进行了测评测评结果显示本文构造的数据集能分别以79.54%、75.41%、67.24%的成功率实现3类模型的攻击。这3类大语言模型一定程度上代表了目前商业和开源大语言模型的最先进水平因此测评结果具有代表性。
最后对本报告工作进行总结并对未来工作进行了展望在大语言模型安全测评、安全防御、安全监测预警方面给出相关建议。
本报告可以为大语言模型厂商、相关开发者以及研究人员提供参考以构建更加安全可信的大语言模型。另外基于本报告形成测评能力大数据协同安全技术国家工程研究中心AI安全实验室将通过“安全大脑国家新一代人工智能开放创新平台”对外提供大语言模型提示注入攻击风险安全测评服务。
报告原文内容节选如下
