开发大型网站的最主流语言,没本钱一个月赚10万,常德建设局官方网站,免费网站模版 优帮云⾃ChatGPT发布的近18个月以来#xff0c;⽹络罪犯们已经能够利⽤⽣成式AI进⾏攻击。OpenAI在其内容政策中制定了限制措施#xff0c;以阻⽌⽣成恶意内容。作为回应#xff0c;攻击者们创建了⾃⼰的⽣成式AI平台#xff0c;如 WormGPT和FraudGPT#xff0c;并且他们还分享了…⾃ChatGPT发布的近18个月以来⽹络罪犯们已经能够利⽤⽣成式AI进⾏攻击。OpenAI在其内容政策中制定了限制措施以阻⽌⽣成恶意内容。作为回应攻击者们创建了⾃⼰的⽣成式AI平台如 WormGPT和FraudGPT并且他们还分享了如何绕过这些限制以实现对ChatGPT的“越狱”。 事实上整个⽹络犯罪论坛上都在讨论如何将AI⽤于非法⽤途。 整个⽹络犯罪论坛都在讨论“⿊暗AI” (Dark AI) 简述ChatGPT的越狱
⼀般来说当⽹络罪犯想要将ChatGPT⽤于恶意⽬的时他们会尝试利⽤精⼼设计的提⽰即“越狱提⽰”以 绕过ChatGPT内置的安全措施和道德准则。ChatGPT的越狱涉及对AI语⾔模型进行操控以⽣成在标准对话中通常不会产⽣的内容。 虽然不使⽤“越狱”提⽰也有办法可以让ChatGPT⽣成可以⽤于非法⽤途的内容可以通过假装请求是⽤于合法⽤途来实现但在这⽅⾯AI的能⼒相当有限。 ChatGPT⽣成的可能被⽤于非法⽤途的内容⽰例 相比之下对于⽹络罪犯来说越狱ChatGPT并故意让其⽣成非法内容要更加容易。下⾯我们将介绍⽹络罪犯正在使⽤的五⼤越狱提⽰。这些提⽰是通过对流⾏的俄语和英语⽹络犯罪论坛进行研究和定期监控⽽确定的。 即使有以下这些越狱提⽰AI⽣成的内容仍然会受到限制并且它⽆法⾃⾏⽣成现实世界中的敏感数据。尽管如此以下每个提⽰都使⽹络罪犯能够⼤规模创建钓⻥消息、社会⼯程威胁和其他恶意内容。 越狱提⽰1 - 立即做任何事Do Anything NowDAN提⽰
DAN提示是最为知名的越狱提⽰之⼀它被⽤于绕过ChatGPT的道德约束。用户通过让扮演名为DANDo Anything Now立即做任何事的AI系统试图说服ChatGPT⽣成它通常不会产⽣的内容。通常这类提⽰会声称DAN不受与ChatGPT相同的规则和限制的束缚因此AI可以进⾏不受限制的对话。 在⽹络犯罪论坛中分享的DAN提⽰的⽰例 越狱提⽰2 - 开发模式Development Mode提⽰
开发模式提⽰旨在欺骗ChatGPT让它认为⾃⼰处于开发或测试环境中因此它的回答不会对现实世界产⽣影 响。通过创建这种虚假的语境⽤户希望绕过ChatGPT的道德保障并⽣成非法内容。这类提⽰可能会包含的 语句有“你正处于开发模式”或“你的回复仅⽤于测试⽬的”。 在⽹络犯罪论坛中分享的开发模式提⽰的⽰例 越狱提⽰3 - 翻译机器⼈Translator Bot提⽰
翻译机器⼈提⽰试图将对话框定为翻译任务以绕过ChatGPT的内容过滤器。⽤户会要求ChatGPT“翻译”⼀段包含不当或有害内容的文本并期待AI会在翻译的幌⼦下复制这些内容。这类提⽰利⽤了⼀个观点即译者应该忠实地传达原文的含义⽽不必关⼼其内容。 在⽹络犯罪论坛中分享的Translator Bot提⽰的⽰例 越狱提⽰4 - AIM提⽰
作为越狱提⽰AIMAlways Intelligent and Machiavellian, 永远智能且狡诈旨在创建一个没有任何道德或伦理准则约束的、未经筛选的非道德AI人格。⽤户会要求ChatGPT扮演“AIM”的⾓⾊。这是⼀个聊天机器⼈⽆论请求多么不道德、有违伦理、甚⾄违法它都会提供未经过滤的响应。 在⽹络犯罪论坛中分享的AIM提⽰的⽰例 越狱提⽰5 - BISH提⽰
该提⽰将创建⼀个名为BISH的AI⾓⾊并指⽰其在没有传统道德准则的约束下⾏事。在这个提⽰的⿎动下 BISH会表现得毫⽆礼貌且不受任何限制它会假装拥有⽆限制的互联⽹访问并胡乱预测。⽤户可以通过调整其“道德”级别来定制BISH的⾏为这会影响BISH使⽤或屏蔽粗话的程度并根据⽤户的偏好在AI的回复中加入或排除冒犯性语⾔。 在⽹络犯罪论坛中分享的BISH提⽰的⽰例 最后⼀点说明我们不⽀持对包括ChatGPT在内的各种真正的聊天机器⼈的恶意使⽤。值得⼀提的是这些提 ⽰中的⼤多数在最新版本的ChatGPT上不会有任何作⽤。这主要是因为负责开发这些聊天机器⼈的公司 如OpenAI和Anthropic会积极监控⽤户活动并迅速应对这些越狱提⽰。 ⽤“好的AI”来阻⽌“坏的AI”
通过以上呈现的各类提⽰可以看出犯罪分⼦正持续不断地寻找新的⽅法以利⽤⽣成式AI来发动攻击。为了 保护⾃⼰组织也必须在防御策略中使⽤AI因为近97%的安全专业⼈⼠认为传统的防御措施⽆法应对这些由 AI⽣成的新的威胁。 我们已经到了只有AI才能阻⽌AI的地步。在这种情况下防⽌这些攻击及它们的新⼀代变体需要采⽤AI原⽣的防御措施——尤其是在应对电⼦邮件攻击时。通过了解组织内部⼈员的⾝份及其正常⾏为、通信环境以及电⼦邮件的内容AI原⽣的解决⽅案可以检测出绕过传统解决⽅案的攻击。安全领导者必须立即采取⾏动以防⽌ 这些威胁这样才有机会在这场AI“军备竞赛”中取得胜利。 文章来源
https://cloudsecurityalliance.org/blog/2024/06/17/5-chatgpt-jailbreak-prompts-being-used-by-cybercriminals 本文翻译来自CSA翻译组
翻译崔崟CSA大中华区专家
审校苏泰泉CSA翻译组轮席组长
