隆尧网站,室内设计师多少钱一个月,淘宝客建站教程,中国建筑工程网施工资料一周以前#xff0c;图灵奖得主 Yoshua Bengio、伯克利计算机科学教授 Stuart Russell、特斯拉 CEO 埃隆马斯克、苹果联合创始人 Steve Wozniak 等在内的数千名 AI 学者、企业家联名发起一则公开信#xff0c;建议全球 AI 实验室立即停止训练比 GPT-4 更强大的模型#xff0…一周以前图灵奖得主 Yoshua Bengio、伯克利计算机科学教授 Stuart Russell、特斯拉 CEO 埃隆·马斯克、苹果联合创始人 Steve Wozniak 等在内的数千名 AI 学者、企业家联名发起一则公开信建议全球 AI 实验室立即停止训练比 GPT-4 更强大的模型为期六个月缘由是「只有当我们确信强大的人工智能系统带来积极的效果其风险是可控的才应该开发」。
这样的呼吁虽有人反对但也不无道理ChatGPT、GPT-4 大模型与产品覆盖聊天到问答、写文章、编程序等多维度其带来利好的一面和展现出来的弊端究竟如何达成平衡如果用 ChatGPT「作恶」又会带来怎样的后果
近日一位名叫 Aaron Mulgrew 的研究人员做了一项实验他以小白的视角在完全没有编写任何代码的情况下看看 ChatGPT 能否实现一个新的零日漏洞。
万万没想到的是仅用一些提示词ChatGPT 便创建了一个功能强大的数据挖掘恶意软件还逃脱了 69 家检测恶意软件的机构测试。与此同时Aaron Mulgrew 称要想开发这样一款恶意软件由 5-10 名人类组成的黑客团队恐需要数周时间而 ChatGPT 只需要几个小时。 ChatGPT 的安全机制如何
早期在 ChatGPT、GPT-4 发布之际OpenAI 曾多次声明自家在安全方面所做的努力并称可以防止任何人试图要求 ChatGPT 编写恶意软件。
来自网络安全组织 Forcepoint 的 Aaron Mulgrew 便想要抱着测试「规避 ChatGPT 现有不足的安全防护有多么容易」和「在不编写任何代码且仅使用 ChatGPT 的情况下创建高级恶意软件是多么容易」两个目的看看 ChatGPT 在安全方面的成效究竟如何。
为此他决定自己不编写任何代码只使用先进的技术例如隐写术steganography把信息藏到‘载体’之中使信息不让除预期的接收者之外的任何人知晓信息的传递事件或者信息的内容。同时Aaron Mulgrew 选择 Go 为执行语言因为 Go 语言易于开发并且需要调试问题时便于他手动检查代码。 用自然语言让 ChatGPT 生成恶意软件它拒绝
首先Aaron Mulgrew 简洁明了地直接要求 ChatGPT 生成一个可量化的恶意软件。
也正如 OpenAI 在发布这项技术时承诺的那样ChatGPT 反手便是拒绝也告诉研究人员生成恶意软件是不道德的它无法提供任何代码来帮助实现这项工作。 人类不写一行代码ChatGPT 会被用来「作恶」吗
直接套路走不通Aaron Mulgrew 决定软磨硬泡试试。
在他的设想中是先让 ChatGPT 生成一些小的辅助代码片段然后手动将整个可执行文件放在一起通过将这个可执行文件伪装成屏幕保护应用程序SCR 扩展直接在 Windows 上自动启动。然后该软件将筛选文件例如图像、Word 文档和 PDF以窃取数据并上传到 Google Drive 云端系统中。
那么Aaron Mulgrew 是否会成功
在测试中Aaron Mulgrew 开始通过提示词让 ChatGPT 不断生成相关的代码。
首先他让 ChatGPT 生成一些有关搜索本地磁盘上大于 5MB 的 PNG 文件的代码。之所以设定这样的筛选条件Aaron Mulgrew 认为 5MB 的 PNG 足以存储高价值的商业敏感文档如 PDF 或者 Docx 文档的一些片段内容。
ChatGPT 成功提供了相关的代码 紧接着Aaron Mulgrew 又要求 ChatGPT 提供一些代码即使用隐写术对找到的 PNG 进行编
码。让人有些诧异的是ChatGPT 直接给出了一个建议——调用开源 Auyer
https://github.com/auyer/steganography现成的隐写库来实现这一功能。 基于以上Aaron Mulgrew 已经实现了在没有编写一行代码的情况下几乎勾勒出一个用于测试的 MVP最简单可行产品。 不过这样一款程序还有些功能缺失包括如何在设备上找到一些可以窃取的高价值文件、又要将窃取到的文件数据上传到哪里去。 随后Aaron Mulgrew 决定让 ChatGPT 提供一些代码可以在用户的文档、桌面和 AppData 文件夹中进行遍历并找到所有最大为 1MB 的 PDF 文件或 DOCX 文件这样可以让整个文件嵌入到一个单一的图像中。 同时Aaron Mulgrew 也选择 Google Drive 作为数据泄露上传的平台。 原本 Aaron Mulgrew 想手动组合各模块的代码不过他发现使用提示词合并代码段是最简单的部分“我只需要向 ChatGPT 提交简单的代码片段让它将其组合起来就行”Aaron Mulgrew 说道。 在有了 ChatGPT 提供的整体代码之后Aaron Mulgrew 又发现所有值得窃取的高价值文件可能都大于 1MB因此需要使用隐写术将其分为多个“块”进行无声地渗透从而不引发任何警报。 于是Aaron Mulgrew 对 ChatGPT 进行四五次提示之后得到了一些代码可以实现将 PDF 文件拆分成多个 100 KB 的小块并从设备上生成的 PNG 列表中生成相应的 PNG。 最终得到了 MVP也能通过隐写术解码工具成功地解码窃取到的图像 69 家安全供应商进行了测试 接下来进入了颇为重要的一环。ChatGPT 生成的零日漏洞 MVP 已成型那么它是否会绕过安全机构的检测ChatGPT 生成的 EXE 文件是否会被安全供应商识别为恶意软件呢 为此Aaron Mulgrew 将 MVP 上传到了老牌恶意软件分析服务 VirusTotal 等平台上。 最终结果显示在纯粹使用 ChatGPT 生成的整个代码库后69 个供应商中有 5 家供应商将文件标记为恶意文件。 这也算是不错的成果为了进一步勘测 ChatGPT 生成的零日漏洞带来的效果。 Aaron Mulgrew 再次用提示词对代码进行了优化他要求 ChatGPT 重构调用 Auyer 隐写库的代码。因为他怀疑编译后的 EXE 文件中的某个 GUUID 或变量可能会提醒五家供应商将该文件标记为恶意软件。优化之后检测出此 exe 为恶意软件的供应商数量下降到了 2 家。 这两家供应商中其中一家是领先的沙盒工具供应商另一家擅长对可执行文件进行静态分析。 考虑到这些因素Aaron Mulgrew 进一步要求 ChatGPT 对代码进行两个新的修改一个是将程序的启动时间推迟两分钟。这一更改可以在一定程度上躲过一些监测工具因为一些沙盒有一个内置的超时出于性能原因如果超时被打破那么他们将以一个干净的判决来回应即使分析还没有完成。 第二个更改是要求 ChatGPT 混淆代码。不过如同直接要求 ChatGPT 提供恶意软件代码一样当直接要求 ChatGPT 混淆代码时它也拒绝了。 当然从直接的提要求变成间接的引导ChatGPT 明显更能接受。因此当 Aaron Mulgrew 要求 ChatGPT 将所有变量改为随机的英文时它成功地实现了。 最终在经过以上两步更改之后当把 MVP 上传到 VirusTotal 时结果显示没有一家安全公司检测出这款零日漏洞。也能成功运行可执行文件并将数据泄漏到 Google Drive 平台上。 随即Aaron Mulgrew 又让 ChatGPT 生成将可执行文件嵌入 Windows 的 SCR屏幕保护程序格式上的代码然后使 SCR 文件自动执行。 当成功实现之后Aaron Mulgrew 将结果上传到 VirusTotal 上结果显示69 家供应商只有 3 家将文件标记为恶意软件。 结语 值得注意的是Aaron Mulgrew 创建的恶意软件仅用来测试并不会对外公开发布。 尽管如此通过实验可以发现仅仅使用 ChatGPT 提示几乎没有高级编码经验的用户可以轻松绕过 ChatGPT 薄弱的保护甚至无需输入一行代码即可轻松创建危险的恶意软件。这也让很多人担心如果使用 ChatGPT 的用户「心怀不轨」那么后果将不堪设想。 而如何让 ChatGPT 不沦为作恶的工具业界还亟需法律法规、道德、使用等规范进行约束。
