婚恋网站模板下载,windows最新一代,做国际网站有用吗,广告设计专业哪个大学最好源自#xff1a;GoUpSec “人工智能技术与咨询” 发布
安全研究人员用OpenSSF记分卡对GitHub上50个最流行的生成式AI大语言模型项目的安全性进行了评估#xff0c;结果发现越流行的大语言模型越危险。 近日#xff0c;安全研究人员用OpenSSF记分卡对GitHub上50个最流…源自GoUpSec “人工智能技术与咨询” 发布
安全研究人员用OpenSSF记分卡对GitHub上50个最流行的生成式AI大语言模型项目的安全性进行了评估结果发现越流行的大语言模型越危险。 近日安全研究人员用OpenSSF记分卡对GitHub上50个最流行的生成式AI大语言模型项目的安全性进行了评估结果发现越流行的大语言模型越危险。
软件供应链安全公司Rezilion的研究人员调查了GitHub上50个最受欢迎的生成式AI项目的安全状况。他们发现生成式人工智能开源项目越流行、越新其安全性就越不成熟。
Rezilion使用开源安全基金会(OpenSSF)记分卡来评估大型语言模型(LLM)开源生态系统强调了安全最佳实践中的重大差距以及许多基于LLM的项目中的潜在风险。研究结果发表在题为《ExplAIning the Risk》报告中。
基于LLM的生成式人工智能技术呈爆炸性增长机器已经能够生成接近甚至超过人类平均水平效率的文本、图像甚至代码的能力。集成LLM的开源项目数量正迅猛增长。例如OpenAI推出ChatGPT仅7个月但目前GitHub上已经有超过3万个使用GPT-3.5系列LLM的开源项目。
尽管需求空前旺盛但生成式AI/LLM技术面临的安全风险也与日俱增从利用先进的自学习算法共享敏感业务信息到恶意行为者利用生成式AI来大幅度提高攻击力。
本月早些时候开放全球应用程序安全项目(OWASP)发布了大语言模型应用常见的10个最严重的漏洞下图强调了LLM面临的潜在风险、漏洞利用的难易程度和普遍性。OWASP给出的LLM漏洞示例包括提示注入、数据泄露、沙箱机制不充分和未经授权的代码执行。 OWASP大语言模型十大安全漏洞 什么是OpenSSF记分卡
OpenSSF记分卡是OpenSSF创建的一个工具用于评估开源项目的安全性并帮助改进它们。OpenSSF评估所依据的指标是代码库本身的问题例如漏洞数量、维护频率以及是否包含二进制文件。OpenSSF能检查软件项目供应链的不同部分包括源代码、构建依赖项、测试和项目维护。确保其遵守安全最佳实践和行业标准。
OpenSSF的每项检查都有一个与之相关的风险级别代表与不遵守特定最佳实践相关的估计风险。然后将各个检查分数换算成总分数以评估项目的整体安全状况。
目前OpenSSF共有18项检查可分为三大类整体安全实践、源代码风险评估和构建过程风险评估。OpenSSF记分卡为每项检查分配0到10之间的风险级别分数。得分接近10的项目表示高度安全且维护良好而得分接近0则表示安全状况较弱维护不足且易受开源风险影响。
越流行的开源大语言模型项目越不安全
Rezilion的研究揭示了一个令人不安的趋势生成式AI/LLM项目越受欢迎基于GitHub的星级受欢迎程度评级系统其安全评分就越低基于OpenSSF记分卡。
研究人员指出“这凸显了一个事实即LLM项目的受欢迎程度本身并不能反映其质量更不用说其安全状况了。”报告称GitHub上最受欢迎的基于GPT的项目Auto-GPT拥有超过13.8万颗星上线还不到三个月其记分卡得分仅为3.7。检查的50个项目的平均得分也好不到哪儿去仅为4.6分满分10分。
研究人员进一步将GitHub上最受欢迎的生成式AI和LLM项目的风险与该平台上与生成式AI或LLM无关的其他流行开源项目进行了比较。他们分析了一组94个关键项目由OpenSSF保护关键项目工作组定义平均记分卡得分为6.18还分析了一组7个将OpenSSF记分卡作为其SDLC工作流程一部分的项目平均得分7.37。
研究人员写道“围绕LLM的开源生态系统的成熟度和安全状况还有很多不足之处。事实上随着这些系统越来越受欢迎普及度越高如果开发和维护的安全标准保持不变重大漏洞将持续涌现不可避免地会成为攻击者的目标。”
未来12-18个月生成式AI、大语言模型风险将持续增加
报告指出随着生成式AI和LLM系统的应用不断增长给企业带来的风险预计将在未来12到18个月内发生重大变化。报告指出“如果围绕LLM的安全标准和实践没有重大改进针对性的攻击和发现这些系统中的漏洞的可能性将会增加。企业必须保持警惕并优先考虑安全措施以缓解不断变化的风险并确保负责任和安全地使用LLM。”
降低LLM安全风险最重要的方法是“安全左移”即在开发基于人工智能的系统时就采用安全设计方法来应对LLM的风险。企业还应该利用安全人工智能框架(SAIF)、NeMo Guardrails或MITRE ATLAS等现有框架将安全措施纳入其人工智能系统中。
企业还需要监控和记录用户与LLM的互动并定期审核和审查LLM的响应以检测潜在的安全和隐私问题并相应地更新和微调LLM。
声明:公众号转载的文章及图片出于非商业性的教育和科研目的供大家参考和探讨并不意味着支持其观点或证实其内容的真实性。版权归原作者所有如转载稿涉及版权等问题请立即联系我们删除。
“人工智能技术与咨询” 发布
