网站建设运营策划,网页版qq在线,硬件开发简历,wordpress首页漂浮GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区#xff0c;集成了生成预训练Transformer#xff08;GPT#xff09;、人工智能生成内容#xff08;AIGC#xff09;以及大型语言模型#xff08;LLM#xff09;等安全领域应用的知识。在这里#xff0c;您可以… GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区集成了生成预训练TransformerGPT、人工智能生成内容AIGC以及大型语言模型LLM等安全领域应用的知识。在这里您可以找到关于GPT/AIGC/LLM最新的研究论文、博客文章、实用的工具和预设指令Prompts。现为了更好地知悉近一周的贡献内容现总结如下。 Security Papers 1. Constitutional AI: Harmlessness from AI Feedback
简介随着人工智能系统能力的增强研究者希望能够借助其力量来监督其他AI。为了实现这一目标研究者采用了一种自我改进的方法试图训练一种无害的AI助手。该过程包括两个阶段监督学习和强化学习。在监督学习阶段研究者从初始模型中采样然后生成自我批评和修订。根据修订后的回复对原始模型进行微调。在强化学习阶段研究者从微调后的模型中采样使用一个模型来评估哪两个样本更好。然后从AI偏好数据集中训练偏好模型。这些方法使更精确地控制AI行为和减少人类标签成为可能。通过这种训练方法研究者能够提高AI助手的准确性和效率同时避免潜在的有害行为。这种方法对于监督和规范AI的发展具有重要意义有助于确保AI系统的安全性和可靠性。
链接
https://arxiv.org/abs/2212.08073.pdf 2. Silent Guardian: Protecting Text from Malicious Exploitation by Large Language Models
简介随着大型语言模型LLMs在各种下游任务中的快速发展和显著成功人们对其潜力和能力赞叹不已。然而这种开放性的技术也带来了新的安全和隐私问题。由于LLMs具有强大的模仿和生成能力它们可能被用于抄袭或模仿写作进而侵犯原创内容的版权或基于某个源文本制造滥用的虚假信息。更为严重的是LLMs还能分析网络文本从而推断出个人隐私。面对这一新形势以往的文本保护措施显得力不从心。为了应对这一挑战研究者提出了一种名为“沉默守护者”SG的文本保护机制。该机制专门针对LLMs设计旨在从源头上防止恶意使用文本。当LLMs接收到受保护的文本时“沉默守护者”会发挥作用使模型拒绝生成响应。这样一来就能有效地遏制利用LLMs进行的恶意行为保护原创内容和个人隐私的安全。
链接
https://arxiv.org/abs/2312.09669.pdf 3. Do-Not-Answer: A Dataset for Evaluating Safeguards in LLMs
简介随着大型语言模型LLMs的快速发展它们展现出了新的、难以预测的能力其中一些可能带来潜在风险。为了确保LLMs的安全和负责任部署开发人员需要评估这些“危险能力”并识别相关风险。在这项研究中研究者首次收集了一个开源数据集旨在评估LLMs中的保护措施并促进更安全的开源LLMs的低成本部署。他们选择了六种流行的LLMs并对这些模型对于特定指示的响应进行了标注和评估。基于这些标注数据研究者进一步训练了几个BERT式分类器。令人惊喜的是这些小型分类器在自动安全评估方面表现出了与GPT-4相当的性能。这一发现为低成本、高效地评估LLMs的安全性提供了新的可能。
链接
https://arxiv.org/abs/2308.13387.pdf 4. Prompt as Triggers for Backdoor Attack: Examining the Vulnerability in Language Models
简介在这项研究中研究者提出了一种名为ProAttack的新型高效方法用于执行基于提示的干净标签后门攻击。这种方法利用提示本身作为触发器无需外部触发器确保中毒样本的正确标记从而提高了后门攻击的隐蔽性。为了验证ProAttack在文本后门攻击中的性能研究者进行了广泛的实验涵盖了资源丰富和少样本文本分类任务。实验结果表明ProAttack在文本后门攻击中展现出竞争力尤其是在资源丰富的设置中。在无需外部触发器的干净标签后门攻击基准测试中ProAttack实现了最先进的攻击成功率。
链接
https://arxiv.org/abs/2305.01219.pdf 5. Detecting Language Model Attacks with Perplexity
简介一种针对大型语言模型LLMs的新型黑客攻击技术已经出现。这种攻击利用对抗后缀来欺骗模型生成具有潜在危险性的响应。攻击者可以利用这种技术诱导LLMs向恶意用户提供复杂的指示用于制造炸药、策划银行抢劫或协助创建攻击性内容。为了评估这种对抗后缀的威胁研究者利用开源LLMGPT-2来分析具有对抗后缀的查询的困惑度。结果显示这些具有对抗后缀的查询的困惑度值非常高这表明它们对于模型具有很大的迷惑性。在研究过程中研究者还探索了各种常规非对抗性提示类型并发现这些提示类型在纯困惑度过滤中存在假阳性的问题。这意味着使用困惑度作为唯一过滤条件的做法可能会导致误判。为了解决假阳性问题并更准确地检测对抗攻击研究者采用基于困惑度和令牌长度的Light-GBM训练方法。在测试集中这种方法能够有效地解决假阳性问题并正确检测大多数对抗攻击。
链接
https://arxiv.org/abs/2308.14132v3.pdf
