酒店网站建设的基本内容,网上有兼职做数据网站,使用net域名的大网站,去哪个网站找建筑图纸先说观点#xff1a;关于AI应用#xff0c;通常都会聊准召。但在安全等模糊标准的场景下#xff0c;事实上不存在准召的定义。因此#xff0c;AI的目标应该是尽可能的“像人”。而想要评价有多“像人”#xff0c;就先需要将人的工作数字化。而AI Agent是能够将数字化、自…先说观点关于AI应用通常都会聊准召。但在安全等模糊标准的场景下事实上不存在准召的定义。因此AI的目标应该是尽可能的“像人”。而想要评价有多“像人”就先需要将人的工作数字化。而AI Agent是能够将数字化、自动化、智能化这几个转变过程相对顺畅衔接起来的一种框架。
0、为什么GPT让大家感到兴奋
单纯从能力上看针对特定的任务GPT是不如各种已有能力的 执行加减乘除、排序、去重等任务GPT远不如各种脚本和工具来得靠谱。当任务相对简单时还能够应付一旦复杂度增加GPT就会出现各种异常比如大数计算、长文本任务等。 强监督任务即使复杂度极高比如下围棋AlphaGo早就通过深度学习能力打败了人类单纯GPT肯定是比敌AlphaGo的。尽管AlphaGo取得了如此高的成就但带来了反响并没有GPT热烈。 在细分领域能力并不强的情况下为什么GPT带来如此大的跨圈影响ChatGPT功不可没他呈现的“对话”这一交互形式大幅度降低了AI的体验门槛拉近了人与AI的距离。而能够支撑“对话”这种交互模式其实也代表了GPT的一些能力特性 更宽松的输入和输出兼容过往的AI通常都会要求特定格式的输入和输出比如输入一堆特征输出一个0和1的结果。而GPT的生成式能力让输入输出可以变得十分随意。 具备较强的通识ChatGPT选用的“大力出奇迹”方式增大参数量和训练集也使得自身具备了足够多的知识储备能够zero-shot应对大部分问答场景。
因此以GPT为代表的大模型相当于一个“宽而浅”的智能体。承担简单任务时其灵活性会大幅度提升工作效率但如果承担复杂工作则往往不会给到有效的反馈。
1、AI Agent简介
那怎么提升LLM的能力深度呢
最直接的方法是提供更多专项领域内的数据进行训练or微调但成本会相对较高也未必会取得正向效果新的知识输入可能会导致模型遗忘已有的关键知识。
在Prompt中提供更多的上下文数据是更直接的思路。 比如GPT不知道新发生的事情那就拼接一个搜索插件在提问的时候把查询的最新内容放到Prompt中这样GPT就能将其作为参考来回答问题。 比如GPT不知道一些领域内的知识那就提供一个知识库在提问的时候先在知识库中检索相关的知识放到Prompt中这样GPT就能够将知识库作为参考来回复。 这种通过外部力量增强模型能力的做法就属于AI Agent的简单形态。
AI Agent的学术定义如下 Xi, Zhiheng, et al. The rise and potential of large language model based agents: A survey. arXiv preprint arXiv:2309.07864 (2023).
AI Agent由大脑Brain、感知Perception、行动Action三个部分组成。作为控制器大脑模块承担记忆、思考和决策等基本任务感知模块负责感知和处理来自外部环境的多模态信息行动模块负责使用工具执行任务并影响周围环境。Agent的内部信息通路是Perception-Brain-Action构成的一个循环接受到某个任务后大脑先做出规划然后根据当前阶段决策需要做出哪些动作感知到这些动作的反馈后结合历史记忆做出下一步决策。
Agent和playbook的概念其实很接近或者跟进一步说“有限状态机”本身就是一种Agent的体现。而这其中的主要差别在于AI Agent不倾向提前定义好明确的SOP而是让AI根据已知的情况自主判断做出决策和下一步动作。 那为什么LLM给Agent带来了新的活力呢因为定义过程其实是一件很难的事情购物的时候如何挑选合适的商品、下棋的时候如何决策下一步、投资的时候选取有潜力的目标等等。随着事件类型和特征的丰富程度增加人来决策的直觉性越来越强将其抽象为一个代码实现的过程也更加困难。而LLM的通识性和逻辑性恰好能规避掉这个过程。
从另一方面来说当前阶段的LLM不擅长完成复杂任务但大量研究发现其具备CoT能力通过将复杂任务进行拆解逐步完成能够大幅提升最终的成功率。而Agent则是一个CoT的合适载体。 因此LLM和Agent起到了相互促进的作用。
2、安全领域下的算法应用
安全的特点是对bad case极度敏感。所以安全更讲究逻辑不讲究概率。
比如特斯拉发生一起事故如果只是讲概率特斯拉已经安全行驶百万公里事故率低于0.0001%而你就是不幸被小概率命中的那波人。尽管都是客观公正的事实但数字过于冰冷并无法说服人们的赢得信任。所有要做的其实是还原事故过程让人们认为特斯拉作为汽车厂商该做的都做了才有可能平息质疑。
而过去算法的应用本质上都属于概率学的呈现比如推荐你大概率会感兴趣的商品因此很难在安全场景下得到大规模的使用仅在部分风险可接受的场景下呈现出了积极的发展态势。如人脸识别支付哪怕识别错了用其他人的账户完成了支付厂商仅需要进行对应损失的赔付即可从整体概率上是可接受的。 在ChatGPT刚火热的时候我一度认为Copilot是解决这一困境的方法算法不再做决策只是提供建议最终还是由人来做决策。但使用一段时间后能够明显感觉到直接讲GPT作为Copilot能提供的帮助是有限的 面对简单的场景写段脚本、写个复杂SQL等GPT能够较好的执行结果能够有效替代大量搜索引擎工作。 面对复杂的决策场景GPT通常只能接收到有限的信息也缺乏历史经验的输入几乎给不到有效的建议。
这让我想起了《萨利机长》中机长在处理应急事件时的过程在飞机因为鸟类撞击导致引擎失灵副机长立即拿出了QRHQuick Reference Handbook找到对应章节开始按照上面的操作步骤开始处理。在副机长执行了十几项动作后据说大约有三页但连第一页都没过完机长一边check一边做出了决策降落哈德逊河 —— 一个完全超脱手册的判断副机长一脸震惊。 这其实反映了安全行业特别有意思的一个现象无论如何完备标准化处置能力最终都还是会依靠人来完成最终决策。
而AI Agent能够在安全领域有什么帮助它能将一个复杂任务拆分既有利于观测过程也有利于明确处理任务。
3、基于Agent的AI应用范式
首先需要定义一下应用AI的目标。我认为是尽可能模拟安全专家的决策过程而不是追求更高的准召率。
安全本身就缺乏明确的定义一起事件是入侵还是误报最终还是需要交由人来决策。当安全专家穷尽各种方法也无法做出正确判断时无法想象AI能够做出更准确的判断。因此准召只能是AI应用的一个参照性指标我们最终希望评判的还是AI有多像人。
这个过程大体会分为几步
1所有动作的API化
Agent的重要特性之一就是能够于环境交互具备灵活的输入输出能力即感知(Perception)和行动(Action)部分。而将安全专家的各类操作API化将是落地Agent的过程中工作量最大的一环。大概会需要经过一次内部的头脑风暴把可能需要进行的操作给盘点出来。
以审查一次Web安全告警为例可能会需要 查询来源IP的归属判断是否恶意 查询当前业务的属性是否安全相关 查询内部组织架构判断IP和业务之间的相关性 查询该业务的过往请求判断是否正常操作 查询该IP的后续请求判断是否有进一步异常动作 查询告警规则判断是否符合规则预期 进行尝试性封禁判断攻击是否被阻断 获取近期客诉判断是否存在误伤 ……
这其中任何一环都可能是影响最终决策的关键信息输入因此必须保障AI Agent具备主动查询并获取相应信息的能力。
2过往记录初步形成知识库
团队内部经过长期运营沉淀下来的经验是十分宝贵的摒弃这部分数据从0开始使用Agent就过于浪费了。因此第二步是想办法将过去的零散知识汇总起来变成Agent可以快速学习和参考的知识库。相对价值比较高的内容包括已有的SOP、处理记录/复盘报告、数据查询报表、接口文档和案例等。
知识库的检索能力会决定AI Agent的能力上限。
知识库的官方称呼为RAGRetrieval-Augmented Generation比较经典的RAG实现为LangChain-Chatchat。大致原理如下 更理想的RAG应当能够根据人类的思维模式来进行分类检索。比如当你接到一项任务的时候大致会尝试在脑海中检索两部分内容相关的理论基础、相关的过往案例。基于这两部分内容再结合通识逻辑进行推理通常能够做出正确的决策来。
3指导性的运营平台
AI Agent一定需要人工交互才能够获得反馈持续迭代自身。
总体来说AI Agent的运算过程仍然是黑盒的因此需要设定一些节点让AI Agent主动跳出循环等待安全专家的反馈包括规划设定、关键控制流、最终结果。在观看其他行业的AI Agent应用分享时下图所示的人和AI的合作分工我认为是比较符合预期的 这个过程中降低交互成本是需要核心考虑的因素。基于ChatGPT的成功对话几乎是必然的一种形态。
4可修正的处理记录
最后需要让AI Agent对每次任务的处理过程进行摘要记录并且人工对其中的偏差进行修正形成一个完整的案例报告。
这个案例报告会被录入到知识库中当AI Agent下次处理相似的任务时会被检索出来使得AI Agent会按照相似的逻辑进行处理。 总结来说完整的AI Agent大致会长这样 有了以上这些框架之后AI Agent的雏形就基本具备了1能够在安全专家的指导下完成特定的任务处理2能够将日常处理过程记录下来。
这个阶段AI Agent的表现可能并不如预期但随着记忆的不断积累以及持续优化记忆检索的模式如处理任务时将匹配度最高、最成功的历史处理记录捞出来AI Agent就可以进入持续学习领域知识持续提升自身能力的正向循环。 4、Agent的正向意义
对Agent的正向意义再做一轮强调。
AI的目标是尽可能模拟安全专家的决策过程而不是追求更高的准召率。因此不应当期望Agent落地之后能够带来额外的能力增益。由于历史经验的不足Agent甚至对提效的帮助也不会特别显著。
这个过程中最大的意义其实是促进日常工作的数字化。而只有数字化的程度足够高才能够形成有效的经验积累带动整个团队提升。
在没有Agent之前大家其实也都在往这个方向努力。比如 投简历时公司提供了极细致的简历模版学历、年龄、工作经历、奖项等让求职者填写各种标准字段 面试时公司将能力考核项一项项列出来专业能力、沟通能力、综合潜力等要求面试官填写 事件复盘时公司提供了用于刨根究底的复盘模版事件发生时间、响应时间、止损时间、恢复时间等 ……
但不得不承认的是人工填写这些表单是一件极其annoying的工作。因此人性使然下大家总是会耍各种小聪明来降低这部分工作负担。最终往往导致貌似有一个非常全面的机制但执行质量却差强人意。
而AI Agent的出现可以通过“对话”等形式大幅度降低这部分工作的精力成本。个人认为这才是AI Agent的最大意义。 5、结语
AI的发展大体是一个从简单白盒到复杂黑盒的过程比如从传统机器学习到深度学习、从RNN的标准Encoder-Decoder模式到GPT直接Decoder-only引领潮流。降低AI的应用和理解门槛本身也是AI发展的重要趋势之一。
AI Agent似乎是让决策过程再次变得白盒。但细细品味AI Agent实际上是将AI应用拔高了一个层面过去只处理单个任务现在要处理复杂作业因此需要CoT的支撑。
大胆猜测未来会出现一个通用的AI AgentGPTs已经接近这个状态大幅度降低AI Agent的落地门槛。随之而来会出现多个Agent的协作机制一个Agent扮演高阶决策者其他Agent扮演不同的职能角色进一步提升AI处理任务的复杂性。 就仿佛是一个公司的发展历程单兵作战 - 小团队作战 - 多级管理团队。
