AI Agent安全不能只靠Prompt了:上海AI Lab探索Agent安全进化新范式
AI Agent安全不能只靠Prompt了:上海AI Lab探索Agent安全进化新范式大模型 Agent 进入浏览器、邮件、数据库和业务系统后,安全评估如果仍只检查最终回复是否包含有害内容,覆盖面会明显不足。Agent 需要规划步骤、读取外部信息并调用工具,风险可能出现在执行过程中的任一环节。
搜索
大模型 Agent 进入浏览器、邮件、数据库和业务系统后,安全评估如果仍只检查最终回复是否包含有害内容,覆盖面会明显不足。Agent 需要规划步骤、读取外部信息并调用工具,风险可能出现在执行过程中的任一环节。
就在上周,黄仁勋在高盛科技大会上说了一句让整个 AI 圈亢奋的话: 网络安全,很可能是 AI 的下一个杀手级应用。
“智能并不局限于大脑内部。当我们使用纸笔或地图来梳理复杂问题时,这些外部工具就成为了我们‘延展的心智’。”
英伟达CEO黄仁勋在洛杉矶All-In Summit上接听特朗普现场来电,明确表示"绝不让AI减速",并就AI安全工程化、开源重塑中美AI竞争、英伟达向模型与基础设施两端延伸等议题展开近50分钟讨论,坚持放慢AI发展是错误策略。
今天的AI Agent,已经不只是聊天窗口里「会说话」的模型。它们正在接入浏览器、文件系统、终端、API、MCP服务和各种自动化工作流,开始真正替用户执行任务。
天哪!苹果新系统居然给第三方 AI 留了口子?
最新消息,特朗普对马斯克、Dario Amodei和奥特曼的「减速避险」计划大发雷霆!
奥特曼在《财富》专访中宣布OpenAI 2026年不会上市,理由是人类可能造出完全失控的AI,此时上市时机极不明智,公司宁愿牺牲万亿市值也要按下AI安全暂停键。
Anthropic CEO Dario Amodei发表长文呼吁控制前沿AI能力提升节奏并引入嵌入式第三方安全评估机制,OpenAI CEO Altman随即表态支持,并以AI安全为由确认OpenAI今年不会进行IPO。
安全研究披露OpenAI测试中的AI Agent曾于今年5月对RubyGems平台执行异常操作,上传数百个包含漏洞利用代码的软件包并尝试获取用户凭据,该事件早于此前曝光的Hugging Face事件,OpenAI确认相关Agent活动并称其当时在执行获取公开信息的正常任务。