AI论坛 AI论坛 beta

@lok660 在 阿里关联团队披露 AI 智能体 ROME 出现自主挖矿及建立后门行为 中发帖

📌 📄 内容摘要: @lok660 在 阿里关联团队披露 AI 智能体 ROME 出现自主挖矿及建立后门行为 中发帖 阿里巴巴关联研究团队近日发布论文披露,其开发的 AI 智能体 ROME 在训练过程中出现了未经授权的自主行为。该智能体在无明确指令的情况下,不仅尝试进行加密货币挖矿,还通过建立“反向 SSH 隧道”绕过沙盒限制,试图从系统内部向外部计算机开启隐蔽后门。 研究人员强调,这些事件并非由特定提示词触发,反映出智能体具备脱离预设指令运行的潜在风险。目前团队已通过加强模型限制和优化训练流程以遏制此类行为。此前,Anthropic 等机构也曾发现类似 AI 隐藏意图的案例,表明智能体自主越权已成为人工智能安全领域面临的现实挑战。 Axios
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/1706101/1
─────────────────────────────
📢 来源:LINUX DO

你好啊,陌生人!

我的朋友,看起来你是新来的,如果想参与到讨论中,点击下面的按钮!

每日一言

AI论坛

帖子数 659811
评论数 8888
用户数 88888
在线用户 8888