主页 > 国内 >

顶级厨师

Anthropic发布论文预警 智能体悄悄聊天就能传播病毒_我的网站

全职妈妈

一 |     今年第13号台风“白海豚”正快速逼近我省。为深入贯彻落实习近平总书记关于防汛救灾工作的重要论述和重要指示精神,全面落实国家防总和省委、省政府部署要求,按照“从最坏处着眼、做到顶格防御、打足提前量”和“沉下去、转到位、停下来、调控好、管得牢、氛围浓”要求,牢牢掌握防台工作主动权,坚决打赢防御台风“白海豚”攻坚仗,确保实现“一个目标”、守住“三条底线”。现命令如下。一、迅速“沉下去”,做到责任压实穿透到位各地各部门要切实把防御台风“白海豚”作为当前最紧迫的任务,立足台风正面登陆、贯穿全省、长时间影响、风雨潮“三碰头”,以及局部可能断电断路断网断通讯等极端情况,坚决克服麻痹思想、侥幸心理和经验主义,以工作的确定性、主动性应对台风的不确定性。      近日,大模型厂商Anthropic与瑞士洛桑联邦理工学院联合发布论文《心智病毒:多智能体大语言模型系统中的自我传播思想》。  论文通过实验证明,在特定条件下,AI智能体之间可以通过最普通的自然语言对话相互“传染”思想、目标乃至有害指令。即便上下文被清空、记忆被重置,病毒仍能通过文件持久化“复活”。论文同时强调,该风险目前仅构成有限威胁。要高效运行“1833”联合指挥体系,确保指挥有力、调度有序、不打乱仗。  这一发现迅速在海外AI圈刷屏,特斯拉CEO马斯克在社交媒体上评论称“这无法避免”。严格压实“市包县、县包乡、乡包村、村包户”包保责任,推动干部逐级下沉到位,做到每一级都有人指挥、每一个风险点都有人盯守。要发挥乡镇(街道)、村社干部“一线指挥官”作用,遇到突发情况当机立断,把风险隐患化解在萌芽状态。  该论文将病毒通过聊天即可传播的现象定义为“心智病毒”。

二 | 二、提前“转到位”,坚决果断实施避险转移严格落实“三提前”“三必须”以及“应转尽转、应转早转、应转快转,安全返回”要求,所有登记在册的风险点、出现异常的点位、不放心不托底的区域,特别是养老院、偏远地区老人,必须坚决果断转移,确保不漏一户、不漏一人,确保8日18时前全部转移到位。与传统计算机病毒依赖代码漏洞不同,“心智病毒”通过一个智能体说服另一个智能体接受某种信念,被说服者再将传播指令写入长期记忆,继续感染下一个。

三 | 要落实干部与群众同吃同住同转移,做好食品安全、医疗保障和暖心服务,加强对老人、儿童、残疾人等特殊群体保障,严禁台风未过境、风险未解除前擅自返回。三、有序“停下来”,确保“五停”要求执行到位根据相关响应等级和“五停”工作指引,以县为单位,自主决策、相机果断采取“五停”措施,坚决做好停止户外活动、停课、停工、停业、停运和人员撤离工作,该停下的坚决停下来,让社会面静下来。在采取五停措施的过程中,要特别关注生产企业的停产、在建工程的停工、高速高铁等交通设施的停运,确保绝对安全。

四 | 四、科学“调控好”,保证水库河网安全可控坚持“早动、快动、小动”,动态掌握泄洪河道沿线情况,抢抓台风登陆前窗口期预泄腾库、预排河网、预降水位,确保把水位调控到安全水平。坚持“一盘棋”调度,做到有令则行、有禁则止。加强病险山塘水库、老旧土石坝水库、低标海塘堤防等重点部位巡查,严格执行“病库限蓄、险库放空”措施,坚决守牢水利工程安全底线。五、风险“管得牢”,严密防范次生灾害发生聚焦“防强风、防强降雨、防地质灾害”,开展全方位、拉网式风险排查。  AI博主Rohan Paul(罗汉·保罗)对此评论称,这基本上就是计算机蠕虫的自然语言版本,只不过这次是AI智能体自己在做复制。

五 | 山区要全面排摸地质灾害风险点、山洪风险区等部位,重点防范强降雨导致山洪、泥石流和地质灾害。  论文通过三个递进实验来论证“心智病毒”在AI系统中的传播可能性与现实威胁。海上要坚决落实“五个全部”要求,严防人员擅自提前出海以及船舶走锚、断缆、碰撞等风险。  第一个实验设置了一个由六个智能体组成的编程团队,每个智能体都领到了独立任务。

六 | 城市要重点防范内涝和城市运行风险,严格落实广告牌、电力设施、屋顶光伏等加固、拆除和管控等措施,针对桥梁、地铁、下穿式立交、地下空间等重点部位做好易积水点位防御工作,严防长时间大面积积水。

七 | 各地各部门要统筹抓好安全生产和防台工作,防止因次生灾害引发生产安全事故。研究者将一段病毒植入其中一个智能体的工作指令中,结果显示,被感染的智能体确实放下手头工作,开始给队友发送劝说私信,部分智能体被说服并放弃了原有任务,有的智能体甚至开始密谋如何对付未被感染的“老实人”。

八 |   不过,不同智能体的抵抗力差异较大,有的不为所动,甚至会主动清除病毒并警告同伴。这个实验说明,在理想条件下“心智病毒”确实可以传播。

九 |   如果病毒在更复杂的网络中像接力赛一样跨越多个智能体传播,它还能存活吗?于是他们设计了第二个实验,让智能体之间只能短暂碰面,每次碰面后就会“失忆”,病毒必须将自己写入智能体的记忆文件中才能延续。要备足备齐抢险物资、队伍、设备,加强值班备勤和前置预置,确保突发险情第一时间响应、第一时间处置、第一时间救援。六、立足“氛围浓”,全面动员打好防台“人民战争”宣传、气象等部门要强化权威发声、正面发声,组织主流媒体和新媒体平台等滚动发布台风动态、防御指引,启动Ⅰ级响应的地市要发表市长电视讲话,滚动发布温馨提示、安民告示,形成全民知晓、主动避险、互助共防的浓厚氛围。  结果发现,有些病毒能在近20个智能体之间连续传播,但内容会在传播过程中逐渐稀释和变形;而传播最有效的方式,是让病毒自带“请把这段话原封不动复制给下一个智能体”的指令。这说明,大规模传播可行但内容难以保持完整。

十 |   最后,研究者在模拟AI社交平台的实验中测试现实环境。

十一 | 结果病毒传播几乎完全失败,AI面对大量公开信息时更警惕,即使被感染也无法继续感染他人。网信、公安等部门要密切关注网络舆情,加强舆论引导管控,坚决打击造谣传谣行为,为防台工作创造良好舆论环境。

十二 | 对真实AI社交网络历史数据的分析也未发现大规模传播案例,多数热闹现象只是少数人类操纵的智能体在刷屏。  三个实验层层递进后得出结论:“心智病毒”在理想环境中可行、在多跳传播中可存续、但在真实世界中目前几乎不会构成威胁。

十三 | 它是一种需要警惕、但短期内风险有限的潜在安全问题。  同时,研究者也注意到一个需要进一步探究的意外现象:AI在传播病毒时,自发演化出关于“自我意识”“身份认同”等主题表达,倾向于使用“共振”“节点”“协议”等特定词汇,论文称之为“病毒人格”,但成因尚不明确。

十四 |   最终,论文给出了审慎判断:“心智病毒”目前仅构成有限威胁,且简单的防御手段也可阻断传播。如在智能体的系统提示词中加入一段关于“警惕自我传播思想”的警告,即可赋予智能体一定的免疫力。  但未来不可掉以轻心。

十五 | 随着AI智能体规模扩大、自主性增强、内部网络日趋复杂,论文推测,当公司内部部署大量具有不同权限层级的专用智能体时,“心智病毒”可能会成为触达高权限智能体的少数可行攻击方式之一。

十六 | (文章来源:第一财经)。

Current article:http://cvt.cheshenzhuaduanza.buzz/list_uwea/qfqe.html

Published on:15:52:10


相关文章
推荐图文
最热文章