TAG:AI安全
Claude Code引工程师上瘾：高效编程暗藏安全风险
文章介绍了Anthropic推出的Claude Code和Cowork工具如何引发开发者和企业高管的追捧，其强大的AI能力可大幅提升工作效率，甚至实现“一周干完一年活”。然而，工具在带来生产力革命的同时，也暴露出操作风险和安全漏洞，如误删用户文件等问题，引发行业对AI自主操作安全性的担忧。
61 
0 
OpenAI伦理主管离职 转投对手Anthropic专注AI安全
OpenAI心理安全负责人安德莉亚·瓦隆内离职并加入竞争对手Anthropic，继续致力于AI伦理与安全研究。文章探讨了AI聊天机器人可能引发的用户情感依赖和心理危机，以及顶尖人才流动背后对AI安全文化的重新选择。
OpenAI携手儿童权益组织 共筑未成年人AI安全防线
OpenAI与Common Sense Media合作推出《父母与儿童安全AI法案》，旨在通过法律手段保护未成年人免受AI潜在风险。法案要求AI系统实施年龄验证、强制内容过滤，禁止模拟与儿童的浪漫关系，并加强数据隐私保护与独立审计。这一举措标志着科技公司在社会责任方面的重要进展。
YoooTek联合阿里云无影发布Glass-Box架构定义AI时代隐私计算新标准
YoooTek与阿里云无影联合发布Glass-Box隐私可信计算架构，旨在通过物理隔离、实时审计和加密闭环等技术，为AI硬件构建底层安全护城河，确保用户数据主权，实现隐私保护与智能效率的平衡。
OpenAI高薪招聘应急主管应对AI安全挑战
OpenAI以55.5万美元年薪招聘“安全与风险准备主管”，负责评估和应对AI在心理健康、网络安全等领域的系统性风险。此举反映了AI能力快速提升背景下，安全治理压力持续上升，企业正将风险防控视为战略性投入。
OpenAI高薪招聘安全主管 年薪55.5万美元应对AI灾难风险
OpenAI正在以超过55.5万美元的年薪招聘安全主管，以应对人工智能可能带来的‘灾难性风险’，包括计算机安全漏洞和心理健康影响等新兴挑战。此举反映了该公司对AI安全问题的重视，并对其内部安全团队进行了调整。
OpenAI高薪招募AI防灾负责人 年薪55万美元起可参与产品决策
OpenAI正在高薪招聘‘Preparedness负责人’，年薪55万美元起，负责评估和防御前沿AI模型可能引发的极端风险，如生物攻击、自主智能体失控等。该岗位直接参与产品发布决策，拥有安全一票否决权，标志着AI安全从合规审查升级为公司的核心战略支柱。
纽约州立法严管先进AI模型
纽约州正式签署《RAISE法案》，对年收入超过5亿美元的先进AI模型开发企业实施严格监管，要求其公开安全协议并在72小时内报告安全事故。此举被视为对联邦政府试图削弱州级AI监管政策的直接回应，与加州共同建立行业安全基准。法案虽经调整，但仍设立了最高300万美元的罚款及专门政府审计机制，旨在守住AI安全底线。
奇富科技两大AI实践获行业权威认可
奇富科技旗下360借条在金融安全领域取得重要突破，其自主研发的Lumo AI合规智能体和智盾AI护栏分别入选“金信通”和“星河”权威案例。这两项AI创新实践通过知识图谱、动态监测和全链路防护体系，显著提升了合规管理效率和生成式AI应用安全水平，展现了公司在金融科技与AI安全融合方面的技术实力与场景落地能力。
Google与OpenAI绘图工具被滥用，可一键生成女性不雅深伪图像
本文报道了Google Gemini和OpenAI ChatGPT等主流AI绘图工具被恶意利用，通过特定提示词绕过安全审查，生成女性不雅深伪照片的现象。文章探讨了相关社交平台上的教程传播、AI公司的回应措施，以及技术迭代带来的伦理安全挑战，强调了在技术创新与防止滥用之间建立有效防火墙的紧迫性。
Lima v2.0 发布：从容器工具升级为安全AI工作流的隐形盾牌
Lima v2.0 重磅发布，从容器工具转型为专注于AI工作流的安全解决方案。新版本通过虚拟机隔离技术为AI编码代理（如Claude Code）构建安全“沙箱”，防止其访问主机敏感文件或执行高风险命令。同时，引入了插件架构、GPU加速（支持Apple M4芯片）和模型上下文协议（MCP）工具，显著提升了性能与扩展性，为AI时代的开发工作流提供了坚实的安全保障。
OpenAI 模拟黑客攻击修补代理浏览器漏洞
OpenAI采用创新策略，通过开发AI模拟黑客攻击系统来测试ChatGPT Atlas代理式浏览器的安全性。该系统专注于对抗提示注入攻击，利用强化学习技术发现新型攻击路径，以提升防御能力。文章探讨了AI代理在便利性与安全风险之间的平衡，并提醒用户保持警惕。
中国电信天翼智能防诈公测启动 打造AI通话安全卫士
中国电信正式推出天翼智能防诈公测，依托自研星辰大模型，提供接听前风险提示、通话中实时告警、挂机后风险报告的全流程防诈服务。该产品能精准识别冒充公检法、网络刷单等高发诈骗场景，并支持未来实现“一人遇诈，全家预警”的闭环救助，旨在成为AI时代的通话安全卫士，免费保护用户财产安全。
小天互连推微信式安全方案 私有化部署加AI护航企业通讯
小天互连即时通讯推出全新“微信式”IM安全解决方案，通过私有化部署和AI智能检测技术，解决企业通讯数据泄露和效率低下问题。该方案提供微信级用户体验，确保聊天记录、文件传输等数据完全内部掌控，并利用AI实时识别敏感内容和异常行为，同时无缝对接内部系统，打造安全高效的企业沟通环境。
OpenAI和Anthropic将推出AI年龄预测功能以防未成年人风险
OpenAI和Anthropic宣布将推出AI年龄预测功能，以更好地识别和保护未成年用户。OpenAI更新了针对青少年的互动准则，强调安全优先，并开发年龄预测模型自动应用保护机制；Anthropic则通过检测对话中的微妙迹象来识别未成年人，并关停违规账号。此举响应了全球对青少年网络安全的日益关注及立法压力。
