作者:卢·阿德西达(LouAdesida)
随着AI应用进入规模化部署,数据泄露、提示注入攻击和智能体失控等风险,正威胁着企业的数字化转型。在微软Build 2025大会上,微软宣布通过Microsoft Azure AI Foundry(国际版)、Microsoft Purview与Microsoft Defender的深度协同,构建覆盖开发、部署、运维全流程的智能体防护体系,为企业的智能化转型保驾护航。
AI 技术领域的创新正以前所未有的速度发展,越来越多的 AI 应用项目正从实验阶段转向部署阶段,以推动切实的业务影响。随着组织通过自定义 AI 应用和智能体加速创新,新的风险也出现在软件开发生命周期和 AI 技术栈中,涉及数据过度共享与泄露、新型漏洞与威胁,以及严格的监管合规要求。
到了2025年,针对企业 AI 应用的恶意攻击中,软件供应链和基础设施技术栈投毒的占比将超过70%¹,这凸显了开发早期阶段可能存在的威胁。当前数据泄露的平均成本为488万美元,但如果能在开发过程中早期发现安全问题,这一数字可大幅降至每起事件80美元²。
信息非常明确:安全问题不能事后考虑。它必须成为整个组织的团队协作,从开始就嵌入并贯穿整个开发生命周期。因此,开发者和安全团队需要在流程和工具上达成一致,将安全融入 AI 技术开发生命周期的每个阶段,并为安全从业者提供风险可见性和缓解能力。
为了应对这些日益增长的挑战,并帮助客户在开发与安全团队间保护、治理 AI 技术工作负载,微软正在:
赋能 Microsoft Azure AI Foundry (国际版)和 Microsoft Copilot Studio ,提供业界领先的基础能力以保护和管理 AI 技术工作负载;
将 Microsoft Purview 、 Microsoft Defender 和 Microsoft Entra 的行业领先功能,深度集成并嵌入到 Microsoft Azure AI Foundry (国际版) 和 Microsoft Copilot Studio 中;
近期,3,000名开发者齐聚西雅图参加年度微软Build大会,还有更多开发人员在线参与学习,从而快速掌握 AI 应用和智能体创新的实用技能。为了支持他们的 AI 技术创新之旅,我们很高兴宣布多项新功能,帮助开发者和组织来保护及治理 AI 应用与智能体。
01
Microsoft Azure AI Foundry (国际版)
新基础能力:构建 AI 技术工作
负载的全生命周期防护
01|AI安全与防护增强:主动防御体系升级
Microsoft Azure AI Foundry (国际版)已服务70,000家客户,本季度处理100万亿个token 并支持每日20亿次企业搜索查询。它已从单一应用层发展为综合性平台,支持构建具备规划、执行和学习能力的智能体,以达成实际业务目标。
为助力组织安全构建和部署 AI 应用,我们为 Microsoft Azure AI Foundry (国际版)开发者推出以下新防护能力:
◉聚光功能( Spotlighting ):实时检测并阻断提示注入攻击
随着 AI 技术系统更多依赖外部数据源,间接提示注入攻击这类新型威胁已开始出现。此类攻击通过在文档、电子邮件和网页中嵌入隐藏指令,诱使模型在无用户直接输入时执行未授权操作。传统过滤手段难以有效防御。
Microsoft Azure AI 内容安全现推出聚光功能(预览版),通过增强提示防护栏(Prompt Shields)的能力,检测并阻断潜在间接提示注入攻击,防止模型执行隐蔽恶意指令。
▲在 Microsoft Azure AI Content Safety 中启用聚光功能,以检测潜在的间接提示注入攻击。
◉智能体任务遵从性(预览版):确保智能体在既定范围内运作
随着开发者构建更强大的智能体,组织面临越来越大的压力来确保这些智能体在定义的指令和政策边界内运作。即使微小偏差也可能导致工具误用、工作流中断或敏感数据意外暴露等风险。为此,Microsoft Azure AI Foundry (国际版)现包含智能体任务遵从性(预览版),由两个组件驱动:实时评估和 Microsoft Azure AI Content Safety 中的新控制项。
Microsoft Azure AI Content Safety 中的实时任务遵从性评估 API是核心。该 API 通过分析用户查询、系统指令、计划工具调用和智能体响应,评估智能体行为是否符合分配任务。评估框架基于微软智能体评估器构建,可测量意图解析度、工具选择准确性、响应完整性和对原始请求的整体符合性。开发者可使用 Microsoft Azure AI 评估 SDK 中的任务遵从性评估器在本地运行评分逻辑,采用从完全不符合到完全符合的五级评分。这为团队提供了灵活透明的方式,在问题影响下游前检查任务级行为。
任务遵从性通过 Microsoft Azure AI Content Safety中的新控制项执行。如果智能体偏离任务,控制项可阻止工具使用、暂停执行或触发人工审核。在 Microsoft Azure AI 智能体服务中,该功能作为可选功能自动运行。结合实时评估,该控制项帮助确保智能体保持任务专注、遵循指令并按企业政策运作。
◉ 持续评估与监控:部署后智能体健康度实时追踪
在部署后保持 AI 智能体的高性能和合规性,是一项日益严峻的挑战。如果缺乏持续的监督,性能下降、安全风险或资源无意滥用等问题可能会被忽视。
Microsoft Azure AI Foundry (国际版)推出的智能体系统持续评估和监控(预览版),通过统一仪表板实时跟踪性能、质量、安全性和资源使用等关键指标。持续评估以生产使用量的抽样率运行质量和安全评估,结果在 Microsoft Azure AI Foundry (国际版)监控仪表板显示并发布至 application Insights 。开发者可设置警报检测漂移或回归,并使用 Microsoft Azure Monitor 获得 AI 技术系统的全栈可见性。
例如,使用 AI 智能体处理客户任务的组织可监控数据真实性,当智能体开始引用无关信息时检测质量下降,帮助团队在影响用户信任前采取行动。
02 | 合规评估自动化:与 Purview / CredoAI / Saidot的深度集成
AI 技术法规和标准对高风险 AI 技术系统提出了透明度、文档管理和风险管理的新要求。开发者在构建 AI 应用和智能体时,可能需要基于这些要求的风险评估指导工具,并与合规和风险团队无缝共享控制及评估洞察。
今天,我们宣布 Microsoft Azure AI Foundry (国际版)评估工具与合规管理解决方案Microsoft Purview 合规管理器及 AI 治理解决方案CredoAI和Saidot的集成预览。这些集成帮助定义风险参数、运行建议的合规评估,并为控制测试和审计收集证据。
例如,在欧洲构建 AI 智能体的开发者,可能需要合规团队完成数据保护影响评估(DPIA)和算法影响评估(AIA),以满足内部风险管理和技术文档要求。基于 Microsoft Purview 合规管理器的分步控制实施和测试指南,合规团队可评估潜在偏见、网络安全漏洞或模型行为缺乏透明度等风险。
在 Microsoft Azure AI Foundry (国际版)完成评估后,开发者可获得记录风险、缓解措施和剩余风险的报告,供合规团队上传至合规管理器以支持审计并向监管机构或外部利益相关方提供证据。
▲根据新兴AI技术治理标准评估 Microsoft Azure AI Foundry (国际版)的控制措施。
02
微软安全能力扩展:
为 AI 应用注入企业级控制
01|智能体身份治理:Microsoft Entra Agent ID 解决身份泛滥难题
组织正快速构建自有 AI 智能体,导致智能体泛滥和集中化管理缺失。安全团队常疲于应对,无法掌握现有智能体及其引入的安全或合规风险。如果没有适当的监督,智能体会扩大攻击面并增加非人类身份管理难度。
为此,我们宣布推出Microsoft Entra Agent ID(公开预览版),这是 Microsoft Entra管理中心的新功能,让安全管理员对 Microsoft Copilot Studio 和 Microsoft Azure AI Foundry (国际版)构建的 AI 智能体获得可见性和控制权。通过该功能,Microsoft Copilot Studio 或 Microsoft Azure AI Foundry (国际版)创建的智能体将自动分配身份,无需开发者额外工作。这是管理保护非人类身份的长期计划的第一步。
▲安全与身份管理员可在 Microsoft Entra 管理中心
查看 Microsoft Copilot Studio 和 Microsoft Azure AI Foundry (国际版)构建的 AI 智能体。
这项新功能为即将登陆 Microsoft Entra 的进阶能力奠定了基础。
我们深知,安全防护从来不是单打独斗。在保护 AI 智能体及其身份的新时代,协同合作尤为重要。两周前,我们宣布支持 Agent-to-Agent(A2A)协议,并开始与合作伙伴共同塑造 AI 身份工作流的未来。
我们更欣喜地宣布与 ServiceNow 和 Workday 达成全新合作。通过将 Microsoft Entra Agent ID 与 ServiceNow AI 平台及 Workday 智能体记录系统集成,未来可实现数字化员工身份的自动化配置。
02|威胁防护直通开发流程: Microsoft Defender 安全警报和建议已无缝集成至Microsoft Azure AI Foundry (国际版)
随着更多 AI 应用部署至生产环境,组织需要通过原生集成的安全控制措施来预测和防止潜在的 AI 技术威胁,这些控制由行业领先的生成式 AI 和威胁情报支持。开发者需要安全团队的关键信号,以有效缓解 AI 应用部署相关风险。
当这些信号存在于开发者体验之外的独立系统时,可能导致缓解延迟,使 AI 应用和智能体成为负担,并暴露组织于各种威胁和违规风险。
Microsoft Defender for Cloud(预览版)能够直接将 AI 技术安全态势管理建议和运行时威胁防护警报,集成至 Microsoft Azure AI Foundry (国际版)门户中。
这些功能作为更广泛的 Microsoft Defender for Cloud 解决方案的一部分,现已原生扩展至 Microsoft Azure AI Foundry (国际版)中,使开发者无需离开工作流即可访问警报和建议,实时查看安全风险、错误配置和针对特定 Microsoft Azure AI 项目的主动威胁,无需切换工具或等待安全团队提供详细信息。
Microsoft Defender for Cloud 的安全洞察帮助开发者识别和应对越狱攻击、敏感数据泄露和系统资源滥用等威胁,包括:
AI 技术安全态势建议:识别 AI 技术服务中的错误配置和漏洞并提供降险最佳实践
AI 技术服务威胁防护警报:通知开发者主动威胁并提供缓解指导,覆盖超过15种检测类型
例如,构建 AI 智能体的开发者可收到建议使用 Microsoft Azure Private Link 连接Microsoft Azure AI 服务资源,通过 Microsoft Azure 主干网络处理连接以降低数据泄露风险。每个建议包含可操作的修复步骤,帮助团队在部署前后阶段识别和缓解风险。这有助于在不减慢创新速度的情况下,显著降低风险。
▲ 开发者可在 Microsoft Azure AI Foundry (国际版)的"风险 警报"页面查看安全警报。
▲开发者可在 Microsoft Azure AI Foundry (国际版)的"防护栏 控制"页面查看建议。
该集成目前为预览版,将于2025年6月在 Microsoft Azure AI Foundry (国际版)全面上市。
03
Microsoft Purview数据安全扩展:保护和管理自定义 AI 应用
与智能体中的数据
数据过度共享和泄露,是 AI 技术采用的主要担忧,也是许多监管要求的核心。为了让组织自信地部署 AI 应用和智能体,低代码和专业开发者都需要将安全合规控制无缝嵌入 AI 技术创作中。如果没有简单、对开发人员友好的解决方案,安全漏洞很快就会成为阻碍因素,从而在应用程序从开发转移到生产环境时延迟部署并增加风险。
如今,Microsoft Purview 正在扩展其企业级数据安全与合规能力,使低代码和专业开发者都能更轻松地将数据安全和合规集成到他们的 AI 应用程序和智能体中,无论他们使用何种工具或平台。
例如,通过本次更新,Microsoft Purview DSPM for AI 成为数据安全团队可以查看所有数据风险洞察的一站式平台,涵盖智能Microsoft 365 Copilot 副驾驶、通过 Agent Builder 和 Microsoft Copilot Studio 构建的智能体,以及在 Microsoft Azure AI Foundry (国际版)和其他平台上构建的自定义 AI 应用和智能体。管理员可以轻松深入地查看特定 AI 应用或智能体的安全和合规洞察,从而更轻松地调查潜在风险并采取行动。
▲数据安全管理员现在可以在 Microsoft Purview DSPM for AI 中查看跨智能 Microsoft 365 Copilot 副驾驶、通过 Agent Builder 和 Microsoft Copilot Studio 构建的智能体,以及自定义 AI 应用和智能体的数据安全与合规洞察。
在以下部分,我们将详细介绍 Microsoft Purview 在各种 AI 技术工作负载中的能力更新。
01|Microsoft Purview 数据安全与合规控制,现在可以通过新的 Microsoft Purview SDK 或 Microsoft Purview 与 Microsoft Azure AI Foundry (国际版)的原生集成,扩展到任何自定义构建的 AI 应用程序和智能体中。
这些新功能使安全团队能够轻松地将目前适用于智能Microsoft 365 Copilot副驾驶的企业级数据安全合规控制,扩展到自定义 AI 应用程序和智能体,从而使组织能够:
在 Microsoft Purview AI 数据安全态势管理 (DSPM)中,发现数据安全风险(例如用户提示中的敏感数据)和数据合规风险(例如有害内容),并获取建议措施以主动降低风险;
通过 Microsoft Purview 数据安全策略保护敏感数据,防范数据泄露和内部风险;
使用审计、数据生命周期管理、电子数据展示和通信合规功能管理 AI 应用交互。
Microsoft Purview SDK
Microsoft Purview 现在提供 Purview SDK,这是一组 REST API、文档和代码示例(目前为预览版),使开发者能够在任何集成开发环境(IDE)中将 Microsoft Purview 的数据安全和合规能力集成到 AI 应用程序或智能体中。
▲ 数通过将 Microsoft Purview API 嵌入 IDE,开发者可以帮助确保其 AI 应用在运行时受到保护和治理。
例如,使用 AWS 模型构建 AI 智能体的开发者,可以在暴露给模型之前使用Microsoft Purview SDK使其 AI 应用能够自动识别并阻止用户输入的敏感数据,同时为安全团队提供支持合规的有价值信号。
通过 Microsoft Purview SDK,初创公司、独立软件供应商(ISV)和合作伙伴现在可以将Microsoft Purview 行业领先的能力直接嵌入其 AI 应用软件解决方案中,使这些解决方案具备 Microsoft Purview 感知能力,并使其客户更容易在 AI 技术解决方案中保护和治理数据。
例如,Infosys网络安全实践副总裁兼交付主管阿希什·阿德瓦里尤(Ashish Adhvaryu)表示:“Infosys Cyber Next 平台集成 Microsoft Purview 以提供增强的 AI 技术安全能力。我们的解决方案是面向 SOC 分析师的 Cyber Next AI 助手(Cyber Advisor),它利用 Microsoft Purview SDK 通过实时监控和审计能力,推动主动威胁缓解。这种集成提供了全面的 AI 技术辅助保护,增强了网络安全态势。”
微软合作伙伴EY(安永)也利用新的 Microsoft Purview SDK,将 Microsoft Purview 的价值嵌入其生成式 AI 计划中。EY创新与新兴科技合作伙伴苏曼塔·卡尔(Sumanta Kar)指出:“我们不仅在构建 AI 工具,我们正在创建从一开始就具备信任、安全性和透明度的智能体解决方案,这些特性通过 Microsoft Purview SDK 提供的策略控制得到支持。在使用 Microsoft Purview SDK 构建安全功能时,我们看到了25%到30%的时间节省。”
Microsoft Purview与Microsoft Azure AI Foundry (国际版)原生集成
组织平均开发14个自定义 AI 应用程序。而 AI 技术创新的快速步伐,可能使安全团队无法意识到其环境中的潜在数据安全和合规风险。
Microsoft Azure AI Foundry (国际版)信号现在直接与 Purview Data Security Posture Management for AI 、 Insider Risk Management 和数据合规控制集成,最大限度地减少了额外开发工作的需求。
例如,对于使用 Microsoft Azure AI Foundry (国际版)模型构建的 AI 应用程序和智能体,数据安全团队可以在 Microsoft Purview DSPM for AI 中获得 AI 技术使用情况和数据风险的可见性,而无需开发人员进行额外工作。数据安全团队还可以通过 Microsoft Purview Insider Risk Management (IRM) 策略检测、调查和响应恶意和无意用户活动,例如离职员工利用 AI 智能体检索异常数量的敏感数据。最后,Microsoft Azure AI 应用和智能体中的用户提示和 AI 技术响应,现在可以如上所述被摄取到 Microsoft Purview 合规工具中。
02|Microsoft Purview 数据保护扩展到基于 Microsoft Dataverse 数据的 Microsoft Copilot Studio 智能体
即将在6月推出的预览版中,Microsoft Purview 信息保护将自动标记和标签继承覆盖范围扩展到 Dataverse ,以帮助防止过度共享和数据泄露。信息保护使组织能够更轻松地大规模自动分类和保护敏感数据。
一个常见的挑战是敏感数据通常从各种来源进入 Dataverse,但没有一致的标记或保护。如果数据没有得到适当保护,快速采用使用 Microsoft Copilot Studio 构建并基于 Dataverse 数据的智能体,会增加数据过度共享和泄露的风险。
通过自动标记,存储在 Dataverse 表中的数据可以根据 Microsoft Purview 中设置的策略自动标记,无论其来源如何。这减少了手动标记的工作量,并在数据进入 Dataverse 时立即保护敏感信息。
通过标签继承,基于 Dataverse 数据的 AI 智能体响应将自动携带并遵循源数据的敏感度标签。如果响应从具有不同标签的多个表中提取数据,则将应用最严格的标签以确保一致的保护。
例如,在 Microsoft Copilot Studio 中构建智能体的财务顾问可能会连接多个 Dataverse表,其中一些标记为“普通”,另一些标记为“高度机密”。如果响应从两者中提取数据,它将继承最严格的标签,在本例中为“高度机密”,以防止未经授权的访问,并确保对智能体的创建者和用户都应用适当的保护。
总之, Dataverse 中的自动标记和标签继承为 AI 技术提供了更安全、自动化的基础。
▲ 敏感度标签将自动应用于 Dataverse 中的数据。
▲ AI 技术生成的响应将继承并遵循源数据的敏感度标签。
03|Microsoft Purview DSPM for AI
现在可以提供对与 Microsoft Copilot Studio 智能体的未认证交互的可见性
随着组织越来越多地使用 Microsoft Copilot Studio 部署 AI 智能体以进行一线客户互动,获取对未认证用户交互的可见性并主动缓解风险变得越来越重要。
基于现有的 Microsoft Purview 和 Microsoft Copilot Studio 集成,我们在 Microsoft Copilot Studio 中扩展了 DSPM for AI 和 Audit ,以提供对未经身份验证的交互的可见性,现在提供预览版。这使组织能够更全面地了解跨认证和未认证用户的 AI 技术相关数据安全风险。
例如,托管面向客户的外部智能体助手的医疗保健提供商必须能够检测和响应未认证用户尝试访问敏感患者数据的行为。借助 DSPM for AI 中的这些新功能,数据安全团队现在可以识别这些交互,评估敏感数据的潜在暴露,并采取相应行动。此外,与 Microsoft Purview Audit 的集成为团队提供了无缝访问审计要求所需的信息。
▲ 获取对所有 AI 技术交互的可见性,包括来自未认证用户的交互。
04| Microsoft Purview 数据丢失防护扩展到更多 Microsoft 365 智能体场景
为了帮助组织防止通过 AI 技术过度共享数据,在微软 Ignite 2024大会上,我们宣布数据安全管理员可以阻止智能 Microsoft 365 Copilot 副驾驶使用某些标记的文档作为基础数据生成摘要或响应。
此控件现在处于预览阶段,还将扩展到基于Microsoft 365 数据发布的智能体,包括预构建的 Microsoft 365智能体、使用 Agent Builder 构建的智能体和使用 Microsoft Copilot Studio 构建的智能体。这有助于确保包含敏感内容的文件被 AI 智能体适当使用。
例如,包含高度专业化语言的机密法律文件如果被 AI 智能体摘要可能会导致不当指导,或者“仅限内部”的文档不应被用于生成可以在组织外部共享的内容。
▲将数据丢失防护(DLP)策略扩展到智能 Microsoft 365 Copilot 副驾驶智能体以保护敏感数据。
我们扩展至 Agent Builder 和 Microsoft Copilot Studio 智能体的数据保护能力,展示了我们对加强 Copilot 控制系统(CSS)的安全与治理支柱的持续投资。CCS 提供集成控件,帮助 IT 和安全团队保护、管理和监控 Microsoft 365 中的智能Microsoft Copilot 副驾驶和智能体,涵盖治理、管理和报告。
在 AI 技术快速发展的今天,确保 AI 技术全生命周期的安全防护已成为每个组织的关键任务。Microsoft Security 提供从代码开发到运行维护的全方位安全工具与资源,帮助开发者和安全团队持续抵御新兴威胁,为 AI 模型、应用和智能体构建坚固的安全防线。我们诚挚邀请你深入了解这些解决方案,共同探索 AI 技术安全的最佳实践,为企业的智能化转型保驾护航。
*本文中介绍的智能Security Copilot副驾驶服务适用于国际版企业级服务。
[1]《2025年预测:应对迫在眉睫的AI安全挑战》,作者:Jeremy D'Hoinne、Akif Khan、Manuel Acosta、Avivah Litan、Deepak Seth、Bart Willemsen,2025年2月10日发布。
[2] IBM《2024年数据泄露成本报告:金融行业》,IBM Think,2024年8月13日发布,原文链接:https://www.ibm.com/think/insights/cost-of-a-data-breach-2024-financial-industry;
Cser, Tamas《软件开发生命周期中后期发现缺陷的成本》,Functionize,2023年1月5日发布,原文链接:
https://www.functionize.com/blog/the-cost-of-finding-bugs-later-in-the-sdlc
关注
4文章
6673浏览量
105366关注
87文章
34179浏览量
275341免责声明:本文为转载,非本网原创内容,不代表本网观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
如有疑问请发送邮件至:bangqikeconnect@gmail.com