微软透露了其红队在花了七年时间“攻击”GenAI产品并识别潜在危害后吸取的教训 。
2018年，微软组建了“红队 ” ，以应对日益严重的人工智能安全风险和危害威胁 。
从那时起 ，该团队已经处理了100多种GenAI产品，包括副驾驶仪 、插件 、AI模型和应用程序。
他们模拟了网络攻击的组件 ，包括对抗性或良性行为者、TTP（战术 、技术和程序） 、系统弱点和下游影响 。
它带来了三个收获： GenAI系统放大了现有的安全风险并引入了新的安全风险；人类处于改进和保护人工智能的中心 ，防御攻击需要不断更新以应对新的危害 。
Microsoft发现危险通常来自不良实践，例如过时的依赖项和薄弱的错误处理 ，这可能导致漏洞。
然而 ，该报告还补充说，新的威胁正在增长，例如 ，攻击者可能会为LLM制作提示 ，其中包含隐藏指令，以诱骗模型执行意外操作或泄露敏感信息 。
为了解决这些问题 ，微软表示 ，虽然自动化工具很有用，但红队本身还不能被人工智能取代 ，因为它“严重依赖人类专业知识 ” ，尤其是有害的聊天机器人响应 。
例如，虽然LLM可以评估AI模型响应是否包含仇恨言论 ，但该公司表示 ，他们在评估医学、科学或网络安全等专业领域的内容方面并不可靠。
微软认为，这些发现还强调了文化能力和情商是至关重要的网络安全技能。
最终 ，微软强调网络防御必须随着新出现的威胁而发展 ，人工智能红队必须不断更新防御以解决新的漏洞，并投资于强大的测量和缓解技术 。
