平衡快速创新和发展的需要与安全的需要让许多网络人夜不能寐，或者至少它正在掠夺上个月在拉斯维加斯举行的黑帽首届人工智能峰会上发言的演讲者的思想。
就在全球CrowdStrike信息技术中断（导致机场停运 ，迫使医疗设施求助于纸笔）几周后 ，随着企业发现自己面临更快采用人工智能并在产品得到适当评估之前发布产品的压力，现在是反思的时候了。
美国网络安全和基础设施安全局（CISA）高级人工智能顾问丽莎·爱因斯坦将她所说的“人工智能淘金热 ”与前几代在没有考虑安全性的情况下投放市场的软件漏洞进行了比较 。
“我们看到人们并不完全清楚安全影响是如何产生的 。在CrowdStrike事件中 ，没有涉及恶意行为者 ，但设计和实施的失败影响了全球人民。
“我们需要这些系统的开发人员将安全性、安全性和可靠性视为核心业务优先级， ”她补充道 。
互联网安全联盟（ISA）总裁兼首席执行官拉里·克林顿更直截了当地说：“速度会杀人——今天我们都在快速将产品推向市场——这是人工智能灾难的根源 。”
他补充说：“从根本上说 ，我们需要重新定位IT的整个商业模式 ，即‘快速进入市场并修补’。我们需要转向‘设计安全’模式，并与政府合作伙伴合作 ，使我们具有竞争力和安全性 。 ”
该活动的许多会议都集中在组织如何实现“设计安全 ”人工智能上 ，这些会议的演讲者来自WTT、微软 、CISA 、英伟达以及中央情报局的第一任首席技术官 科技资讯 总结了八个关键收获 。
1.做基础，做好基础
“你不能忘记基础 ，”中情局资深特工鲍勃·弗洛雷斯在活动的一次小组会议上强调。“你必须测试系统和应用程序以及应用程序之间的联系 ，你必须了解你的环境是什么样子的， ”他补充道 。
弗洛雷斯在中情局职业生涯即将结束时，曾担任该局首位企业首席技术官三年 ，他问黑帽的人工智能会议代表：“你们中有多少人拥有连接到互联网的机器 ，但你不知道？每个人都有一台，对吧？ ”
他还警告说 ，借助人工智能 ，了解网络中的内容需要快速发生，“因为坏人越来越快 。他们可以克服你设置的一切。”
尽管企业可能认为开发自己的LLM比依赖ChatGPT等互联网可访问的聊天机器人更安全 ，但弗洛雷斯担心 ，他们可能不会从一开始就建立安全性 。“这仍然是事后的想法 。当你建立这些LLM时，你必须像坏人一样思考每一步 ，想知道你是否能进入这个东西并利用它。 ”
2.把它架构出来
GPU巨头NVIDIA的网络安全AI负责人Bartley Richardson建议Black Hat人群从工程角度看待AI安全。
“当你把一个LLM应用程序放在一起时 ，不要只看你在那里构建的每一个块；看看这些块之间的联系，然后问：‘我在每个阶段都做了尽可能好的安全性吗？’‘我的模型在静态加密吗？'你是否为你的即时注入设置了保护措施？'这都是设计的安全性 。当你设计它时 ，这些事情变得显而易见 ，你有这些反馈循环，你需要在其中设置安全性， ”他解释道 。
3.创造一个安全的实验空间
美国网络咨询公司Two Candlesticks创始人、黑帽公司人工智能安全委员会成员马特·马丁建议 ，创建一个受控的沙盒环境 ，让员工可以在其中进行实验很重要。“很多人想使用人工智能，但他们还不知道自己想用它做什么——所以给他们一个安全的空间来做这件事可以降低风险 ，”他说 。
马丁补充说 ，了解商业环境及其应用方式非常重要 。“确保公司中有人全面控制项目。否则，你最终会得到15个不同的人工智能项目 ，这些项目你实际上无法控制 ，也没有预算 。 ”
4.红队你的产品
微软人工智能合作伙伴策略师布兰登·迪克森解释了这家软件巨头是如何平衡人工智能的进步和安全性的 。“我们通过成立一个部署安全委员会来做到这一点，该委员会会查看我们已经部署的每一个GenAI功能 ，并在它到达我们的客户之前将一个红色团队流程附加到它上 ， ”他说。
红色团队是网络安全中使用的一种攻击技术，用于测试组织如何应对真正的网络攻击 。
在此处查看我们的医疗保健网络安全桌面报道
“我们还围绕负责任的人工智能在内部和外部形成了非常全面的指导 ，咨询专家 ，这使我们能够以一种不会让客户感到惊讶的方式从产品方面快速取得平衡，”他补充道 。
5.伙伴关系至关重要
根据中钢协的丽莎·爱因斯坦的说法，“设计安全”依赖于公共和私营企业的合作。她补充说 ，这对于提供关键基础设施的部门来说尤其重要 。
为此 ，2021年，CISA成立了联合网络防御合作组织（JCDC） 。这种公私伙伴关系旨在通过将联邦政府的能力与体制外创新和洞察力相结合 ，降低国家面临的网络风险。
爱因斯坦告诉会议代表：“CISA只有通过合作才能成功 ，因为80%以上的关键基础设施都在美国的体制外。
她表示：“我们负有集体和共同的责任 。我看到一些组织不认为自己是这个生态系统的一部分，也没有意识到自己负有部分责任 。技术提供商还需要帮助这些企业变得更加安全 ，确保一切安全。 ”
活动还强调了与供应商的合作以及供应商之间的合作 。200亿美元的信息技术巨头环球科技的长期首席执行官和技术大师吉姆·卡瓦诺谈到了该公司与芯片制造商英伟达长期合作的好处 ，包括人工智能的进步 。
今年3月，WWT承诺在未来三年投资5亿美元来刺激人工智能的开发和客户采用。这项投资包括一个新的人工智能实验地面实验室环境和一个协作生态系统 ，该生态系统使用包括英伟达在内的合作伙伴的工具 。
虽然前中情局特工弗洛雷斯认识到这种合作关系至关重要 ，但他也强调公司在入职前需要进行强有力的评估 。
“你的每一个供应商都是成功的合作伙伴，但也存在漏洞。他们必须能够保护他们的系统 ，你也必须能够保护你的系统 。你们必须共同保护他们之间的任何联系 ， ”他指出 。
6.任命一名人工智能官员
会议注意到首席人工智能官的崛起，他负责监督人工智能在组织中的安全实施。根据拜登政府关于安全 、可靠和可信开发和使用人工智能的行政命令，这一任命现在对一些美国政府机构来说是强制性的 。
这些高管需要评估不同的方式来部署用于评估用例和AI治理的强大流程 。
虽然CISA不要求任命首席人工智能官 ，但Lisa Estein上个月挺身而出 ，因为该组织认识到，除了拥有内部人工智能用例负责人之外 ，这对其使命很重要。
"CISA希望有人负责协调这些努力 ，以确保我们都以技术上合理的视角朝着同一个方向前进，并确保我们内部所做的工作和外部提供的建议保持一致 ，以便我们能够适应和灵活 ，”她解释道。
虽然这不一定是董事会级别的任命，但爱因斯坦补充说 ，在做出人工智能决策和政策时 ，这个人需要和不断扩大的首席信息官 、首席信息官、首席信息官 、法律和隐私团队以及数据官员呆在一起 。
爱因斯坦补充说，十年内 ，如果她做得好 ，这个职位应该是多余的 。“到那时，我们所做的应该已经根深蒂固，我们不再需要这个角色了。这就像雇佣一名首席电力官 。每个人都明白他们必须扮演的角色 ，以及他们在保护人工智能系统和负责任地使用它们方面的共同责任 。 ”
7.将人工智能融入您的商业运营
对ISA首席执行官拉里·克林顿来说 ，设计安全始于理论。十多年来，他的组织一直与美国全国企业董事协会（NACD） 、美国国土安全部和直接司法委员会合作 ，为企业董事会编写年度手册 ，分析网络风险 。
根据克林顿的说法，ISA目前正在开发该手册的一个版本 ，专门用于与人工智能合作 ，该版本将于今年秋天发布 。
克林顿声称，企业需要将三个核心问题带到董事会层面。
“人工智能的部署需要从战略上进行 。组织低估了与人工智能相关的风险 ，高估了员工管理这些风险的能力 。这来自人工智能的特殊适应 ，需要将其融入商业运营的整个过程，而不仅仅是独立添加到各种项目中 ， ”他说。
他说 ，第二个问题是教育和向董事会成员解释人工智能影响的必要性，而不是解释各种人工智能部署如何工作的具体细节 。
他补充说，第三个问题是沟通 。“我们必须将人工智能带出IT泡沫 ，让它成为整个组织的一部分。这与我们在网络安全方面给出的建议完全相同。人工智能是企业范围内的功能 ，而不是IT功能 。”
8.限制功能可降低风险
根据微软的布兰登·迪克森的说法，限制人工智能系统的能力完全在人类的控制范围内 ，有时应该采取行动 。他补充说 ，这家计算机巨头已经用它的许多第一代副驾驶工具做到了这一点。
“我们今天实现的是许多‘只读’操作 。没有多少人工智能系统自动代表用户来隔离系统 。我认为这是一个重要的区别——因为当人工智能自动做人类可能会做的事情时，风险就来了。如果只是阅读、提供摘要和解释结果 ，这些可能是非常有用和低风险的功能 。 ”
根据狄克逊的说法 ，下一阶段将是研究“我们如何从自信的代理到部分自治再到高度自治再到完全自治 。在每一个层面上，我们都需要问一问我们需要有什么样的安全系统和安全考虑 ，以确保我们不会引入不必要的风险。 ”
