人工智能系统安全与隐私风险

　　徐大海

　　(北京欣智恒科技股份有限公司 北京市 100075)

　　摘 要：本文从人工智能系统的关键环节 数据输入、数据预处理、机器学习模型和输出，分析了相应的安全隐私风险及对策，讨论了未来在人工智能系统妥全隐私保护研究方面的发展与防范措施。

　　关键词：人工智能;系统安全;隐私风险

　　人工智能是人类通过发明创造，赋予机器以人的才能、行为模式与思维习惯来代替人类进行各项生产活动或者更高精尖的操作。它的神奇与智能的一点就在于他可以自主的进行学习，进行错误的纠正，自我组织系统以及自行动的特征。人工智能一般而言是通过一定的程序进行目标制定，使人工智能具备人类一样的思维方式，达到这个目标才能称之为人工智能。人工智能构建在一定的生理结构与神经网络，通过一些计算机算法，建立神经元网络，模拟人类神经信号的传递。人工智能不仅涉及到计算机科学，也涉及到生物学，数学，硬件，外部环境等，人工智能的算法与硬件芯片等需要共同进步，才能管理好整个模块促进入工智能技术的发展。而且人工智能也有着对于人类社会伦理、道德法律法规的挑战，在实际的运行过程中，也要注意社会舆论公序良俗等。在与生产力结合大力发展经济的同时，也要注重其对人们生活的影响，社会的深远融合。

　　例如随着各类人工智能应用的出现和发展，其中的安全隐患也逐渐暴露出来，2018年发生在美国亚利桑那州的优步无人车事故中，事发时处于自动驾驶模式的无人车并没有检测到前方行人，驾驶员也未及时进行干预，最终致使行人被撞身亡。并且人工智能增强了对隐私的直接监控(direct surveillance)能力。近年来，各式各样带有传感器和处理器的人工智能产品不断涌入人们的学习、工作和生活中，极大地增强了对隐私的直接监控能力。当你在自家大院载歌载舞时，有人可能正在通过无人机监视着你的一举一动。因此本文从人工智能系统安全与隐私风险的现状，探讨未来在人工智能系统安全研究方面的发展与防范措施。

　　1.人工智能系统攻击措施

　　1.1输入环节

　　人工智能系统通过传感器(摄像头、麦克风、激光雷达、GPS等)获取外部环境数据，或者通过直接读取文件获取数据。

　　1.2数据预处理环节

　　输入的原始数据需要经过格式转换、尺度变换、数据压缩等预处理工作，以满足机器学习模型输入格式要求，同时降低数据量以保证系统工作的实时性。

　　1.3机器学习模型

　　机器学习模型是人工智能系统的核心，即“大脑”，主要包括训练和测试2个阶段。在训练阶段，机器学习模型利用预处理过的训练数据对模型参数进行调节，以提升对于特定任务的工作性能(通常用准确率、召回率等指标衡量.对于强化学习，还存在模型与环境的动态交互过程，当训练完成时，机器学习模型就进入了测试阶段。训练好的模型将根据输入提供相应的输出结果。

　　1.4输出环节

　　人工智能系统会以标签、置信度等多种形式给予输出，为后续的分类、决策等任务提供支持.由于人工智能系统所处环境的开放性，输入、输出2个环节会直接暴露在攻击威胁环境中.在后续的介绍中将会看到，即使在预处理环节或机器学习模型被隐藏的情况下，攻击者仍然可以通过发送样本的方式对系统内部结构进行推测并发动攻击。

　　2.各环节安全风险

　　2.1输入环节安全风险

　　人工智能一般通过各种电子传感器进行信息的获取，然后将采集的原始数据进行下一步的处理、转换.一些攻击者通过伪装这些传感器，如摄像头、麦克风等进行数据的窃取，然后将样本输送到其他的装置之中。这也是被视为最严重的攻击之一。

　　2.2预处理环节安全风险

　　在使用者无意的情况下可能进行了数据的获取传输工作。在数据处理阶段只能就原始数据转换成能够被模型识别并最终输入的样式，因此在这个过程中仍然存在着风险。重采样过程中由于文字或者图片要被压缩，会改变数据格式，因此也造成了更容易被攻击。在实际的防控过程中，可以采用对重采样情境下计入随机质量检测措施来增大被入侵者攻击的可能性。

　　2.3机器学习模型安全风险

　　机器通过学习模型来进行下一步的动作与决策，这也是人丁智能的核心部分，攻击者在这个环节有许多方式进行攻击，比如通过加入一部分有毒的数据代码，使模型在学习数据时受到攻击。还有可能在构造模型时进行异常干预，使机器在决策时出现错误;还有的是攻击者通过内部观察习得机器人的学习模式构建策略，探索模型运作的方式，进而发起攻击。

　　2.4输出环节安全风险

　　输出环节的结果直接影响着人工智能系统的运行与决策。这些丰富的输出端口也造成了攻击者有许多的攻击渠道，攻击者可以对模型展开逆向追溯，获取模型，或者利用置信度来构造对抗样本。在实际运行过程中可以采用输出值近似处理或者引入随机波动，来探索的准确性，提高系统攻击难度。

　　3.人工智能带来的隐私风险

　　人工智能的广泛样本都来源于海量的大数据与算法，虽然对人类提供了很大的便利，但是同时也造成了严重的隐私危机。主要是由于如何在人工智能的便利与人的隐私问题的取舍上取得一个平衡值。在相关的法律保护措施以及条例中提供一定的帮助与借鉴。人工智能的核心便是需要大量的数据样本搜集.不断学习，这样才能使人工智能走向越来越智能化。但是这也造成了人工智能对一个人隐私的权限越来越大了，获取的途径越来越多，安全性能越来越低。不管是搜索过什么买过什么看过什么都能随时被人工智能抓取搜集到。

　　不管是政府为主导进行各部门资源共享，还是企业为了收集用户数据进行用户细分市场，还是私人黑客为了牟利，都能非常方便的获取人们的隐私。而且人工智能的传感器端口有非常强的画像识别功能。不管个人用户的运动轨迹，行为偏好，个人习惯等，都能很容易被有关机构或者个人所获取。人工智能本身就是拟人化的产物，今后的世界人工智能可能在我们的生活中无孔不入，扮演着类似于人的效果。它与许多机器工具不同的一点是他可能具有社交功能，处于人与机器的中间地带，这也造成了用户可能对此不设防，最终被这些机器程序所操控p而且现今人工智能的发展并不足够成熟，仍然有一定的法律风险与社会伦理问题，在算法与大数据方面仍然存在许多问题，可能会被轻易攻击的端口，被篡改的程序等都是隐患。

　　人工智能是超越人类智慧的存在，但是在某些时候，它的决策仍然是由人类所编写决定的，因此也受到编写者自己行为习惯、道德水准的影响，容易造成一定的偏差或者歧视现象。而且人工智能一直由于其类人化存在着严重的伦理问题，它的外表极具迷惑性，也会加剧人类更加暴露自己的隐私。许多科学家甚至担心人工智能的出现，会侵害人与人之间本身的正常社交，而使人类更倾向于与人工智能生活在一起。因为人工智能通过智能算法规避掉人类不喜欢的东西，最终人类只能处在不断重复与自我欣赏的圈层内，固步自封。因此从生理心理还是社会的角度人工智能均有许多隐私方面的风险缺陷。

　　4.降低风险应对措施

　　在移动互联网、物联网、大数据、云计算等技术的加持下，一个“万物互联，人人在线，事事算法”的人工智能时代正在到来。我国为了享受到人工智能的红利的同时规避掉安全系统风险与隐私风险也提出了许多应对措施。

　　4.1完善相关法律体系

　　不管是计算机系统安全还是隐私保护条例，对于我国传统的法律都提出了严峻的挑战。因此在构建《个人信息保护法》，应当紧随当下时代环境，提出更多的应对措施。比如在人工智能自动获取用户信息的时候，能建立一定的禁止机制，只有客户自身同意获取的信息才能采集用户信息。对于每一项信息的采集用户都有知情权与选择权。在实际立法过程中，可以去借鉴欧盟的《一般数据保护法》等条例。并且用户有权对自己的数据进行处理，包括修改删除等。删除了的数据人工智能不得在进行搜集获取。并且对于用户认为敏感的数据，人工智能有禁止行为，不能无度的获取。只有有相关的政策法律保护，才能全面保护人们的系统安全与隐私问题.对于恶意抓取攻击端口来获取数据获利的黑客或者机构应当明令禁止，出台一定的处罚措施，负一定的法律责任。

　　4.2重视安全系统隐私保护路径

　　相比于欧盟国家我国对于客户安全系统隐私的保护措施，仍然有进步的空间。一方面我国应当重视安全系统，隐私保护增强技术，提高网络安全的能力，对于个人信息应当进行一定的加密防火墙的措施。降低系统风险，数据被攻击篡改，人工智能模型被反操控的可能，对于人工智能系统漏洞及时进行修复，对于数据模型的攻击行为要保证一定的攻击难度。避免针对用户数据进行萃取工具攻击。在企业的细分市场竞争中.尊重用户的隐私。国家与有关政府也应当开发一定的隐私评估工具，来协助企业在一定的范围内进行识别最小化系统风险。

　　5.总结

　　人工智能的逐步成熟，既是机遇也是挑战。人工智能的深度学习功能、数据获取能力能在一定程度上代替人类劳动，提高社会生产力，但是它的拟人化、智能化、学习化特征也造成了有较大的安全风险与隐私风险。如何发现、修复人工系统中的安全缺陷，规避人工智能应用风险也成为了人类和社会日渐关心的问题。本文分析了相应的安全隐私风险，讨论了未来在人工智能系统安全隐私保护研究方面的发展与应对措施。

　　参考文献

　　[1]张华胜.美国人工智能立法情况[J].全球科技经济瞭望，2018,33(09):54-61.

　　[2]何湃匕智能社会的治理与风险行政法的建构与证成[J].东方法学，2019(01):68-83.

　　[3]郑志峰.人工智能时代的隐私保护[J].法律科学(西北政法大学学报),2019,37(02):51-60.

　　[4]李文姝，刘道前 人工智能视域下的信息规制基于隐私场景理论的激励与规范[J].人民论坛・学术前沿,2019(06):70-77+91.

　　[5]卢阳旭，何光喜.我国人工智能治理面临的机遇和挑战・基于科技公共治理视角[J].行政管理改革，2019(08):29-36.

　　[6]杜静，黄荣怀，李政璇，周伟，田阳.智能教育时代下人工智能伦理的内涵与建构原则[J].电化教育研究，2019,40(07):21-29.

　　[7]陈宇飞，沈超，王骞，李琦，王聪，纪守领，李康，管晓宏.人工智能系统安全与隐私风险[J].计算机研究与发展，2019,56(10):2135-2150.

　　[8]苏晓露.人工智能时代隐私权保护的法理学分析[D].河北师范大学，2019.

　　[9] 孙涛.人工智能载休侵权责任研究[D].上海师范大学，2019.

　　[10] 张开.人工智能的技术应用批判[D].沈阳工业大学，2019.

　　[11]吴汉东人工智能时代的制度安排与法律规制[J].社会科学文摘，2017(12):76-78.

　　[12]张童，人工智能产品致人损害民事责任研究[J].社会科学，2018(04):103-112.

　　[13]吴沈括：罗瑾裕.人工智能安全的法律治理：围绕系统安全的检视[J].新疆师范大学学报(哲学社会科学版),2018,39(04):109-117.

　　[14]许天颖.人工智能时代的隐私困境与救济路径[J].西南民族大学学报(人又社科版),2018,39(06):166-170.