如今,人工智能已经可以做决定,但我们仍不知道这个决定是如何做出的。人们需要了解人工智能如何得出某个结论背后的原因,而不是仅仅接受一个在没有上下文或解释的情况下输出的结果。
近日,微软前全球执行副总裁沈向洋在接到清华大学续聘书时,通过直播方式分享了对AI可解释性与AI偏见相关问题的研究与看法。他提到,AI就像一个黑匣子,能自己做出决定,但是人们并不清楚其中缘由。所以,我们目前需要做的就是将其打开,了解AI想表达的意思和可能会做出的决定。这就需要设计和构建“负责任”的AI。
那么,AI的可解释性指什么?是什么导致人们无法对AI的行为进行解释?人工智能如何做决策?研究人员可以怎样做让这些决策更加透明?
尚无法完整解释决策过程
有人说,不确定性是AI的特征之一。
所有重大技术突破的出现,往往都伴随着相同的问题:如何确保技术的可靠。例如,在电子时代制造和使用电子产品时,人们可以通过技术资料了解所有的元件构成,从而得以信赖它们。又如,许多技术和生活场景中有检视清单的存在,它能指导我们如何合理完成一件任务。然而,到了人工智能时代,情况则不然。
“如今,AI已经可以做决定,这是AI过程中非常重要的一步,但我们仍缺乏对AI所做决定的认知。”沈向洋告诉科技日报记者,从某种程度上来讲,你建立一个模型、算法,输入数据,之后人工智能会产生一个结果。一切看上去顺理成章,但是有一个问题——我们尚不能完整解释为何人工智能会得出这样而不是那样的结论。
沈向洋进一步解释,我们将这种只能看到数据导入和输出,而无法看到和解读其工作原理的模型比作‘黑箱’,而将可以知晓内部工作原理的模型称为‘白箱’。人们需要了解人工智能如何得出某个结论背后的原因,而不是仅仅接受一个在没有上下文或解释的情况下输出数据和信息的结果。”沈向洋指出。
显然,我们不能将明天交付给一个个无可解释的“黑箱”。“我们在学习的时候,经常说不仅要知其然,还要知其所以然。”沈向洋表示,人工智能的可解释性,指的是要“知其所以然”,要了解背后的原因和逻辑,是能回答“为什么”。
“以决策场景下的模型可解释性为例,端到端的深度学习,一个广为诟病的问题是其不透明性或不可解释性,比如说识别一张照片中的物体,机器做出的判断是基于哪些有效特征,我们无从得知。”阿里安全图灵实验室负责人、资深专家奥创认为,人工智能系统必须具有可解释性,以便人类可以理解系统的行为。
研究发现,一个用来判断图片中的动物是狼还是哈士奇的AI模型,在六幅图片中只判断错了一幅,看起来准确率尚可接受,可其背后有极大的隐患。因为如果从局部维度观察,发现它识别出狼的标准,根本不是狼的样子,而是以图片背景中的雪为标准。如果一头狼走入没有积雪的家中,却因此被识别为哈士奇,那就可怕了。显然,我们无法信任这样的模型,这也说明了模型可解释性的重要意义。
目前的解释说明或损害用户信任
如今,AI的规范应用正在成为一个社会问题,去年,欧盟出台《人工智能道德准则》,明确提出AI发展方向应该是“可信赖的”,包含安全、隐私和透明等方面。
“无人驾驶、人脸识别、智慧城市、智能家居等各类场景中都在运用AI,但一旦后端控制系统被攻击,出现规模化、连锁式的崩盘,AI失控的后果不堪设想。”奥创指出。
比如,无人驾驶车要通过识别交通信号标志来决定通行还是停止,而攻击者可以生成一个欺骗通行标志的对抗样本,在行人眼里是禁止通行,但AI系统会识别成允许通行,这足以造成灾难性的后果。再如,自2016年以来,很多地方都推出用于预测未来罪犯的软件,法庭在审判时已经开始用AI进行辅助判断。然而,越是如此,人们越会担心算法是否存在偏见。
沈向洋指出:“‘黑箱’带来的挑战在于,即便其做出的预测是准确的,我们却仍不知何时可以信赖它,或者从中学到什么。更进一步说,即便模型是准确的,在做高风险决策时,也需要知道究竟是什么原因使然。”
人工智能怎样做决策?“目前有种方法可提供解释说明,包括人工智能系统如何运行、怎样与数据进行交互的背景信息,但其最有可能损害用户以及受这些系统影响的人员的信任。通过这些信息,人们将会更容易识别和意识到潜在的偏见、错误和意想不到的结果。仅仅发布人工智能系统的算法很难实现有意义的透明度。最新(通常是最有发展前途的)人工智能技术,例如深度神经网络,通常没有任何算法输出可以帮助人们了解系统所发现的细微模式。”沈向洋指出。
鉴于此,人们需要一个更全面的方法,使人工智能系统设计人员能够尽可能完整、清晰描述系统的关键组成要件。据了解,微软也在与人工智能合作组织及其他组织合作开发最佳实践规范,以实现人工智能系统有意义的透明度。包括通过实践规范以及各种其他更易于理解的方法、算法或模型,来替代那些过于复杂且难以解释的方法。
准确率和可解释性不该是对矛盾
要理解机器学习模型内部如何运行,开发出新技术,来提供更有意义的透明度,需要对这一领域开展进一步研究。
来自微软的里奇·卡鲁阿纳等学者提出“提炼与比较”(Distill-and-Compare)的方法。据沈向洋介绍,面对许多已被广泛应用的专有或不透明的模型,这种方法能够在不探测“黑箱”API(应用程序接口)或预先定义其特性的情况下进行核验。通过将“黑箱”视作老师,训练出透明的学生模型,来模拟原本的“黑箱”,并将它与真实情况进行对比。
而微软研究院有学者提出“‘黑箱’无关”的思路,当医生无法采纳“黑箱”对病人感染流感率的预测结果时,一种解决方法是利用特征归属的办法——根据不同特征之于模型的重要性,为其赋予权重。其中,解释过程认为“打喷嚏”“头疼”是指向流感的证据;而没感到疲惫,则是否认流感的证据。这里权重带有正向或反向的方向性,同时其权重大小也各不相同,“头疼”的权重要明显高于“打喷嚏”。对于医生来说,这样的解释要比简单给出一个“患流感概率90%”有用得多。
沈向洋表示,随着神经网络模型越来越复杂,在准确性越来越高的同时,研究人员遇到一个问题,即不得不在模型的准确性和可解释性之间做出妥协,因为两者常难以兼顾。尤其随着在深度学习模型上进一步推进,经常会牵扯到几百万个乃至数十亿的参数。结果是,有时候研究人员做出一个行之有效的模型,却并不能完全理解其中的缘由。如用一个高准确率的模型来预测病人感染流感的几率,却只能给医生呈现一个数字,或是“阳性”的诊断,而无具体佐证,那么,即便得到的结论是正确的,在医生看来也用处不大——因为医生并不知其结论是如何被推导出的。
因此,要打造负责任的人工智能,确保其决策透明,即“我们能够理解并看到人工智能所做的决定”,尤其需要开发可翻译、可解释的人工智能模型,以了解人工智能是如何做出这些决策的。特别是在事关重大的关键领域中,需要对模型全面理解,以此避免出现错误。高准确率和高可解释性的人工智能将有助真正将技术进行广泛、负责任、有效的应用,造福人类生活。
- 降准仍有一定空间,房地产市场回归常态
- 陈吉宁:鼓励多元主体参与街区更新和商圈升级
- 5G基础设施建设高效推进,北京已累计建成5G基站4521个
- 新房促销加大分流 北京二手房怎么走
- 议价空间仍在 北京二手房要反弹?
- 市场量价齐跌 租金指数环比下跌1.3%
- 越南队将帅齐表态:大年初一主场战胜中国队为球迷献
- 格雷格·哈迪vs谢尔盖·斯皮瓦克转移到UFC 272举行
- 马卡罗内:国米赛季目标是赢意甲和意杯 利物浦并非
- 现役球员中谁让你想起了自己?麦迪:乔治和杜兰特
- 队记:休赛期绿军管理层曾提出激进举措 史蒂文斯选
- 佩服!场均轰25+10+7,赛季已斩获4次三双,他身高
- 国产汤普森!第2阶段三分92中45领跑全联盟!杜锋该
- 同意吗?老詹无法拿到MVP,皮尔斯给出预测:湖人战
- 33秒20,博尔特接班人复出首秀创300米pb,他才是当
- 险象环生!交易威少+解雇主教练沃格尔,湖人距离崩
- 吹早了!直通赛4-2樊振东的大黑马惨遭一轮游,球迷
- 阿尔特塔:比赛延期的规则一开始就应明确,我们会捍
- 三分帅!原帅9记三分创赛季新高 生涯第4次单场至少
- 小红书,凭什么成为吸引运动员的新赛道?
- 天津7年不胜北京纪录被打破,北京名宿怒批雅尼斯:
- 官方:中央陆军先租后买签下里尔中场亚兹齐,米兰曾
- 时隔8天!郭艾伦发文道歉,高诗岩用表情包回应,球
- 安帅:库尔图瓦明天不会出场;贝尔将随队出征
- 拉波尔塔出席亨托葬礼:从他身上我领悟到了皇马巴萨
- 真拼了!米切尔被撞成脑震荡,沃格尔有苦衷,湖人不
- 助力北京冬奥会 中国冰雪大篷车开入赣州古街
- 马丁内斯:梅西是我最好的队友,他激励我成为更好的
- CBA又一小姚明陨落!6战5场0分
- 4中0单场1分!CBA最差大外援是他?
- 西甲一周资讯|皇马西超杯夺冠;费兰-托雷斯巴萨首
- 2022年卡塔尔世界杯球票开始预售,最低票价约70元人
- 【封面独家】教授诗人向以鲜为“诗圣”作传 44万字
- 北京冬奥会的雪为什么是人造的?
- 《年年有戏》打造“戏曲大观园” 朱迅李思思王冰冰
- 马刺为什么要放走这名冠军射手?
- 每体:阿劳霍希望涨薪续约,未来几周对于达成协议非
- 3-1!林高远拒爆冷,国乒球星进8强+怒吼庆祝,刘国
- 记住失败,也忘记失败
- 3-1迎来开门红!单局轰11-4,林高远表现强势,晋级
- 阿尔维斯:希望梅西在巴萨退役!哪怕梅西38岁我也会
- 2022格莱美音乐奖颁奖典礼推迟至四月 将首次在拉斯
- 战国对襟袍服是啥样的?来成博欣赏华夏服饰之美
- 拼命三年270万,躺赢六年1.24亿,他就是球迷最酸的
- 专家:掘金交易后的薪资低于税线150万美元 绿军高
- 美国CNN关注威姆斯遭辽蜜种族歧视:被骂滚出中国
- 解除停赛请求被驳回 韩短道速滑冠军无缘北京冬奥会
- 封面独家|“广告大师”叶茂中生前遗作曝光 曾想用
- 下午3点!国足29人名单呼之欲出,郑智新身份确认,
- 顾长卫《刺猬》首曝预告 葛优王俊凯演忘年交结成最
- 国文物局局长会议以电视电话会形式在京召开
- 改善攻击力!皇马送1亿先生赴巴黎,决心购当世两大
- 字母哥,又一座DPOY?
- 忘恩负义!欧文爆粗回应骑士球迷,后者:没勒布朗你
- 3笔交易失败!湖人完了,芭比Q了
- 科尔:库明加会多打小球阵容的中锋 库里在场上安排
- 自主滑雪机器人助力“科技冬奥” 实现自主快速稳
- 文字里的庭院只剩路牌,老房要有生命的“留”
- 契合书斋趣味者,皆可作为“花器”
- 建设全球顶尖学术机构,文化设施要跟上
- 京剧大家口传心授,出人出戏相辅相成
- 自得其乐的“表情”漫笔,与为人熟知的历史大画一脉
- 上音校园将拆除围墙 助力上海文化品牌建设
- 用心用情讲好红色故事,原创领域不断涌现“中国红”
- 网络苦“水军”久矣 治理“水军”要打到“七寸”
- 深入挖掘辽宁长城文化内涵成基础
- 考古学国家急需高层次人才培养专项”启动 加强人
- 明确规定保护管理人制度 全时段全领域保护
- 北京市新闻出版局公布2021年北京市实体书店扶持项目
- 皇马队史最差引援!西媒统计阿扎尔本赛季的西甲数据
- 退役了!帕森斯坑了三支球队,9年的NBA生涯他赚到多
- 孙兴慜:富安健洋和南野拓实都十分出色,同来自亚洲
- 北青:国足明日对抗赛后圈定25+4人名单 郑智身份
- 王蔷张帅领衔出战 五名中国女将均晋级澳网次轮
- 总台20余位主持人梦幻跨界 《年年有戏》打造沉浸式
- 新青年·上封面丨从影视到舞台 演员沈佳妮:挑战自
- 舍得酒业发布2021年年度业绩预增公告 净利润同比
- 中青宝公司披露《关于公司全资子公司股权收购暨关联
- 全渠道布局,“伟哥”白热化竞争市场
- 酒鬼酒发布业绩预告 实现盈利87300万元-94300万元
- 味知香年夜饭礼盒销售火热 半成品菜新鲜吗?
- 沪媒:41岁郑智拍了球员定妆照,可能为国足出场
- 找找状态!沃克复出13中6得到19分 末节命中3记三分
- 非遗产业从事者惠施祥的“希望投递站”|口述民俗·
- 英媒:小贝旗下的迈阿密国际有意引进苏亚雷斯
- 准三双!兰德尔15投6中&罚球11中9得到21分9板9助2断4帽
- 湖人主帅沃格尔遭受质疑,惨败爵士后险被解雇,现在
- 微软发布声明:现金收购动视暴雪
- 降准仍有一定空间,房地产市场回归常态
- 小制作的新可能 国产剧迎新“开端”
- 英国自动驾驶技术初创公司Wayve宣布完成一轮2亿美元
- 一起教育科技发布2021年第三季度财报 净收入同比
- 外媒:LG显示主要供应苹果的iPhone和iPad
- 苹果新处理器M2、M1 Quadra曝光 20核CPU+64核GPU
- 11/12代酷睿无法播放4K蓝光 不再支持SGX指令集
- 从抽签分组预测冠军!马龙进死亡之组,陈梦女单夺冠
- 英超:布伦特福德遭遇2连败状态低迷,曼联队内不和
- 第二阶段后最有可能下课的5位主帅:阿的江在列,徐
- 莫雷诺太狠了!连续6场被弃用,武磊太苦了,队友创
- 此前网友让豪斯让出4号 后者近日回击:睡前在下半
- 凯塔世界波,几内亚1-2不敌津巴布韦小组第二出线
- 沙特媒体:亚冠冠军利雅得新月有意签下莫德斯特
- 北京2022年冬奥会和冬残奥会记者培训及誓师仪式举行
- 【转会】AC米兰看中热刺中后卫遭尤文图斯抢劫,买个
- 西班牙人平之不武?对手2球被吹+漏判点球,新帅暴
- 澳网正赛第二日,张帅王欣瑜闯过首轮