2019-10-23 16:58:45就利用人工智能和機(jī)器學(xué)習(xí)而言,，人們對(duì)結(jié)果的信任是很重要的。由于所謂的人工智能“黑匣子”問(wèn)題,，許多組織(尤其是那些受管制的行業(yè)的組織)可能會(huì)猶豫不決,，不敢使用人工智能系統(tǒng)：算法只是得出模糊的決策而沒(méi)有解釋其所遵循的理由。
這是一個(gè)顯而易見(jiàn)的問(wèn)題,。如果我們不知道人工智能如何發(fā)揮作用,，那我們又如何將醫(yī)療診斷或自動(dòng)駕駛汽車等領(lǐng)域里生死攸關(guān)的決策交給人工智能來(lái)做?
這個(gè)問(wèn)題的中心是神話所籠罩的技術(shù)問(wèn)題。如今,，人們普遍認(rèn)為,，人工智能技術(shù)已經(jīng)變得如此復(fù)雜，以至于系統(tǒng)無(wú)法解釋為何做出自己的決定,。即使可以,，解釋也太復(fù)雜了，以至于我們的大腦無(wú)法理解,。
現(xiàn)實(shí)情況是,，當(dāng)今在機(jī)器學(xué)習(xí)和人工智能系統(tǒng)中使用的許多常見(jiàn)的算法都可以內(nèi)建所謂的“可解釋性”。我們只是沒(méi)有在使用它——或者我們無(wú)法訪問(wèn)它。對(duì)其它算法來(lái)說(shuō),，人們還在開(kāi)發(fā)可解釋性和可追溯性功能,，但我們很快就能用上了。
在本文中,，你將找到可解釋的人工智能的含義,，它為什么對(duì)商業(yè)用途來(lái)說(shuō)很重要，以及哪些力量在推動(dòng)人們采用人工智能,，以及哪些因素阻礙了人工智能的應(yīng)用,。
為什么可解釋的人工智能很重要
畢馬威(KPMB)和Forrester Research去年發(fā)布的報(bào)告顯示，只有21%的美國(guó)高管高度信任這兩家公司的分析,。畢馬威(KPMG)的新興技術(shù)風(fēng)險(xiǎn)的全球負(fù)責(zé)人Martin Sokalski表示：“這些高管不僅相信我們對(duì)人工智能所做的分析——而且相信我們所做的所有分析。
Sokalski說(shuō),，由于人們對(duì)分析缺乏信任,，人工智能的采用漸漸放緩，尤其是各大公司對(duì)人工智能進(jìn)行大規(guī)模部署的速度放緩,。
Sokalski說(shuō)：“雖然你讓聰明的數(shù)據(jù)科學(xué)家想出這些令人驚嘆的模型,，但是他們卻沒(méi)有施展空間，因?yàn)槠髽I(yè)領(lǐng)導(dǎo)者不信任也不了解這些模型,。我不會(huì)在任何會(huì)使我不斷與監(jiān)管機(jī)構(gòu)打交道的模型部署到這些流程中,，也不會(huì)使讓我登上頭條新聞的模型部署到這些流程中?！?/p>
要考慮監(jiān)管審查的可不光是醫(yī)療和金融服務(wù)行業(yè),。《通用數(shù)據(jù)保護(hù)條例(GDPR)》稱,，所有公司都必須向客戶解釋為什么自動(dòng)化系統(tǒng)會(huì)做出決定,。
此外，由于無(wú)法分析算法如何得出結(jié)論,，因此各大公司在業(yè)務(wù)可能上線時(shí)不得不盲目相信人工智能系統(tǒng)的建議,。
例如，零售公司Bluestem Brands正在使用人工智能提供定制化的購(gòu)物建議,。但是,，如果人工智能系統(tǒng)推薦的商品不是有據(jù)可考的暢銷物品，或者與銷售專家的直覺(jué)不符怎么辦?
Bluestem Brands的IT主管Jacob Wagner說(shuō)：“人們往往會(huì)說(shuō),，‘不,，這個(gè)人工智能壞了，我們應(yīng)該推薦暢銷的褲子,?！?/p>
解決這些信任危機(jī)的方案是提供一個(gè)解釋。人工智能系統(tǒng)在提出建議時(shí)使用了哪些因素?這就是可解釋的人工智能該出現(xiàn)的場(chǎng)合——人們?cè)絹?lái)越需要這樣的功能。
可解釋的人工智能包含了各種各樣的工具和技術(shù),，這些工具和技術(shù)旨在使具備領(lǐng)域?qū)ｉL(zhǎng)的人更容易理解人工智能系統(tǒng)的最終解決方案,。可解釋的人工智能使人們能夠參與決策過(guò)程,，從而使人們更加信任這些系統(tǒng)并對(duì)這些結(jié)果高度負(fù)責(zé),。這往往相當(dāng)于輸出人工智能通過(guò)培訓(xùn)所學(xué)會(huì)的規(guī)則，并使人類可以對(duì)這些規(guī)則進(jìn)行審計(jì),，從而了解人工智能如何從未來(lái)的數(shù)據(jù)中得出結(jié)論,，這些數(shù)據(jù)的范圍超出了數(shù)據(jù)集。
Wagner說(shuō),，就Bluestem Brands而言,，他能夠從Lucidworks提供的當(dāng)前系統(tǒng)中獲得大約85%的解釋，但他希望看到更多的解釋,。
Wagner說(shuō)：“使人們克服信任障礙是很難的,。推薦某物的理由是什么?——我們對(duì)此所有用的信息越多，越容易有這樣的體會(huì),?！?/p>
治理問(wèn)題
如今，企業(yè)使用的大部分人工智能都是基于統(tǒng)計(jì)分析的,。這些機(jī)器學(xué)習(xí)算法的用途廣泛,，如改善購(gòu)物建議、搜索結(jié)果,、計(jì)算信用風(fēng)險(xiǎn),、發(fā)現(xiàn)計(jì)算機(jī)網(wǎng)絡(luò)中的可疑行為等等。
為了提出建議,，這些算法分析了特定的特征,、數(shù)據(jù)字段、因素或在行業(yè)中被稱為功能的東西,。每個(gè)功能都具有特定的權(quán)重,，這些權(quán)重有助于人工智能將事物歸類或發(fā)現(xiàn)異常。因此,，例如,，在確定某動(dòng)物是貓還是狗時(shí)，算法可能會(huì)以動(dòng)物的體重為主要因素,，然后是動(dòng)物的大小,，最后是顏色。
因此,，了解決定因素是一個(gè)簡(jiǎn)單的過(guò)程,。但是各大公司尚未將與決策相關(guān)的因素列為工作重點(diǎn),。
畢馬威的Sokalski說(shuō)：“我們注意到的主要趨勢(shì)之一是企業(yè)缺乏對(duì)人工智能的內(nèi)部治理和高效管理。我們發(fā)現(xiàn),，只有25%的公司正在投資開(kāi)發(fā)控制框架和方法?！?/p>
Sokalski說(shuō),，這是商業(yè)流程成熟度的問(wèn)題,，而不是技術(shù)問(wèn)題,?！捌浔举|(zhì)就是在整個(gè)生命周期中構(gòu)建內(nèi)部功能,，端到端治理以及人工智能的端到端管理。”
可解釋的人工智能的現(xiàn)狀
Sokalski說(shuō),，所有主要的人工智能平臺(tái)供應(yīng)商以及大多數(shù)頂級(jí)開(kāi)源人工智能項(xiàng)目都內(nèi)置了某種形式的可解釋性和可審計(jì)性。
畢馬威(KMPG)一直在與其中一家供應(yīng)商(即IBM)合作,，開(kāi)發(fā)屬于自己的一系列工具，(即AI in Control)供客戶使用,。這樣的框架使公司更容易開(kāi)發(fā)具備內(nèi)置解釋性的人工智能系統(tǒng),，而不必將各種開(kāi)源項(xiàng)目的功能拼湊在一起。
8月,，IBM發(fā)布了自己的工具集AI Explainability 360,，該工具集包含開(kāi)源算法,，可用于當(dāng)今使用的所有主要類型的機(jī)器學(xué)習(xí)的可解釋性，但不包含常用于時(shí)間序列問(wèn)題(如股市預(yù)測(cè)之類的問(wèn)題)的遞歸神經(jīng)網(wǎng)絡(luò),。
該工具集中有八種算法,，其中大多數(shù)尚未以可用代碼的形式公開(kāi)提供,?；A(chǔ)研究在今年或2018年才公布。IBM的研究人員兼IBMThomas J.Watson研究中心的經(jīng)理Kush Varshney這樣說(shuō)道,，
Varshney說(shuō)：“任何人都可以使用該工具集,，不管他們是不是IBM的客戶?！?/p>
Varshney警告說(shuō),，但是向人工智能系統(tǒng)添加可解釋性并不像提供決定所用因素的列表那么簡(jiǎn)單?！敖忉尩姆椒至挚偪偂,！?/p>
例如，做出有關(guān)是否向某人提供銀行貸款的決定,。Varshney說(shuō)，客戶想知道為什么自己的申請(qǐng)?jiān)獾骄芙^,，以及怎樣才能增加將來(lái)獲得貸款的機(jī)會(huì),。
Varshney說(shuō)：“監(jiān)管機(jī)構(gòu)不會(huì)太在乎每個(gè)申請(qǐng)人,。他們希望查看整個(gè)決策過(guò)程,，希望整體上解釋過(guò)程的運(yùn)作機(jī)制,。他們希望就如何做出決策并找出是否存在問(wèn)題(如公平性或其它潛在問(wèn)題)而為所有輸入做出模擬?！?/p>
Varshney補(bǔ)充說(shuō),，對(duì)銀行來(lái)說(shuō),，要確保系統(tǒng)做出準(zhǔn)確的預(yù)測(cè)，它們將面臨截然不同的問(wèn)題,。
解釋神經(jīng)網(wǎng)絡(luò)
隨著人工智能系統(tǒng)變得更加先進(jìn)并且對(duì)預(yù)先定義的功能和權(quán)重的依賴減少，解釋也變得更加困難,。舉例來(lái)說(shuō),，對(duì)貓和狗進(jìn)行分類的系統(tǒng)不是根據(jù)一組列表的數(shù)據(jù)點(diǎn)進(jìn)行處理,，而是對(duì)動(dòng)物的照片進(jìn)行處理,。
卷積神經(jīng)網(wǎng)絡(luò)通常用于圖像處理，它會(huì)查看訓(xùn)練數(shù)據(jù)并自行發(fā)現(xiàn)重要特征,。這些功能以非常復(fù)雜的形式出現(xiàn),，即涉及十分復(fù)雜的數(shù)學(xué)計(jì)算,。
Varshney說(shuō)：“如果你有一個(gè)非常復(fù)雜的黑匣子模型，該模型具有所有這些功能并以數(shù)百萬(wàn)種方式加以組合,，那么人類將無(wú)法理解,。”
由于特定像素之間的復(fù)雜關(guān)系而將圖片判定為貓而不是狗,，這就像甲因其大腦中的特定神經(jīng)元在特定時(shí)間放電而告訴乙這是貓一樣無(wú)濟(jì)于事。但是，Varshney說(shuō),，人們?nèi)匀豢梢酝ㄟ^(guò)進(jìn)行更高級(jí)別的抽象來(lái)使系統(tǒng)具有可解釋性。
Varshney說(shuō)：“你可以找到在語(yǔ)義上有意義的表征形式,。例如，如果這是貓的圖像,，人工智能將發(fā)現(xiàn)胡須、鼻子的形狀和眼睛的顏色都是重要的特征,。”
然后,，為了解釋決策,，人工智能可以在照片中突出顯示表明這是貓的那些地方,，或顯示貓的典型圖像的對(duì)比照片,。
Varshney說(shuō)：“這確實(shí)是增強(qiáng)人們對(duì)系統(tǒng)信任的一種方式,。如果人們能夠理解這些事物的運(yùn)作邏輯，那么他們就可以對(duì)系統(tǒng)的使用充滿信心,。”
這正是馬薩諸塞州綜合醫(yī)院和百靈達(dá)婦女醫(yī)院臨床數(shù)據(jù)科學(xué)中心的執(zhí)行主任Mark Michalski所采取的方法,。
醫(yī)院使用人工智能在放射圖像中發(fā)現(xiàn)癌癥,。醫(yī)務(wù)人員必須對(duì)系統(tǒng)有高度的信任才能使用人工智能。為了解決這個(gè)問(wèn)題,，醫(yī)療提供商不僅會(huì)得到掃描圖是否表明患者是否得了癌癥的非此即彼的答案,，還會(huì)得到解釋,。
“你可以在圖像上面覆蓋若干熱圖,，以此來(lái)解釋機(jī)器為何會(huì)盯著某個(gè)位置看,，” Michalski這樣說(shuō)道,。
專有系統(tǒng)和勉為其難的供應(yīng)商
完全透明并不總是對(duì)每個(gè)人都有利,。對(duì)某些人工智能供應(yīng)商而言,，公開(kāi)人工智能決策方式的細(xì)節(jié)無(wú)異于公開(kāi)秘密。
數(shù)字服務(wù)咨詢公司Nerdery的數(shù)據(jù)科學(xué)總監(jiān)Justin Richie表示：“這些軟件公司有點(diǎn)自私,，它們認(rèn)為所有人都圖謀不軌,，都想竊取它們的點(diǎn)子。有些供應(yīng)商之所以讓客戶走馬觀花是因?yàn)檫@樣他們就不會(huì)暴露自己的權(quán)重?cái)?shù)據(jù),。而其它供應(yīng)商則直接在其工具中展示可解釋性,。”
Richie補(bǔ)充說(shuō),，與其說(shuō)這是技術(shù)限制不如說(shuō)這是市場(chǎng)問(wèn)題,。隨著人工智能技術(shù)變得司空見(jiàn)慣，游戲規(guī)則也會(huì)發(fā)生改變,。
制造由人工智能驅(qū)動(dòng)的聊天機(jī)器人的LivePerson的技術(shù)官Alex Spinelli說(shuō),，商用的現(xiàn)成算法往往缺乏關(guān)鍵的可解釋性功能,。
Spinelli說(shuō)：“有些更好的產(chǎn)品確實(shí)具有檢查和審計(jì)功能，但并非全部產(chǎn)品,?？晒﹨⒖嫉臉?biāo)準(zhǔn)并不多,?？蓪徲?jì)性,、可追溯性以及就人工智能為何做出決策的原因而對(duì)算法進(jìn)行查詢的能力,，這些都是罕見(jiàn)的功能,?！?/p>
Spinelli說(shuō),，LivePerson編寫自己的具備可解釋性的算法,，或者使用具備這些功能的開(kāi)源工具,，例如百度的Ernie和谷歌的Bert開(kāi)源自然語(yǔ)言處理算法,。
人工智能標(biāo)準(zhǔn)越來(lái)越多
Spinelli說(shuō),，但是業(yè)界正在極力使人工智能系統(tǒng)更加透明。例如,，LivePerson參與了EqualAI計(jì)劃,，致力于通過(guò)制定準(zhǔn)則，標(biāo)準(zhǔn)和工具來(lái)預(yù)防和糾正人工智能中的偏見(jiàn),。
現(xiàn)有的標(biāo)準(zhǔn)機(jī)構(gòu)也一直在努力解決這些問(wèn)題,。例如，紅帽(Red Hat)的業(yè)務(wù)自動(dòng)化開(kāi)發(fā)經(jīng)理Edson Tirelli說(shuō),，紅帽正在使用旨在幫人工智能和機(jī)器學(xué)習(xí)系統(tǒng)提高透明度的多個(gè)標(biāo)準(zhǔn),。
Tirelli說(shuō)：“這些標(biāo)準(zhǔn)有助于‘打開(kāi)黑匣子’?！?/p>
其中一個(gè)標(biāo)準(zhǔn)來(lái)自O(shè)bject Management Group的決策模型和注釋(Decision Model and Notation)標(biāo)準(zhǔn),。
Tirelli說(shuō)，這個(gè)相對(duì)較新的標(biāo)準(zhǔn)有助于填補(bǔ)空白，即人們?cè)诶斫夤緵Q策過(guò)程中所涉及的一切步驟,?！澳憧梢愿櫾摏Q策或業(yè)務(wù)流程的每個(gè)步驟，一直到人工智能部分,?！?/p>
這些標(biāo)準(zhǔn)還使在供應(yīng)商平臺(tái)之間遷移流程和模型變得更加容易。但是除了紅帽之外,，只有少數(shù)公司支持決策模型和注釋。
Tirelli補(bǔ)充說(shuō),，Object Management Group的商業(yè)流程模型和注釋標(biāo)準(zhǔn)得到了數(shù)百家供應(yīng)商的支持,。
Tirelli說(shuō)：“幾乎所有的工具都支持這個(gè)標(biāo)準(zhǔn)，或同級(jí)標(biāo)準(zhǔn),，即分析的可移植格式(Portable Format for Analytics),。大體上所有可以創(chuàng)建機(jī)器學(xué)習(xí)模型的工具都支持該標(biāo)準(zhǔn),?！?/p>
Tirelli說(shuō),，這些標(biāo)準(zhǔn)相互聯(lián)系,，為可解釋的人工智能提供功能。
前緣地帶
帕洛阿爾托研究中心(PARC)的研究人員Mark Stefik表示,，隨著人工智能用于執(zhí)行更復(fù)雜的任務(wù),，可解釋性越來(lái)越難實(shí)現(xiàn),。
Stefik說(shuō)：“如果理由給出5000條規(guī)則,，那將無(wú)濟(jì)于事,?！?/p>
例如,，帕洛阿爾托研究中心一直在為國(guó)防高級(jí)研究計(jì)劃局(DARPA)做一個(gè)項(xiàng)目,，該項(xiàng)目包括對(duì)用于護(hù)林員救援任務(wù)的無(wú)人機(jī)進(jìn)行訓(xùn)練,。對(duì)簡(jiǎn)單的任務(wù)而言,，要知道何時(shí)信任該系統(tǒng),，比要知道在復(fù)雜的山區(qū)或沙漠場(chǎng)景中的專家級(jí)任務(wù)要容易得多,。
Stefik說(shuō)：“我們?cè)谶@方面取得了很大進(jìn)展，但我不認(rèn)為我們對(duì)所有類型的人工智能都有解釋性,。”
最后的挑戰(zhàn),，也是最困難的挑戰(zhàn)，即常識(shí),。
滑鐵盧大學(xué)人工智能領(lǐng)域的加拿大研究主席Alexander Wong說(shuō)：“因果推理可望而不可及,，這就是我和其他人努力的方向?！?/p>
Stefik說(shuō)，如今,，計(jì)算機(jī)系統(tǒng)很難將關(guān)聯(lián)性和因果關(guān)系區(qū)分開(kāi)來(lái)。鬧鐘的響聲會(huì)導(dǎo)致太陽(yáng)升起嗎?
Stefik說(shuō)：“我們想找到將虛假的關(guān)聯(lián)性與真實(shí)的因果關(guān)系區(qū)分開(kāi)來(lái)的方法,。甚至訓(xùn)練人來(lái)做正確的因果推理也是很難的,。這是一個(gè)非常困難的問(wèn)題?！?/p>
Stefik說(shuō),，這種通過(guò)一系列因果關(guān)系進(jìn)行思考的能力是人們談?wù)撏ㄓ萌斯ぶ悄軙r(shí)所談?wù)摰膬?nèi)容,。
Wong補(bǔ)充說(shuō)：“我們?cè)谶@個(gè)方向上取得了不錯(cuò)的進(jìn)展,。但是，如果我不得不猜測(cè)的話,，我會(huì)說(shuō)，因果推理的最終形式將在一個(gè)時(shí)限內(nèi)實(shí)現(xiàn),?！?/p>
但是，即使可解釋的人工智能仍處于起步階段,，這并不意味著公司應(yīng)該被動(dòng)等待。
Wong說(shuō)：“即使在目前的形式中,，可解釋性對(duì)許多商業(yè)流程仍然非常有用,。如果你現(xiàn)在就開(kāi)始使用這個(gè)形式,，那么你所創(chuàng)建的系統(tǒng)將很超前,，并且更加公平,。談到負(fù)責(zé)任的人工智能時(shí),，我的核心信念之一是,，可解釋性和透明性是人工智能的關(guān)鍵組成部分,?！?/p>
