在此特別的來賓功能中，Zest AI的CTO Jay Budzik討論了Google推出的開發(fā)人員工具集，這些工具可讓數(shù)據(jù)科學家創(chuàng)建可解釋的ML模型，以及這些新工具的現(xiàn)實性以及它們?nèi)绾斡绊懾攧辗帐袌觥est AI是一家軟件公司，可幫助銀行和貸方建立，運行和監(jiān)視完全可解釋的機器學習承銷模型。作為首席技術官，Jay負責Zest的產(chǎn)品和工程團隊。他對發(fā)明新技術(尤其是在數(shù)據(jù)挖掘和AI中)的熱情在他的整個職業(yè)生涯中發(fā)揮了核心作用。周杰倫擁有博士學位西北大學計算機科學專業(yè)。

算法模型因為容易受到不公平偏見的黑匣子而受到不好的說唱。如果您有正確的工具來解釋他們的決定，他們就不是。

這就是為什么Google的新的基于云的可解釋AI(XAI)工具套件為希望采用AI的公司朝正確方向邁出了一步。這些工具可以解密和捍衛(wèi)特定數(shù)據(jù)因素如何促進在復雜神經(jīng)網(wǎng)絡之上構(gòu)建的機器學習(ML)模型的輸出。雖然Google XAI應該引起人們的關注并幫助消除一些ML神話，但它可能不會刺激所有公司的采用，特別是需要完全可解釋的承銷模式來決定誰可以借款，誰不能借款的金融服務公司。

首先，Google的工具(目前處于測試版)要求客戶在Google Cloud中構(gòu)建和實施其模型。但是大多數(shù)公司都需要可在任何云環(huán)境或本地服務器上使用的可解釋性工具。

其次，Google XAI不夠靈活，無法容納更強大的模型。像其他可解釋性工具一樣，Google植根于復雜的數(shù)學原理，包括Aumann-Shapley方法的一種版本，該方法使用一系列箔紙(稱為“反事實”)來完善算法的輸出。谷歌云AI部門負責人安德魯·摩爾(Andrew Moore)上個月在倫敦的英國廣播公司(BBC)上描述了這一過程：“例如，神經(jīng)網(wǎng)絡問自己，'我當時無法看待走進來的人的襯衫顏色商店。那會改變我對他們走路速度有多快的估計嗎?”通過進行許多反事實，它逐漸建立了一張關于它是什么以及在進行預測時沒有注意的圖片。”

盡管聽起來很引人注目，但Google XAI不適用于所謂的集成模型，該模型使用多種或競爭性技術將多個模型編織在一起。“匯總”提高了AI信用評分的預測能力-假設可以檢查集體系統(tǒng)以評估決策的制定方式-并且在接下來的幾年中，隨著貸方接受ML，它將成為標準。目前，Google對基于樹的模型以及樹和神經(jīng)網(wǎng)絡的集成提供了有限的支持。

第三，雖然Google AI“假設分析”工具非常聰明，并且可以讓建模人員一目了然地測試不同的場景，但Google的用戶界面可能很難使用。開發(fā)人員將必須學習特定的編碼語言和配置約定以訪問可解釋性功能。

最后，Google的可解釋性軟件包主要針對數(shù)據(jù)科學家，而不是為受嚴格監(jiān)管的金融服務公司工作的信用分析師。從理論上講，銀行的數(shù)據(jù)科學家可以使用Google的工具建立模型。但是這些人將需要構(gòu)建其他工具來測試其模型的準確性和公平性，并生成監(jiān)管機構(gòu)要求的所有合規(guī)報告。