Flare research的最新論文介紹了一種新的人工智慧(AI)策略,透過與區塊鏈結合,提升了人工智慧的安全性和準確性。
共識學習(CL)可以帶來覆蓋各種應用的協作式人工智慧,並推進更準確、更穩健的AI模型的開發。 CL尤其適合資料敏感產業(如醫療或金融)的AI集成,它能幫助改善決策流程,提高整體營運績效,進而降低終端消費者的服務成本。這有望顯著提升病患照護結果,改善財務分析的準確性,強化詐欺偵測水準等等。迄今為止,多數AI和區塊鏈的結合都是透過區塊鏈實現對中心化機器學習(ML)的訪問,CL則是利用區塊鏈創建去中心化的AI模型。
動機
近年來,人們愈發重視分散式環境,其中資料和運算資源分佈在多個裝置上。這一轉變是由現代基礎模型的需求引發的,包括大型語言模型和電腦視覺模型,它們需要處理大量資料。而在這種分散式但仍中心化的環境中,由於幾個關鍵動機的推動,去中心化逐漸成為了一種基本需求。
中心化方法存在固有風險,因為它依賴單一受信方,這基本上將其使用限制在了單一企業環境中,影響了更廣泛的採用。此外,此類架構不僅面臨更高的潛在攻擊或系統故障風險,也存在資料隱私和安全隱憂。相反,去中心化方法具備明顯優勢:使用者能根據特定需求和偏好開發個人化的本地模型,而中心化方法通常缺乏此類客製化所需的靈活性。面對這些限制,共識學習作為一種去中心化的機器學習方案應運而生,它提供了更強的韌性、隱私和適應性,並減輕了與中心化相關的固有風險。
共識學習的益處
共識協議對於去中心化帳本的安全和保護區塊鏈網路免受惡意攻擊至關重要。利用共識機制為AI服務好處多多,這裡僅強調幾點:
- 提高性能。 CL方法受益於每個集合貢獻者的數據,它能夠減少偏差,增強模型對未見過的數據進行概括的能力。相較於中心化方法,CL還能提升人工智慧的準確性,這主要得益於區塊鏈的協作激勵能力,可以更熟練地整合來自多元模型的多元見解。這一點可透過多個本地聚合器實現,每個參與者會評估並整合鄰近模型的預測,以獲得更高的準確性。這是展現出AI整合區塊鏈顯著優勢的第一個實例之一。
- 安全性。當惡意行為者試圖引入隱藏目標時,得益於共識機制的內建安全功能,CL模型的完整性將不受影響。這能確保AI系統不會產生故意的有害預測或無意的錯誤,這兩者都是AI受到惡意影響的標誌。由此,CL化解了AI社群的一個主要擔憂,可保護AI免遭惡意利用。透過維護協作學習過程的完整性,CL能夠提升AI系統的可信度和自信度,為負責任且道德合規的AI 部署創造了條件。
- 資料隱私。在CL中,網路參與者的底層資料或個別模型在任何時候都不會共享。實際上,由於資料仍然儲存在本地,網路上沒有能破壞資料機密性的惡意攻擊。保護隱私不僅能鼓勵協作,也能保持競爭力。藉此,CL可透過AI推進資料變現,特別是對於敏感或商業數據,這就克服了先前在中心化環境中的挑戰。
- 完全去中心化。數據和運算資源分佈在參與者網路中,它們無需依賴單一中央伺服器即可通訊。去中心化在現代機器學習應用中的必要性已經日益凸顯,因為此類應用需要大量資源,且模型愈發複雜。去中心化機器學習脫穎而出,成為了更合適的保護資料隱私和保障安全的解決方案。
- 效率。相較於其他最先進的去中心化機器學習方法,學習過程延遲降低,所需的計算時間、能量和資源也大大減少。因此CL特別適合即時應用程序,快速決策和高效的資源利用對此類應用至關重要。
工作原理
共識學習透過溝通階段增強集合方法,參與者在這個階段分享各自的(模型)輸出,直到達成共識。 CL是一個兩階段過程,實施方式如下:
- 個體學習階段。每個網路參與者根據私人資料和其他公開可用資料開發自己的模型。可以從頭開始建立模型,也可以使用大型預訓練模型並根據需要進行微調。關鍵在於參與者永遠無需共享有關其數據或模型的敏感資訊。訓練完成後,參與者將為測試資料集準備初始預測,可以是透過智慧合約揭露的資料集,也可以是(例如)透過PoS權益證明機制提出的新的測試資料點。
- 通訊階段。參與者根據共識/gossip協定在網路內傳輸其初始預測。在交流過程中,參與者不斷更新其預測,以反映其他網路參與者的評估以及對自身預測的信心。此外,參與者可以監控網路其餘部分的預測的質量,並利用這些資訊來改善決策。此階段結束時,參與者將基於網路內的可用資訊就最佳決策達成一致(共識)。然後,當有任何新的資料輸入時,此階段都會重複執行。
圖例說明:CL在二元分類任務中的工作範例。 (a) 在第一階段,參與者根據自己的數據以及其他參與者可能自願分享的數據,發展自己的模型。此階段結束時,每個模型為測試資料集的任何輸入確定一個初始預測(由空心圓表示)。 (b) 在溝通階段,參與者交流並更新其初步預測,最終就單一輸出達成共識(由實心圓表示)。有任何新的資料輸入時,都會重複此階段。
嚴格來講,上述演算法對應的是監督的機器學習場景。具體來說,即訓練資料集已被標記的情況,演算法為新的未見過的測試資料的標記做出預測。不過,CL也可應用於自監督或無監督的機器學習問題,其中參與者只能存取部分或完全未標記的資料。這些方法的目標略有不同,需要參與者在個別學習階段採用不同的技術。但通訊階段的進行方式仍與上述描述類似。
共識學習的獨特之處
CL的理念是有效結合多個來源的知識(以AI模型的形式),而不分享任何敏感或有價值的資訊或知識產權。這種方法旨在保護機密訊息,同時確保抵禦惡意實體帶來的潛在風險。 CL建立在非常成功的集合學習(ensemble learning)範式之上,該範式提供了將多個模型合併為單一模型的強大技術。集合方法依賴「群體智慧」原則,利用群體的集體知識超越一切個體成員的知識。
近年來已經出現了一些區塊鏈加持的AI服務,展現了整合人工智慧與去中心化網路的創新方法。例如,Bittensor透過一種博弈論機制對「礦工」的預測進行加權,從而在其特定領域的子網路中促進AI推斷(模型輸出)。 FLock.io提供了一個聯邦學習(一種不同的分散式學習方式)平台,但採用了一個中心化聚合器,利用區塊鏈來驗證模型更新並獎勵參與者。另一個例子Ritual透過其Infernet協定基本上運作了一個機器學習模型市場,它會將運行特定模型的請求發送給模型所有者。
CL的特別之處就是採用了獨特的聚合方法,其中個體模型的預測會透過安全的gossip協定來達成共識。由此,CL利用區塊鏈創建了去中心化AI模型,而現有的部署是透過區塊鏈來存取中心化機器學習。重點在於透過協作提升AI的準確性和安全性,允許擁有私有且通常敏感的資料的實體加入系統,同時保障其資料的機密性。
總結
共識學習提供了一個突破性機會,可以直接在區塊鏈等去中心化帳本上部署機器學習。這項倡議帶來了一種全新方法,藉此,區塊鏈技術可以從根本上改進現有的AI工具。這為在傳統上對資料敏感的行業(如醫療)進行創新和安全協作開闢了令人興奮的可能性,為協作式機器學習技術的推廣奠定了基礎。此外,CL方法面對惡意行為時的韌性增進了人們對AI系統的信任,增強了AI系統的可靠性和完整性。