PANews 10月11日消息,全鏈資料網路Chainbase 最近宣佈在HuggingFace 開源其專為加密領域打造的大語言模型Theia-Llama-3.1-8B 。該模型在困惑度(Perplexity)和BERT 評分上都超越了市場主流模型,對crypto世界的理解能力超過大多主流開源大模型。
Chainbase 團隊獨創性地建構了首個專業Web3 資料集,收錄了CoinMarketCap 前2000 名專案的各類資料。資料集經過手動和演算法過濾,確保訓練資料的準確性、多樣性和專業性。基於此資料集,團隊採用LoRA 技術高效微調模型,並利用DeepSpeed 等工具加速訓練流程。此外,模型量化為Q8 GGUF 格式,大幅降低了記憶體佔用,提升了推理速度。
據悉,Theia-Llama-3.1-8B 是Chainbase 在加密領域大模型的初步嘗試且該模型已成功應用於Chainbase DEMO 交互應用TheiaChat,目前日活用戶超過30 萬。