PANews 4月25日消息,根據ZAKER報道,蘋果研究團隊推出了先進的開放語言模型OpenELM。 OpenELM使用分層縮放策略,在transformer模型的每一層中有效地分配參數,從而提高了準確性。例如,在參數預算約10億的情況下,OpenELM 的準確率比OLMo提高了2.36%,而所需的預訓練token卻減少了2倍。
與先前只提供模型權重、推理程式碼以及在私人資料集上進行預訓練的做法不同,OpenELM包含了在公共可用資料集上對語言模型進行訓練和評估的完整框架,包括訓練日誌、多個檢查點和預訓練配置。此外,他們還發布了將模型轉換為MLX庫的程式碼,從而在蘋果設備上進行推理和微調。
早在今年2月,蘋果CEO TimCook表示,蘋果生成式AI功能將於「今年稍後」推出,有消息稱即將在6月發布iOS 18可能是蘋果iOS史上「最大」的更新,而9月也將推出首款AI iPhone設備。