早前藍點網(wǎng)介紹了 MLC 團隊推出的對話 WebLLM (MLC LLM)，這個 AI 對話模型沒有服務(wù)器支持，模型在網(wǎng)頁上調(diào)用 WebGPU API 即使用你的已經(jīng)運行重慶找小姐（色情服務(wù)）找小姐vx《356+2895》提供外圍女上門服務(wù)快速選照片快速安排不收定金面到付款30分鐘可到達本機 GPU 提供算力支持，一切數(shù)據(jù)都是可手考驗離線的無需擔心你的對話內(nèi)容泄露。

現(xiàn)在該團隊將 MLC LLM 移植到了手機上，機上還開發(fā)了 iOS Demo 應(yīng)用，本地也就是手機說你可以在手機上運行大型語言模型，完全離線運行，內(nèi)存不論是藍點重慶找小姐（色情服務(wù)）找小姐vx《356+2895》提供外圍女上門服務(wù)快速選照片快速安排不收定金面到付款30分鐘可到達模型還是數(shù)據(jù)都在本地。

好消息是測試顯示在 iPhone 14 Pro Max 上是可以正常運行的，速度略微有些慢但還是模型能接受的地步，壞消息是已經(jīng)運行如果手機內(nèi)存比較小的話會崩潰，因為模型運行的可手考驗時候，模型數(shù)據(jù)會被塞到內(nèi)存里，機上這會讓手機內(nèi)存瞬間被塞滿。本地

在 iPhone 12 Pro 上測試就有些壓力了，基本上說內(nèi)存起步需要 6GB，這么來看安卓機可能更有優(yōu)勢，畢竟現(xiàn)在新的安卓機內(nèi)存都非常大。

除了 iOS 版外，MLC 團隊還推出了 Windows/Linux/Mac 的 CLI 版，即命令行版本，可以在終端里發(fā)起詢問并獲得答案，相對來說在 PC 上使用壓力就小一些了，畢竟內(nèi)存稍微大點。

等等… 我是不是還沒提 GPU 問題？是的，內(nèi)存并非關(guān)鍵，因為無論是 iPhone 還是安卓還是 PC 都必須支持 GPU 加速，手機上還好，在 PC 上用戶可能需要更新驅(qū)動程序，例如 Vulkan 驅(qū)動程序。

有興趣的用戶可以試試這個 AI 模型，藍點網(wǎng)測試感覺還可以，中文支持也挺不錯的。iOS Demo 程序的話目前在 TF，限額 9000 人，滿了就沒法加入了。有 iOS 開發(fā)經(jīng)驗的開發(fā)者可以自行編譯安裝。

iOS Demo TF 版：https://testflight.apple.com/join/57zd7oxa

WebLLM (網(wǎng)頁版)：https://mlc.ai/web-llm/

Windows/Linux/Mac 需要使用 Conda 管理，具體請看：https://mlc.ai/mlc-llm/

最新評論