MLC-Chat:在手机上部署免费大模型,比如Deepseek

B站影视 2025-01-28 21:14 3

摘要:Deepseek大火,免费啊,不用白不用,但是官网在线版因为突然用户量巨大导致太卡了,有需求的可以直接本地部署,甚至手机上部署,这是可以的,用MLC-Chat这个App即可,但是注意了,因为手机端性能有限,没办法部署大参数量模型,只能2B-7B这个参数量,效果

Deepseek大火,免费啊,不用白不用,但是官网在线版因为突然用户量巨大导致太卡了,有需求的可以直接本地部署,甚至手机上部署,这是可以的,用MLC-Chat这个App即可,但是注意了,因为手机端性能有限,没办法部署大参数量模型,只能2B-7B这个参数量,效果不会有多好

MLC-Chat是一个在手机上部署大模型的App项目,此项目是开源的,可以在Github下载。

使用方法非常简单,那就是打包App,安装到手机上。

把下载的大模型放到手机的文件目录/Android/data/ai.mlc.mlcchat/files

然后打开App,就可以看到模型列表,点进去就可以进行聊天对话使用大模型了。

iOS的话,目前已有应用商店版本,可以下载使用,如果需要源代码可以到MLC-LLM官方仓库查看。

MLC-LLM是一个开源的大模型部署运行引擎,支持主流的操作系统,你可以使用它在自己的手机或者电脑上部署大模型,不过UI界面实在简单,如果不是官方在线版本卡死,还是用官方网页版,不然比如公式、代码等结果的渲染都是原始格式,没有把对话的结果渲染得人性化。

如果非程序员使用,可以去查看更详细的视频教程,本文只是简单介绍,起个抛砖引玉的作用。

来源:安浪

相关推荐