摘要:Deepseek大火,免费啊,不用白不用,但是官网在线版因为突然用户量巨大导致太卡了,有需求的可以直接本地部署,甚至手机上部署,这是可以的,用MLC-Chat这个App即可,但是注意了,因为手机端性能有限,没办法部署大参数量模型,只能2B-7B这个参数量,效果
Deepseek大火,免费啊,不用白不用,但是官网在线版因为突然用户量巨大导致太卡了,有需求的可以直接本地部署,甚至手机上部署,这是可以的,用MLC-Chat这个App即可,但是注意了,因为手机端性能有限,没办法部署大参数量模型,只能2B-7B这个参数量,效果不会有多好。
MLC-Chat是一个在手机上部署大模型的App项目,此项目是开源的,可以在Github下载。
使用方法非常简单,那就是打包App,安装到手机上。
把下载的大模型放到手机的文件目录/Android/data/ai.mlc.mlcchat/files
然后打开App,就可以看到模型列表,点进去就可以进行聊天对话使用大模型了。
iOS的话,目前已有应用商店版本,可以下载使用,如果需要源代码可以到MLC-LLM官方仓库查看。
MLC-LLM是一个开源的大模型部署运行引擎,支持主流的操作系统,你可以使用它在自己的手机或者电脑上部署大模型,不过UI界面实在简单,如果不是官方在线版本卡死,还是用官方网页版,不然比如公式、代码等结果的渲染都是原始格式,没有把对话的结果渲染得人性化。
如果非程序员使用,可以去查看更详细的视频教程,本文只是简单介绍,起个抛砖引玉的作用。
来源:安浪
免责声明:本站系转载,并不代表本网赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题,请在30日内与本站联系,我们将在第一时间删除内容!