摘要：在当前的这个人工智能潮流趋势下，特别是目前新一轮的大模型出圈热，无论是计算机还是非计算机专业，都有使用、应用大模型的这种需求。但是计算机专业知识的门槛和硬件摆在了面前，成为小白新手的第一个关卡。

在当前的这个人工智能潮流趋势下，特别是目前新一轮的大模型出圈热，无论是计算机还是非计算机专业，都有使用、应用大模型的这种需求。但是计算机专业知识的门槛和硬件摆在了面前，成为小白新手的第一个关卡。

大模型，先不说训练，往往进行推理，都需要一定的大内存GPU，极为昂贵，大部分初学者都是难以下定决心去买一块的，没有GPU就无法进行大模型的使用体验。甚至有时候，因为不知道所下载的模型是否能正确运行调通，下载了好几十GB的模型文件后，发现并不能跑通模型。但是接触到魔乐社区后就会发现，相较于其他大模型资源社区，魔乐社区多了一个模型测试的部分。

模型上传者在上传模型前，要求编写好测试脚本，调好模型文件，并通过在线测线，方可显示测试通过，以便给其他下载者提示该模型是否有效可用，这极大方便了新手对海量大模型资源的初步可用性筛选与搜索。

在这部片篇文章中，我们将选择一个轻量化的tT5大模型，并借助gradio开源库部署开发一个最简单的本地AI翻译助手。

我们选择魔乐社区中的“Pytorch-NPU/t5_small”模型进行实战，搜索进入如下页面，在该页面中，可以看到右侧显示模型通过了可用性测试，我们无需担心该模型是否可用，直接进行下载。点击下载模型，可以选择用git的方式下载，这也是比较主流的方式。

在电脑本地任意文件夹，鼠标右键点击“Open Git Bash Here”（如果是Windows11用户，需要按住shift键后鼠标右键，再点击“Open Git Bash Here”），然后输入git命令，即可下载模型到本地。

暂且先不管本地的模型文件夹，我们回到模型所在网页，点击页面中的文件，进入文件区。

可以看到有examples文件夹，根据魔乐社区的上传模型可用性测试的规范性要求，模型上传者需要严格遵守文档规范，examples文件夹需要在根目录下，文件夹内含两个文件：inference.py文件和requirements.txt文件，如下图所示。

其中requirements.txt该脚本中包含了运行需配置的相应module，如本次和魔乐社区共同合作的openmind相关module、transformers、accelerate等。inference.py该脚本中的内容是基于openMind Library的可加载权重进行运行的推理程序。

inference.py文件中给出了推理一个大模型所需要的最少最基础的代码，如下图所示。初学者如果打算根据需求构建更复杂的推理程序，是完全可以在此基础上进一步扩充改写的，提高了初学者的学习便利。

接下来，我们利用gradio库搭建一个本地的AI翻译助手，gradio是一个开源的Python库，用创建一个漂亮的用户界面，让用户可以展示自己的数据科学、深度学习模型的应用能力。

首先需要在本地的python环境中pip install gradio安装库，然后在本地新建一个T5SmallTranslation文件夹，把前文中下载的t5_small模型文件夹拖入其中。然后新建app.py文件，打开进行编辑。

我们参考t5_small文件夹中的测试脚本中如何调用大模型进行翻译的语句，然后再加上gradio库的界面生成，就可以快速搭建起AI翻译助手，代码细节如下：

由于我们是本地部署，并且早已把t5_small文件夹放在了与app.py所在的根目录，所以model_path要进行一定的修改，本地没有npu，device设置为cpu进行推理。一切就绪后，我们在命令行运行app.py进行验证。会弹出一个本地网页链接，点击进去后就能看到快速构建本地AI翻译助手。随便输入一个句子，在等待若干时间后即可得到翻译后的法语结果，cpu推理速度较为慢一些。

至此，一个简单的本地AI翻译器部署完成了。过去需要学习好久才能搭建一个AI应用，在如今依托于魔乐社区的便捷性和强大的支持能力，可以在一小时之内即可完成。

此外相较于本地部署需要安装各种包，我们还可以通过使用魔乐社区提供的在线算力资源，搭建在线服务进行人工智能模型的体验，可以更快速便捷的创建自己的AI应用。还是以此次AI翻译器为例，在个人中心右上角点击创建空间，对空间进行基本设创建后，在文件区中上传刚刚编写好的app.py文件，修改模型路径，即可构建在线体验空间。

由于在本地部署的时候，模型文件路径在app.py同级根目录，而在在线空间中，需要修改为只需直接调用平台的模型Pytorch-NPU/t5_small即可使用才能调用模型。app.py编写完进行提交修改，就可以等待在线空间的自动构建和启动了，时间会稍微久些。

构建完成后的在线空间如图所示，是一个很基本的交互展示界面，有三个按钮、两个选项按钮、两个文本框、一个大的界面，但实现的代码只有四五行，开发非常便捷。对于其他用户，想要使用在线空间的代码进行本地部署或者二次开发，魔乐社区也提供了在线空间的源码下载和离线体验注意事项，可谓是服务支持非常到位了。

总之，魔乐社区对新手的便利，不仅仅体现在能够下载到可靠有效经过测试通过的模型，也体现在魔乐社区的建设上。社区在模型库、数据集库、文档、体验空间上，都建设的非常好，模型库分类精细，模型数量多，首页有推荐专题可进入快速查看。体验空间是有别于其他社区的一大特色，形成了源代码下载-本地部署-在线空间体验这样一种模式，方便了新手的使用了解，方便小白的学习入门。

此外，魔乐社区设计的AI平台客户端openMind Hub Client也是一个神兵利器，为AI开发者和研究学习者提供了高效编辑的能力，除了支持魔乐社区之外，也兼容其他平台，真正做到了跨平台跨社区的能力。在模型是上传下载上，能够提供稳定的支持，避免了传统工具因为网络不佳而导致的下载失败、文件错误。

魔乐社区是一个高效便捷的学习社区，非常适合新手的加入使用。

来源：DataFunTalk