通义千问这个大模型在处理中文和长文本方面挺不错的,好多人都想把它装在自己电脑上用,这样既私密又不花钱。不过看GitHub上的教程会有点吓人,不用怕,下面就介绍几款工具,让你点几下就能搞定。 第一款是DS本地部署大师,它已经把Qwen模型接入了,你不用去找什么GGUF文件或者调一堆参数,直接点击安装就行。装好后启动软件,选个适合你电脑的版本(比如7B或14B),点击确定就能自动装上。装好之后,你可以直接在对话框里和AI聊天,还能自己创建智能体来写文章、写小说甚至论文。 第二款是Text Generation WebUI,它用了Gradio做界面,不光能跑通义千问,LLaMA、llama.cpp、GPT-J、Pythia、OPT 和 GALACTICA这些大模型它也能玩。你把Qwen在Hugging Face上的地址输进去,它就自己去下载安装。它支持各种量化版,温度和重复惩罚这些参数也都能随便调。 最后一款是LlamaFile,这是个不用装乱七八糟环境的可执行文件。你去开源社区下一个包含了Qwen权重的“.llamafile”文件就行了。双击这个文件,它会自动开个本地服务器,直接在浏览器里给你弹出聊天框。 以上就是这次分享的3款实用工具,大家可以根据自己的情况选一款试试看。不管你是刚入门还是老司机,都能轻松把AI装到自己电脑上啦!