请教有无本地AI（免费）可提供API接口的？

wangxuan-echo

请教有无本地AI（免费）可提供API接口的？

即：下载到本地运行，可提供api接口。

问：哪个对编程支持比较好？ 哪个对文本处理比较好？（比如写总结，翻译之类的）

一开始想直接用在线付费的，但是费用不好控制。如果有能下载到本地的免费的最好了。不考虑“精度”，便宜免费能凑合用就行。但是一定需要API接口

emtfemtf

问AI呀

suenny

ollama?

arthur520520

本地的 DS呗 可以直接用OPENAI的接口

geminiaviva

一定需要API接口，那就ollama了。几十个free llm随意挑。这个星期OpenAI刚release的gpt-oss:20b看起来不错，正准备装在laptop上试一下
编程可以试试codellama. 文本处理就用gpt-oss:20b. ollma一起serve起来，api request中想用哪个用哪个。

PYZHONG654321

谢谢答复。 再深入一下：


有无人测试本地AI实际使用过程中的功耗情况？
  已知不同设备功耗不同。只是大致。

比如：电源待机时实际功耗；响应不同任务时的实际功耗？  （24小时待机，对耗电敏感）

wxmpurple2003

你对耗电敏感对初期硬件投入不敏感吗？

这些大语言模型，在windows上跑要大显存显卡，估计要2000-3000起吧。在Mac上要大内存，mac的内存你懂的，都是金子做的。

我在公司发的M1 16G MBP试过ollama，好像试过一个10几b的模型，卡到死。7b的勉强。CPU和内存都满，而且我下载两个LLM后本地硬盘也基本满了，不知道瓶颈是哪个。写代码还是用网络上的买quote吧，模型不行你就别指望回复质量高了。如果只是问问问题，修改下英文文件，就用免费的chatgpt就行了，别用API了。

lei725

显存不够 所以卡

shangdahutao

Gemini cli 2.5的就行。装Linux上 多搞几个Google账户来回换着用
每次聊天不要超5个问题 总结一下后 重开一个聊天框继续