立即登录 免费注册！ 会员中心 网站导航 切换模式
搜索
签证 福利 买房律师

华人澳洲中文论坛

华人澳洲中文论坛›论坛 › 大杂烩 › 科技 › 请教有无本地AI（免费）可提供API接口的？ ...

热图推荐

    请教有无本地AI（免费）可提供API接口的？

    [复制链接]

    前天 12:03 7456 8

    请教有无本地AI（免费）可提供API接口的？

    即：下载到本地运行，可提供api接口。

    问：哪个对编程支持比较好？ 哪个对文本处理比较好？（比如写总结，翻译之类的）

    一开始想直接用在线付费的，但是费用不好控制。如果有能下载到本地的免费的最好了。不考虑“精度”，便宜免费能凑合用就行。但是一定需要API接口
    回复

    举报

    全部回复8

    emtfemtf 发表于 前天 10:52

    emtfemtf 沙发

    前天 10:52

    问AI呀
    回复

    举报

    suenny 发表于 前天 11:06

    suenny 板凳

    前天 11:06

    ollama?
    回复

    举报

    arthur520520 发表于 前天 11:11

    arthur520520 地板

    前天 11:11

    本地的 DS呗 可以直接用OPENAI的接口
    回复

    举报

    geminiaviva 发表于 前天 11:20

    geminiaviva 5#

    前天 11:20


    一定需要API接口，那就ollama了。几十个free llm随意挑。这个星期OpenAI刚release的gpt-oss:20b看起来不错，正准备装在laptop上试一下
    编程可以试试codellama. 文本处理就用gpt-oss:20b. ollma一起serve起来，api request中想用哪个用哪个。
    回复

    举报

    PYZHONG654321 发表于 前天 11:33

    PYZHONG654321 6#

    前天 11:33

    谢谢答复。 再深入一下：


    有无人测试本地AI实际使用过程中的功耗情况？
      已知不同设备功耗不同。只是大致。

    比如：电源待机时实际功耗；响应不同任务时的实际功耗？  （24小时待机，对耗电敏感）
    回复

    举报

    wxmpurple2003 发表于 前天 11:47

    wxmpurple2003 7#

    前天 11:47


    你对耗电敏感对初期硬件投入不敏感吗？

    这些大语言模型，在windows上跑要大显存显卡，估计要2000-3000起吧。在Mac上要大内存，mac的内存你懂的，都是金子做的。

    我在公司发的M1 16G MBP试过ollama，好像试过一个10几b的模型，卡到死。7b的勉强。CPU和内存都满，而且我下载两个LLM后本地硬盘也基本满了，不知道瓶颈是哪个。写代码还是用网络上的买quote吧，模型不行你就别指望回复质量高了。如果只是问问问题，修改下英文文件，就用免费的chatgpt就行了，别用API了。
    回复

    举报

    lei725 发表于 前天 11:52

    lei725 8#

    前天 11:52


    显存不够 所以卡
    回复

    举报

    shangdahutao 发表于 前天 12:03

    shangdahutao 9#

    前天 12:03

    Gemini cli 2.5的就行。装Linux上 多搞几个Google账户来回换着用
    每次聊天不要超5个问题 总结一下后 重开一个聊天框继续
    回复

    举报

    返回列表 发布主题

    发表回复

    高级模式
    B Color Image Link Quote Code Smilies
    您需要登录后才可以回帖 登录 | 立即注册

    返回列表 本版积分规则

    :
    注册会员
    :
    论坛短信
    :
    未填写
    :
    未填写
    :
    未填写

    主题4

    帖子33

    积分138

    图文推荐

    联系我们
    关于我们
    帮助中心
    加入我们
    免责申明

    Archiver|华人澳洲中文论坛

  • 首页
  • 导读
  • 社区
  • 我的