[RFC] 078 - Model Provider 升级为 AI Provider

[arvinxx]

背景

• 承接 [RFC] 073 - 语言模型模块升级为 AI Infra #4859 的需求

系分下 Provider 部分的实现思路

设计思路

原本的 settings/llm 改成 settings/provider，并且将 provider 拆分成 list 和 detail 两个部分：

• list ： provider 聚合页，以 list 形式展示所有 provider；
• detail： provider 详情页，展示 provider 的配置信息，并展示 provider 所包含的 model 信息；

路由设计为：

• settings/provider -> 列表页
• settings/provider/[id] -> 详情页

这样一来就可以解决现在 /settings/llm 页面操作卡顿的问题。

进展

• 全新改版 ✨ feat: brand new AI provider #5158
• pglite 版 ✨ feat: support new ai provider in client pglite #5488

[JoeChen2me]

客户端版本似乎还是无法使用提供商服务。
手动访问/settings/provider的界面如上图，一直在加载。

[arvinxx]

需要使用 pglite db 才能用。目前docker里没有可以用的渠道，要等后续升级更新

[Sun-drenched]

感觉提供商层面已经充分灵活了，但是模型层面有参数还是不可调（比如 #5063 #5407 所述的O1系列模型流式输出属性与实际不匹配，导致新模型不可用）。模型特性变动比较快（特别是还涉及不同API渠道带来的差异），模型层面能够自定义的参数还是应该允许用户自定义。

[arvinxx]

嗯，这个后续也会搞的