OmniJev 开源推理引擎 Flide,称较通用框架最高提速 9.5 倍
热点事件历史事件
OmniJev 开源推理引擎 Flide,称较通用框架最高提速 9.5 倍
2 篇报道2 个报道来源8 天前更新
先了解这件事
AI 综述
OmniJev 开源了面向本地部署决策模型(Jev 风格)的推理引擎 Flide,采用 Apache-2.0 协议,可通过 pip install flide 直接安装。其开发者称,Flide 通过精确状态分叉提供 /v1/systemone API,在单张 H200 上对比 vLLM、SGLang 等通用 LLM 框架,决策任务的部分工作负载延迟最高快 9.5 倍,且每个答案不受批量请求影响。 目前 Flide 已支持三十多款 Jev 模型,更多模型仍在陆续接入。其中 KnowLine 35B 因官方版本以 FP8 提供,需以 --quantize fp8 运行。提速数据为开发者自述,尚无独立验证。
AI 根据报道生成 · 8 天前更新
最新进展11月9日 12:43
Flide 开源:精确状态分叉让 Jev 决策模型推理最高提速 9.5 倍报道时间线
沿着报道,了解事件的不同侧面。
11月9日
- Hacker News (Show HN)Flide 开源:精确状态分叉让 Jev 决策模型推理最高提速 9.5 倍
【这是什么】Flide 是面向 Jev 风格决策模型的开源推理基础设施,通过精确状态分叉提供 /v1/systemone API。【商业/痛点逻辑】自称在单张 H200 上对比 vLLM 和 SGLang,部分工作负载延迟最高快 9.5 倍,且答案不受批量请求影响。
11月3日
- V2EX · 创造节点决策推理引擎 Flide 开源:决策任务最高加速 9.5 倍
【这是什么】Flide 是一款面向本地部署决策模型的开源推理引擎,对比 vLLM、SGLang 等通用 LLM 框架,在决策任务上最高加速 9.5 倍。【商业逻辑】瞄准决策类任务在通用推理框架下性能不足的痛点,走开源路线吸引用户与反馈。
本事件热度走势
- 可比范围当前
- 3
- 可比范围峰值
- 411月10日 20:00
- 近 24 小时变化
- –
0246
21:0011月11日03:0006:0009:0012:00
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。