跳到正文
热点事件历史事件

OmniJev 开源推理引擎 Flide,称较通用框架最高提速 9.5 倍

2 篇报道2 个报道来源8 天前更新

先了解这件事

AI 综述

OmniJev 开源了面向本地部署决策模型(Jev 风格)的推理引擎 Flide,采用 Apache-2.0 协议,可通过 pip install flide 直接安装。其开发者称,Flide 通过精确状态分叉提供 /v1/systemone API,在单张 H200 上对比 vLLM、SGLang 等通用 LLM 框架,决策任务的部分工作负载延迟最高快 9.5 倍,且每个答案不受批量请求影响。 目前 Flide 已支持三十多款 Jev 模型,更多模型仍在陆续接入。其中 KnowLine 35B 因官方版本以 FP8 提供,需以 --quantize fp8 运行。提速数据为开发者自述,尚无独立验证。

AI 根据报道生成 · 8 天前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月9日
  1. Hacker News (Show HN)
    Flide 开源:精确状态分叉让 Jev 决策模型推理最高提速 9.5 倍

    【这是什么】Flide 是面向 Jev 风格决策模型的开源推理基础设施,通过精确状态分叉提供 /v1/systemone API。【商业/痛点逻辑】自称在单张 H200 上对比 vLLM 和 SGLang,部分工作负载延迟最高快 9.5 倍,且答案不受批量请求影响。

11月3日
  1. V2EX · 创造节点
    决策推理引擎 Flide 开源:决策任务最高加速 9.5 倍

    【这是什么】Flide 是一款面向本地部署决策模型的开源推理引擎,对比 vLLM、SGLang 等通用 LLM 框架,在决策任务上最高加速 9.5 倍。【商业逻辑】瞄准决策类任务在通用推理框架下性能不足的痛点,走开源路线吸引用户与反馈。

本事件热度走势

可比范围当前
3
可比范围峰值
411月10日 20:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。