• Very active

  859 commits in 52 weeks

• Permissive license

  Apache-2.0

• Continuous integration

  Automated checks passing

Chitu is a production-grade Large Language Model inference framework designed for efficiency and flexibility. It provides comprehensive support for diverse hardware, including NVIDIA GPUs and various domestic Chinese AI chips (like Ascend and Moore Threads). The engine scales from single-GPU setups to massive clusters and features advanced optimizations such as FP4 online quantization and heterogeneous CPU+GPU inference. It is built to maintain long-term stability in high-concurrency enterprise environments.

AI infrastructure engineers and enterprise teams looking to deploy LLMs efficiently at scale, particularly those utilizing diverse hardware ecosystems. Requires Linux and supported accelerators.

• Broad Hardware Support: Adapts to NVIDIA, Huawei Ascend, Moore Threads, and other heterogeneous chips.
• Advanced Quantization: Supports efficient online conversion of FP4 to FP8/BF16.
• Heterogeneous Inference: Enables running massive models like DeepSeek-R1 on single nodes using CPU+GPU memory.
• Cluster Scalability: Provides a unified `chitu.run` executable for deploying across complex multi-node clusters.
• Production Stability: Designed to handle continuous, high-concurrency enterprise workloads without crashing.

Getting started: Download the `chitu.run` executable from the Releases page and follow the deployment manual.

1. v0.6.0v0.6.0Jul 2, 202675 downloads

   - 亮点： - 新增 chitu.run：单可执行文件即可启动多节点、多实例、PD 分离等复杂任务。 - 新增功能： - 新模型：GLM-5.2。 - 昇腾 910B 平台支持 GLM-5 系列。 - 支持在请求中设置 `reasoning_effort`。 - 增加 DeepSeek-V4 工具调用支持。 - INT8 W8A8 MoE 增加 triton 算子实现。 - 支持 prefill 上下文并行（Prefill CP），目前支持 DeepSeek-V3.x、GLM-5.x。 - 性能优化： - 优化 DeepSeek Sparse Attention 的 FP8 prefill 性能。 - 面向 DeepSeek-V4 的多处优化。 - 集成海光平台的若干算子。 - 面向海光平台优化多个辅助算子。 - 优化 DP 时的元信息通信。 - 增加 `cuda_route_gate_norm` 融合算子。 - 增加 `layer_norm` 算子的 triton 实现。 - 问题修复： - 使设置 `infer.full_warmup` 时对各分支情况的 warmup 更充分。 - 修复设置 infer.full_warmup 时的 KV cache 分配错误。 - 修复 MoE 串行回退实现的量化支持。 - 修复 MoE dispatcher 的 allgather 实现处理空的 DP rank 时的错误。 - 修复 infer.pp_size > infer.max_batch_size 时的错误。 - 修复 PD 分离对长度超出限制的请求的错误处理。 - 修复导致推理死锁的若干问题。 - 修复启用 MTP 时 EP 通信 buffer 的潜在溢出问题。 - 修复 DeepSeek Sparse Attention 中 indexer 的潜在 int32 下标溢出问题。 - 持续迭代： - 重构 native layout 机制。 - 利用 coordinator 分配赤兔内部使用的 TCP 端口。除 coordinator 本身外，其余内部端口不再需要用户指定。 - 将 `nvidia-ml-py` 从必选依赖改为可选依赖，并不再使用上游已弃用的用法。 ------ - Highlight: - New chitu.run: Single executable to launch complex jobs including multi-node, multi-instance, or PD-disaggregation. - Features: - New m

2. v0.5.7v0.5.7Jun 4, 2026

   - 利用融合算子替换 DeepSeek-V4 中的多处朴素实现。 - 优化 DeepSeek-V3.2 等模型中稀疏 attention 读取 indexer KV 的操作。 - 集成 [hpc-ops](https://github.com/Tencent/hpc-ops) 中的 attention 算子。 - 集成海光平台的若干 w8a8 算子。 - 减少算子分发逻辑中的 CPU 开销。 - 减少对请求的流量控制逻辑中的 CPU 开销。 - 减少 MoE prefill 时布局转换逻辑中的 CPU-GPU 同步开销。 - 允许请求中工具定义中的参数类型字段为非 `str` 类型。 - 赤兔启动时一律根据 Infiniband 设备情况自动设置环境变量，不再依赖 `script/` 目录中的额外启动脚本设置。 - PD 分离兼容 MTP。 - PD 分离部署支持 Grafana 监控面板。 - 修复若干 KV cache 泄漏问题。 - 删除一处对于 MTP 过于严格的 assert。 - 修复 w8a8 MoE 的 triton 实现中的一处访存越界错误。 ------ - Replaced multiple brute-force implementation in DeepSeek-V4 with fused operators. - Optimized index KV reading in sprase attention in DeepSeek-V3.2 and similar models. - Integrated attention operators from [hpc-ops](https://github.com/Tencent/hpc-ops). - Integrated multiple w8a8 operators on Hygon platforms. - Reduced CPU overhead in operator dispatchment. - Reduced CPU overhead in flow control of requests. - Reduced CPU-GPU synchronization overhead in layout transformation during MoE prefill. - Supported argument type field to have types other than `str` in tool definitions in requests. - Infiniband-related environment variables are now always configured automaticall

3. v0.5.6v0.5.6May 21, 2026

   - 新模型：Qwen3.6-27B、Qwen3.6-27B-FP8、Qwen3.6-35B-A3B、Qwen3.6-35B-A3B-FP8、DeepSeek-V4-Flash-Base（仅实验性）、DeepSeek-V4-Flash-FP8（仅实验性）。 - 选择模型时，所有“Qwen3_5”字样变更为“Qwen3.5“。 - 工具调用请求对可用工具的描述中，“required” 字段不再为必填项。 - 赤兔中内建的大部分 CUDA 算子支持海光平台。 - 集成海光平台的多个新算子。 - `infer.fuse_shared_experts` 选项兼容 EP。 - 令 DeepSeek-V3.2 等模型中的 indexer cache 也能接受前缀缓存。 - GLM-5/5.1-FP8 兼容 `infer.mla_absorb=absorb-without-precomp` 选项。 - MTP 兼容 `infer.schedule_overlap` 优化。 - (TP×DP)+(ETP×EP) 混合并行。 - 减少 DeepEP + DeepGEMM Prefill 中的 CPU-GPU 同步。 - 面向前缀缓存命中率优化 DP rank 和多 instance 间的请求路由。 - 利用多 kernel 联合 autotune 优化 triton MoE 实现。 - 通过为不同类型的 KV cache 设置不同 page size 优化 DeepSeek-V3.2 及类似模型。 - 优化前缀缓存的查询时间。 - 增加 `CHITU_LOG_STACK_TRACE` 调试用环境变量。 - 向请求返回前缀缓存命中统计信息。 - 内建 profiling 功能支持 PD 分离时 profile P (prefill) instance。 - 清除实时监控中的部分无效信息。 - 修复若干 prefill chunk size 较大时的 int32 越界问题。 - 修复 DeepSeek-V3.2 等模型中 indexer 模块的软 FP8 实现。 - 修复 PD 分离时 Prefill 结点采用 DP 并行时可能导致的死锁问题。 - 修复 scheduler 中状态不一致可能导致的死锁问题。 - 清除 FlashMLA 集成中引入的不必要 padding。 - 修复 Qwen3.5/3.6 开启 PP 时的一处问题。 - 修复 warmup 期间 DeepSeek-V3.2 等模型中 indexer KV cache 占用过大的问题。 ------ - New models: Qwen3.6-27B, Qwen3.6-27B-FP8, Qwen3.6-35B-A3B, Qwen3.6-35B-A3B-FP

4. v0.5.5v0.5.5Apr 23, 2026

   - 支持 LLaDA2.1-mini、LLaDA2.1-flash 模型，是赤兔首次支持扩散语言模型。 - 支持 Kimi-K2.6。 - 向后兼容 Qwen3-Coder-Next-FP8、GLM4.7-FP8。 - 进一步优化 DeepSeek-V3.2 及类似模型中的稀疏 attention。 - 优化 Qwen3-Next 和 Qwen3.5 模型开启 MTP 时的性能。 - 面向前缀缓存优化 DP 路由策略。 - 优化模型加载速度。 - 工具调用兼容 PD 分离。 - 支持单独控制各模块的日志级别（[文档](https://github.com/thu-pacman/chitu/blob/public-main/docs/zh/DEVELOPMENT.md#环境变量)）。 - 将 mooncake 作为 pip 安装时的可选依赖，不再需要单独安装。 - 更新 flashinfer 可选依赖。 - 修复在海光平台上的一些兼容问题。 - 修复 `infer.prefix_chunk_size` 较大时的溢出问题。 - 修复多 stream 导致的显存不能及时释放的问题。 - 修复只有 PCIe 互联的环境上的 allreduce 性能。 - 删除了 `infer.use_cuda_graph=auto` 时在昇腾平台上默认关闭 graph 的一项过时判断。 - 重构算子分发逻辑。 - 重构异步调度。 - 改进代码仓库中的若干测试。 ------ - Added support for LLaDA2.1-mini and LLaDA2.1-flash models, first supported diffusion LLM models. - Added support for Kimi-K2.6. - Added backward support for Qwen3-Coder-Next-FP8 and GLM4.7-FP8. - Further optimized sparse attention in DeepSeek-V3.2 and similar models. - Optimized Qwen3-Next and Qwen3.5 models when enabling MTP. - Optimized DP routing strategy with respect to prefix caching. - Opitmized model loading speed. - Made tool calling compatible with PD-disaggregation. - Supported logging level control on specific mod

5. v0.5.4v0.5.4Apr 9, 2026

   - 新模型：GLM-5.1 系列和 Kimi-K2.5。 - 兼容 OpenAI `/response` API（[文档](https://github.com/thu-pacman/chitu/blob/public-main/docs/zh/API_PARAMETERS.md#responses-%E6%8E%A5%E5%8F%A3)）。 - 支持在 Qwen3-Next 和 Qwen3.5 系列模型中使用 MTP。 - 支持在 DP 并行时例外地 TP 并行 `embed_token` 和 `lm_head` 层（设置 `infer.embed_tokens_lm_head_tp_size` 使用）。 - 新增优雅关闭服务的功能。 - 新增内置的 profiling 功能。 - 优化 DeepSeek-V3.2 及类似模型中的稀疏 attention。 - 弃用 `infer.max_reqs` 选项，改为意义更明确的 `infer.max_batch_size` 和 `infer.max_concurrent_requests` 选项。 - 增加 `infer.mla_absorb=auto` 选项，并将 `auto` 作为默认值。 - 重构有状态的采样器。 - 重构 KV cache，使其更能适配不同种类的模型。 - 重构代码仓库中包含的若干测试。 - 修复前缀缓存中的若干问题。 - 修复 MoE 算子分发以及 DeepGEMM 集成的若干问题。 - 修复 log 不能被完整存储到文件的问题。 - 修复带有稠密层的 MoE 模型无法使用 DP+EP+PP 并行的问题。 - 修复依据 `infer.memory_utilization` 选项自动分配 KV cache 时的计算错误。 - 修复监控数据中显存占用量的显示错误。 - 进一步修复 tokenizer 解码特殊字符时的问题。 ------ - New models: GLM-5.1 series and Kimi-K2.5. - Compatibility with OpenAI `/response` API ([doc](https://github.com/thu-pacman/chitu/blob/public-main/docs/en/API_PARAMETERS.md#responses-endpoint)). - MTP support in Qwen3-Next and Qwen3.5 series models. - Support of exceptionally using TP for `embed_token` and `lm_head` layer when using DP for other layers

• public-apis/public-apis

  A collective list of free APIs

  454.9K stars · Python

• donnemartin/system-design-primer

  Learn how to design large-scale systems. Prep for the system design interview. Includes Anki flashcards.

  362.2K stars · Python

• practical-tutorials/project-based-learning

  Curated list of project-based tutorials

  277.2K stars · Python

• affaan-m/ECC

  The agent harness performance optimization system. Skills, instincts, memory, security, and research-first development for Claude Code, Codex, Opencode, Cursor and beyond.

  238.5K stars · JavaScript

• affaan-m/ECC

  The agent harness performance optimization system. Skills, instincts, memory, security, and research-first development for Claude Code, Codex, Opencode, Cursor and beyond.

  234.7K stars · JavaScript

• NousResearch/hermes-agent

  The agent that grows with you

  227K stars · Python