【[90星]Crane:基于纯Rust的LLM推理引擎,为Spark-TTS等多

爱生活爱珂珂 2025-04-11 16:51:59

【[90星]Crane:基于纯Rust的LLM推理引擎,为Spark-TTS等多模态模型提供强大支持。亮点:1. 推理速度超快,比原生PyTorch快6倍;2. Rust语言实现,无C++复杂性,性能强劲;3. 支持多种硬件,包括苹果M系列芯片,无需量化即可加速6倍】

'Crane 🦩 - CANDLE-BASED RUST ACCELERATED NEURAL ENGINE'

GitHub: github.com/lucasjinreal/Crane

LLM推理多模态模型性能优化AI创造营

0 阅读:2

猜你喜欢

爱生活爱珂珂

爱生活爱珂珂

感谢大家的关注