蚂蚁集团在 Ray Serving 中加速模型分发的实践

演讲者: 戚文博、陈启祥。

视频发布于 2024-9-05.

Dragonfly 提供了基于 P2P 技术的高效、稳定和安全的文件分发和图像加速，成为云原生架构中的最佳实践和标准解决方案。在本次讨论中， 将介绍 Dragonfly 及最新版本的特性，以及在AI推理中的AI模型分发实践。此外，Ray 将 Dragonfly 作为其大规模集群的文件分发解决方案。 随后，我们将介绍 LLM 和多媒体服务中模型分发的实际问题，以及 Ray 在蚂蚁集团生产环境中如何解决这些问题。