蚂蚁集团在 Ray Serving 中加速模型分发的实践
演讲者: 戚文博、陈启祥。
视频发布于 2024-9-05.
Dragonfly 提供了基于 P2P 技术的高效、稳定和安全的文件分发和图像加速,成为云原生架构中的最佳实践和标准解决方案。在本次讨论中, 将介绍 Dragonfly 及最新版本的特性,以及在AI推理中的AI模型分发实践。此外,Ray 将 Dragonfly 作为其大规模集群的文件分发解决方案。 随后,我们将介绍 LLM 和多媒体服务中模型分发的实际问题,以及 Ray 在蚂蚁集团生产环境中如何解决这些问题。