Botika 如何在 Modal 上运行全栈生成式 AI

Botika 在 Modal 平台上部署了包含数十亿参数专有模型、100TB 数据管道及约 15 个生产推理模型的全栈生成式 AI 系统。该架构支持研究人员利用 Claude 将每日实验吞吐量从 1-2 次提升至 50 次，并实现秒级弹性扩缩容以应对流量波动。