Modal 开源 RL 后训练基础设施库，解决多节点权重同步瓶颈
Modal 发布开源库以解决 LLM 强化学习后训练的基础设施瓶颈。该方案通过 RDMA 技术将 Qwen3-8B 等模型的权重同步速度提升 100 倍，显著降低多节点集群成本。
#部署/工程
Modal 官方工程博客· AI 生成AI 评分5050
Together AI Blog· AI 生成AI 评分4242 Together AI 如何构建全球最快的语音转文本技术栈
Together AI 通过优化 NVIDIA Parakeet-TDT 0.6B v3 和 OpenAI Whisper Large v3，实现了极低的语音转文本延迟。其核心改进包括使用 TensorRT 多配置文件加速编码器、利用条件 CUDA graph 将解码器分支移至 GPU 实现 2-3 倍提速，以及消除 CPU 冗余数据拷贝。
Modal 官方工程博客· AI 生成AI 评分4545 Modal 向 Team 和 Enterprise 用户开放基于角色的访问控制（RBAC）
Modal 向 Team 和 Enterprise 计划用户开放基于角色的访问控制（RBAC），旨在为人类开发者和 AI Agent 提供精细化的权限管理。该功能以 Environments 为安全边界，支持 Restricted Environments 限制 Agent 仅能在指定环境内部署和管理资源，并集成审计日志记录操作行为。
Together AI Blog· AI 生成AI 评分5555 Together AI 发布大规模编码智能体推理基准测试
Together AI 发布了针对编码智能体的大规模推理基准测试 v1，重点评估高并发和长上下文下的系统表现。该测试使用 Kimi K2.5 模型，显示 Together Inference Engine 在 2.5M TPM 负载下 p50 TTFT 为 0.71s，优于 TensorRT-LLM 的 1.1s 和 SGLang 的 5.1s。
Andrej Karpathy· AI 生成AI 评分2323 Karpathy谈构建menugen的DevOps痛点
大约一年前我构建 menugen 时，发现最难的部分远非代码本身，而是为了使其落地必须像组装宜家家具一样拼凑的各种服务，即 DevOps：服务、支付、认证、数据库、安全、域名等……我真的