内容形态
AI 产品与应用的功能上新、改版与商业化动态——谁家的产品变强了、变贵了、能用了。
84 条精选近 30 天 58 条共收录 379 条
Modal 宣布与 Anthropic 新发布的 AI 科研工作台 Claude Science 集成，为生命科学研究者提供按需扩展的计算基础设施。当研究人员在对话中运行蛋白质结构预测或分子筛选等计算密集型任务时，工作负载会自动路由至 Modal 沙箱以获取 GPU 或高并发 CPU 资源，而无需手动配置环境。
推荐理由：原文展示了 Claude Science 如何自动路由计算密集型生物工作负载至 Modal，为科研人员提供无需配置基础设施的弹性算力支持。
Modal 正式推出 Servers 功能，专为 HTTP、WebSocket 和 gRPC 流量设计，旨在满足 LLM 推理等对毫秒级延迟敏感的应用场景。该功能通过移除请求路径中的队列和控制平面查找，将 p50 延迟从 39ms 降低至 6ms。
推荐理由：原文详细拆解了将 p50 延迟从 39ms 降至 6ms 的架构取舍，为低延迟推理服务提供了具体的工程参考。
Modal 推出 Auto Endpoints，允许用户通过单条命令部署兼容 OpenAI API 的生产级 LLM 推理服务，实现从 GPU 选择到引擎调优的全链路代码可见性。
推荐理由：原文展示了从黑盒 API 到可观测代码的推理服务范式转变，读者可以据此评估自建推理栈的成本与性能平衡。
Modal 在 Hugging Face 发布针对 Qwen 3.5 和 3.6 系列的多个 DFlash 推测解码（speculative decoding）草稿模型，包括 Qwen 3.6 35B-A3B-DFlash 等版本。
推荐理由：官方开源多款DFlash推测解码模型并给出实测加速数据，为自托管推理优化提供了可直接复用的方案。