跳到正文

技术方向

部署工程 最新动态

怎么把模型跑得更快更省钱:推理加速、显存与成本、服务部署与基础设施选型。

82 条精选近 30 天 42 条共收录 310 条

更新

精选归档 · 第 5 页

8月5日周一第 81–82 条
  1. Modal 官方工程博客· AI 生成75

    Modal 工程师实测:100 次采样让 LLaMA 3.1 8B 在 HumanEval 超越 GPT-4o

    Charles Frye 在 Modal 平台上复现 Large Language Monkeys 论文核心结论,证明通过对 LLaMA 3.1 8B 进行多次采样搜索,其 pass@k 指标可超过 GPT-4o。

    AI 推荐理由:原文通过实测验证了搜索扩展小模型能力的可行性,展示了利用并行计算提升代码生成准确率的工程路径。

10月10日周二
  1. Modal 官方工程博客· AI 生成63

    Modal 宣布正式全面可用并完成1600万美元A轮融资

    云函数平台 Modal 宣布正式全面可用(General Availability),向所有用户开放注册,提供基于 Python 的云端代码执行、GPU 自动扩缩容推理端点及大规模批处理能力。同时,Modal 宣布完成由 Redpoint Ventures 领投的1600万美元 A 轮融资,资金将用于加速产品开发路线图。

    AI 推荐理由:Modal 正式开放注册并宣布完成1600万美元A轮融资,展示了其在GPU推理和大规模批处理中的零配置开发体验。