vLLM 官方博客· Raphaël Rialland (Mistral), Simon Veitner (Red Hat), and Tomas Ruiz (Red Hat)·· 25 天前精选AI 评分62
vLLM 发布原生文本水印功能
Watermarking in vLLM
AI 导读
vLLM 正式支持基于 Gumbel-max 算法的无失真文本水印功能，允许用户在模型推理时嵌入可检测的来源信号而不改变输出分布。该实现深度集成于 Model Runner v2 采样管线，通过 GPU 内核融合技术将吞吐影响控制在 ±2% 以内，并采用双密钥机制解决与推测解码的冲突及重复上下文导致的多样性下降问题。
推荐理由
vLLM 原生集成 Gumbel-max 水印算法，在保持零输出失真和极低延迟开销的同时，解决了与推测解码的兼容性及生成多样性问题。
来源：vLLM 官方博客 · vllm.ai