DiScoFormer：一个 Transformer 同时估计密度与分数

Ai2 推出 DiScoFormer，该模型通过单次前向传播即可从数据点中同时估计分布的密度和分数，无需重新训练。在 100 维场景下，其分数误差比最佳 KDE 降低约 6.5 倍，密度误差降低超过 37 倍。DiScoFormer 利用交叉注意力机制泛化核密度估计，并支持通过一致性损失适应分布外输入。