当地时间12月10日，为期一周的全球AI顶级会议NeurlPS在美国路易斯安那州新奥尔良市举办。NeurlPS官方数据显示，本届会议共有12343篇有效论文投稿，接收率为26.1%。蚂蚁集团20篇论文被收录。

据了解，蚂蚁此次入选的论文，覆盖计算机视觉、自然语言处理、图神经网络、图像处理等多个人工智能和机器学习领域的前沿主题。其中七成以上论文聚焦生成式AI在高速发展中遇到的一些挑战和难题。

以下为其中三篇的论文解读。

01 Prompt-augmented Temporal Point Process for Streaming Event Sequence PromptTPP: Prompt Pool 与时序点过程模型的持续学习

·本文由蚂蚁集团研究并撰写
·文章作者：
薛思乔、王 言、褚志轩
师晓明、蒋才高、郝鸿延
蒋刚玮、冯晓云、James Y. Zhang、
周 俊

·论文链接：
https://openreview.net/forum?id=LswqtKU9op

在金融市场分析与预测、交通流量和运输等商业和社会运转场景中，时间序列（事件序列, event sequence）通常是以流式 (stream) 的形式存在并且不断更新的。

对这样的数据建模，我们通常有以下几个方法：
1、预训练一个点过程模型，然后不再更新：但是序列数据通常会有分布漂移的现象，该方法显然无法处理这个问题。
2、每隔一段时间，针对固定窗口的数据重新训练一次点过程模型：这个方法会遇到灾难性遗忘的问题。
3、在线学习：模型的维护并不容易，而且也会遇到灾难性遗忘的问题。

在这样的背景下，我们如何能更有效率、更有效果的进行时序模型的持续学习？基于此目标，我们完成了首个把NLP 领域 Prompt Pool 机制首次引入时间序列领域的工作：PromptTPP持续学习模型，用一系列可学习的prompt pool 来编码任务的信息，当新的任务来的时候，有一个抽取和匹配的机制。匹配的意义在于根据新的任务，找到编码相关信息的prompt，来指导新的任务的学习。

我们在三个开源数据集上完成了非常丰富的验证：随着任务的累积，PromptTPP 整体性能依然维持高位，而其他多个基准模型的预测性能均出现了不同程度的下降。prompt pool 的引入，只带来了较小比例参数量的提升，并且实现了task agnostic。

02 BasisFormer：Attention-based Time Series Forecasting with Learnable and Interpretable Basis 基于可学习和可解释基底的时间序列预测

·本文由蚂蚁集团和上海交通大学共同研究撰写
·文章作者：
倪泽林、余 航
刘士湛、李建国、林巍尧
·论文链接：
https://openreview.net/forum” />

为了解决这个问题，本文将时间序列的历史部分和未来部分视为两个不同的视图，并通过自监督对比学习获得适应于数据集的基底。接下来，本文设计了一个相关系数计算模块，它通过双向交叉注意力计算历史视图中时间序列和基底之间的相似系数。

最后，本文提出了一个预测模块，它根据相似系数选择并整合未来视图中的基底，从而得出准确的未来预测结果。通过对六个数据集进行广泛实验，本文证明了 BasisFormer 在单变量和多变量预测任务中分别比之前最先进的方法提高了 11.04％和 15.78％的预测性能。

简而言之，这篇论文利用交叉注意力机制将时间序列分解到了一组可学习的基底上，并进一步利用历史的基底权重和基底未来的部分来预测未来，提高了提高了金融、云计算监控、交通、电力等场景的预测性能。

03 Benchmarking and Analyzing 3D-aware Image Synthesis with a Modularized Codebase 基于模块化代码库的3D感知图像生成的基准测试和分析

·本文由蚂蚁集团研究并撰写
·文章作者：
王秋雨、史子凡、郑可成
徐英豪、彭思达、沈宇军

·论文链接：
https://openreview.net/forum?id=MZopld6S22

尽管3D感知的图像生成技术迅速发展，但现有工作通常混合使用各式各样的技巧和方案，导致我们不知道究竟是算法的哪一个模块对最终效果起到关键作用。基于这样的观察，我们遵循这个领域最流行且最有效的范式，即将神经辐射场（NeRF）整合到生成对抗网络（GAN）的生成器中，并以模块化生成过程为核心构建一个高度结构化的代码库，名为Carver。

这种设计允许研究人员独立开发和替换每个模块，因此为公平比较各种方法并从模块角度识别它们的贡献提供巨大便捷。在此基础上，我们复现一系列3D生成算法，验证此模块化代码库的可用性。同时我们还进行各种深入的分析，如不同类型的点特征比较，生成器尾部的上采样器的必要性，对相机姿态先验的依赖性等，这些都有利于对现有方法的理解，并指出3D生成领域进一步的研究可能和研究方向。

本论文提供的模块化代码库开源在：
https://github.com/qiuyu96/Carver

图中为论文第一作者
蚂蚁技术研究院研究员王秋雨

其余17篇论文信息

1
AGD: an Auto-switchable Optimizer using Stepwise Gradient Difference for Preconditioning Matrix
AGD：一种使用步间梯度差作为预条件矩阵、自动切换的优化器

  • 本文由蚂蚁集团研究并撰写

  • 文章作者：
    岳 赟、叶至灵
    蒋佳弟、刘永超、张科

  • 论文链接：
    https://openreview.net/forum” />关注我们，持续获得技术干货

    微信公众号：金融机器智能

    官网：https://openasce.openfinai.org/
    GitHub：https://github.com/Open-All-Scale-Causal-Engine/OpenASCE

    官网：https://openagl.openfinai.org/
    GitHub：https://github.com/TuGraph-family/TuGraph-AntGraphLearning