王艺炜博士现为加州大学默塞德分校计算机科学系的助理教授。2023年，他在亚马逊西雅图担任应用科学家；2024年于加州大学洛杉矶分校自然语言处理组从事博士后研究。他于2023年获得新加坡国立大学博士学位，研究方向为自然语言处理与多模态大语言模型。近期的研究重点包括大语言模型的可控生成以及其在医疗健康领域的应用。他曾获得2021年SDSC研究奖学金。更多信息请见个人主页：https://wangywust.github.io/。

摘要：

大语言模型（LLMs）在自然语言生成方面表现出令人瞩目的能力，但其在现实世界应用中的实用性仍受多项关键挑战限制，例如生成不可控、缺乏上下文忠实性以及安全边界对齐不足等问题。在本次报告中，我们探讨将模块化大语言模型集成至多智能体系统中的潜力与局限性，其中模块化和任务分解被视为相较于训练时大规模扩展的测试时替代方案。我们提出了一种“分而治之”的框架，能够通过协调多个专门化智能体，实现可控生成、可扩展推理与知识编辑。我们的研究成果包括用于满足约束的文本生成新算法、多智能体协作生成图表的方法，以及基于解码约束的知识编辑模块化流程。我们还指出了诸如输出前缀越狱等新兴安全漏洞，并提出了对齐人类价值的评估框架。这些工作共同描绘了构建可信、可扩展的测试时AI系统的路径，能够应用于医疗健康、软件开发等多个领域。

蔡雨君博士现为昆士兰大学（The University of Queensland）电气工程与计算机科学学院讲师（助理教授）。此前，她曾在美国 Meta 公司担任研究科学家，并于 2021 年博士毕业于南洋理工大学。她的研究方向包括多模态感知与视觉-语言理解，在顶级会议和期刊发表论文 30 余篇，总引用量超过 3800 次。她曾担任 NeurIPS、ICML、WWW、ICCV、ACM MM 和 WACV 等国际顶会的领域主席，以及 T-PAMI、IJCV、T-IP、T-CSVT 等期刊的审稿人。

摘要：

随着人工智能的不断发展，单一模型或模态在面对复杂的现实世界挑战时常常显得力不从心。本次报告将探讨如何通过模型之间以及模态之间的协作，开启多模态助手发展的新范式。通过整合不同专长的模型与多模态信息，我们可以增强推理能力、鲁棒性与适应性，从而突破单一模型的局限。然而，有效的协作也带来了模态对齐、计算效率与安全性等方面的挑战。报告将结合大模型协作与跨模态交互的研究成果，展望多模态 AI 助手朝着更灵活、更可扩展、更具鲁棒性的人类智能迈进的未来。