讲座时间

6月30—7月2日 早上9：00—11：30 下午14：00—16：30

讲座地点

待定

讲座内容

Towards Building Safe & Secure Agentic AI

As artificial intelligence rapidly advances, so do the security challenges that threaten its trustworthiness and safe deployment. This three-day lecture series explores the cutting edge of AI security, with a focus on Large Language Models (LLMs), AI agents, and the broader AI ecosystem. The series will examine common vulnerabilities such as prompt injection, jailbreaking, data leakage, and security risks unique to AI agents, including manipulation and misuse in autonomous systems. Participants will also explore emerging techniques in adversarial attacks, red teaming, alignment testing, and safety evaluations. In addition to understanding threats, the series will introduce defensive methods and tools—such as secure model deployment, input sanitization, anomaly detection, and adversarial training—to strengthen AI systems against attacks. Finally, the series will highlight open research opportunities in AI safety, security evaluation frameworks, and trustworthy AI development, providing a forward-looking view for researchers and practitioners alike.

构建安全可靠的代理人工智能

随着人工智能的快速发展，威胁其可信度和安全部署的安全挑战也在迅速发展。这个为期三天的系列讲座探讨了人工智能安全的前沿，重点是大型语言模型（LLM）、人工智能代理和更广泛的人工智能生态系统。讲座内容将深入分析常见漏洞，包括快速注入、越狱和数据泄露等问题，同时探讨人工智能代理特有的安全风险，例如自主系统中的操纵和滥用行为。此外，还将探索对抗性攻击、红队演练、对齐测试和安全评估领域的最新进展。在识别潜在威胁的基础上，本系列讲座还将详细介绍多种防御措施和工具，涵盖安全模型部署、输入净化、异常检测和对抗训练等技术，以提升人工智能系统的抗攻击能力。最后，讲座将着重讨论人工智能安全领域的开放研究课题，包括安全评估框架和可信人工智能开发等方向，为研究人员和从业者提供前瞻性的行业视角。

主讲嘉宾简介

陆海兵教授，美国圣克拉拉大学信息系统与分析系联合主任

在IEEE Transactions on Reliable and Secure Computing、IEEE Transactions on Big Data、IEEE Transactions on Intelligent Transportation Systems、ACM Transactions on Management Information Systems和Manufacturing & Service Operations Management等著名期刊上发表了几十余篇论文，同时论文被KDD、ICDM、ICDE、SDM、S&P和EDBT等知名国际会议录用。获得2023年MSOM最佳论文奖（表彰过去三年在MSOM上发表的最佳研究论文）、2021年AACSB创新奖以及2021年INFORMS少数族裔问题最佳论文奖等。学术研究获得了帕洛阿尔托研究中心（PARC）、全球能源互联网研究所、Ultimate Software、Groove和AKTANA等领先组织的认可与资助，累计金额超过40万美元。其研究被《今日美国》、《商业内幕》、《美国报道》、《福布斯》、《连线》、雅虎体育和CNET等主流媒体报道。作为ML Research and Consulting公司创始人，为跨国企业和独角兽初创公司提供咨询服务，并担任CustomerVineyard等科技公司顾问委员会成员。