第二届AI与安全研讨会。安全行业,在我的理解中,是一种诞生于“卷”的学问。它是社会进化的产物。众所周知,网络安全的研究耗时耗力,如果引入高自动化的挖掘机制,就可能获得一些研究上的便利。AI可以助力网络安全,AI本身也存在着巨大的安全问题。现代的人工智能技术的安全性很差。对抗研究层出不穷。修修补补固然重要,但想要从根本上提升AI的安全性,必须要从框架和基础原理出发。
References
http://s.alibaba.com/conference
只参加了上午场。
致辞 人工智能理论发展趋势
张钹(b o^2)
算法的安全问题
现阶段的产业应用都是基于大数据深度学习 / 神经网络的。
——大数据 + 大模型 + 大计算能力。
- 解决拟合从输入到输出的映射。
- 序列 $\longrightarrow$ 序列
- 实质是向量计算。
参数化的神经网络拟合能力极强。(千亿级大小的参数集)——通用映射 / 万能映射。
一般情况下性能不错,但存在严重的安全问题。
鲁棒性问题
- 对测试集的鲁棒性极差,泛化能力
- 应用场景非常有限
- 对非对抗噪声的鲁棒性很差
- 传统信息处理中也存在这样的问题
- 对对抗性噪声的鲁棒性几乎等于0
- 深度学习面临的最大挑战,算法本身的不安全
- 容易被滥用、误用、被攻击
向量空间和语义空间的度量不一样,不能抵抗干扰。
概率建模无法避免发生重大错误的情况。这和人的犯错是不同的。
在机器翻译中,可能映射出完全没有意义的话。
第三代人工智能
所有的人工智能应用领域都是在求解语义问题。
在人工智能中注入知识。——知识让安全更智能
知识表示
符号串 $\longrightarrow$ 向量
如何在转换过程中确保语义不丢失?
知识库
知识数量 $\longrightarrow$ 动态、大规模的知识库。
算法的实时性。。
知识处理
两条路:
- 继续研究向量空间
- 最大挑战:语义丢失问题
- 走回知识驱动 + 数据驱动 $\longrightarrow$ 符号空间
- 在符号空间中,数学工具有限
- 朱军:符号空间的数学工具,将来大家将学习离散数学(数理逻辑),CS的还要学形式语言与自动机,组合数学,图论等相关课程,抽象代数(群、环、域)也相关
- 缺少知识
- 在符号空间中,数学工具有限
Q:在符号空间中,目前有哪些可用的数学工具?
下一步:知识处理。大规模知识库 + 知识库的高效推理方法。
让计算机学习人类处理知识的过程。
多媒体智能
朱文武
朱文武老师最近写了一篇综述文章:Multimedia Intelligence: When multimedia meets intelligence…
多媒体富含语义信息,可以为人工智能提供可解释性,拓宽机器学习的应用场景。(多模态机器学习)
当前机器学习存在的问题:不知其所以然
多媒体融合
PS. 我认为必须要借助多媒体融合,智能才能真正认识世界。
朱老师另一篇综述:Multi-Modal Deep Analysis for …
将多模态信号融合,已完成特定机器学习任务。
可以进行关联分析。
多媒体促进AI
数据驱动与知识驱动协同。
知识和数据的融合:
- 语义指导+数据驱动:关联表征学习
- 语义作为先验信息的贝叶斯学习
多媒体迁移
不同模态的知识丰富度不同。
语义对齐的方法:
- 跨模态信息迁移
- 知识迁移
贝叶斯学习
朱军老师的工作
小样本学习。有非常强的可推理性。
AI促进多媒体
增加多媒体可推理性。
- 用RNN模仿人类的多步推理:论文 Compositional Attention Network…
受关联推理启发的学习
- 用GNN模仿人类的关联推理:论文 Boosting Visual Question Answering…
感知-认知一体化学习
- 多层次化。高层感知对应高层推理系统,低层次感知结果也有对应的推理形式。
- 神经模块化网络:Perceptual Visual Reasoning…
未来
多媒体上的可解释推理
结合逻辑推理(一阶逻辑、逻辑编程语言)
多媒体上的自主学习与推理
环境自适应。
如何进行动态的自主学习?
- 自适应学习 + 常识学习
未来媒体大数据推理:类人认知
像人一样认知、学习和推理。
数据驱动 + 知识驱动
机器(数据驱动);人类(知识驱动)。
目前做不到完全的知识驱动, 那么
- 能不能两者结合,找到一个中间点?
AI的预设与挑战
于剑 北交人智院长
AI公理化
聚类分析的公理化研究遭遇重挫。
- 聚类不可能性定理:An impossible theorem ..
希尔伯特的信念:”我们必须知道,我们终将知道。“——相信概念可以精确定义。
维特根斯坦《哲学研究》。
概念:
- 符号表示:名字
- 内涵表示:命题
- 外延表示
隶属度模糊化
经典集合分层逼近
概念内涵表示的进展
经典理论
原型理论
样例理论
知识理论
机器学习公理化
《机器学习:从公理到算法》,于剑
AI的三大流派
符号主义:指名
连接主义:指心
行为主义:指物
基本假设:指名 = 指心 = 指物。
符号空间 = 幻想空间 = 现实空间
Q:这三种指代构成划分吗?是完备的吗?
数据驱动和知识引导相互结合的智能计算
吴飞 浙大人智所长
第四范式
数据洪流(Data Torrent)第四范式。
- 任务可学习
- 结果可信任
- ……
三种记忆体
- 瞬时记忆(多通道感知)
- 工作记忆(直觉、顿悟、因果)
- 长期记忆(先验、知识)
从图灵机到【神经图灵机】
Deep Neural Reasoning
数据驱动、知识引导与行为探索
归纳、演绎、顿悟。
Q:顿悟???
Reasoning, Attention, Memory (RAM)
潘云鹤近期文章:
- 多重知识表达:言语表达、形象表达、神经网络表达
- 《中国迈向新一代人工智能》,机器智能子刊
引入因果关联,降低虚假关系的权重
人工智能辅助司法判案。因果分析。
浙大人工智能MOOC。目前已发布3门课。
人工智能驱动的网络空间内容安全
操晓春 信工所
跨媒体因果推断
常识数据模态单一,支持机制模式固定,没有大知识驱动……
建立大规模数据库。
数据驱动(社会计算) + 知识驱动(因果推断)。
隐群体社会计算
输入是多媒体内容,人与内容的关系可能表示为超边等各种复杂的结构。
Graph Attention Topic Model。
高价值元素发现
Forgery Detection。
图像编辑。如何判断真假?
从图像中提取高价值元素。
跨模态协同识别
Seeking Latent Representation
High Order Consistency
Partial Multi-view Data —— Cycle GAN?恢复缺失值
Position bias 偏序打分
对抗防御
attack tracking
视觉增强
Dehazing 去模糊
Super-resolution
因果推断
任务-特征协同解耦
任务、特征构成二分图……
驾驶情境理解与预测方法初探
薛建儒 西交大
交通场景理解
对传感器数据进行处理,形成结构化表征。
障碍物的运动分析——检测、跟踪。
- 3D点云+图像分割 的语义分析。
- 路口车辆运动轨迹估计。
交通情境预测
主动感知、意图预测……运动决策依赖于预测。
记忆机制、注意机制。
多粒度注意力机制,对向量元素进行自主选择。
实现长时段的预测。
神经-符号系统的一些探索
俞扬
动态深度神经网络
黄高