思维之海

——在云端,寻找我的星匙。

2019机器智能前沿论坛

2019 Byte Tech AI Symposium机器智能前沿论坛记录。
本文多图,约200M,谨慎阅读。
如有需要,建议另存为HTML或者其它格式。

Info

SIGAI人工智能平台 (除技术栏目外需要付费),机器学习算法地图

算法地图背面.jpg

算法地图正面.jpeg

电脑桌面版.jpg

以下为预览:(桌面版)

短视频内容理解与推荐竞赛 (ICME 2019 Grand Chanllenge)

前言

天气稍冷。会议在8点半开始入场。门口已经排起了长队,想必对数据科学的向往已经深入人心。

时间悠然溜走。然而阳光乍起,暖色调迎面袭来,令人顿生期许。

致辞

孙茂松:介绍嘉宾。
致辞,致辞,致辞……

  • 脑科学记忆机制研究进展缓慢
  • 创造算法,算法产生知识,则知识产权如何定义?(legal issues)
  • 网络安全大有所为
  • CSranking(CMU,Tsinghua,…:smile:)
  • 清华人工智能发展历史悠久。

李航致辞:

  • 今日头条,抖音
  • AIlab与产品线路相结合(落地型研究所)。ByteCUP

Dawn Song-人工智能与安全:经验、挑战与未来方向

Dawn Song,加州大学伯克利分校,计算机系教授。清华物理系校友。

Overview

AI,Security 相互影响。

DDOS attack等网络攻击逐渐严重化。

弱点检测,自动检查系统等。

人类常常造成基础性弱点 黑客可能利用社会工程学——Chatbot。

软件安全验证。例:verify programs 开源项目。

Attacker

讲述网络攻击者对机器学习的影响。

总览。

下面是一些对抗样本的展示。adversarial examples

left can lead to wrong classification label!
(下面视频中左边的复合成图像可以干扰AI,但人类却容易正确识别,录的效果不好+HTML不支持orz,视频删掉了

视觉问答系统中的对抗样本。VQA。

我的猜测:容易被fool的根本解释可能是因为计算机识别的特征尺度与人类的直觉是不同的。
(也许它们认知到了一些底层特征)

利用对抗样本诱骗强化学习器。

Secure

利用神经网络生成对抗样本。

黑盒攻击模式总览。(不知道学习器的内部结构)

对抗式机器学习总结。

一个案例。(手段:spacial consistency)

学习系统的安全级别分为三类:

一个对比。

再来一个对比。

使用递归(recursion)来生成神经算法,这里指的是减治/分治

再回security level:

神经网络是否只是强行记住了数据呢?

Looks like it。

防护方法:

好啦,回到主题上,今天主要讲了两个方面,AI和security互相的enabler。

Final

最后,展望未来:

ByteCUP比赛颁奖仪式

Overview

颁奖~

第一名一个人领666。

分享~

Team 3th

Team 2nd

模型融合。

Team 1st

有点像debug。。真简洁。

李航-深度学习与NLP

Overview

为什么深度学习的效果如此之好?下一个方法是什么?

人的语言处理——认知现象。神经网络,产生表象(image)
但大脑实质在做神经计算(下意识进行),符号在大脑中被编码储存(类似计算机)

体验模拟假说——大猩猩是否有鼻子?鼻子是否被大猩猩所有?

(鼻子似乎很难有一个image),会不会造成过于的端到端——机制仍然是一个谜。

Findings

一个二层神经网络就被证明为是万能函数近似器。

样本效率:(深度网络可以充分利用样本?)

泛化能力考量新进展。

鲁棒性。(最坏意义误差控制On)

合理性。(如何避免bias?)

可解释性。

NLP

Soft

Future

符号和统计这两种类型的结合仍然是一个非常新颖的课题。

Summary

朱军-不确定和对抗环境下的机器学习探讨

清华计算机系教授。

Overview

珠算-zhusuan

珠算系统——概率学习

调包示例:

如何评价生成模型框架 ZhuSuan?

ZhuSuan: A Library for Bayesian Deep Learning

Welcome to ZhuSuan

Triple GAN

Attack

Summary

神经网络不怕白噪声,但怕对抗噪声
正则化虽然削弱了收缩能力,却可能导致样本的正确率所对应的成功样本集具有随机性(尽管最后的正确率往往接近)
鲁棒性,增加样本距离


茶歇(招聘通道)

文林福-计算机视觉在移动端相机上的应用

Introduction

Algorithms

稀疏化处理:

自动化:

Machine Level

然后放了一堆抖音视频。。

王长虎-CV在内容审核、理解、推荐与搜索中的应用

后面没记。。

王井东-基于交错组卷积的高效神经网络

微软亚研院高级研究员。

看他的PPT吧。(演讲PPT

马泽君-音频理解与语音交互技术的应用

王雨轩-语音合成的新进展及其应用

General

Tacotron

Tacotron真厉害。效果拔群。

Final

谢磊-深度对抗学习在语音处理中的应用

西北工业大学计算机系教授。

深度学习+信号处理
深度对抗学习
对抗样本——数据扩充(数据增强,Data Augmentation)!

对抗样本的原理很可能跟高维空间的变形有关。添加一个小的全维平衡扰动,将极大地影响距离度量。

Overview

Deep Adversarial Learning

例子。

正则化。

Summary

Dan Roth-附带监督的NLP

宾夕法尼亚大学计算与信息科学杰出教授。

跟不上节奏。。老老实实地当摄影师。

Start

Conclusion

李磊-Learning to Generate Better News, Translation, and Advertisement

Overview

Applications

Technologies

Conclusion

张敏-个性化推荐研究新进展

清华计算机系教授。

Overview

可解释性,鲁棒性,公平性(无偏性)。


Explainability

Robustness

Fairness

Conclusion

万小军-自然语言生成(NLG)技术研究进展

北大计算机系教授。

NLG的评价指标研究是一个核心的挑战问题

Overview

Apply

交互,写诗集?

未来可能的应用方向:

NLG方法:

目前来说,NLG领域还没有拿得出手的绝活。

Challenges

尾声

不知不觉一整天就过去了。获得了多少?消化了多少?

Ask myself that, and wall into the good night.

Arrangement