教练:

Shayan Srinivasa Garani，

[周二、周四上午11:30 -下午1:00,DESE教室]

办公时间:周三下午4 - 5点

Pre-requisities:
本科水平熟悉数字信号处理和工程数学。

课程大纲:

简介，神经元模型，作为有向图的神经网络，网络架构(前馈，反馈等)，学习过程，学习任务，感知器，感知器收敛定理，感知器和贝叶斯分类器的关系，批量感知器算法，回归建模:线性，多类逻辑，多层感知器(MLP)，批处理和在线学习，反向传播算法的推导，异或问题，Hessian在在线学习中的作用，退火和学习率的最优控制，函数的逼近，通用逼近定理，交叉验证，网络修剪和复杂性正则化，卷积网络，非线性滤波，Cover定理和模式可分性，插值问题，RBF网络，RBF网络的混合学习过程，核回归和与RBF的关系。，支持向量机，线性可分性的最优超平面，不可分模式的最优超平面，支持向量机作为核心机，支持向量机的设计，异或问题的重提，回归的鲁棒性考虑，表征定理，正则化理论介绍，Hadamard的适态条件，Tikhonov正则化，正则化网络，广义RBF网络，正则化参数估计等，L1正则化基础知识，算法和扩展，主成分分析:基于Hebbian的主成分分析，基于Kernel的主成分分析，Kernel Hebbian算法，深层mlp，深层自编码器，堆叠去噪自编码器。

参考书籍:

  • 海金，《神经网络与学习机器》，皮尔逊出版社。
  • 墨菲，《机器学习:概率视角》，麻省理工学院出版社。

分级策略:

作业:30%
中期:20%
项目:30%
期末考试:20%

作业:

考试:

阅读论文:

  • Moshe Leshno, Vladimir Ya。林，艾伦·平克斯和希蒙·肖肯。具有非多项式激活函数的多层前馈网络可以近似任何函数。神经网络，6:861-867,1993。
  • g . Cybenko。s型函数的叠加逼近。控制、信号与系统数学，2(4):303-314,1989年12月。

公告:

  • 项目介绍5月3日08:30 - 11:00,DESE教室
  • 期末考试: 4月30日，09:00 - 12:00,DESE教室
  • 期中考试1:2月28日，星期四，11:30 - 13:00。
  • 作业2:
    • 问题1 -在2月26日的课堂上提交。
    • 问题2和3 -在3月5日的课堂上提交。
主题 课堂讲稿
星期1 人脑;神经网络概论;神经元模型;反馈和网络架构;知识表示;先验信息和不变性 NNLS_Week_01
星期2 学习过程;感知器;批量感知器算法;感知器和贝叶斯分类器 NNLS_Week_02
星期3 线性回归;Logistic回归;多层感知器 NNLS_Week_03
星期4 多层感知器;反向传播;XOR问题 NNLS_Week_04
星期5 通用逼近函数;复杂性正则化与交叉验证卷积神经网络(CNN);覆盖定理 NNLS_Week_05
第6周 多元插值问题;径向基函数;递归最小二乘算法;RBF与MLP的比较基于rbf的核回归;内核函数;约束优化基础 NNLS_Week_06
星期7 带等式约束的优化;不等式约束优化;支持向量机;线性可分模式的最优超平面寻找最优超平面的二次优化 NNLS_Week_07
第八周 非线性可分模式的最优超平面内积核与Mercer定理;支持向量机的优化设计ε-不敏感损失函数;用支持向量机重新审视异或问题希尔伯特空间 NNLS_Week_08
9周 核Hilbert空间的再现用定理;代表定理的广义适用性正则化理论;欧拉方程;正则化网络 NNLS_Week_09
第十个星期 广义RBF网络;用RBF重新探讨异或问题结构风险最小化;偏见方差困境;正则化参数估计 NNLS_Week_10
11周 L1正则化基础;接枝;VC维;Autoencoders;去噪Autoencoders

 NNLS_Week_11
第12周 核主成分分析;基于Hebbian的最大特征滤波器 NNLS_Week_12
Baidu
map