教练:

扎Srinivasa Garani,

(周二、周四上午11:30,下午一点、在线)

Pre-requisities:
熟悉数字信号处理和工程数学在大学层次。

课程大纲:

介绍,一个神经元模型,神经网络直接图形、网络架构(前馈、反馈等)、学习过程、学习任务、感知器,感知器收敛定理,感知器和贝叶斯分类器之间的关系,批感知器算法,通过回归模型:线性、逻辑为多个类,多层感知器(MLP)、批处理和在线学习,反向传播算法的推导,XOR问题,黑森在线学习的作用,退火和最优控制的学习速率的近似函数,通用逼近定理,交叉验证,网络修剪和复杂性的正规化,卷积网络非线性滤波,覆盖定理和模式可分性,插值问题,RBF网络,混合学习过程RBF网络,内核与RBF回归和关系。、支持向量机最优超平面线性可分性,最优超平面的不可分离的模式,支持向量机作为一个内核的机器,支持向量机的设计,XOR问题重新审视,鲁棒性考虑回归,用定理,介绍了正则化理论,阿达玛的条件,适定性问题Tikhonov正则化、正规化网络,广义RBF网络,正则化参数的估计等,L1正规化基础,算法和扩展,主成分分析:Hebbian主成分分析的基础上,基于内核的PCA,内核Hebbian算法,深mlp、auto-encoders深处,去噪auto-encoders不利。

参考书籍:

  • 微积分,神经网络和学习机器,皮尔森出版社。
  • k·墨菲,机器学习:概率的角度来看,麻省理工学院出版社。

分级策略:

作业:30%
中期:20%
项目:25%
期末考试:25%

作业:

考试:

公告:

  • 项目:
    • 演示在2021年1月16日和17日。
    • 报告将于2021年1月28日。
主题 课堂讲稿
星期1 人类的大脑;介绍神经网络;一个神经元的模型;反馈和网络架构;知识表示;之前的信息和不变性 NNLS_Week_01
星期2 学习过程;感知器;批感知器算法;感知器和贝叶斯分类器 NNLS_Week_02
星期3 线性回归;逻辑回归;多层感知器 NNLS_Week_03
星期4 多层感知器;反向传播;XOR问题 NNLS_Week_04
星期5 普遍的近似函数;复杂性正规化和交叉验证;卷积神经网络(CNN);覆盖定理 NNLS_Week_05
第6周 多元插值问题;径向基函数(RBF);递归最小二乘算法;中长期规划对比RBF的;内核使用rbf回归;内核函数;约束优化的基本知识 NNLS_Week_06
星期7 用等式约束优化;与不等式约束优化;支持向量机(SVM);最优超平面线性可分模式;寻找最优超平面的二次优化 NNLS_Week_07
第八周 最优超平面非线性可分的模式;美世内积内核和定理;支持向量机的优化设计;ε-insensitive损失函数;使用支持向量机XOR问题重新审视;希尔伯特空间 NNLS_Week_08
9周 再生核希尔伯特空间;用定理;广义用定理的适用性;正则化理论;欧拉方程;正则化网络 NNLS_Week_09
第十个星期 广义RBF网络;使用RBF XOR问题重新审视;结构风险最小化;偏见方差困境;正则化参数的估计 NNLS_Week_10
11周

L1正规化的基础知识;接枝;VC维;Autoencoders;去噪Autoencoders

 NNLS_Week_11
第12周 核主成分分析;Hebbian基于最大特征滤波器 NNLS_Week_12
介绍有线电视新闻网 Supplementary_1
反向传播在美国有线电视新闻网 Supplementary_2
Baidu
map