An Introduction to Autoencoders http://arxiv.org/abs/2201.03898An Autoencoders http://arxiv.org/abs/2003.05991
图来自 http://arxiv.org/abs/2201.03898
记号
\[ h = g(x) \]
g表示encoder部分，h 表示AE学到的latent feature
\[ \tilde{x} \]
x tilde（/ˈtɪl.də/），表示AE重构的输出
f 表示decoder部分
\[ g(\cdot), f(\cdot)\]
中的 cdot 表示对于所有观测的平均
与一般神经网络相比
bottleneck
自编码器就该头尾宽中间窄是一种先入为主的想法，想一下就会发现，一般的分类网络网络之类都是收尾窄中间宽 “bottleneck”是设计出来的
正则化
为什么正则化和其他一些tirck增加latent特征的稀疏性？ 为什么令encoder和decoder参数相同（绑定）是有效的？
来自 http://arxiv.org/abs/2003.05991 bottleneck 也可以视作一种正则化
对激活函数值正则化？
损失函数相关
为什么
AE 与 PCA
当满足
时，AE与PCA等价 http://www.cse.iitm.ac.in/~miteshk/CS7015_2018.html http://www.cse.iitm.ac.in/~miteshk/CS7015/Slides/Teaching/pdf/Lecture7.pdf