Neural Networks: Learning

9.1. Cost Function

首先引入一些标记:

  • $L$:神经网络的总层数
  • $s_l$:第 L 层的单元数量(不含偏置单元)
  • $K$:输出单元的数量
  • $h_{\Theta}(x)_k$:假设函数中的第 k 个输出

下图中分别为单类和多类分类的表示形式:

在 logistic 回归问题中我们的代价函数是:

而神经网络中的代价函数是 logistic 回归代价函数的推广,在 logistic 回归中只有一个输出变量且只有一个因变量 y,而在神经网络中却有很多输出变量,其代价函数要复杂一些,如下:

9.2. Backpropagation Algorithm

待补充。。。