梯度检验：

自动梯度计算一般使用的是数值近似的方法：
$$f^{\prime }(x)\approx \frac{f(x+ϵ)-f(x)}{ϵ}\text{\hspace{1em}(3.6)}$$
而非解析方法，因此总是存在一定的误差（特殊情况下可能就是错误的）。

梯度检验是一种用来比较数值梯度值与解析梯度值之间差距的方法。下面是一个简单的demo：

def eval_numerical_gradient(f, x):
	""" a naive implementation of numerical gradient of f at x - f should be a function that takes a single argument - x is the point (numpy array) to evaluate the gradient at """
	fx = f(x) # evaluate function value at original point
	grad = np.zeros(x.shape)
	h = 0.00001
	
	# iterate over all indexes in x
	it = np.nditer(x, flags=['multi_index'], op_flags = ['readwrite'])
	
	while not it.finished:
		# evaluate function at x+h
		ix = it.multi_index
		old_value = x[ix]
		x[ix] = old_value + h                       # increment by h
		fxh_left = f(x)                             # evaluate f(x + h)
		x[ix] = old_value - h                       # decrement by h
		fxh_right = f(x)                            # evaluate f(x - h)
		x[ix] = old_value                           # restore to previous value (very important!)
		
		# compute the partial derivative
		grad[ix] = (fxh_left - fxh_right) / (2 * h) # the slope
		it.iternext()                               # step to next dimension
		
	return grad

正则化：常用于处理模型过拟合的问题，一般是在损失函数中引入模型参数矩阵的$F$范数（相当于是所有参数的二范数值）。

Dropout：常用于处理模型过拟合与降低模型复杂度。在反向传播中以一定概率剪除神经网络的传播路径。

激活函数：Sigmoid，Tanh，Hard tanh，Soft sign，ReLU，Leaky ReLU

数据预处理：减均值（中心化），正则化，白化（去除特征之间的相关性，如通过奇异值分解）。