“你心里装着一个连见面都难的人,却想着和她有以后。”

标签 deep-learning 下的文章

1. 当输入为一个Vector时 当输入为一个向量时,输入已经不再是一个固定纬度,此时的输出有以下几种情况: 为每一个长度的Vector输出一个label 如:输入一句话,为每个词判断词性 整个序列拥有一个label 如:根据评论判断评论性质 由模型决定输出的label的数量(seq2seq) 如:翻译 2. self-attention机制 通过self-attentio...

在影像辨识时如果使用fully connection,会导致参数过多,从而导致网络弹性过大容易出现over fitting的问题。 1. Simplification 1  通过划分receptive field,每个神经元只考虑自己负责的receptive field(通常一个receptive field有多个神经元守备)。receptive field可以是不同的尺寸、不同的通道、不...

1. Gradient descend 当gradient为0的时候(遇到critical point),无法进行gradient descend。这时候有几种情况: Local minimal Saddle point $\theta^{'}$周围的Loss function可以定义为: ​ $L(\theta)\approx L(\theta^{'}) +(\theta-\the...

机器学习简介 partial1. 训练 训练的目的是得到一个可用的模型,这个过程分为三个部分: 1. function with unknown 这一步简单来说就是通过已知的数据,来预测可能的函数式以及对应的参数。 假设我们的模型为: ​ $y=wx+b$ 其中$x$是已知的,在机器学习中称作$feature$ $w$和$b$是未知的参数,其中$w$也叫做$weight$,$b$叫做$b...

当前页码:1总页码:1