之前的学习内容没有及时记录没办法回顾打算之后学一节就把自己学到的知识更新到这里供自己复习回顾。前置知识1、在李宏毅之前的视频中有学习到如果我们想制作一个符合我们需求的输入--输出可以通过一个常数加很多的c * sigmoid函数函数和常数累加起来就可以拟合所有的函数这种是矮胖型的单层隐神经网络。2、deep learning 是多层的神经网络前面的输出为后面层的输入然后来获得同样符合要求的输入--输出3、如果可选用的H(也就是所有的参数选择)很大那么我们很难找到比较符合的训练资料来实现我们想要的结果也就是理想和现实会差距比较大。还有一种是当我们增加数据量也就是训练数据很大可以弥补一些现实和理想的差距即使在H很大的情况下。H是不可能无限制变小的要保证在满足我们的需求下变小否则根本不存在这种最终的答案情况供我们去选择。训练数据也没办法增加很多是有限制的。4、越多的参数量越容易过拟合 ---就是在训练集上的表现非常好但是给一些没有见过的数据就不认识了。引入知识胖型神经网络 vs 瘦长型神经网络 ----- 两者表示同一种输入和输出的时候瘦长型神经网络所用的参数数量越小但也能够与胖型神经网络表示出的函数空间大致相同这样是不是瘦长型更能满足更小的H也就是现实和理想差距变小于此同时增加数据量更进一步减小显示和差距之间的矛盾。但是deep learning 不是采用和胖型神经网络一样的实现方式累加而是前面的输出传到后面的输入为什么视频里举得是解决一串01比特里1的个数是奇数还是偶数个这个问题胖型神经网络类似是一次性看完全部的比特假设当前的比特数是x那么里面有2的x个神经元但是如果使用先两个比特然后输出一个结果再看一个比特和之前的输出再运算以这样的方式就只需要x-1个神经元就可以运算出结果相应的里面的参数也是会比较少。这里是当我们想要制作出一个2的k次的锯齿状线段胖型神经网络和瘦长型神经网络分别需要的神经元数量。对于胖型神经网络来说每一条折现就需要一个神经元来实现最后输出是神经元的累加需要2的k次神经元才能实现在每个折点转弯。上图就是瘦长型神经网络制作出2的k次折型网络需要的神经元数量为2*k个。------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------但胖型神经网络不一定比瘦长型差。 在语音和图像往往可能是deep更好但是当产生yx的平方可能是胖型的更好。