cnn突破七中x【?】怎么求?我们举个例子:
接着cnn突破七:
hicnn【】来自temphicnn【】2*2最大池化:
temphicnn[0]+=x[i=0,j=0,5*5方阵]*w1cnn[0-24],
hicnn是5*5的,temphicnn是10*10的,x是14*14的。
hicnn【1】来自temphicnn【2】【3】【12】【13】,一一对应池化中的位置(0,0)(0,1)(1,0)(1,1),假定(1,1)最大,即13=(第二行=1,第四列=3),即temphicnn【13=1*10+3】最大,对应x【17=1*14+3】
所以,一个hicnn对应一个hocnn,一个hocnn【1】对应25个w1cnn更新:
=.....ds(hocnn[1])*x[17];(公式最后两项关键,其他省略,可以看前头)
=.....ds(hocnn[1])*x[18];
=.....ds(hocnn[1])*x[19];
=.....ds(hocnn[1])*x[20];
=.....ds(hocnn[1])*x[21];卷积核第一行结束,开始第二行
=.....ds(hocnn[1])*x[17+14];
......
hicnn【0】来自temphicnn【0】【1】【10】【11】,一一对应池化中的位置(0,0)(0,1)(1,0)(1,1),假定(1,0)最大,即10=(第二行=1,第一列=0),即temphicnn【10=1*10+0】最大,对应x【14=1*14+0】
所以,一个hicnn对应一个hocnn,一个hocnn【0】对应25个w1cnn更新:
=.....ds(hocnn[0])*x[14];
=.....ds(hocnn[0])*x[15];
=.....ds(hocnn[0])*x[16];
=.....ds(hocnn[0])*x[17];
=.....ds(hocnn[0])*x[18];卷积核第一行结束,开始第二行
=.....ds(hocnn[0])*x[14+14];
......
有公式套就是好!这样我们cnn中的卷积核就在反向传播中更新了,我们这个卷积核cnn相当于四层bpnet网络,我们通过一个5*5的卷积核,把整个过程展现出来了!我们的网络结构是:
14*14-》4@10*10-》4@5*5-》80-》10,我们展示了一个卷积核,那么就是:
14*14-》10*10-》5*5-》80-》10,我们的hocnn有5*5个,其中一个就会更新一次5*5的w1cnn卷积核。
下面我们考虑28*28->4@24*24->4@12*12->16@8*8->16@4*4->80->10这个网络结构,
28*28->4@24*24是第一次4个5*5卷积核,
4@12*12->16@8*8是第二次4个5*5卷积核,
这个太复杂,我们化繁为简:
28*28->24*24->12*12->8*8->4*4->80->10
你有没有发现12*12->8*8->4*4->80->10和我们上面的一个卷积核的cnn一样?再看看:
14*14->10*10->5*5->80->10,是的,这个我们已经搞定,我记着为A=12*12->8*8->4*4->80->10那么:
28*28->24*24->12*12->8*8->4*4->80->10
就变成:28*28->24*24->A
我们A中的输入图像是x【】对吧!我们28*28要用,所以A的这个我们记着为hxo【】,好,我们简化网络:
28*28-》12*12-》4*4-》80-》10,显然这是一个5层网络,有扩展了,更复杂了,但我们要简单化:28*28处的卷积核我们记着为:w784【】,那么就有
x【】*w784【】-》sigmod(hxi【】)=hxo【】-》HIcnn,
hxo【】*w1cnn【25】=HIcnn-》sigmod(HIcnn)=HOcnn-》H2I,
hocnn【】*w12cnn【】=H2I-》sigmod(H2I)=H2O-》YI,
h2o【】*w2cnn【】=YI-》sigmod(YI)=YO,d【】是期望
其实我们写了这么多,我们只要在backward中实现:
x【】*w784【】-》sigmod(hxi【】)=hxo【】-》HI,
这一段的推导就可以了。还记得我们的四层网络公式吧:
=(yo[k]-d[k])*ds(yo[k])*w2【m,k】*ds(h2o[m])*w12【j,m】*ds(hocnn[j])*x[i->?]
我们在五层卷积核中找到了规律,这样替换他:
我们令B=(yo[k]-d[k])*ds(yo[k])*w2【m,k】*ds(h2o[m])*w12【j,m】*ds(hocnn[j])
=B***
=B*w1cnn[25]*ds(hxo[])*x[i]
= (yo[k]-d[k])*ds(yo[k])*w2【m,k】*ds(h2o[m])*w12【j,m】*ds(hocnn[j])*w1cnn[25]*ds(hxo[])*x[i]
;这个x[i],我们说了是28*28图像,其实,我们现在要细化的就是:
=......w1cnn[25]*ds(hxo[])*x[i=?]
我们先看看四层网络:=.....ds(hocnn[1])*x[17];
这个x【17】在这五层网络里被替换为hxo【17】;
=.....ds(hocnn[1])*hxo[17];(在五层里未必是1和17对应,这里我们重点看符号的对应)
那么五层网络公式:
=......ds(hocnn[j=1])*w1cnn[25]*ds(hxo[17])*x[i]就能看清楚?每一个hocnn[j]都会更新一次w1cnn,我们调整一下:
=......w1cnn[25]*ds(hocnn[j=1])*ds(hxo[17])*x[i=?]
这里的关键是我们通过每一个hocnn[j]找到与hxo【?】的对应,
那么我们就能找到hxo【?】与x【i=?】的对应。
这个关系我们在四层网络中找到了呼应,就像递归一样,我们又要把找到的那个公式用起来,
实际就是这么一回事!
也就是说,我们在四层网络已经找过了hocnn和hxo的关系,现在要找hxo和x【i=?】的关系,仿照四层,我们用一样的办法就能搞定。
下一节我们用程序示范一下。