allow setting custom weight decay
[jacinto-ai/caffe-jacinto.git] / examples / imagenet.prototxt
1 name: "CaffeNet"
2 layers {
3   layer {
4     name: "data"
5     type: "data"
6     source: "/home/jiayq/caffe-train-leveldb"
7     meanfile: "/home/jiayq/ilsvrc2012_mean.binaryproto"
8     batchsize: 256
9     cropsize: 227
10     mirror: true
11   }
12   top: "data"
13   top: "label"
14 }
15 layers {
16   layer {
17     name: "conv1"
18     type: "conv"
19     num_output: 96
20     kernelsize: 11
21     stride: 4
22     weight_filler {
23       type: "gaussian"
24       std: 0.01
25     }
26     bias_filler {
27       type: "constant"
28       value: 0.
29     }
30     blobs_lr: 1.
31     blobs_lr: 2.
32     weight_decay: 1.
33     weight_decay: 0.
34   }
35   bottom: "data"
36   top: "conv1"
37 }
38 layers {
39   layer {
40     name: "relu1"
41     type: "relu"
42   }
43   bottom: "conv1"
44   top: "conv1"
45 }
46 layers {
47   layer {
48     name: "pool1"
49     type: "pool"
50     pool: MAX
51     kernelsize: 3
52     stride: 2
53   }
54   bottom: "conv1"
55   top: "pool1"
56 }
57 layers {
58   layer {
59     name: "norm1"
60     type: "lrn"
61     local_size: 5
62     alpha: 0.0001
63     beta: 0.75
64   }
65   bottom: "pool1"
66   top: "norm1"
67 }
68 layers {
69   layer {
70     name: "pad2"
71     type: "padding"
72     pad: 2
73   }
74   bottom: "norm1"
75   top: "pad2"
76 }
77 layers {
78   layer {
79     name: "conv2"
80     type: "conv"
81     num_output: 256
82     group: 2
83     kernelsize: 5
84     weight_filler {
85       type: "gaussian"
86       std: 0.01
87     }
88     bias_filler {
89       type: "constant"
90       value: 1.
91     }
92     blobs_lr: 1.
93     blobs_lr: 2.
94     weight_decay: 1.
95     weight_decay: 0.
96   }
97   bottom: "pad2"
98   top: "conv2"
99 }
100 layers {
101   layer {
102     name: "relu2"
103     type: "relu"
104   }
105   bottom: "conv2"
106   top: "conv2"
108 layers {
109   layer {
110     name: "pool2"
111     type: "pool"
112     pool: MAX
113     kernelsize: 3
114     stride: 2
115   }
116   bottom: "conv2"
117   top: "pool2"
119 layers {
120   layer {
121     name: "norm2"
122     type: "lrn"
123     local_size: 5
124     alpha: 0.0001
125     beta: 0.75
126   }
127   bottom: "pool2"
128   top: "norm2"
130 layers {
131   layer {
132     name: "pad3"
133     type: "padding"
134     pad: 1
135   }
136   bottom: "norm2"
137   top: "pad3"
139 layers {
140   layer {
141     name: "conv3"
142     type: "conv"
143     num_output: 384
144     kernelsize: 3
145     weight_filler {
146       type: "gaussian"
147       std: 0.01
148     }
149     bias_filler {
150       type: "constant"
151       value: 0.
152     }
153     blobs_lr: 1.
154     blobs_lr: 2.
155     weight_decay: 1.
156     weight_decay: 0.
157   }
158   bottom: "pad3"
159   top: "conv3"
161 layers {
162   layer {
163     name: "relu3"
164     type: "relu"
165   }
166   bottom: "conv3"
167   top: "conv3"
169 layers {
170   layer {
171     name: "pad4"
172     type: "padding"
173     pad: 1
174   }
175   bottom: "conv3"
176   top: "pad4"
178 layers {
179   layer {
180     name: "conv4"
181     type: "conv"
182     num_output: 384
183     group: 2
184     kernelsize: 3
185     weight_filler {
186       type: "gaussian"
187       std: 0.01
188     }
189     bias_filler {
190       type: "constant"
191       value: 1.
192     }
193     blobs_lr: 1.
194     blobs_lr: 2.
195     weight_decay: 1.
196     weight_decay: 0.
197   }
198   bottom: "pad4"
199   top: "conv4"
201 layers {
202   layer {
203     name: "relu4"
204     type: "relu"
205   }
206   bottom: "conv4"
207   top: "conv4"
209 layers {
210   layer {
211     name: "pad5"
212     type: "padding"
213     pad: 1
214   }
215   bottom: "conv4"
216   top: "pad5"
218 layers {
219   layer {
220     name: "conv5"
221     type: "conv"
222     num_output: 256
223     group: 2
224     kernelsize: 3
225     weight_filler {
226       type: "gaussian"
227       std: 0.01
228     }
229     bias_filler {
230       type: "constant"
231       value: 1.
232     }
233     blobs_lr: 1.
234     blobs_lr: 2.
235     weight_decay: 1.
236     weight_decay: 0.
237   }
238   bottom: "pad5"
239   top: "conv5"
241 layers {
242   layer {
243     name: "relu5"
244     type: "relu"
245   }
246   bottom: "conv5"
247   top: "conv5"
249 layers {
250   layer {
251     name: "pool5"
252     type: "pool"
253     kernelsize: 3
254     pool: MAX
255     stride: 2
256   }
257   bottom: "conv5"
258   top: "pool5"
260 layers {
261   layer {
262     name: "fc6"
263     type: "innerproduct"
264     num_output: 4096
265     weight_filler {
266       type: "gaussian"
267       std: 0.005
268     }
269     bias_filler {
270       type: "constant"
271       value: 1.
272     }
273     blobs_lr: 1.
274     blobs_lr: 2.
275     weight_decay: 1.
276     weight_decay: 0.
277   }
278   bottom: "pool5"
279   top: "fc6"
281 layers {
282   layer {
283     name: "relu6"
284     type: "relu"
285   }
286   bottom: "fc6"
287   top: "fc6"
289 layers {
290   layer {
291     name: "drop6"
292     type: "dropout"
293     dropout_ratio: 0.5
294   }
295   bottom: "fc6"
296   top: "fc6"
298 layers {
299   layer {
300     name: "fc7"
301     type: "innerproduct"
302     num_output: 4096
303     weight_filler {
304       type: "gaussian"
305       std: 0.005
306     }
307     bias_filler {
308       type: "constant"
309       value: 1.
310     }
311     blobs_lr: 1.
312     blobs_lr: 2.
313     weight_decay: 1.
314     weight_decay: 0.
315   }
316   bottom: "fc6"
317   top: "fc7"
319 layers {
320   layer {
321     name: "relu7"
322     type: "relu"
323   }
324   bottom: "fc7"
325   top: "fc7"
327 layers {
328   layer {
329     name: "drop7"
330     type: "dropout"
331     dropout_ratio: 0.5
332   }
333   bottom: "fc7"
334   top: "fc7"
336 layers {
337   layer {
338     name: "fc8"
339     type: "innerproduct"
340     num_output: 1000
341     weight_filler {
342       type: "gaussian"
343       std: 0.01
344     }
345     bias_filler {
346       type: "constant"
347       value: 0
348     }
349     blobs_lr: 1.
350     blobs_lr: 2.
351     weight_decay: 1.
352     weight_decay: 0.
353   }
354   bottom: "fc7"
355   top: "fc8"
357 layers {
358   layer {
359     name: "loss"
360     type: "softmax_loss"
361   }
362   bottom: "fc8"
363   bottom: "label"