a263ad3260d38860612ba3e55ea0d1358a787a5f
[jacinto-ai/caffe-jacinto.git] / src / caffe / layers / softmax_layer.cpp
1 // Copyright 2013 Yangqing Jia
3 #include <algorithm>
4 #include <vector>
6 #include "caffe/layer.hpp"
7 #include "caffe/vision_layers.hpp"
8 #include "caffe/util/math_functions.hpp"
10 using std::max;
12 namespace caffe {
14 template <typename Dtype>
15 void SoftmaxLayer<Dtype>::SetUp(const vector<Blob<Dtype>*>& bottom,
16       vector<Blob<Dtype>*>* top) {
17   CHECK_EQ(bottom.size(), 1) << "Softmax Layer takes a single blob as input.";
18   CHECK_EQ(top->size(), 1) << "Softmax Layer takes a single blob as output.";
19   (*top)[0]->Reshape(bottom[0]->num(), bottom[0]->channels(),
20       bottom[0]->height(), bottom[0]->width());
21   sum_multiplier_.Reshape(1, bottom[0]->channels(),
22       bottom[0]->height(), bottom[0]->width());
23   Dtype* multiplier_data = sum_multiplier_.mutable_cpu_data();
24   for (int i = 0; i < sum_multiplier_.count(); ++i) {
25     multiplier_data[i] = 1.;
26   }
27   scale_.Reshape(bottom[0]->num(), 1, 1, 1);
28 };
30 template <typename Dtype>
31 void SoftmaxLayer<Dtype>::Forward_cpu(const vector<Blob<Dtype>*>& bottom,
32     vector<Blob<Dtype>*>* top) {
33   const Dtype* bottom_data = bottom[0]->cpu_data();
34   Dtype* top_data = (*top)[0]->mutable_cpu_data();
35   Dtype* scale_data = scale_.mutable_cpu_data();
36   int num = bottom[0]->num();
37   int dim = bottom[0]->count() / bottom[0]->num();
38   memcpy(top_data, bottom_data, sizeof(Dtype) * bottom[0]->count());
39   // we need to subtract the max to avoid numerical issues, compute the exp,
40   // and then normalize.
41   // Compute sum
42   for (int i = 0; i < num; ++i) {
43     scale_data[i] = bottom_data[i*dim];
44     for (int j = 0; j < dim; ++j) {
45       scale_data[i] = max(scale_data[i], bottom_data[i * dim + j]);
46     }
47   }
48   // subtraction
49   caffe_cpu_gemm<Dtype>(CblasNoTrans, CblasNoTrans, num, dim, 1, -1.,
50     scale_data, sum_multiplier_.cpu_data(), 1., top_data);
51   // Perform exponentiation
52   caffe_exp<Dtype>(num * dim, top_data, top_data);
53   // sum after exp
54   caffe_cpu_gemv<Dtype>(CblasNoTrans, num, dim, 1., top_data,
55       sum_multiplier_.cpu_data(), 0., scale_data);
56   // Do division
57   for (int i = 0; i < num; ++i) {
58     caffe_scal<Dtype>(dim, Dtype(1.) / scale_data[i], top_data + i * dim);
59   }
60 }
62 template <typename Dtype>
63 Dtype SoftmaxLayer<Dtype>::Backward_cpu(const vector<Blob<Dtype>*>& top,
64     const bool propagate_down,
65     vector<Blob<Dtype>*>* bottom) {
66   const Dtype* top_diff = top[0]->cpu_diff();
67   const Dtype* top_data = top[0]->cpu_data();
68   Dtype* bottom_diff = (*bottom)[0]->mutable_cpu_diff();
69   Dtype* scale_data = scale_.mutable_cpu_data();
70   int num = top[0]->num();
71   int dim = top[0]->count() / top[0]->num();
72   memcpy(bottom_diff, top_diff, sizeof(Dtype) * top[0]->count());
73   // Compute inner1d(top_diff, top_data) and subtract them from the bottom diff
74   for (int i = 0; i < num; ++i) {
75     scale_data[i] = caffe_cpu_dot<Dtype>(dim, top_diff + i * dim,
76         top_data + i * dim);
77   }
78   // subtraction
79   caffe_cpu_gemm<Dtype>(CblasNoTrans, CblasNoTrans, num, dim, 1, -1.,
80       scale_data, sum_multiplier_.cpu_data(), 1., bottom_diff);
81   // elementwise multiplication
82   caffe_mul<Dtype>(top[0]->count(), bottom_diff, top_data, bottom_diff);
83   return Dtype(0);
84 }
86 // TODO(Yangqing): implement the GPU version of softmax.
88 INSTANTIATE_CLASS(SoftmaxLayer);
91 }  // namespace caffe