Clean up required subgraph cfg file entries
[tidl/tidl-api.git] / tidl_api / inc / configuration.h
1 /******************************************************************************
2  * Copyright (c) 2017-2018 Texas Instruments Incorporated - http://www.ti.com/
3  *  All rights reserved.
4  *
5  *  Redistribution and use in source and binary forms, with or without
6  *  modification, are permitted provided that the following conditions are met:
7  *      * Redistributions of source code must retain the above copyright
8  *        notice, this list of conditions and the following disclaimer.
9  *      * Redistributions in binary form must reproduce the above copyright
10  *        notice, this list of conditions and the following disclaimer in the
11  *        documentation and/or other materials provided with the distribution.
12  *      * Neither the name of Texas Instruments Incorporated nor the
13  *        names of its contributors may be used to endorse or promote products
14  *        derived from this software without specific prior written permission.
15  *
16  *  THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS"
17  *  AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
18  *  IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
19  *  ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR CONTRIBUTORS BE
20  *  LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
21  *  CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
22  *  SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
23  *  INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
24  *  CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
25  *  ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF
26  *  THE POSSIBILITY OF SUCH DAMAGE.
27  *****************************************************************************/
29 #pragma once
31 //! @file configuration.h
33 #include <string>
34 #include <map>
35 #include <vector>
36 #include <iostream>
38 namespace tidl {
40 /*! @class Configuration
41     @brief Specifies the configuration required for a network
43     The Configuration object is used to specify various parameters required
44     for network execution. Applications can directly initialize fields in an
45     instance of Configuration or use the ReadFromFile method to read the
46     configuration from a file.
47 */
49 class Configuration
50 {
51   public:
53     //! Number of frames of input data (can be 0 if data is not read from file)
54     int     numFrames;
56     //! Height of the input image. Used by the API, must be specified.
57     int     inHeight;
59     //! Width of the input image. Used by the API, must be specified.
60     int     inWidth;
62     //! Number of channels in the input frame (e.g. 3 for BGR)
63     //! Used by the API, must be specified.
64     int     inNumChannels;
66     //! @private
67     int     noZeroCoeffsPercentage;
69     //! Pre-processing type applied to the input frame
70     //! Specific to each network, can take values from 0 to 4, default is 0
71     //! 0 -> Caffe-Jacinto models
72     //! 1 -> Caffe models (SqueezeNet)
73     //! 2 -> TensorFlow (Inception, MobileNet)
74     //! 3 -> CIFAR 10
75     //! 4 -> JdetNet
76     int     preProcType;
78     //! Force to run all layers, regardless of layersGroupId partitioning
79     bool    runFullNet;
81     //! @brief Size of the device side network heap
82     //! This heap is used for allocating memory required to
83     //! run the network on the device. One per Execution Object.
84     size_t NETWORK_HEAP_SIZE;
86     //! @brief Size of the device side heap used for parameter data.
87     //! The size depends on the size of the parameter binary file. The
88     //! constructor for ``Configuration`` sets PARAM_HEAP_SIZE to 9MB.
89     //! There is one parameter heap for each instance of ``Executor`` .
90     size_t PARAM_HEAP_SIZE;
92     //! @brief Path to the input image file.
93     //! This field is not used by the TIDL API itself. It can be used by
94     //! applications to load an input image into a buffer. Can be empty if
95     //! the application uses frameworks such as OpenCV to read images. Refer
96     //! examples/test/main.cpp for usage.
97     std::string inData;
99     //! @brief Path to the output image file.
100     //! This field is not used by the TIDL API itself. It can be used by
101     //! applications to specify a name for the output file. Can be empty
102     //! if the application uses frameworks such as OpenCV to read images.
103     //! Refer examples/test/main.cpp for usage.
104     std::string outData;
106     //! Path to the TIDL network binary file.
107     //! Used by the API, must be specified.
108     std::string netBinFile;
110     //! Path to the TIDL parameter binary file
111     //! Used by the API, must be specified.
112     std::string paramsBinFile;
114     //! Map of layer index to layer group id. Used to override layer group
115     //! assigment for layers. Any layer not specified in this map will
116     //! retain its existing mapping.
117     std::map<int, int> layerIndex2LayerGroupId;
119     //! Enable tracing of output buffers associated with each layer
120     bool enableOutputTrace;
122     //! Debug - Generates a trace of host and device function calls
123     bool enableApiTrace;
125     //! Debug - Shows total size of PARAM and NETWORK heaps. Also shows bytes
126     //! available after all allocations. Can be used to adjust the heap
127     //! size.
128     bool showHeapStats;
130     //! Weight in percentage applied to previously processed input frame during
131     //! application startup (first 10 frames of input).
132     //!
133     //! TIDL maintains range statistics for previously processed frames.
134     //! It quantizes the current inference activations using these range
135     //! statistics from previous inputs (weighted average range). Therefore,
136     //! the results observed when the input is processed on the device will
137     //! not be identical to that observed during the import stage.
138     //! Parameters to control quantization:
139     //! @see quantHistoryParam1, quantHistoryParam2, quantMargin
140     int quantHistoryParam1;
142     //! Weight in percentage applied to previously processed input frames
143     //! after the first 10 input frames.
144     int quantHistoryParam2;
146     //! Margin added to the average in percentage.
147     int quantMargin;
149     //! Subgraph: config file for subgraph runtime, default to false
150     //!   (intended for interfacing with external inference frameworks,
151     //!    not intended for direct use in user applications)
152     //! The following {in,out}* parameters describe the tensor(s) value/layout
153     //! conversion at the subgraph boundaries for subgraph runtime.
154     //! Each parameter (vector) can be a space separated list, corresponding to
155     //! multiple input tensors and multiple output tensors, if applicable.
156     bool isSubgraphCfg;
158     //! subgraph: data value conversion type at subgraph input boundary,
159     //! between external tensors and TIDL tensors
160     //! 0: float -> Q, 1: float -> float, 2: Q -> Q
161     std::vector<int> inConvType;
163     //! subgraph: are external input tensors signed data
164     std::vector<int> inIsSigned;
166     //! subgraph: scaleF2Q factor for converting values of input tensors
167     //! saturation(float_value * inScaleF2Q) = quantized_value
168     std::vector<float> inScaleF2Q;
170     //! subgraph: are external input tensors in NCHW layout
171     std::vector<int> inIsNCHW;
173     //! subgraph: data value conversion type at subgraph output boundary,
174     //! between TIDL tensors and external tensors
175     //! 0: Q -> float, 1: float -> float, 2: Q -> Q
176     std::vector<int> outConvType;
178     //! subgraph: are external output tensors signed data
179     std::vector<int> outIsSigned;
181     //! subgraph: scaleF2Q factor for converting values of output tensors
182     //! quantized_value / outScaleF2Q = float_value
183     std::vector<float> outScaleF2Q;
185     //! subgraph: are external output tensors in NCHW layout
186     std::vector<int> outIsNCHW;
188     //! Default constructor.
189     Configuration();
191     //! Validate the fields in the configuration object
192     bool Validate() const;
194     //! Debug - Print the configuration.
195     void Print(std::ostream& os = std::cout) const;
197     //! Read a configuration from the specified file and validate
198     bool ReadFromFile(const std::string& file_name);
200 };