replace 2 dsp + 2 group layer use cases with 1 dsp

reference to PLSDK-3189.

The BBAI only has enough CMEM for 4 EVEs, 1 DSP, and 2 group
layers. In the case of all of our networks, the difference between
1 and 2 dsps is essentially nonexistent.

The following is the benchmarks run side by side:

CMDLINE: ./mcbench -g 1 -d 2 -e 4 -c ../test/testvecs/config/ CMDLINE: ./mcbench -g 1 -d 2 -e 4 -c ../test/testvecs/config/
Input: ../test/testvecs/input/preproc_0_224x224_multi.y frame Input: ../test/testvecs/input/preproc_0_224x224_multi.y frame
Loop total time:   1189ms Loop total time:   1189ms
FPS:42.06 FPS:42.06
mcbench PASSED mcbench PASSED
CMDLINE: ./mcbench -g 1 -d 2 -e 4 -c ../test/testvecs/config/ CMDLINE: ./mcbench -g 1 -d 2 -e 4 -c ../test/testvecs/config/
Input: ../test/testvecs/input/preproc_0_224x224_multi.y frame Input: ../test/testvecs/input/preproc_0_224x224_multi.y frame
Loop total time:   3066ms Loop total time:   3066ms
FPS:16.31 FPS:16.31
mcbench PASSED mcbench PASSED
CMDLINE: ./mcbench -g 2 -d 1 -e 4 -c ../test/testvecs/config/ | CMDLINE: ./mcbench -g 2 -d 2 -e 4 -c ../test/testvecs/config/
Input: ../test/testvecs/input/preproc_2_224x224_multi.y frame Input: ../test/testvecs/input/preproc_2_224x224_multi.y frame
Loop total time:   1822ms       | Loop total time:   1835ms
FPS:27.44       | FPS:27.24
mcbench PASSED mcbench PASSED
CMDLINE: ./mcbench -g 2 -d 1 -e 4 -c ../test/testvecs/config/ | CMDLINE: ./mcbench -g 2 -d 2 -e 4 -c ../test/testvecs/config/
Input: ../test/testvecs/input/preproc_2_224x224_multi.y frame Input: ../test/testvecs/input/preproc_2_224x224_multi.y frame
Loop total time:   1823ms       | Loop total time:   1841ms
FPS:27.42       | FPS:27.16
mcbench PASSED mcbench PASSED
CMDLINE: ./mcbench -g 2 -d 1 -e 4 -c ../test/testvecs/config/ | CMDLINE: ./mcbench -g 2 -d 2 -e 4 -c ../test/testvecs/config/
Input: ../test/testvecs/input/preproc_2_224x224_multi.y frame Input: ../test/testvecs/input/preproc_2_224x224_multi.y frame
Loop total time:   1793ms       | Loop total time:   1817ms
FPS:27.89       | FPS:27.52
mcbench PASSED mcbench PASSED
CMDLINE: ./mcbench -g 2 -d 1 -e 4 -c ../test/testvecs/config/ | CMDLINE: ./mcbench -g 2 -d 2 -e 4 -c ../test/testvecs/config/
Input: ../test/testvecs/input/preproc_0_224x224_multi.y frame Input: ../test/testvecs/input/preproc_0_224x224_multi.y frame
Loop total time:   4269ms       | Loop total time:   4285ms
FPS:11.71       | FPS:11.67
mcbench PASSED mcbench PASSED
CMDLINE: ./mcbench -g 2 -d 1 -e 4 -c ../test/testvecs/config/ | CMDLINE: ./mcbench -g 2 -d 2 -e 4 -c ../test/testvecs/config/
Input: ../test/testvecs/input/preproc_0_224x224_multi.y frame Input: ../test/testvecs/input/preproc_0_224x224_multi.y frame
Loop total time:  892.9ms       | Loop total time:    915ms
FPS:55.99       | FPS:54.64
mcbench PASSED mcbench PASSED
CMDLINE: ./mcbench -g 2 -d 1 -e 4 -c ../test/testvecs/config/ | CMDLINE: ./mcbench -g 2 -d 2 -e 4 -c ../test/testvecs/config/
Input: ../test/testvecs/input/preproc_0_224x224_multi.y frame Input: ../test/testvecs/input/preproc_0_224x224_multi.y frame
Loop total time:   2008ms       | Loop total time:   2014ms
FPS:24.9       | FPS:24.82
mcbench PASSED mcbench PASSED

Minor version update in docs

Fix versioning for shared libary

- by putting proper SONAME in built shared libraries.
- MCT-1231

Merge tag 'v01.04.00' into develop

TIDL-API v01.04.00 for Processor SDK 6.2

Merge branch 'release/v01.04.00'

Update changelog for v01.04.00 release

mcbench: Adjust network heap sizes, so that all test cases can fit into CMEM of 384MB

Signed-off-by: Djordje Senicic <x0157990@ti.com>

examples:classification: Detect number of EVEs, DSPs and CMEM size on SoC

Signed-off-by: Djordje Senicic <x0157990@ti.com>

mcbench: Add test cases for AM5729

- Add one line of comment in each script, to indicate SoC used with specific the script
- Add all_5729.sh, script with benchmarking test cases for AM5729 device, 2xDSP+4xEVE
- PLSDK-3140

Signed-off-by: Djordje Senicic <x0157990@ti.com>

Bump up develop branch version to 1.5.0

Subgraph: use Layer2Group map in config file

- If Layer2Group map exists in subgraph config file, use it.
  Otherwise, try derive the map from network layer types.
- Added TidlFreeSubgraph() for subgraph resource de-allocation
- Code changes based on review comments.
- MCT-1223

Subgraph example: multi-threaded batch processing

- Compared different batch size in subgraph execution example
- Compared async/future implementation vs thread pool implementation,
  async/future has slightly worse (~1%) performance,
  but it is much easier to program
- Recommended inference is multi-threaded batch processing, where
  batch_size can be obtained from TidlGetPreferredBatchSize(),
  number of threads can be set to 2.
- MCT-1223

Parse data conversion info from subgraph config

- MCT-1224

Subgraph: support batch processing

- MCT-1223

Subgraph: add a mobilenet v1 example

- Using the TidlRunSubgraph() interface

Subgraph: add top level API TidlRunSubgraph

- TidlRunSubgraph() should be the interface function that TVM/TFLite
  calls to offload subgraph to TIDL
- MCT-1222

Subgraph data conversion at boundaries

- Data layout: NCHW <-> NHWC
- Data type: 8-bit quantized <-> float
- MCT-1222

Subgraph offloading to TIDL: first commit

- ResM class provides top level encapsulation
- All allocation of core resources and buffers, and all creation of
  Executor, ExecutionObject, ExecutionObjectPipeline are encapsulated.
- Auto-partition last few layers to DSP if profitable, also encapsulated.
- MCT-1223, MCT-1224

Merge tag 'v01.03.03' into develop

TIDL-API 1.3.3 for PSDK 6.1

Merge branch 'hotfix/v01.03.03'

Update the changelog

Revert "Adjust example heap sizes with new TIDL library"

This reverts commit c3786ddb01e187a983811d1cd3e08f6dfa20dd2e.

Revert "More example sizes adjustment with new TIDL lib"

This reverts commit 268aecd993dec4faec1a414d6aac4c43b0c059ed.

mcbench: Add MobileNetV2 test cases

- PLSDK-3078

Signed-off-by: Djordje Senicic <x0157990@ti.com>

Start hotfix v01.03.03

Merge tag 'v01.03.02' into develop

TIDL-API 1.3.2 for Processor SDK 6.1

Merge branch 'hotfix/v01.03.02'

TIDL-API 1.3.2 for Processor SDK 6.1

Fix min OpenCL version to 1.1.19.00

- MCT-1221

Added double quotes "" to input data file

PLSDK-2956: add MobileNetV2 model (.bin files) and inference config files

Fix classification example for tensorflow models

- Copy original image to show image before pre-processing, because
  pre-processing will change BGR to RGB for tensorflow models
- Subtract 1 from output object class index, because tensorflow outputs
  1001 bytes and uses index-0 for background.  Regular imagenet labels
  only have 1000 entries.
- Fix path to inceptionnet net and params binaries in the config file.
- MCT-1221

PLSDK-2986: Calibrate TIDL models for TF with correct raw image (preproc type 2).

Start hotfix v01.03.02

Merge tag 'v01.03.01' into develop

TIDL-API 1.3.1 for Processor SDK 6.1

Merge branch 'release/v01.03.01'

TIDL-API 1.3.1 for Processor SDK 6.1

More example sizes adjustment with new TIDL lib

- MCT-1217

Update changelog for version 1.3.1

Update TIDL-API manifest for version 1.3.1

Update squeeze net reference output

- 6 out of 1000 outputs changed with the newly imported network

PLSDK-2986: update TIDL models for mobilenetV1, inceptionNetV1, squeezeNetV1.

Adjust example heap sizes with new TIDL library

- The latest TIDL library increased memory requirement slightly.
  Adjust heap sizes in the examples accordingly.
- MCT-1217

Bump develop branch to version 1.4.0

Print out imagenet object index in imagenet example

- The object index is helpful information, in addition to text label
  that has already been printed out.
- Offset tensorflow model output by 1 to remove backgroup index
- MCT-1216

Control heap size and alloc opt using env vars

- TIDL_PARAM_HEAP_SIZE_EVE, TIDL_PARAM_HEAP_SIZE_DSP,
  TIDL_NETWORK_HEAP_SIZE_EVE, TIDL_NETWORK_HEAP_SIZE_DSP,
  TIDL_EXTMEM_ALLOC_OPT_EVE, TIDL_EXTMEM_ALLOC_OPT_DSP
  are provided to overwrite the heap sizes and heap allocation optimization
  level (1 or 2) that are specified by default or by application.
- MCT-1215

Change develop version to 1.3.1 for patch release

Update network binary in TIDL-API to new format

- New network format corresponds to the network data structure update,
  where strideOffsetMethod field moved from sTIDL_Network_t to sTIDL_Layer_t.
  Old format is 483364 bytes, new format is 484384 bytes.
- Relates to: commit 49401e64374a4f0999479245dcd01eab38bec304, MCT-1136
- MCT-1203

Add ssd_multibox_fullnet example

- To demonstrate running jdenet/jdetnet_voc on a single core,
  without paritioning the network.  This is useful for situations
  where SoC only has C66x cores but not EVE cores.
- MCT-1202

Dump dataQ/minValue/maxValue for TIDL trace

- MCT-1201

Fix g++ 8.3.0 compilation error

- Fix a syntax allowed in g++ 7.2.1 (PSDK5.3) but not in 8.3.0 (PSDK6.0)
- Make should report error from loop
- MCT-1199

Add imagenet python example

- Show how to interface with EO/EOP's input/output buffer in python.
- Show how to use OpenCV to read and transform image,
  and how to process imagenet's output data.
- Fix EOP construction in examples
- MCT-1197

Fix unique_ptr that holds an allocated array

- Customer reported this problem.  unique_ptr that holds an allocated
  array was created as "unique_ptr<char>", which will call "delete"
  at destruction.  However, the array was created with "new char[]".
  The proper way should be "unique_ptr<char[]>", so that "delete []"
  will be called at destrution.
- One minor trace message update so that we know which type of device
  is being dispatched to.
- MCT-1196

Use DSP Built-in Kernels in TIDL-API

- Replace previously used kernel wrappers
- MCT-1143, MCT-1154

Merge tag 'v01.03.00' into develop

TIDL-API 01.03.00 for Processor SDK 5.3

Merge branch 'release/v01.03.00'

Update TIDL network data structure

- To be in sync with TIDL library and TIDL import utility
- strideOffsetMethod field moved from sTIDL_Network_t to sTIDL_Layer_t
- Add ReadNetworkBinary util that can read both network formats,
  so that TIDL-API can be compatible with both old and new formats
- Update reference network output due to updated TIDL library
- MCT-1136

[segmentation] Add video clip autorewind

Signed-off-by: Djordje Senicic <x0157990@ti.com>

[segmentation] Add sample clip with traffic scenes (from pixabay)

Signed-off-by: Djordje Senicic <x0157990@ti.com>

Update documentation for TIDL-API 1.3.0

- MCT-1136

Clean up ssd_multibox changes

- PLSDK-2597

[ssd_multibox] Addressing review comments

Signed-off-by: Djordje Senicic <x0157990@ti.com>

Bump develop branch version to 1.4.0

PLSDK-2597
  - SSD_Multibox: updated to include slider for run-time probability modification
  - SSD_Multibox: skip grabbing frame input multiple times, as real-time would very based on multicore configuration and network complexity
  - SSD_Multibox: resize and central cropping added; instead of showing rectangles in original image, network input is presented
  - Classification: Toydogs configuration added including models

Signed-off-by: Djordje Senicic <x0157990@ti.com>

Enable DSP out-of-order execution in TIDL-API

- MCT-1108

Enable MNIST example on DSP

- It turns out DSP implementation of InnerProduct layer in TIDL library
  requires input size to be multiple of 8, because it is doing
  aligned 8-byte loads.
- Original LeNet network used in the MNIST example has a second InnerProduct
  layer of size 500, which is not a multiple of 8.  Change the size to 504,
  re-train the network, re-import into TIDL format.  Now the MNIST example
  works correctly on DSP as well.
- MCT-1105

Merge tag 'v01.02.02' into develop

Merge branch 'hotfix/v01.02.02'

Fix memory leak in classification example

- MCT-1101

classification: Modify configuration structure to runFullNet before calling constructor for Execution Object

Signed-off-by: Djordje Senicic <x0157990@ti.com>

Updated patch version to 2 (TIDL API 1.2.2)

Merge tag 'v01.02.01' into develop

Merge branch 'hotfix/v01.02.01'

tidl-viewer: Remove executor.h inclusion in utils.cpp

One of the files in the tidl-viewer build, utils.cpp, was updated to include
executor.h.  This header in turn includes a file from OpenCL, custom.h.

The yocto build of tidl-viewer is a native recipe and hence cannot
include opencl recipes as a dependency to obtain custom.h.

This commit updates utils.cpp to remove the include of executor.h and
custom.h.
(MCT-1100)

Merge tag 'v01.02.00' into develop

Merge branch 'release/v01.02.00'

Add jdetnet_voc network and make it the default

- jdetnet_voc is trained with more object categories than original
  jdetnet.  Make jdetnet_voc the default in the ssd example.  User can
  still use command line options to run the original jdetnet network.
- MCT-1091

Update imagenet example with new softmax output

- MCT-1089

Added Python variant of mnist example

Also fix one_eo_per_frame.py to avoid creating an EVE executor if there are
no EVEs available.
(MCT-1088)

Add link in changelog for mnist example

- MCT-1083

Add MNIST LeNet network model and test input

- Constrained to EVE only for now.
- Add documentation for mnist example.
- MCT-1083

Add mnist example with low compute

- Show that TIDL API with multiple contexts and pipelined computation
  offers low overhead for small networks as well.
- MCT-1083

Update reference output for unit tests

A defect fix in the softmax layer necessitated updates to the reference
output of networks using the softmax layer.

(MCT-1087)

Documentation - update 'Using the API' chapter

(MCT-1086)

Initialize EO::current_frame_idx_m in constructor

Initialize ExecutionObject::current_frame_idx_m array to 0 in the
ExecutionObject constructor to prevent out of range entries when
recording trace data.

In a pipelined processing loop, the application executes
ExecutionObject::ProcessFrameWait() on the first frame before it calls
ExecutionObject::ProcessFrameStartAsync. The side effect is that the
current_frame_idx_m is not initialized. This can result in negative
frame indices when writing trace data using ReportTrace or UpdateTrace
leading to memory errors.

Setting ExecutionObject::current_frame_idx_m to 0 in the constructor
avoids this scenario.

(MCT-1085)

Updated version on develop to 1.3.0

Updated parameter description in doxygen comments

(MCT-1084)

Build Python bindings library by default

(MCT-1069)

Updated manifest for v1.2.0

(MCT-1060)

Add option to specify object classes list file

- so that user can specify a different object classes list file
  without re-compiling the application.
- MCT-1081

mcbench: image preprocessing, handle layergroups=1

- Add image preprocessing for types 1 and 2.
- if layer groups is 1, force all layers to be in the same group

(MCT-1075)

classification: Support different network models

jacinto11, mobilenet and inceptionet models can be used with this example.

infer: Add configuration files for inceptionnet and mobilenet that can run as two layer groups

Signed-off-by: Djordje Senicic <x0157990@ti.com>

tidl_models: Add mobilenet and inceptionnet models, trained on ImageNet

Signed-off-by: Djordje Senicic <x0157990@ti.com>

mcbench: Multicore benchmark with minimal overhead

- Add required models, input test vectors and platform specific scripts
- Add inference configuration files for multicore benchmarking
- Rename input files to indicate multiple frames and add more inference
  configurations, covered in regression scripts

(MCT-1075)

examples: Add layers group command line parameter

Signed-off-by: Djordje Senicic <x0157990@ti.com>

Updated Python bindings to reflect API changes

(MCT-1080)

Add contextSize: hide OCL_TIDL_CACHE_ALIGN on host

- MCT-1059

Added graph viewer for TIDL API timestamp data

1. Created a python matplotlib based utility for viewing timestamp data
   generated from the TIDL API (viewer/execution_graph.py)
2. Minor updates to API internals to add ExecutionObject type, index to
   timestamp output

(MCT-1073)

Simplify API for multiple contexts

1.  Simplify context API in ExecutionObject. Replace context_id variants to
multiple existing APIs with these two APIs:

        bool AcquireAndRunContext(uint32_t& context_idx,
                                  int frame_idx,
                                  const IODeviceArgInfo& in,
                                  const IODeviceArgInfo& out);

        bool WaitAndReleaseContext(uint32_t  context_idx);

2. The timing methods for host execution in EOPs and EOs:

* GetProcessTimeInMilliSeconds()
* GetHostProcessTimeInMilliSeconds()

are no longer accurate with multiple contexts and pipelining.

Replace these methods and replace with a generic timestamp
based approach. There is a single API call to enable time stamps in an
application:

//! Enable time stamp generation for TIDL API events
bool EnableTimeStamps(const std::string& file = "timestamp.log", size_t
num_frames=32);
If this method is called before TIDL API frame processing, the API will
generate timestamps for events corresponding to each frame (e.g.
EOP::ProcessFrameStartAsync, EOP::ProcessFrameWait, etc.). These
timestamps are then written to file when the user's application
completes.

A separate script is used for post-processing the time stamps and
generating data for the user.

(MCT-1073, MCT-1074)

Enqueue multiple frames at device side

- Previous implementation won't send/enqueue next frame to device
  until the host has received completion message for current frame.
  The improvement is to create multiple sets/contexts of internal
  TIDL input/output buffers at device side, and to send/enqueue next
  frame using a different set/context of internal TIDL input/output
  buffers to device while device is still processing the current frame.
  When device finishes current frame, it can immediately read
  its messageQ and start processing the next frame, without waiting
  for the completion message reaching the host and the hosting sending
  the next frame.
- In pipelined processing of multiple frames, this optimization can
  effectively hide the round-trip communication between host and device.
- Removed deprecated enableInternalInput feature
- MCT-1059

Quantization history configuration parameters

Added the following parameters to Configuration:
* quantHistoryParam1
* quantHistoryParam2
* quantMargin

These parameters can be specified in the configuration file or set
directly in the code.

(MCT-1062)