tidl_api/src/executor_impl.h

   1 /******************************************************************************
   2  * Copyright (c) 2017-2018 Texas Instruments Incorporated - http://www.ti.com/
   3  *  All rights reserved.
   4  *
   5  *  Redistribution and use in source and binary forms, with or without
   6  *  modification, are permitted provided that the following conditions are met:
   7  *      * Redistributions of source code must retain the above copyright
   8  *        notice, this list of conditions and the following disclaimer.
   9  *      * Redistributions in binary form must reproduce the above copyright
  10  *        notice, this list of conditions and the following disclaimer in the
  11  *        documentation and/or other materials provided with the distribution.
  12  *      * Neither the name of Texas Instruments Incorporated nor the
  13  *        names of its contributors may be used to endorse or promote products
  14  *        derived from this software without specific prior written permission.
  15  *
  16  *  THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS"
  17  *  AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  18  *  IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  19  *  ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR CONTRIBUTORS BE
  20  *  LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
  21  *  CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
  22  *  SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
  23  *  INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
  24  *  CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
  25  *  ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF
  26  *  THE POSSIBILITY OF SUCH DAMAGE.
  27  *****************************************************************************/
  28
  29 #pragma once
  30
  31 #include <assert.h>
  32 #include <type_traits>
  33 #include <cstddef>
  34 #include <vector>
  35 #include <memory>
  36 #include <fstream>
  37
  38 #include "configuration.h"
  39 #include "ocl_device.h"
  40
  41 #include "common_defines.h"
  42 #include "tidl_create_params.h" // for TIDL types
  43 #include "execution_object.h"
  44
  45 namespace tidl {
  46
  47
  48 // One instance across all devices available in the context
  49 // Also need this to work in host emulation mode
  50 class ExecutorImpl
  51 {
  52     public:
  53         ExecutorImpl(DeviceType core_type, const DeviceIds& ids,
  54                      int layersGroupId);
  55         ~ExecutorImpl() { Cleanup(); }
  56
  57         bool Initialize(const Configuration& configuration);
  58
  59         ExecutionObjects& GetExecutionObjects()
  60         { return execution_objects_m; }
  61
  62         ExecutorImpl(const ExecutorImpl&)            = delete;
  63         ExecutorImpl& operator=(const ExecutorImpl&) = delete;
  64
  65         ExecutionObjects execution_objects_m;
  66
  67     private:
  68         void InitializeNetworkCreateParam(TIDL_CreateParams *cp,
  69                                           const Configuration& configuration);
  70         bool InitializeNetworkParams(TIDL_CreateParams *cp);
  71         void Cleanup();
  72
  73         Device::Ptr          device_m; // vector of devices?
  74         Configuration        configuration_m;
  75         up_malloc_ddr<char>  shared_networkparam_heap_m;
  76         DeviceIds            device_ids_m;
  77         DeviceType           core_type_m;
  78         int                  layers_group_id_m;
  79 };
  80
  81 } // namespace tidl