blasblisacc/src/ti_cblas_cblas_ctrmm.c

   1 /******************************************************************************
   2  * Copyright (c) 2013-2015, Texas Instruments Incorporated - http://www.ti.com/
   3  *   All rights reserved.
   4  *
   5  *   Redistribution and use in source and binary forms, with or without
   6  *   modification, are permitted provided that the following conditions are met:
   7  *       * Redistributions of source code must retain the above copyright
   8  *         notice, this list of conditions and the following disclaimer.
   9  *       * Redistributions in binary form must reproduce the above copyright
  10  *         notice, this list of conditions and the following disclaimer in the
  11  *         documentation and/or other materials provided with the distribution.
  12  *       * Neither the name of Texas Instruments Incorporated nor the
  13  *         names of its contributors may be used to endorse or promote products
  14  *         derived from this software without specific prior written permission.
  15  *
  16  *   THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS"
  17  *   AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  18  *   IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  19  *   ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR CONTRIBUTORS BE
  20  *   LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
  21  *   CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
  22  *   SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
  23  *   INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
  24  *   CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
  25  *   ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF
  26  *   THE POSSIBILITY OF SUCH DAMAGE.
  27  *****************************************************************************/
  28
  29 #include "ti_cblas_acc.h"
  30 #include "../../ticblas/ticblas.h"
  31
  32 #ifdef __cplusplus
  33 extern "C" {
  34 #endif
  35     void __real_cblas_ctrmm(const enum CBLAS_ORDER Order, const enum CBLAS_SIDE Side, const enum CBLAS_UPLO Uplo, const enum CBLAS_TRANSPOSE TransA, const enum CBLAS_DIAG Diag, const int M, const int N, const void *alpha, const void *A, const int lda, void *B, const int ldb) ;
  36
  37 #ifdef __cplusplus
  38 }
  39 extern "C"
  40 #endif
  41 void cblas_ctrmm(const enum CBLAS_ORDER Order, const enum CBLAS_SIDE Side, const enum CBLAS_UPLO Uplo, const enum CBLAS_TRANSPOSE TransA, const enum CBLAS_DIAG Diag, const int M, const int N, const void *alpha, const void *A, const int lda, void *B, const int ldb)
  42 {
  43
  44         /* Do an init on first use */
  45         if (!ti_cblas_init_done) ti_cblas_init();
  46         TI_CBLAS_DEBUG_PRINT("Intercepted call to %s\n", "cblas_ctrmm");
  47
  48     TI_CBLAS_PROFILE_START();
  49         /* Dynamic condtional offload to ARM */
  50     if ((TI_CBLAS_L3_OFFLOAD == TI_CBLAS_OFFLOAD_NONE) || ((TI_CBLAS_L3_OFFLOAD == TI_CBLAS_OFFLOAD_SIZE) && (!ctrmm_offload_dsp(Order,Side,M,N)))) {
  51         TI_CBLAS_DEBUG_PRINT("Executing ARM %s\n", "cblas_ctrmm");
  52         __real_cblas_ctrmm(Order,Side,Uplo,TransA,Diag,M,N,alpha,A,lda,B,ldb);
  53     TI_CBLAS_PROFILE_REPORT("  Entire %s call (ARM) took %8.2f us\n","cblas_ctrmm", (float) clock_diff);
  54         return ;
  55     }
  56     /* End ARM offload */
  57
  58         /******************************************************************/
  59         /* DSP offload WILL be done if control reaches here */
  60         TI_CBLAS_DEBUG_PRINT("Offloading to DSP %s\n", "cblas_ctrmm");
  61
  62         /* Lookup kernel pointer from global table */
  63 #ifdef __cplusplus
  64         Event e;
  65         Kernel* __K;
  66 #else
  67         cl_kernel __K;
  68 #endif
  69         __K =  ti_cblas_get_kernel(TI_CBLAS_CBLAS_CTRMM_IDX, "ocl_cblas_ctrmm");
  70 #ifdef __cplusplus
  71         try
  72 #else
  73         cl_int err = CL_SUCCESS;
  74 #endif
  75         {
  76
  77 #ifdef __cplusplus
  78                 __K->setArg(0, Order);
  79 #else
  80                 err |= clSetKernelArg(__K, 0, sizeof(Order), &Order);
  81 #endif
  82
  83 #ifdef __cplusplus
  84                 __K->setArg(1, Side);
  85 #else
  86                 err |= clSetKernelArg(__K, 1, sizeof(Side), &Side);
  87 #endif
  88
  89 #ifdef __cplusplus
  90                 __K->setArg(2, Uplo);
  91 #else
  92                 err |= clSetKernelArg(__K, 2, sizeof(Uplo), &Uplo);
  93 #endif
  94
  95 #ifdef __cplusplus
  96                 __K->setArg(3, TransA);
  97 #else
  98                 err |= clSetKernelArg(__K, 3, sizeof(TransA), &TransA);
  99 #endif
 100
 101 #ifdef __cplusplus
 102                 __K->setArg(4, Diag);
 103 #else
 104                 err |= clSetKernelArg(__K, 4, sizeof(Diag), &Diag);
 105 #endif
 106
 107 #ifdef __cplusplus
 108                 __K->setArg(5, M);
 109 #else
 110                 err |= clSetKernelArg(__K, 5, sizeof(M), &M);
 111 #endif
 112
 113 #ifdef __cplusplus
 114                 __K->setArg(6, N);
 115 #else
 116                 err |= clSetKernelArg(__K, 6, sizeof(N), &N);
 117 #endif
 118                 /* For const arguments we use CL_MEM_USE_READ_ONLY */
 119
 120 #ifdef __cplusplus
 121                 Buffer buf_alpha(*ti_cblas_ocl_context, CL_MEM_READ_ONLY|CL_MEM_USE_HOST_PTR, 2*sizeof(float), (void *)alpha);
 122                 __K->setArg(7, buf_alpha);
 123 #else
 124                 cl_mem buf_alpha = clCreateBuffer(ti_cblas_ocl_context, CL_MEM_READ_ONLY|CL_MEM_USE_HOST_PTR, 2*sizeof(float), (void *)alpha, &err);
 125                 TI_CBLAS_OCL_CHKERROR("clCreateBuffer",err);
 126                 err |= clSetKernelArg(__K, 7, sizeof(buf_alpha), &buf_alpha);
 127                 TI_CBLAS_OCL_CHKERROR("clSetKernelArg",err);
 128 #endif
 129                 /* For const arguments we use CL_MEM_USE_READ_ONLY */
 130
 131                 int size_bufA;
 132                 size_bufA = 2*BLAS_SIDE(Side,M,N)*lda*sizeof(float);
 133                 size_bufA = MAX(size_bufA,1);
 134
 135 #ifdef __cplusplus
 136                 Buffer buf_A(*ti_cblas_ocl_context, CL_MEM_READ_ONLY|CL_MEM_USE_HOST_PTR, size_bufA, (void *)A);
 137                 __K->setArg(8, buf_A);
 138 #else
 139                 cl_mem buf_A = clCreateBuffer(ti_cblas_ocl_context, CL_MEM_READ_ONLY|CL_MEM_USE_HOST_PTR, size_bufA, (void *)A, &err);
 140                 TI_CBLAS_OCL_CHKERROR("clCreateBuffer",err);
 141                 err |= clSetKernelArg(__K, 8, sizeof(buf_A), &buf_A);
 142                 TI_CBLAS_OCL_CHKERROR("clSetKernelArg",err);
 143 #endif
 144
 145 #ifdef __cplusplus
 146                 __K->setArg(9, lda);
 147 #else
 148                 err |= clSetKernelArg(__K, 9, sizeof(lda), &lda);
 149 #endif
 150
 151                 int size_bufB;
 152                 size_bufB = 2*BLAS_ORD(Order,M,N)*ldb*sizeof(float);
 153                 size_bufB = MAX(size_bufB,1);
 154
 155 #ifdef __cplusplus
 156                 Buffer buf_B(*ti_cblas_ocl_context, CL_MEM_READ_WRITE|CL_MEM_USE_HOST_PTR, size_bufB, (void *)B);
 157                 __K->setArg(10, buf_B);
 158 #else
 159                 cl_mem buf_B = clCreateBuffer(ti_cblas_ocl_context, CL_MEM_READ_WRITE|CL_MEM_USE_HOST_PTR, size_bufB, (void *)B, &err);
 160                 TI_CBLAS_OCL_CHKERROR("clCreateBuffer",err);
 161                 err |= clSetKernelArg(__K, 10, sizeof(buf_B), &buf_B);
 162                 TI_CBLAS_OCL_CHKERROR("clSetKernelArg",err);
 163 #endif
 164
 165 #ifdef __cplusplus
 166                 __K->setArg(11, ldb);
 167 #else
 168                 err |= clSetKernelArg(__K, 11, sizeof(ldb), &ldb);
 169 #endif
 170
 171                 void *msmc_ptr;
 172                 size_t msmc_size = MSMC_BUF_SIZE;
 173                 msmc_ptr = ti_cblas_mem_alloc(MSMC_BUF_SIZE);
 174 #ifdef __cplusplus
 175                 Buffer buf_MSMC(*ti_cblas_ocl_context, CL_MEM_READ_WRITE|CL_MEM_USE_HOST_PTR, MSMC_BUF_SIZE, (void *)msmc_ptr);
 176                 //Buffer buf_MSMC(ti_cblas_ocl_context, CL_MEM_READ_WRITE|CL_MEM_USE_MSMC_TI, MSMC_BUF_SIZE);
 177                 __K->setArg(12, buf_MSMC);
 178
 179 #else
 180                 //cl_mem buf_MSMC = clCreateBuffer(ti_cblas_ocl_context, CL_MEM_READ_WRITE|CL_MEM_USE_MSMC_TI, MSMC_BUF_SIZE, NULL, &err);
 181                 cl_mem buf_MSMC = clCreateBuffer(ti_cblas_ocl_context, CL_MEM_READ_WRITE|CL_MEM_USE_HOST_PTR, MSMC_BUF_SIZE, (void *)msmc_ptr, &err);
 182                 TI_CBLAS_OCL_CHKERROR("clCreateBuffer",err);
 183                 err |= clSetKernelArg(__K, 12, sizeof(buf_MSMC), &buf_MSMC);
 184                 TI_CBLAS_OCL_CHKERROR("clSetKernelArg",err);
 185 #endif
 186
 187 #ifdef __cplusplus
 188                 __K->setArg(13, msmc_size);
 189 #else
 190                 err |= clSetKernelArg(__K, 13, sizeof(msmc_size), &msmc_size);
 191 #endif
 192
 193         /* create a buffer argument to get the return error code from the DSP */
 194                 int err_code;
 195 #ifdef __cplusplus
 196                 Buffer buf_err(*ti_cblas_ocl_context, CL_MEM_READ_WRITE|CL_MEM_USE_HOST_PTR, sizeof(int), &err_code);
 197                 __K->setArg(14, buf_err);
 198 #else
 199                 cl_mem buf_err = clCreateBuffer(*ti_cblas_ocl_context, CL_MEM_READ_WRITE|CL_MEM_USE_HOST_PTR, sizeof(int), &err_code, &err);
 200                 TI_CBLAS_OCL_CHKERROR("clCreateBuffer",err);
 201                 err |= clSetKernelArg(__K, 14, sizeof(buf_err), &buf_err);
 202                 TI_CBLAS_OCL_CHKERROR("clSetKernelArg",err);
 203 #endif
 204
 205 #ifdef __cplusplus
 206                 ti_cblas_ocl_Q->enqueueTask(*__K, 0, &e);
 207                 e.wait();
 208 #else
 209                 cl_event e;
 210                 err |= clEnqueueTask(ti_cblas_ocl_Q, __K, 0, 0, &e);
 211                 TI_CBLAS_OCL_CHKERROR("clEnqueueTask",err);
 212                 err |= clWaitForEvents(1, &e);
 213                 TI_CBLAS_OCL_CHKERROR("clWaitForEvents",err);
 214                 err |= clReleaseEvent(e);
 215                 TI_CBLAS_OCL_CHKERROR("clReleaseEvent",err);
 216 #endif
 217
 218         if(err_code != TICBLAS_SUCCESS) {
 219           printf("Error code returned by offloaded cblas_ctrmm is %d\n.", err_code);
 220         }
 221
 222                 ti_cblas_mem_free(msmc_ptr);
 223
 224                 ti_cblas_delete_kernel(__K);
 225
 226                 TI_CBLAS_DEBUG_PRINT("Finished executing %s\n", "cblas_ctrmm");
 227                 TI_CBLAS_PROFILE_REPORT("  Entire %s call (DSP) took %8.2f us\n","cblas_ctrmm", (float) clock_diff);
 228                 return ;
 229         }
 230
 231 #ifdef __cplusplus
 232         catch (Error err)
 233         {
 234                 ti_cblas_error(err.what(),err.err());
 235                 return ;
 236         }
 237 #endif
 238 }
 239