src/ti/linalg/blasblisacc/src/ti_cblas_cblas_zgemv.c

   1 /******************************************************************************
   2  * Copyright (c) 2013-2015, Texas Instruments Incorporated - http://www.ti.com/
   3  *   All rights reserved.
   4  *
   5  *   Redistribution and use in source and binary forms, with or without
   6  *   modification, are permitted provided that the following conditions are met:
   7  *       * Redistributions of source code must retain the above copyright
   8  *         notice, this list of conditions and the following disclaimer.
   9  *       * Redistributions in binary form must reproduce the above copyright
  10  *         notice, this list of conditions and the following disclaimer in the
  11  *         documentation and/or other materials provided with the distribution.
  12  *       * Neither the name of Texas Instruments Incorporated nor the
  13  *         names of its contributors may be used to endorse or promote products
  14  *         derived from this software without specific prior written permission.
  15  *
  16  *   THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS"
  17  *   AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  18  *   IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  19  *   ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR CONTRIBUTORS BE
  20  *   LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
  21  *   CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
  22  *   SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
  23  *   INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
  24  *   CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
  25  *   ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF
  26  *   THE POSSIBILITY OF SUCH DAMAGE.
  27  *****************************************************************************/
  28
  29 #include "ti_cblas_acc.h"
  30 #include "../../ticblas/ticblas.h"
  31
  32 #ifdef __cplusplus
  33 extern "C" {
  34 #endif
  35     void __real_cblas_zgemv(const enum CBLAS_ORDER order, const enum CBLAS_TRANSPOSE TransA, const int M, const int N, const void *alpha, const void *A, const int lda, const void *X, const int incX, const void *beta, void *Y, const int incY) ;
  36
  37 #ifdef __cplusplus
  38 }
  39 extern "C"
  40 #endif
  41 void cblas_zgemv(const enum CBLAS_ORDER order, const enum CBLAS_TRANSPOSE TransA, const int M, const int N, const void *alpha, const void *A, const int lda, const void *X, const int incX, const void *beta, void *Y, const int incY)
  42 {
  43
  44         /* Do an init on first use */
  45         if (!ti_cblas_init_done) ti_cblas_init();
  46         TI_CBLAS_DEBUG_PRINT("Intercepted call to %s\n", "cblas_zgemv");
  47
  48     TI_CBLAS_PROFILE_START();
  49         /* Dynamic condtional offload to ARM */
  50     if ((TI_CBLAS_L2_OFFLOAD == TI_CBLAS_OFFLOAD_NONE)) {
  51         TI_CBLAS_DEBUG_PRINT("Executing ARM %s\n", "cblas_zgemv");
  52         __real_cblas_zgemv(order,TransA,M,N,alpha,A,lda,X,incX,beta,Y,incY);
  53     TI_CBLAS_PROFILE_REPORT("  Entire %s call (ARM) took %8.2f us\n","cblas_zgemv", (float) clock_diff);
  54         return ;
  55     }
  56     /* End ARM offload */
  57
  58         /******************************************************************/
  59         /* DSP offload WILL be done if control reaches here */
  60         TI_CBLAS_DEBUG_PRINT("Offloading to DSP %s\n", "cblas_zgemv");
  61
  62         /* Lookup kernel pointer from global table */
  63 #ifdef __cplusplus
  64         Event e;
  65         Kernel* __K;
  66 #else
  67         cl_kernel __K;
  68 #endif
  69     __K =  ti_cblas_get_kernel(TI_CBLAS_CBLAS_ZGEMV_IDX, "ocl_cblas_zgemv");
  70
  71 #ifdef __cplusplus
  72         try
  73 #else
  74         cl_int err = CL_SUCCESS;
  75 #endif
  76         {
  77
  78 #ifdef __cplusplus
  79                 __K->setArg(0, order);
  80 #else
  81                 err |= clSetKernelArg(__K, 0, sizeof(order), &order);
  82 #endif
  83
  84 #ifdef __cplusplus
  85                 __K->setArg(1, TransA);
  86 #else
  87                 err |= clSetKernelArg(__K, 1, sizeof(TransA), &TransA);
  88 #endif
  89
  90 #ifdef __cplusplus
  91                 __K->setArg(2, M);
  92 #else
  93                 err |= clSetKernelArg(__K, 2, sizeof(M), &M);
  94 #endif
  95
  96 #ifdef __cplusplus
  97                 __K->setArg(3, N);
  98 #else
  99                 err |= clSetKernelArg(__K, 3, sizeof(N), &N);
 100 #endif
 101                 /* For const arguments we use CL_MEM_USE_READ_ONLY */
 102
 103 #ifdef __cplusplus
 104                 Buffer buf_alpha(*ti_cblas_ocl_context, CL_MEM_READ_ONLY|CL_MEM_USE_HOST_PTR, 2*sizeof(double), (void *)alpha);
 105                 __K->setArg(4, buf_alpha);
 106 #else
 107                 cl_mem buf_alpha = clCreateBuffer(ti_cblas_ocl_context, CL_MEM_READ_ONLY|CL_MEM_USE_HOST_PTR, 2*sizeof(double), (void *)alpha, &err);
 108                 TI_CBLAS_OCL_CHKERROR("clCreateBuffer",err);
 109                 err |= clSetKernelArg(__K, 4, sizeof(buf_alpha), &buf_alpha);
 110                 TI_CBLAS_OCL_CHKERROR("clSetKernelArg",err);
 111 #endif
 112                 /* For const arguments we use CL_MEM_USE_READ_ONLY */
 113
 114                 int size_bufA;
 115                 size_bufA = 2*BLAS_ORD(order,M,N)*lda*sizeof(double);
 116                 size_bufA = MAX(size_bufA,1);
 117
 118 #ifdef __cplusplus
 119                 Buffer buf_A(*ti_cblas_ocl_context, CL_MEM_READ_ONLY|CL_MEM_USE_HOST_PTR, size_bufA, (void *)A);
 120                 __K->setArg(5, buf_A);
 121 #else
 122                 cl_mem buf_A = clCreateBuffer(ti_cblas_ocl_context, CL_MEM_READ_ONLY|CL_MEM_USE_HOST_PTR, size_bufA, (void *)A, &err);
 123                 TI_CBLAS_OCL_CHKERROR("clCreateBuffer",err);
 124                 err |= clSetKernelArg(__K, 5, sizeof(buf_A), &buf_A);
 125                 TI_CBLAS_OCL_CHKERROR("clSetKernelArg",err);
 126 #endif
 127
 128 #ifdef __cplusplus
 129                 __K->setArg(6, lda);
 130 #else
 131                 err |= clSetKernelArg(__K, 6, sizeof(lda), &lda);
 132 #endif
 133                 /* For const arguments we use CL_MEM_USE_READ_ONLY */
 134
 135                 int size_bufX;
 136                 size_bufX = 2*(1+(BLAS_TRN(TransA,N,M)-1)*abs(incX))*sizeof(double);
 137                 size_bufX = MAX(size_bufX,1);
 138
 139 #ifdef __cplusplus
 140                 Buffer buf_X(*ti_cblas_ocl_context, CL_MEM_READ_ONLY|CL_MEM_USE_HOST_PTR, size_bufX, (void *)X);
 141                 __K->setArg(7, buf_X);
 142 #else
 143                 cl_mem buf_X = clCreateBuffer(ti_cblas_ocl_context, CL_MEM_READ_ONLY|CL_MEM_USE_HOST_PTR, size_bufX, (void *)X, &err);
 144                 TI_CBLAS_OCL_CHKERROR("clCreateBuffer",err);
 145                 err |= clSetKernelArg(__K, 7, sizeof(buf_X), &buf_X);
 146                 TI_CBLAS_OCL_CHKERROR("clSetKernelArg",err);
 147 #endif
 148
 149 #ifdef __cplusplus
 150                 __K->setArg(8, incX);
 151 #else
 152                 err |= clSetKernelArg(__K, 8, sizeof(incX), &incX);
 153 #endif
 154                 /* For const arguments we use CL_MEM_USE_READ_ONLY */
 155
 156 #ifdef __cplusplus
 157                 Buffer buf_beta(*ti_cblas_ocl_context, CL_MEM_READ_ONLY|CL_MEM_USE_HOST_PTR, 2*sizeof(double), (void *)beta);
 158                 __K->setArg(9, buf_beta);
 159 #else
 160                 cl_mem buf_beta = clCreateBuffer(ti_cblas_ocl_context, CL_MEM_READ_ONLY|CL_MEM_USE_HOST_PTR, 2*sizeof(double), (void *)beta, &err);
 161                 TI_CBLAS_OCL_CHKERROR("clCreateBuffer",err);
 162                 err |= clSetKernelArg(__K, 9, sizeof(buf_beta), &buf_beta);
 163                 TI_CBLAS_OCL_CHKERROR("clSetKernelArg",err);
 164 #endif
 165
 166                 int size_bufY;
 167                 size_bufY = 2*(1+(BLAS_TRN(TransA,M,N)-1)*abs(incY))*sizeof(double);
 168                 size_bufY = MAX(size_bufY,1);
 169
 170 #ifdef __cplusplus
 171                 Buffer buf_Y(*ti_cblas_ocl_context, CL_MEM_READ_WRITE|CL_MEM_USE_HOST_PTR, size_bufY, (void *)Y);
 172                 __K->setArg(10, buf_Y);
 173 #else
 174                 cl_mem buf_Y = clCreateBuffer(ti_cblas_ocl_context, CL_MEM_READ_WRITE|CL_MEM_USE_HOST_PTR, size_bufY, (void *)Y, &err);
 175                 TI_CBLAS_OCL_CHKERROR("clCreateBuffer",err);
 176                 err |= clSetKernelArg(__K, 10, sizeof(buf_Y), &buf_Y);
 177                 TI_CBLAS_OCL_CHKERROR("clSetKernelArg",err);
 178 #endif
 179
 180 #ifdef __cplusplus
 181                 __K->setArg(11, incY);
 182 #else
 183                 err |= clSetKernelArg(__K, 11, sizeof(incY), &incY);
 184 #endif
 185
 186 #ifdef __cplusplus
 187                 ti_cblas_ocl_Q->enqueueTask(*__K, 0, &e);
 188                 e.wait();
 189 #else
 190                 cl_event e;
 191                 err |= clEnqueueTask(ti_cblas_ocl_Q, __K, 0, 0, &e);
 192                 TI_CBLAS_OCL_CHKERROR("clEnqueueTask",err);
 193                 err |= clWaitForEvents(1, &e);
 194                 TI_CBLAS_OCL_CHKERROR("clWaitForEvents",err);
 195                 err |= clReleaseEvent(e);
 196                 TI_CBLAS_OCL_CHKERROR("clReleaseEvent",err);
 197 #endif
 198
 199                 ti_cblas_delete_kernel(__K);
 200
 201                 TI_CBLAS_DEBUG_PRINT("Finished executing %s\n", "cblas_zgemv");
 202                 TI_CBLAS_PROFILE_REPORT("  Entire %s call (DSP) took %8.2f us\n","cblas_zgemv", (float) clock_diff);
 203                 return ;
 204         }
 205
 206 #ifdef __cplusplus
 207         catch (Error err)
 208         {
 209         /* delete __K if it has not been deleted */
 210         if(__K!=NULL) {
 211             ti_cblas_delete_kernel(__K);
 212         }
 213
 214                 ti_cblas_error(err.what(),err.err());
 215                 return ;
 216         }
 217 #endif
 218 }
 219