2a6abe32a3ec2f588b32d8f265248f7ab1f747aa
[ipc/ipcdev.git] / linux / src / transport / TransportRpmsg.c
1 /*
2  * Copyright (c) 2014-2015 Texas Instruments Incorporated - http://www.ti.com
3  * All rights reserved.
4  *
5  * Redistribution and use in source and binary forms, with or without
6  * modification, are permitted provided that the following conditions
7  * are met:
8  *
9  * *  Redistributions of source code must retain the above copyright
10  *    notice, this list of conditions and the following disclaimer.
11  *
12  * *  Redistributions in binary form must reproduce the above copyright
13  *    notice, this list of conditions and the following disclaimer in the
14  *    documentation and/or other materials provided with the distribution.
15  *
16  * *  Neither the name of Texas Instruments Incorporated nor the names of
17  *    its contributors may be used to endorse or promote products derived
18  *    from this software without specific prior written permission.
19  *
20  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS"
21  * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
22  * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
23  * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR
24  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
25  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
26  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS;
27  * OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY,
28  * WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR
29  * OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE,
30  * EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
31  */
32 /*
33  *  ======== TransportRpmsg.c ========
34  *  Implementation of functions specified in the IMessageQTransport interface.
35  */
37 /* Socket Headers */
38 #include <sys/socket.h>
39 #include <sys/select.h>
40 #include <sys/eventfd.h>
41 #include <stdio.h>
42 #include <stdlib.h>
43 #include <unistd.h>
44 #include <errno.h>
45 #include <string.h>
46 #include <fcntl.h>
47 #include <pthread.h>
50 /* Socket Protocol Family */
51 #include <net/rpmsg.h>
54 /* IPC headers */
55 #include <ti/ipc/Std.h>
56 #include <SocketFxns.h>         /* Socket utils: */
57 #include <ti/ipc/Ipc.h>
58 #include <ti/ipc/MessageQ.h>
59 #include <ti/ipc/MultiProc.h>
60 #include <ti/ipc/transports/TransportRpmsg.h>
61 #include <_MessageQ.h>
62 #include <_lad.h>
64 #if !defined(EFD_SEMAPHORE)
65 #  define EFD_SEMAPHORE (1 << 0)
66 #endif
68 /* More magic rpmsg port numbers: */
69 #define MESSAGEQ_RPMSG_PORT       61
70 #define MESSAGEQ_RPMSG_MAXSIZE   512
72 #define TransportRpmsg_GROWSIZE 32
73 #define INVALIDSOCKET (-1)
75 #define TransportRpmsg_Event_ACK        (1 << 0)
76 #define TransportRpmsg_Event_PAUSE      (1 << 1)
77 #define TransportRpmsg_Event_CONTINUE   (1 << 2)
78 #define TransportRpmsg_Event_SHUTDOWN   (1 << 3)
81 #define _MAX(a,b) (((a)>(b))?(a):(b))
83 /* traces in this file are controlled via _TransportMessageQ_verbose */
84 Bool _TransportMessageQ_verbose = FALSE;
85 #define verbose _TransportMessageQ_verbose
87 Int TransportRpmsg_bind(Void *handle, UInt32 queueId);
88 Int TransportRpmsg_unbind(Void *handle, UInt32 queueId);
89 Bool TransportRpmsg_put(Void *handle, Ptr msg);
91 typedef struct TransportRpmsg_Module {
92     int             sock[MultiProc_MAXPROCESSORS];
93     fd_set          rfds;
94     int             maxFd;
95     struct {
96         int     fd;
97         UInt32  qId;
98     } inFds[1024];
99     int             nInFds;
100     pthread_mutex_t gate;
101     int             unblockEvent;    /* unblock the dispatch thread */
102     int             waitEvent;       /* block the client thread */
103     pthread_t       threadId;        /* ID returned by pthread_create() */
104     Bool            threadStarted;
106     TransportRpmsg_Handle *inst;    /* array of instances */
107 } TransportRpmsg_Module;
109 IMessageQTransport_Fxns TransportRpmsg_fxns = {
110     .bind    = TransportRpmsg_bind,
111     .unbind  = TransportRpmsg_unbind,
112     .put     = TransportRpmsg_put
113 };
115 typedef struct TransportRpmsg_Object {
116     IMessageQTransport_Object base;
117     Int status;
118     UInt16 rprocId;
119     int numQueues;
120     int *qIndexToFd;
121 } TransportRpmsg_Object;
123 TransportRpmsg_Module TransportRpmsg_state = {
124     .sock = {INVALIDSOCKET},
125     .unblockEvent = -1,
126     .waitEvent = -1,
127     .threadStarted = FALSE,
128     .inst = NULL
129 };
130 TransportRpmsg_Module *TransportRpmsg_module = &TransportRpmsg_state;
132 static void *rpmsgThreadFxn(void *arg);
133 static Int transportGet(int sock, MessageQ_Msg *retMsg);
134 static Void bindFdToQueueIndex(TransportRpmsg_Object *obj,
135                                Int fd,
136                                UInt16 qIndex);
137 static Void unbindQueueIndex(TransportRpmsg_Object *obj, UInt16 qIndex);
138 static Int queueIndexToFd(TransportRpmsg_Object *obj, UInt16 qIndex);
140 /* factory functions */
141 Int TransportRpmsg_Factory_create(Void);
142 Void TransportRpmsg_Factory_delete(Void);
143 Int TransportRpmsg_Factory_attach(UInt16 procId);
144 Int TransportRpmsg_Factory_detach(UInt16 procId);
146 Ipc_TransportFactoryFxns TransportRpmsg_Factory = {
147     .createFxn = TransportRpmsg_Factory_create,
148     .deleteFxn = TransportRpmsg_Factory_delete,
149     .attachFxn = TransportRpmsg_Factory_attach,
150     .detachFxn = TransportRpmsg_Factory_detach
151 };
153 /* -------------------------------------------------------------------------- */
155 /* instance convertors */
156 IMessageQTransport_Handle TransportRpmsg_upCast(TransportRpmsg_Handle handle)
158     TransportRpmsg_Object *obj = (TransportRpmsg_Object *)handle;
159     return ((IMessageQTransport_Handle)&obj->base);
162 TransportRpmsg_Handle TransportRpmsg_downCast(IMessageQTransport_Handle base)
164     return ((TransportRpmsg_Handle)base);
167 /*
168  *  ======== TransportRpmsg_create ========
169  */
170 TransportRpmsg_Handle TransportRpmsg_create(TransportRpmsg_Params *params)
172     Int status = MessageQ_S_SUCCESS;
173     TransportRpmsg_Object *obj = NULL;
174     int sock;
175     int flags;
176     UInt16 clusterId;
177     int i;
180     clusterId = params->rprocId - MultiProc_getBaseIdOfCluster();
182     /* create socket for sending messages to remote processor */
183     sock = socket(AF_RPMSG, SOCK_SEQPACKET, 0);
185     if (sock < 0) {
186         status = Ipc_E_FAIL;
187         fprintf(stderr,
188                 "TransportRpmsg_create: socket failed: %d (%s)\n", errno,
189                 strerror(errno));
190         goto done;
191     }
192     TransportRpmsg_module->sock[clusterId] = sock;
193     PRINTVERBOSE1("attach: created send socket: %d\n", sock)
195     status = ConnectSocket(sock, params->rprocId, MESSAGEQ_RPMSG_PORT);
197     if (status < 0) {
198         status = Ipc_E_FAIL;
199         fprintf(stderr,
200                 "TransportRpmsg_create: connect failed: %d (%s) procId: %d\n",
201                 errno, strerror(errno), params->rprocId);
202         close(sock);
203         TransportRpmsg_module->sock[clusterId] = INVALIDSOCKET;
204         goto done;
205     }
207     /* make sure socket fd doesn't exist for 'fork() -> exec*()'ed child */
208     flags = fcntl(sock, F_GETFD);
209     if (flags != -1) {
210         fcntl(sock, F_SETFD, flags | FD_CLOEXEC);
211     }
213     /* create the instance object */
214     obj = calloc(1, sizeof(TransportRpmsg_Object));
216     if (obj == NULL) {
217         status = Ipc_E_MEMORY;
218         close(sock);
219         TransportRpmsg_module->sock[clusterId] = INVALIDSOCKET;
220         goto done;
221     }
223     /* initialize the instance */
224     obj->base.base.interfaceType = IMessageQTransport_TypeId;
225     obj->base.fxns = &TransportRpmsg_fxns;
226     obj->rprocId = params->rprocId;
227     obj->numQueues = TransportRpmsg_GROWSIZE;
229     obj->qIndexToFd = calloc(TransportRpmsg_GROWSIZE, sizeof(int));
231     if (obj->qIndexToFd == NULL) {
232         status = Ipc_E_MEMORY;
233         goto done;
234     }
236     /* must initialize array */
237     for (i = 0; i < TransportRpmsg_GROWSIZE; i++) {
238         obj->qIndexToFd[i] = -1;
239     }
241 done:
242     if (status < 0) {
243         TransportRpmsg_delete((TransportRpmsg_Handle *)&obj);
244     }
246     return (TransportRpmsg_Handle)obj;
249 /*
250  *  ======== TransportRpmsg_delete ========
251  */
252 Void TransportRpmsg_delete(TransportRpmsg_Handle *pHandle)
254     TransportRpmsg_Object *obj = *(TransportRpmsg_Object **)pHandle;
255     UInt16 clusterId;
256     int sock;
258     if (obj == NULL) {
259         goto done;
260     }
262     clusterId = obj->rprocId - MultiProc_getBaseIdOfCluster();
264     /* close the socket for the given transport instance */
265     sock = TransportRpmsg_module->sock[clusterId];
266     if (sock != INVALIDSOCKET) {
267         PRINTVERBOSE1("detach: closing socket: %d\n", sock)
268         close(sock);
269     }
270     TransportRpmsg_module->sock[clusterId] = INVALIDSOCKET;
272     if ((obj != NULL) && (obj->qIndexToFd != NULL)) {
273         free(obj->qIndexToFd);
274         obj->qIndexToFd = NULL;
275     }
277     if (obj != NULL) {
278         free(obj);
279         obj = NULL;
280     }
282 done:
283     *pHandle = NULL;
286 /*
287  *  ======== TransportRpmsg_bind ========
288  */
289 Int TransportRpmsg_bind(Void *handle, UInt32 queueId)
291     TransportRpmsg_Object *obj = (TransportRpmsg_Object *)handle;
292     UInt16 queuePort = queueId & 0x0000ffff;
293     int fd;
294     int flags;
295     int err;
296     uint64_t event;
297     UInt16 rprocId;
298     pthread_t tid;
299     Int status = MessageQ_S_SUCCESS;
301     tid = pthread_self();
302     rprocId = obj->rprocId;
304     PRINTVERBOSE3("TransportRpmsg_bind: creating endpoint for rprocId %d "
305             "queuePort 0x%x, tid=0x%x\n", rprocId, queuePort, (unsigned int)tid)
307     pthread_mutex_lock(&TransportRpmsg_module->gate);
309     /*  Check if binding already exists.
310      *
311      *  There is a race condition between a thread calling MessageQ_create
312      *  and another thread calling Ipc_attach. Must make sure we don't bind
313      *  the same queue twice.
314      */
315     if (queueIndexToFd(obj, queueId) != -1) {
316         goto done;
317     }
319     /*  Create the socket to receive messages for this messageQ. */
320     fd = socket(AF_RPMSG, SOCK_SEQPACKET, 0);
321     if (fd < 0) {
322         fprintf(stderr, "TransportRpmsg_bind: socket call failed: %d (%s)\n",
323                 errno, strerror(errno));
324         status = MessageQ_E_OSFAILURE;
325         goto done;
326     }
327     PRINTVERBOSE2("TransportRpmsg_bind: created socket fd %d, tdi=0x%x\n", fd,
328             (unsigned int)tid);
330     err = SocketBindAddr(fd, rprocId, (UInt32)queuePort);
331     if (err < 0) {
332         /* don't hard-printf since this is no longer fatal */
333         PRINTVERBOSE2("TransportRpmsg_bind: bind failed: %d (%s)\n",
334                       errno, strerror(errno));
335         close(fd);
336         status = MessageQ_E_OSFAILURE;
337         goto done;
338     }
340     /* make sure socket fd doesn't exist for 'fork() -> exec*()'ed child */
341     flags = fcntl(fd, F_GETFD);
342     if (flags != -1) {
343         fcntl(fd, F_SETFD, flags | FD_CLOEXEC);
344     }
346     /*  pause the dispatch thread */
347     PRINTVERBOSE1("TransportRpmsg_bind: sending PAUSE event, tid=0x%x\n",
348             (unsigned int)tid);
349     event = TransportRpmsg_Event_PAUSE;
350     write(TransportRpmsg_module->unblockEvent, &event, sizeof(event));
352     /* wait for ACK event */
353     read(TransportRpmsg_module->waitEvent, &event, sizeof(event));
354     PRINTVERBOSE2("TransportRpmsg_bind: received ACK event (%d), tid=0x%x\n",
355             (int)event, (unsigned int)tid);
357     /* add to our fat fd array and update select() parameters */
358     TransportRpmsg_module->inFds[TransportRpmsg_module->nInFds].fd = fd;
359     TransportRpmsg_module->inFds[TransportRpmsg_module->nInFds++].qId = queueId;
360     TransportRpmsg_module->maxFd = _MAX(TransportRpmsg_module->maxFd, fd);
361     FD_SET(fd, &TransportRpmsg_module->rfds);
362     bindFdToQueueIndex(obj, fd, queuePort);
364     /* release the dispatch thread */
365     PRINTVERBOSE1("TransportRpmsg_bind: sending CONTINUE event, tid=0x%x\n",
366             (unsigned int)tid);
367     event = TransportRpmsg_Event_CONTINUE;
368     write(TransportRpmsg_module->unblockEvent, &event, sizeof(event));
370 done:
371     pthread_mutex_unlock(&TransportRpmsg_module->gate);
373     return (status);
376 /*
377  *  ======== TransportRpmsg_unbind ========
378  */
379 Int TransportRpmsg_unbind(Void *handle, UInt32 queueId)
381     TransportRpmsg_Object *obj = (TransportRpmsg_Object *)handle;
382     UInt16 queuePort = queueId & 0x0000ffff;
383     uint64_t event;
384     Int    status = MessageQ_S_SUCCESS;
385     int    maxFd;
386     int    fd;
387     int    i;
388     int    j;
390     pthread_mutex_lock(&TransportRpmsg_module->gate);
392     /*  pause the dispatch thread */
393     event = TransportRpmsg_Event_PAUSE;
394     write(TransportRpmsg_module->unblockEvent, &event, sizeof(event));
396     /* wait for ACK event */
397     read(TransportRpmsg_module->waitEvent, &event, sizeof(event));
399     /*  Check if binding already deleted.
400      *
401      *  There is a race condition between a thread calling MessageQ_delete
402      *  and another thread calling Ipc_detach. Must make sure we don't unbind
403      *  the same queue twice.
404      */
405     if ((fd = queueIndexToFd(obj, queuePort)) == -1) {
406         goto done;
407     }
408     PRINTVERBOSE1("TransportRpmsg_unbind: closing socket %d\n", fd)
410     /* guarenteed to work because queueIndexToFd above succeeded */
411     unbindQueueIndex(obj, queuePort);
413     /* remove from input fd array */
414     for (i = 0; i < TransportRpmsg_module->nInFds; i++) {
415         if (TransportRpmsg_module->inFds[i].fd == fd) {
416             TransportRpmsg_module->nInFds--;
418             /* shift subsequent elements down */
419             for (j = i; j < TransportRpmsg_module->nInFds; j++) {
420                 TransportRpmsg_module->inFds[j] =
421                         TransportRpmsg_module->inFds[j + 1];
422             }
423             TransportRpmsg_module->inFds[TransportRpmsg_module->nInFds].fd = -1;
424             TransportRpmsg_module->inFds[TransportRpmsg_module->nInFds].qId = 0;
425             break;
426         }
427     }
429     /* remove fd from the descriptor set, compute new max value */
430     FD_CLR(fd, &TransportRpmsg_module->rfds);
431     if (fd == TransportRpmsg_module->maxFd) {
432         /* find new max fd */
433         maxFd = TransportRpmsg_module->unblockEvent;
434         for (i = 0; i < TransportRpmsg_module->nInFds; i++) {
435             maxFd = _MAX(TransportRpmsg_module->inFds[i].fd, maxFd);
436         }
437         TransportRpmsg_module->maxFd = maxFd;
438     }
440     close(fd);
442     /* release the dispatch thread */
443     event = TransportRpmsg_Event_CONTINUE;
444     write(TransportRpmsg_module->unblockEvent, &event, sizeof(event));
446 done:
447     pthread_mutex_unlock(&TransportRpmsg_module->gate);
449     return (status);
452 /*
453  *  ======== TransportRpmsg_put ========
454  */
455 Bool TransportRpmsg_put(Void *handle, Ptr pmsg)
457     MessageQ_Msg msg  = (MessageQ_Msg)pmsg;
458     Int     status    = TRUE;
459     int     sock;
460     int     err;
461     UInt16  clusterId;
463     /*
464      * Retrieve the socket for the AF_SYSLINK protocol associated with this
465      * transport.
466      */
467     clusterId = msg->dstProc - MultiProc_getBaseIdOfCluster();
468     sock = TransportRpmsg_module->sock[clusterId];
469     if (sock == INVALIDSOCKET) {
470         return FALSE;
471     }
473     PRINTVERBOSE2("Sending msgId: %d via sock: %d\n", msg->msgId, sock)
475     err = send(sock, msg, msg->msgSize, 0);
476     if (err < 0) {
477         fprintf(stderr, "TransportRpmsg_put: send failed: %d (%s)\n",
478                 errno, strerror(errno));
479         status = FALSE;
481         goto exit;
482     }
484     /*
485      * Free the message, as this is a copy transport, we maintain MessageQ
486      * semantics.
487      */
488     MessageQ_free(msg);
490 exit:
491     return status;
494 /*
495  *  ======== TransportRpmsg_control ========
496  */
497 Bool TransportRpmsg_control(Void *handle, UInt cmd, UArg cmdArg)
499     return FALSE;
502 /*
503  *  ======== rpmsgThreadFxn ========
504  */
505 void *rpmsgThreadFxn(void *arg)
507     Int      status = MessageQ_S_SUCCESS;
508     Int      tmpStatus;
509     int      retval;
510     uint64_t event;
511     fd_set   rfds;
512     int      maxFd;
513     int      nfds;
514     MessageQ_Msg     retMsg;
515     MessageQ_QueueId queueId;
516     MessageQ_Handle handle;
517     Bool run = TRUE;
518     int i;
519     int j;
520     int fd;
523     while (run) {
524         maxFd = TransportRpmsg_module->maxFd;
525         rfds = TransportRpmsg_module->rfds;
526         nfds = TransportRpmsg_module->nInFds;
528         PRINTVERBOSE3("rpmsgThreadFxn: maxFd %d rfds[1:0] 0x%08x%08x\n", maxFd,
529                 (int)rfds.fds_bits[1], (int)rfds.fds_bits[0])
531         retval = select(maxFd + 1, &rfds, NULL, NULL, NULL);
533         /* if error, try again */
534         if (retval < 0) {
535             printf("Warning: rpmsgThreadFxn: select failed, trying again\n");
536             continue;
537         }
539         /* dispatch all pending messages, do this first */
540         for (i = 0; i < nfds; i++) {
541             fd = TransportRpmsg_module->inFds[i].fd;
543             if (FD_ISSET(fd, &rfds)) {
544                 PRINTVERBOSE1("rpmsgThreadFxn: getting from fd %d\n",
545                         TransportRpmsg_module->inFds[i].fd);
547                 /* transport input fd was signalled: get the message */
548                 tmpStatus = transportGet(fd, &retMsg);
549                 if (tmpStatus < 0 && tmpStatus != MessageQ_E_SHUTDOWN) {
550                     fprintf(stderr,
551                             "rpmsgThreadFxn: transportGet failed on fd %d, "
552                             "returned %d\n", fd, tmpStatus);
553                 }
554                 else if (tmpStatus == MessageQ_E_SHUTDOWN) {
555                     fprintf(stderr,
556                             "rpmsgThreadFxn: transportGet failed on fd %d, "
557                             "returned %d\n", fd, tmpStatus);
559                     retval = pthread_mutex_trylock(&TransportRpmsg_module->gate);
560                     if (retval != 0) {
561                         printf("Warning: rpmsgThreadFxn: "
562                                "unable to get the lock during shutdown, "
563                                "will try again\n");
564                         continue;
565                     }
567                     /*
568                      * Don't close(fd) at this time since it will get closed
569                      * later when MessageQ_delete() is called in response to
570                      * this failure.  Just remove fd's bit from the select mask
571                      * 'rfds' for now, but don't remove it from inFds[].
572                      */
573                     FD_CLR(fd, &TransportRpmsg_module->rfds);
574                     if (fd == TransportRpmsg_module->maxFd) {
575                         /* find new max fd */
576                         maxFd = TransportRpmsg_module->unblockEvent;
577                         for (j = 0; j < TransportRpmsg_module->nInFds; j++) {
578                             maxFd = _MAX(TransportRpmsg_module->inFds[j].fd,
579                                          maxFd);
580                         }
581                         TransportRpmsg_module->maxFd = maxFd;
582                     }
583                     queueId = TransportRpmsg_module->inFds[i].qId;
585                     pthread_mutex_unlock(&TransportRpmsg_module->gate);
587                     handle = MessageQ_getLocalHandle(queueId);
589                     PRINTVERBOSE2("rpmsgThreadFxn: shutting down MessageQ "
590                                   "%p (queueId 0x%x)...\n", handle, queueId)
592                     if (handle != NULL) {
593                         MessageQ_shutdown(handle);
594                     }
595                     else {
596                         fprintf(stderr,
597                                 "rpmsgThreadFxn: MessageQ_getLocalHandle(0x%x) "
598                                 "returned NULL, can't shutdown\n", queueId);
599                     }
600                 }
601                 else {
602                     queueId = MessageQ_getDstQueue(retMsg);
603                     PRINTVERBOSE1("rpmsgThreadFxn: got message, "
604                             "delivering to queueId 0x%x\n", queueId)
605                     MessageQ_put(queueId, retMsg);
606                 }
607             }
608         }
610         /* check for events */
611         if (FD_ISSET(TransportRpmsg_module->unblockEvent, &rfds)) {
613             read(TransportRpmsg_module->unblockEvent, &event, sizeof(event));
615             do {
616                 if (event & TransportRpmsg_Event_SHUTDOWN) {
617                     PRINTVERBOSE0("rpmsgThreadFxn: event SHUTDOWN\n");
618                     run = FALSE;
619                     break; /* highest priority, stop processing events */
620                 }
621                 if (event & TransportRpmsg_Event_CONTINUE) {
622                     PRINTVERBOSE1("rpmsgThreadFxn: event CONTINUE (%d)\n",
623                             (int)event);
624                     event &= ~TransportRpmsg_Event_CONTINUE;
625                 }
626                 if (event & TransportRpmsg_Event_PAUSE) {
627                     /*  Our event was signalled by TransportRpmsg_bind()
628                      *  or TransportRpmsg_unbind() to tell us that the set
629                      *  of file descriptors has changed.
630                      */
631                     PRINTVERBOSE0("rpmsgThreadFxn: event PAUSE\n");
632                     /* send the acknowledgement */
633                     event = TransportRpmsg_Event_ACK;
634                     write(TransportRpmsg_module->waitEvent, &event,
635                             sizeof(event));
636                     /* now wait to be released */
637                     read(TransportRpmsg_module->unblockEvent, &event,
638                             sizeof(event));
639                 }
640             } while (event != 0);
641         }
642     }
644     return (void *)status;
647 /*
648  * ======== transportGet ========
649  *  Retrieve a message waiting in the socket's queue.
650  */
651 static Int transportGet(int sock, MessageQ_Msg *retMsg)
653     Int           status    = MessageQ_S_SUCCESS;
654     MessageQ_Msg  msg;
655     struct sockaddr_rpmsg fromAddr;  /* [Socket address of sender] */
656     unsigned int  len;
657     int           byteCount;
659     /*
660      * We have no way of peeking to see what message size we'll get, so we
661      * allocate a message of max size to receive contents from the rpmsg socket
662      * (currently, a copy transport)
663      */
664     msg = MessageQ_alloc(0, MESSAGEQ_RPMSG_MAXSIZE);
665     if (!msg) {
666         status = MessageQ_E_MEMORY;
667         goto exit;
668     }
670     memset(&fromAddr, 0, sizeof (fromAddr));
671     len = sizeof (fromAddr);
673     byteCount = recvfrom(sock, msg, MESSAGEQ_RPMSG_MAXSIZE, 0,
674                          (struct sockaddr *)&fromAddr, &len);
675     if (len != sizeof (fromAddr)) {
676         fprintf(stderr, "recvfrom: got bad addr len (%d)\n", len);
677         status = MessageQ_E_FAIL;
678         goto freeMsg;
679     }
680     if (byteCount < 0) {
681         fprintf(stderr, "recvfrom failed: %s (%d)\n", strerror(errno), errno);
682         if (errno == ENOLINK) {
683             status = MessageQ_E_SHUTDOWN;
684         }
685         else {
686             status = MessageQ_E_FAIL;
687         }
688         goto freeMsg;
689     }
690     else {
691          /*
692           * Update the allocated message size (even though this may waste
693           * space when the actual message is smaller than the maximum rpmsg
694           * size, the message will be freed soon anyway, and it avoids an
695           * extra copy).
696           */
697          msg->msgSize = byteCount;
699          /* set the heapId in the message header to match allocation above */
700          msg->heapId = 0;
701     }
703     PRINTVERBOSE1("transportGet: recvfrom socket: fd: %d\n", sock)
704     PRINTVERBOSE3("\tReceived a msg: byteCount: %d, rpmsg addr: %d, rpmsg "
705             "proc: %d\n", byteCount, fromAddr.addr, fromAddr.vproc_id)
706     PRINTVERBOSE2("\tMessage Id: %d, Message size: %d\n", msg->msgId,
707             msg->msgSize)
709     *retMsg = msg;
711     goto exit;
713 freeMsg:
714     MessageQ_free(msg);
716 exit:
717     return status;
720 /*
721  *  ======== bindFdToQueueIndex ========
722  *
723  *  Precondition: caller must be inside the module gate
724  */
725 Void bindFdToQueueIndex(TransportRpmsg_Object *obj, Int fd, UInt16 queuePort)
727     Int *queues;
728     Int *oldQueues;
729     UInt oldSize;
730     UInt newCount;
731     UInt queueIndex;
732     int i;
734     /* subtract port offset from queue index */
735     queueIndex = queuePort - MessageQ_PORTOFFSET;
737     if (queueIndex >= obj->numQueues) {
738         newCount = queueIndex + TransportRpmsg_GROWSIZE;
739         PRINTVERBOSE1("TransportRpmsg_bind: growing numQueues to %d\n",
740                 newCount);
742         /* allocate larger table */
743         oldSize = obj->numQueues * sizeof(int);
744         queues = calloc(newCount, sizeof(int));
746         /* copy contents from old table int new table */
747         memcpy(queues, obj->qIndexToFd, oldSize);
749         /* initialize remaining entries of new (larger) table */
750         for (i = obj->numQueues; i < newCount; i++) {
751             queues[i] = -1;
752         }
754         /* swap in new table, delete old table */
755         oldQueues = obj->qIndexToFd;
756         obj->qIndexToFd = queues;
757         obj->numQueues = newCount;
758         free(oldQueues);
759     }
761     /* add new entry */
762     obj->qIndexToFd[queueIndex] = fd;
765 /*
766  *  ======== unbindQueueIndex ========
767  *
768  *  Precondition: caller must be inside the module gate
769  */
770 Void unbindQueueIndex(TransportRpmsg_Object *obj, UInt16 queuePort)
772     UInt queueIndex;
774     /* subtract port offset from queue index */
775     queueIndex = queuePort - MessageQ_PORTOFFSET;
777     /* clear table entry */
778     obj->qIndexToFd[queueIndex] = -1;
781 /*
782  *  ======== queueIndexToFd ========
783  *
784  *  Precondition: caller must be inside the module gate
785  */
786 Int queueIndexToFd(TransportRpmsg_Object *obj, UInt16 queuePort)
788     UInt queueIndex;
790     /* subtract port offset from queue index */
791     queueIndex = queuePort - MessageQ_PORTOFFSET;
793     /* return file descriptor */
794     return (obj->qIndexToFd[queueIndex]);
797 /*
798  *  ======== TransportRpmsg_Factory_create ========
799  *  Create the transport instances
800  *
801  *  Attach to all remote processors. For now, must attach to
802  *  at least one to tolerate MessageQ_E_RESOURCE failures.
803  *
804  *  This function implements the IPC Factory interface, so it
805  *  returns Ipc status codes.
806  */
807 Int TransportRpmsg_Factory_create(Void)
809     Int status = Ipc_S_SUCCESS;
810     Int i;
811     UInt16 clusterSize;
812     TransportRpmsg_Handle *inst;
813     int flags;
816     /* needed to enumerate processors in cluster */
817     clusterSize = MultiProc_getNumProcsInCluster();
819     /* allocate the instance array */
820     inst = calloc(clusterSize, sizeof(TransportRpmsg_Handle));
822     if (inst == NULL) {
823         fprintf(stderr,
824                 "Error: TransportRpmsg_Factory_create failed, no memory\n");
825         status = Ipc_E_MEMORY;
826         goto done;
827     }
829     for (i = 0; i < clusterSize; i++) {
830         inst[i] = NULL;
831     }
833     TransportRpmsg_module->inst = inst;
835     /* counter event object for passing commands to dispatch thread */
836     TransportRpmsg_module->unblockEvent = eventfd(0, 0);
838     if (TransportRpmsg_module->unblockEvent == -1) {
839         fprintf(stderr, "create: unblock event failed: %d (%s)\n",
840                 errno, strerror(errno));
841         status = Ipc_E_FAIL;
842         goto done;
843     }
845     PRINTVERBOSE1("create: created unblock event %d\n",
846             TransportRpmsg_module->unblockEvent)
848     /* semaphore event object for acknowledging client thread */
849     TransportRpmsg_module->waitEvent = eventfd(0, EFD_SEMAPHORE);
851     if (TransportRpmsg_module->waitEvent == -1) {
852         fprintf(stderr,
853                 "create: wait event failed: %d (%s)\n", errno, strerror(errno));
854         status = Ipc_E_FAIL;
855         goto done;
856     }
858     PRINTVERBOSE1("create: created wait event %d\n",
859             TransportRpmsg_module->waitEvent)
861     /* make sure eventfds don't exist for 'fork() -> exec*()'ed child */
862     flags = fcntl(TransportRpmsg_module->waitEvent, F_GETFD);
863     if (flags != -1) {
864         fcntl(TransportRpmsg_module->waitEvent, F_SETFD, flags | FD_CLOEXEC);
865     }
866     flags = fcntl(TransportRpmsg_module->unblockEvent, F_GETFD);
867     if (flags != -1) {
868         fcntl(TransportRpmsg_module->unblockEvent, F_SETFD, flags | FD_CLOEXEC);
869     }
871     FD_ZERO(&TransportRpmsg_module->rfds);
872     FD_SET(TransportRpmsg_module->unblockEvent,
873             &TransportRpmsg_module->rfds);
874     TransportRpmsg_module->maxFd = TransportRpmsg_module->unblockEvent;
875     TransportRpmsg_module->nInFds = 0;
877     pthread_mutex_init(&TransportRpmsg_module->gate, NULL);
879     status = pthread_create(&TransportRpmsg_module->threadId, NULL,
880             &rpmsgThreadFxn, NULL);
882     if (status < 0) {
883         status = Ipc_E_FAIL;
884         fprintf(stderr, "create: failed to spawn thread\n");
885         goto done;
886     }
887     TransportRpmsg_module->threadStarted = TRUE;
889 done:
890     if (status < 0) {
891         TransportRpmsg_Factory_delete();
892     }
894     return (status);
897 /*
898  *  ======== TransportRpmsg_Factory_delete ========
899  *  Finalize the transport instances
900  */
901 Void TransportRpmsg_Factory_delete(Void)
903     uint64_t event;
906     /* shutdown the message dispatch thread */
907     if (TransportRpmsg_module->threadStarted) {
908         event = TransportRpmsg_Event_SHUTDOWN;
909         write(TransportRpmsg_module->unblockEvent, &event, sizeof(event));
911         /* wait for dispatch thread to exit */
912         pthread_join(TransportRpmsg_module->threadId, NULL);
913     }
915     /* destroy the mutex object */
916     pthread_mutex_destroy(&TransportRpmsg_module->gate);
918     /* close the client wait event */
919     if (TransportRpmsg_module->waitEvent != -1) {
920         close(TransportRpmsg_module->waitEvent);
921         TransportRpmsg_module->waitEvent = -1;
922     }
924     /* close the dispatch thread unblock event */
925     if (TransportRpmsg_module->unblockEvent != -1) {
926         close(TransportRpmsg_module->unblockEvent);
927         TransportRpmsg_module->unblockEvent = -1;
928     }
930     /* free the instance handle array */
931     if (TransportRpmsg_module->inst != NULL) {
932         free(TransportRpmsg_module->inst);
933         TransportRpmsg_module->inst = NULL;
934     }
936     return;
939 /*
940  *  ======== TransportRpmsg_Factory_attach ========
941  */
942 Int TransportRpmsg_Factory_attach(UInt16 procId)
944     Int status = Ipc_S_SUCCESS;
945     UInt16 clusterId;
946     TransportRpmsg_Params params;
947     TransportRpmsg_Handle transport;
948     IMessageQTransport_Handle iMsgQTrans;
950     /* cannot attach to yourself */
951     if (MultiProc_self() == procId) {
952         status = Ipc_E_INVALIDARG;
953         goto done;
954     }
956     /* processor must be a member of the cluster */
957     clusterId = procId - MultiProc_getBaseIdOfCluster();
959     if (clusterId >= MultiProc_getNumProcsInCluster()) {
960         status = Ipc_E_INVALIDARG;
961         goto done;
962     }
964     /* create transport instance for given processor */
965     params.rprocId = procId;
966     transport = TransportRpmsg_create(&params);
968     if (transport == NULL) {
969         status = Ipc_E_FAIL;
970         goto done;
971     }
973     /* register transport instance with MessageQ */
974     iMsgQTrans = TransportRpmsg_upCast(transport);
975     TransportRpmsg_module->inst[clusterId] = transport;
976     MessageQ_registerTransport(iMsgQTrans, procId, 0);
978 done:
979     return (status);
982 /*
983  *  ======== TransportRpmsg_Factory_detach ========
984  */
985 Int TransportRpmsg_Factory_detach(UInt16 procId)
987     Int status = Ipc_S_SUCCESS;
988     UInt16 clusterId;
990     /* cannot detach from yourself */
991     if (MultiProc_self() == procId) {
992         status = Ipc_E_INVALIDARG;
993         goto done;
994     }
996     /* processor must be a member of the cluster */
997     clusterId = procId - MultiProc_getBaseIdOfCluster();
999     if (clusterId >= MultiProc_getNumProcsInCluster()) {
1000         status = Ipc_E_INVALIDARG;
1001         goto done;
1002     }
1004     /* must be attached in order to detach */
1005     if (TransportRpmsg_module->inst[clusterId] == NULL) {
1006         status = Ipc_E_INVALIDSTATE;
1007         goto done;
1008     }
1010     /* unregister from MessageQ, delete the transport instance */
1011     MessageQ_unregisterTransport(procId, 0);
1012     TransportRpmsg_delete(&(TransportRpmsg_module->inst[clusterId]));
1014 done:
1015     return (status);