TEMP: remoteproc/omap: add "late attach" support
[rpmsg/rpmsg.git] / drivers / remoteproc / omap_remoteproc.c
1 // SPDX-License-Identifier: GPL-2.0
2 /*
3  * OMAP Remote Processor driver
4  *
5  * Copyright (C) 2011-2019 Texas Instruments Incorporated - http://www.ti.com/
6  * Copyright (C) 2011 Google, Inc.
7  *
8  * Ohad Ben-Cohen <ohad@wizery.com>
9  * Brian Swetland <swetland@google.com>
10  * Fernando Guzman Lugo <fernando.lugo@ti.com>
11  * Mark Grosen <mgrosen@ti.com>
12  * Suman Anna <s-anna@ti.com>
13  * Hari Kanigeri <h-kanigeri2@ti.com>
14  */
16 #include <linux/kernel.h>
17 #include <linux/module.h>
18 #include <linux/err.h>
19 #include <linux/io.h>
20 #include <linux/of_device.h>
21 #include <linux/of_address.h>
22 #include <linux/of_reserved_mem.h>
23 #include <linux/platform_device.h>
24 #include <linux/pm_runtime.h>
25 #include <linux/dma-mapping.h>
26 #include <linux/interrupt.h>
27 #include <linux/remoteproc.h>
28 #include <linux/mailbox_client.h>
29 #include <linux/omap-mailbox.h>
30 #include <linux/omap-iommu.h>
31 #include <linux/regmap.h>
32 #include <linux/mfd/syscon.h>
33 #include <clocksource/timer-ti-dm.h>
35 #include <linux/platform_data/remoteproc-omap.h>
36 #include <linux/platform_data/dmtimer-omap.h>
38 #include "omap_remoteproc.h"
39 #include "remoteproc_internal.h"
41 #define OMAP_RPROC_DSP_LOCAL_MEM_OFFSET         (0x00800000)
42 #define OMAP_RPROC_IPU_L2RAM_DEV_ADDR           (0x20000000)
44 /* default auto-suspend delay (ms) */
45 #define DEFAULT_AUTOSUSPEND_DELAY               10000
47 /**
48  * struct omap_rproc_boot_data - boot data structure for the DSP omap rprocs
49  * @syscon: regmap handle for the system control configuration module
50  * @boot_reg: boot register offset within the @syscon regmap
51  * @boot_reg_shift: bit-field shift required for the boot address value in
52  *                  @boot_reg
53  */
54 struct omap_rproc_boot_data {
55         struct regmap *syscon;
56         unsigned int boot_reg;
57         unsigned int boot_reg_shift;
58 };
60 /**
61  * struct omap_rproc_mem - internal memory structure
62  * @cpu_addr: MPU virtual address of the memory region
63  * @bus_addr: bus address used to access the memory region
64  * @dev_addr: device address of the memory region from DSP view
65  * @size: size of the memory region
66  */
67 struct omap_rproc_mem {
68         void __iomem *cpu_addr;
69         phys_addr_t bus_addr;
70         u32 dev_addr;
71         size_t size;
72 };
74 /**
75  * struct omap_rproc_timer - data structure for a timer used by a omap rproc
76  * @odt: timer pointer
77  * @timer_ops: OMAP dmtimer ops for @odt timer
78  * @irq: timer irq
79  */
80 struct omap_rproc_timer {
81         struct omap_dm_timer *odt;
82         const struct omap_dm_timer_ops *timer_ops;
83         int irq;
84 };
86 /**
87  * struct omap_rproc - omap remote processor state
88  * @mbox: mailbox channel handle
89  * @client: mailbox client to request the mailbox channel
90  * @boot_data: boot data structure for setting processor boot address
91  * @mem: internal memory regions data
92  * @num_mems: number of internal memory regions
93  * @num_timers: number of rproc timer(s)
94  * @num_wd_timers: number of rproc watchdog timers
95  * @timers: timer(s) info used by rproc
96  * @autosuspend_delay: auto-suspend delay value to be used for runtime pm
97  * @need_resume: if true a resume is needed in the system resume callback
98  * @rproc: rproc handle
99  * @pm_comp: completion primitive to sync for suspend response
100  * @standby_addr: kernel address of the register having module standby status
101  * @suspend_acked: state machine flag to store the suspend request ack
102  */
103 struct omap_rproc {
104         struct mbox_chan *mbox;
105         struct mbox_client client;
106         struct omap_rproc_boot_data *boot_data;
107         struct omap_rproc_mem *mem;
108         int num_mems;
109         int num_timers;
110         int num_wd_timers;
111         struct omap_rproc_timer *timers;
112         int autosuspend_delay;
113         bool need_resume;
114         struct rproc *rproc;
115         struct completion pm_comp;
116         void __iomem *standby_addr;
117         bool suspend_acked;
118 };
120 /**
121  * struct omap_rproc_dev_data - device data for the omap remote processor
122  * @device_name: device name of the remote processor
123  * @fw_name: firmware name to use
124  * @autosuspend_delay: custom auto-suspend delay value in milliseconds
125  */
126 struct omap_rproc_dev_data {
127         const char *device_name;
128         const char *fw_name;
129         int autosuspend_delay;
130 };
132 /**
133  * omap_rproc_request_timer - request a timer for a remoteproc
134  * @np: device node pointer to the desired timer
135  * @timer: handle to a struct omap_rproc_timer to return the timer handle
136  *
137  * This helper function is used primarily to request a timer associated with
138  * a remoteproc. The returned handle is stored in the .odt field of the
139  * @timer structure passed in, and is used to invoke other timer specific
140  * ops (like starting a timer either during device initialization or during
141  * a resume operation, or for stopping/freeing a timer).
142  *
143  * Returns 0 on success, otherwise an appropriate failure
144  */
145 static int omap_rproc_request_timer(struct device_node *np,
146                                     struct omap_rproc_timer *timer)
148         int ret = 0;
150         timer->odt = timer->timer_ops->request_by_node(np);
151         if (!timer->odt) {
152                 pr_err("request for timer node %p failed\n", np);
153                 return -EBUSY;
154         }
156         ret = timer->timer_ops->set_source(timer->odt, OMAP_TIMER_SRC_SYS_CLK);
157         if (ret) {
158                 pr_err("error setting OMAP_TIMER_SRC_SYS_CLK as source for timer node %p\n",
159                        np);
160                 timer->timer_ops->free(timer->odt);
161                 return ret;
162         }
164         /* clean counter, remoteproc code will set the value */
165         timer->timer_ops->set_load(timer->odt, 0, 0);
167         return ret;
170 /**
171  * omap_rproc_start_timer - start a timer for a remoteproc
172  * @timer: handle to a OMAP rproc timer
173  *
174  * This helper function is used to start a timer associated with a remoteproc,
175  * obtained using the request_timer ops. The helper function needs to be
176  * invoked by the driver to start the timer (during device initialization)
177  * or to just resume the timer.
178  *
179  * Returns 0 on success, otherwise a failure as returned by DMTimer ops
180  */
181 static inline int omap_rproc_start_timer(struct omap_rproc_timer *timer)
183         return timer->timer_ops->start(timer->odt);
186 /**
187  * omap_rproc_stop_timer - stop a timer for a remoteproc
188  * @timer: handle to a OMAP rproc timer
189  *
190  * This helper function is used to disable a timer associated with a
191  * remoteproc, and needs to be called either during a device shutdown
192  * or suspend operation. The separate helper function allows the driver
193  * to just stop a timer without having to release the timer during a
194  * suspend operation.
195  *
196  * Returns 0 on success, otherwise a failure as returned by DMTimer ops
197  */
198 static inline int omap_rproc_stop_timer(struct omap_rproc_timer *timer)
200         return timer->timer_ops->stop(timer->odt);
203 /**
204  * omap_rproc_release_timer - release a timer for a remoteproc
205  * @timer: handle to a OMAP rproc timer
206  *
207  * This helper function is used primarily to release a timer associated
208  * with a remoteproc. The dmtimer will be available for other clients to
209  * use once released.
210  *
211  * Returns 0 on success, otherwise a failure as returned by DMTimer ops
212  */
213 static inline int omap_rproc_release_timer(struct omap_rproc_timer *timer)
215         return timer->timer_ops->free(timer->odt);
218 /**
219  * omap_rproc_get_timer_irq - get the irq for a timer
220  * @timer - handle to a OMAP rproc timer
221  *
222  * This function is used to get the irq associated with a watchdog timer. The
223  * function is called by the OMAP remoteproc driver to register a interrupt
224  * handler to handle watchdog events on the remote processor.
225  *
226  * Returns the irq id on success, otherwise a failure as returned by DMTimer ops
227  */
228 static inline int omap_rproc_get_timer_irq(struct omap_rproc_timer *timer)
230         return timer->timer_ops->get_irq(timer->odt);
233 /**
234  * omap_rproc_ack_timer_irq - acknowledge a timer irq
235  * @timer: handle to a OMAP rproc timer
236  *
237  * This function is used to clear the irq associated with a watchdog timer. The
238  * The function is called by the OMAP remoteproc upon a watchdog event on the
239  * remote processor to clear the interrupt status of the watchdog timer.
240  *
241  * Returns the irq id on success, otherwise a failure as returned by DMTimer ops
242  */
243 static inline void omap_rproc_ack_timer_irq(struct omap_rproc_timer *timer)
245         timer->timer_ops->write_status(timer->odt, OMAP_TIMER_INT_OVERFLOW);
248 /**
249  * omap_rproc_watchdog_isr - Watchdog ISR handler for remoteproc device
250  * @irq: IRQ number associated with a watchdog timer
251  * @data: IRQ handler data
252  *
253  * This ISR routine executes the required necessary low-level code to
254  * acknowledge a watchdog timer interrupt. There can be multiple watchdog
255  * timers associated with a rproc (like IPUs which have 2 watchdog timers,
256  * one per Cortex M3/M4 core), so a lookup has to be performed to identify
257  * the timer to acknowledge its interrupt.
258  *
259  * The function also invokes rproc_report_crash to report the watchdog event
260  * to the remoteproc driver core, to trigger a recovery.
261  *
262  * Return: IRQ_HANDLED or IRQ_NONE
263  */
264 static irqreturn_t omap_rproc_watchdog_isr(int irq, void *data)
266         struct rproc *rproc = data;
267         struct omap_rproc *oproc = rproc->priv;
268         struct device *dev = rproc->dev.parent;
269         struct omap_rproc_timer *timers = oproc->timers;
270         struct omap_rproc_timer *wd_timer = NULL;
271         int num_timers = oproc->num_timers + oproc->num_wd_timers;
272         int i;
274         for (i = oproc->num_timers; i < num_timers; i++) {
275                 if (timers[i].irq > 0 && irq == timers[i].irq) {
276                         wd_timer = &timers[i];
277                         break;
278                 }
279         }
281         if (!wd_timer) {
282                 dev_err(dev, "invalid timer\n");
283                 return IRQ_NONE;
284         }
286         omap_rproc_ack_timer_irq(wd_timer);
288         rproc_report_crash(rproc, RPROC_WATCHDOG);
290         return IRQ_HANDLED;
293 /**
294  * omap_rproc_enable_timers - enable the timers for a remoteproc
295  * @rproc: handle of a remote processor
296  * @configure: boolean flag used to acquire and configure the timer handle
297  *
298  * This function is used primarily to enable the timers associated with
299  * a remoteproc. The configure flag is provided to allow the driver to
300  * to either acquire and start a timer (during device initialization) or
301  * to just start a timer (during a resume operation).
302  */
303 static int omap_rproc_enable_timers(struct rproc *rproc, bool configure)
305         int i;
306         int ret = 0;
307         struct platform_device *tpdev;
308         struct dmtimer_platform_data *tpdata;
309         const struct omap_dm_timer_ops *timer_ops;
310         struct omap_rproc *oproc = rproc->priv;
311         struct omap_rproc_timer *timers = oproc->timers;
312         struct device *dev = rproc->dev.parent;
313         struct device_node *np = NULL;
314         int num_timers = oproc->num_timers + oproc->num_wd_timers;
316         if (num_timers <= 0)
317                 return 0;
319         if (!configure)
320                 goto start_timers;
322         for (i = 0; i < num_timers; i++) {
323                 if (i < oproc->num_timers)
324                         np = of_parse_phandle(dev->of_node, "timers", i);
325                 else
326                         np = of_parse_phandle(dev->of_node, "watchdog-timers",
327                                               (i - oproc->num_timers));
328                 if (!np) {
329                         ret = -ENXIO;
330                         dev_err(dev, "device node lookup for timer at index %d failed: %d\n",
331                                 i < oproc->num_timers ? i :
332                                 i - oproc->num_timers, ret);
333                         goto free_timers;
334                 }
336                 tpdev = of_find_device_by_node(np);
337                 if (!tpdev) {
338                         ret = -ENODEV;
339                         dev_err(dev, "could not get timer platform device\n");
340                         goto put_node;
341                 }
343                 tpdata = dev_get_platdata(&tpdev->dev);
344                 put_device(&tpdev->dev);
345                 if (!tpdata) {
346                         ret = -EINVAL;
347                         dev_err(dev, "dmtimer pdata structure NULL\n");
348                         goto put_node;
349                 }
351                 timer_ops = tpdata->timer_ops;
352                 if (!timer_ops || !timer_ops->request_by_node ||
353                     !timer_ops->set_source || !timer_ops->set_load ||
354                     !timer_ops->free || !timer_ops->start ||
355                     !timer_ops->stop || !timer_ops->get_irq ||
356                     !timer_ops->write_status) {
357                         ret = -EINVAL;
358                         dev_err(dev, "device does not have required timer ops\n");
359                         goto put_node;
360                 }
362                 timers[i].irq = -1;
363                 timers[i].timer_ops = timer_ops;
364                 ret = omap_rproc_request_timer(np, &timers[i]);
365                 if (ret) {
366                         dev_err(dev, "request for timer %p failed: %d\n", np,
367                                 ret);
368                         goto put_node;
369                 }
370                 of_node_put(np);
372                 if (i >= oproc->num_timers) {
373                         timers[i].irq = omap_rproc_get_timer_irq(&timers[i]);
374                         if (timers[i].irq < 0) {
375                                 dev_err(dev, "get_irq for timer %p failed: %d\n",
376                                         np, timers[i].irq);
377                                 ret = -EBUSY;
378                                 goto free_timers;
379                         }
381                         ret = request_irq(timers[i].irq,
382                                           omap_rproc_watchdog_isr, IRQF_SHARED,
383                                           "rproc-wdt", rproc);
384                         if (ret) {
385                                 dev_err(dev, "error requesting irq for timer %p\n",
386                                         np);
387                                 omap_rproc_release_timer(&timers[i]);
388                                 timers[i].odt = NULL;
389                                 timers[i].timer_ops = NULL;
390                                 timers[i].irq = -1;
391                                 goto free_timers;
392                         }
393                 }
394         }
396 start_timers:
397         for (i = 0; i < num_timers; i++)
398                 omap_rproc_start_timer(&timers[i]);
399         return 0;
401 put_node:
402         of_node_put(np);
403 free_timers:
404         while (i--) {
405                 if (i >= oproc->num_timers)
406                         free_irq(timers[i].irq, rproc);
407                 omap_rproc_release_timer(&timers[i]);
408                 timers[i].odt = NULL;
409                 timers[i].timer_ops = NULL;
410                 timers[i].irq = -1;
411         }
413         return ret;
416 /**
417  * omap_rproc_disable_timers - disable the timers for a remoteproc
418  * @rproc: handle of a remote processor
419  * @configure: boolean flag used to release the timer handle
420  *
421  * This function is used primarily to disable the timers associated with
422  * a remoteproc. The configure flag is provided to allow the driver to
423  * to either stop and release a timer (during device shutdown) or to just
424  * stop a timer (during a suspend operation).
425  */
426 static int omap_rproc_disable_timers(struct rproc *rproc, bool configure)
428         int i;
429         struct omap_rproc *oproc = rproc->priv;
430         struct omap_rproc_timer *timers = oproc->timers;
431         int num_timers = oproc->num_timers + oproc->num_wd_timers;
433         if (num_timers <= 0)
434                 return 0;
436         for (i = 0; i < num_timers; i++) {
437                 omap_rproc_stop_timer(&timers[i]);
438                 if (configure) {
439                         if (i >= oproc->num_timers)
440                                 free_irq(timers[i].irq, rproc);
441                         omap_rproc_release_timer(&timers[i]);
442                         timers[i].odt = NULL;
443                         timers[i].timer_ops = NULL;
444                         timers[i].irq = -1;
445                 }
446         }
448         return 0;
451 /**
452  * omap_rproc_mbox_callback() - inbound mailbox message handler
453  * @client: mailbox client pointer used for requesting the mailbox channel
454  * @data: mailbox payload
455  *
456  * This handler is invoked by omap's mailbox driver whenever a mailbox
457  * message is received. Usually, the mailbox payload simply contains
458  * the index of the virtqueue that is kicked by the remote processor,
459  * and we let remoteproc core handle it.
460  *
461  * In addition to virtqueue indices, we also have some out-of-band values
462  * that indicates different events. Those values are deliberately very
463  * big so they don't coincide with virtqueue indices.
464  */
465 static void omap_rproc_mbox_callback(struct mbox_client *client, void *data)
467         struct omap_rproc *oproc = container_of(client, struct omap_rproc,
468                                                 client);
469         struct device *dev = oproc->rproc->dev.parent;
470         const char *name = oproc->rproc->name;
471         u32 msg = (u32)data;
473         dev_dbg(dev, "mbox msg: 0x%x\n", msg);
475         switch (msg) {
476         case RP_MBOX_CRASH:
477                 /*
478                  * remoteproc detected an exception, notify the rproc core.
479                  * The remoteproc core will handle the recovery.
480                  */
481                 dev_err(dev, "omap rproc %s crashed\n", name);
482                 rproc_report_crash(oproc->rproc, RPROC_FATAL_ERROR);
483                 break;
484         case RP_MBOX_ECHO_REPLY:
485                 dev_info(dev, "received echo reply from %s\n", name);
486                 break;
487         case RP_MBOX_SUSPEND_ACK:
488         case RP_MBOX_SUSPEND_CANCEL:
489                 oproc->suspend_acked = msg == RP_MBOX_SUSPEND_ACK;
490                 complete(&oproc->pm_comp);
491                 break;
492         default:
493                 if (msg >= RP_MBOX_READY && msg < RP_MBOX_END_MSG)
494                         return;
495                 if (msg > oproc->rproc->max_notifyid) {
496                         dev_dbg(dev, "dropping unknown message 0x%x", msg);
497                         return;
498                 }
499                 /* msg contains the index of the triggered vring */
500                 if (rproc_vq_interrupt(oproc->rproc, msg) == IRQ_NONE)
501                         dev_dbg(dev, "no message was found in vqid %d\n", msg);
502         }
505 /* kick a virtqueue */
506 static void omap_rproc_kick(struct rproc *rproc, int vqid)
508         struct omap_rproc *oproc = rproc->priv;
509         struct device *dev = rproc->dev.parent;
510         int ret;
512         /* wake up the rproc before kicking it */
513         ret = pm_runtime_get_sync(dev);
514         if (WARN_ON(ret < 0)) {
515                 dev_err(dev, "pm_runtime_get_sync() failed during kick, ret = %d\n",
516                         ret);
517                 pm_runtime_put_noidle(dev);
518                 return;
519         }
521         /* send the index of the triggered virtqueue in the mailbox payload */
522         ret = mbox_send_message(oproc->mbox, (void *)vqid);
523         if (ret < 0)
524                 dev_err(dev, "failed to send mailbox message, status = %d\n",
525                         ret);
527         pm_runtime_mark_last_busy(dev);
528         pm_runtime_put_autosuspend(dev);
531 /**
532  * omap_rproc_write_dsp_boot_addr - set boot address for a DSP remote processor
533  * @rproc: handle of a remote processor
534  *
535  * Set boot address for a supported DSP remote processor.
536  */
537 static int omap_rproc_write_dsp_boot_addr(struct rproc *rproc)
539         struct device *dev = rproc->dev.parent;
540         struct omap_rproc *oproc = rproc->priv;
541         struct omap_rproc_boot_data *bdata = oproc->boot_data;
542         u32 offset = bdata->boot_reg;
543         unsigned int value = rproc->bootaddr;
544         unsigned int mask = ~(SZ_1K - 1);
546         if (value & (SZ_1K - 1)) {
547                 dev_err(dev, "invalid boot address 0x%x, must be aligned on a 1KB boundary\n",
548                         value);
549                 return -EINVAL;
550         }
552         value >>= bdata->boot_reg_shift;
553         mask >>= bdata->boot_reg_shift;
555         regmap_update_bits(bdata->syscon, offset, mask, value);
557         return 0;
560 /*
561  * Power up the remote processor.
562  *
563  * This function will be invoked only after the firmware for this rproc
564  * was loaded, parsed successfully, and all of its resource requirements
565  * were met.
566  */
567 static int omap_rproc_start(struct rproc *rproc)
569         struct omap_rproc *oproc = rproc->priv;
570         struct device *dev = rproc->dev.parent;
571         struct platform_device *pdev = to_platform_device(dev);
572         struct omap_rproc_pdata *pdata = pdev->dev.platform_data;
573         int ret;
574         struct mbox_client *client = &oproc->client;
576         /*
577          * We set boot address irrespective of the value of the late attach flag
578          * as boot address takes effect only on a deassert of remoteproc reset.
579          */
580         if (oproc->boot_data) {
581                 ret = omap_rproc_write_dsp_boot_addr(rproc);
582                 if (ret)
583                         return ret;
584         }
586         client->dev = dev;
587         client->tx_done = NULL;
588         client->rx_callback = omap_rproc_mbox_callback;
589         client->tx_block = false;
590         client->knows_txdone = false;
592         oproc->mbox = mbox_request_channel(client, 0);
593         if (IS_ERR(oproc->mbox)) {
594                 ret = -EBUSY;
595                 dev_err(dev, "mbox_request_channel failed: %ld\n",
596                         PTR_ERR(oproc->mbox));
597                 return ret;
598         }
600         /*
601          * Ping the remote processor. this is only for sanity-sake;
602          * there is no functional effect whatsoever.
603          *
604          * Note that the reply will _not_ arrive immediately: this message
605          * will wait in the mailbox fifo until the remote processor is booted.
606          */
607         ret = mbox_send_message(oproc->mbox, (void *)RP_MBOX_ECHO_REQUEST);
608         if (ret < 0) {
609                 dev_err(dev, "mbox_send_message failed: %d\n", ret);
610                 goto put_mbox;
611         }
613         ret = omap_rproc_enable_timers(rproc, true);
614         if (ret) {
615                 dev_err(dev, "omap_rproc_enable_timers failed: %d\n", ret);
616                 goto put_mbox;
617         }
619         if (!rproc->late_attach) {
620                 ret = pdata->device_enable(pdev);
621                 if (ret) {
622                         dev_err(dev, "omap_device_enable failed: %d\n", ret);
623                         goto reset_timers;
624                 }
625         }
627         /*
628          * remote processor is up, so update the runtime pm status and
629          * enable the auto-suspend. The device usage count is incremented
630          * manually for balancing it for auto-suspend
631          */
632         pm_runtime_set_active(dev);
633         pm_runtime_set_autosuspend_delay(dev, oproc->autosuspend_delay);
634         pm_runtime_use_autosuspend(dev);
635         pm_runtime_get_noresume(dev);
636         pm_runtime_enable(dev);
637         pm_runtime_mark_last_busy(dev);
638         pm_runtime_put_autosuspend(dev);
640         return 0;
642 reset_timers:
643         omap_rproc_disable_timers(rproc, true);
644 put_mbox:
645         mbox_free_channel(oproc->mbox);
646         return ret;
649 /* power off the remote processor */
650 static int omap_rproc_stop(struct rproc *rproc)
652         struct device *dev = rproc->dev.parent;
653         struct platform_device *pdev = to_platform_device(dev);
654         struct omap_rproc_pdata *pdata = pdev->dev.platform_data;
655         struct omap_rproc *oproc = rproc->priv;
656         int ret;
658         /*
659          * cancel any possible scheduled runtime suspend by incrementing
660          * the device usage count, and resuming the device. The remoteproc
661          * also needs to be woken up if suspended, to avoid the remoteproc
662          * OS to continue to remember any context that it has saved, and
663          * avoid potential issues in misindentifying a subsequent device
664          * reboot as a power restore boot
665          */
666         ret = pm_runtime_get_sync(dev);
667         if (ret < 0) {
668                 pm_runtime_put_noidle(dev);
669                 return ret;
670         }
672         ret = pdata->device_shutdown(pdev);
673         if (ret)
674                 goto out;
676         ret = omap_rproc_disable_timers(rproc, true);
677         if (ret)
678                 goto enable_device;
680         /*
681          * During late attach, we use non-zeroing dma ops to prevent the kernel
682          * from overwriting already loaded code and data segments. When
683          * shutting down the processor, we restore the normal zeroing dma ops.
684          * This allows the kernel to clear memory when loading a new remoteproc
685          * binary or during error recovery with the current remoteproc binary.
686          */
687         if (rproc->late_attach)
688                 set_dma_ops(dev, &arm_dma_ops);
690         mbox_free_channel(oproc->mbox);
692         /*
693          * update the runtime pm states and status now that the remoteproc
694          * has stopped
695          */
696         pm_runtime_disable(dev);
697         pm_runtime_dont_use_autosuspend(dev);
698         pm_runtime_put_noidle(dev);
699         pm_runtime_set_suspended(dev);
701         return 0;
703 enable_device:
704         pdata->device_enable(pdev);
705 out:
706         /* schedule the next auto-suspend */
707         pm_runtime_mark_last_busy(dev);
708         pm_runtime_put_autosuspend(dev);
709         return ret;
713 /*
714  * Internal Memory translation helper
715  *
716  * Custom function implementing the rproc .da_to_va ops to provide address
717  * translation (device address to kernel virtual address) for internal RAMs
718  * present in a DSP or IPU device). The translated addresses can be used
719  * either by the remoteproc core for loading, or by any rpmsg bus drivers.
720  */
721 static void *omap_rproc_da_to_va(struct rproc *rproc, u64 da, int len,
722                                  u32 flags)
724         struct omap_rproc *oproc = rproc->priv;
725         void *va = NULL;
726         int i;
727         u32 offset;
729         if (len <= 0)
730                 return NULL;
732         if (!oproc->num_mems)
733                 return NULL;
735         for (i = 0; i < oproc->num_mems; i++) {
736                 if (da >= oproc->mem[i].dev_addr && da + len <=
737                     oproc->mem[i].dev_addr +  oproc->mem[i].size) {
738                         offset = da -  oproc->mem[i].dev_addr;
739                         /* __force to make sparse happy with type conversion */
740                         va = (__force void *)(oproc->mem[i].cpu_addr + offset);
741                         break;
742                 }
743         }
745         return va;
748 static const struct rproc_ops omap_rproc_ops = {
749         .start          = omap_rproc_start,
750         .stop           = omap_rproc_stop,
751         .kick           = omap_rproc_kick,
752         .da_to_va       = omap_rproc_da_to_va,
753 };
755 #ifdef CONFIG_PM
756 static bool _is_rproc_in_standby(struct omap_rproc *oproc)
758         static int standby_mask = (1 << 18);
760         return readl(oproc->standby_addr) & standby_mask;
763 /* 1 sec is long enough time to let the remoteproc side suspend the device */
764 #define DEF_SUSPEND_TIMEOUT 1000
765 static int _omap_rproc_suspend(struct rproc *rproc, bool auto_suspend)
767         struct device *dev = rproc->dev.parent;
768         struct platform_device *pdev = to_platform_device(dev);
769         struct omap_rproc_pdata *pdata = dev_get_platdata(dev);
770         struct omap_rproc *oproc = rproc->priv;
771         unsigned long to = msecs_to_jiffies(DEF_SUSPEND_TIMEOUT);
772         unsigned long ta = jiffies + to;
773         u32 suspend_msg = auto_suspend ?
774                                 RP_MBOX_SUSPEND_AUTO : RP_MBOX_SUSPEND_SYSTEM;
775         int ret;
777         reinit_completion(&oproc->pm_comp);
778         oproc->suspend_acked = false;
779         ret = mbox_send_message(oproc->mbox, (void *)suspend_msg);
780         if (ret < 0) {
781                 dev_err(dev, "PM mbox_send_message failed: %d\n", ret);
782                 return ret;
783         }
785         ret = wait_for_completion_timeout(&oproc->pm_comp, to);
786         if (!oproc->suspend_acked)
787                 return -EBUSY;
789         /*
790          * The remoteproc side is returning the ACK message before saving the
791          * context, because the context saving is performed within a SYS/BIOS
792          * function, and it cannot have any inter-dependencies against the IPC
793          * layer. Also, as the SYS/BIOS needs to preserve properly the processor
794          * register set, sending this ACK or signalling the completion of the
795          * context save through a shared memory variable can never be the
796          * absolute last thing to be executed on the remoteproc side, and the
797          * MPU cannot use the ACK message as a sync point to put the remoteproc
798          * into reset. The only way to ensure that the remote processor has
799          * completed saving the context is to check that the module has reached
800          * STANDBY state (after saving the context, the SYS/BIOS executes the
801          * appropriate target-specific WFI instruction causing the module to
802          * enter STANDBY).
803          */
804         while (!_is_rproc_in_standby(oproc)) {
805                 if (time_after(jiffies, ta))
806                         return -ETIME;
807                 schedule();
808         }
810         ret = pdata->device_shutdown(pdev);
811         if (ret)
812                 return ret;
814         ret = omap_rproc_disable_timers(rproc, false);
815         if (ret) {
816                 dev_err(dev, "disabling timers during suspend failed %d\n",
817                         ret);
818                 goto enable_device;
819         }
821         /*
822          * IOMMUs would have to be disabled specifically for runtime suspend.
823          * They are handled automatically through System PM callbacks for
824          * regular system suspend
825          */
826         if (auto_suspend) {
827                 ret = omap_iommu_domain_deactivate(rproc->domain);
828                 if (ret) {
829                         dev_err(dev, "iommu domain deactivate failed %d\n",
830                                 ret);
831                         goto enable_timers;
832                 }
833         }
835         return 0;
837 enable_timers:
838         /* ignore errors on re-enabling code */
839         omap_rproc_enable_timers(rproc, false);
840 enable_device:
841         pdata->device_enable(pdev);
842         return ret;
845 static int _omap_rproc_resume(struct rproc *rproc, bool auto_suspend)
847         struct device *dev = rproc->dev.parent;
848         struct platform_device *pdev = to_platform_device(dev);
849         struct omap_rproc_pdata *pdata = dev_get_platdata(dev);
850         struct omap_rproc *oproc = rproc->priv;
851         int ret;
853         /*
854          * IOMMUs would have to be enabled specifically for runtime resume.
855          * They would have been already enabled automatically through System
856          * PM callbacks for regular system resume
857          */
858         if (auto_suspend) {
859                 ret = omap_iommu_domain_activate(rproc->domain);
860                 if (ret) {
861                         dev_err(dev, "omap_iommu activate failed %d\n", ret);
862                         goto out;
863                 }
864         }
866         /* boot address could be lost after suspend, so restore it */
867         if (oproc->boot_data) {
868                 ret = omap_rproc_write_dsp_boot_addr(rproc);
869                 if (ret) {
870                         dev_err(dev, "boot address restore failed %d\n", ret);
871                         goto suspend_iommu;
872                 }
873         }
875         ret = omap_rproc_enable_timers(rproc, false);
876         if (ret) {
877                 dev_err(dev, "enabling timers during resume failed %d\n",
878                         ret);
879                 goto suspend_iommu;
880         }
882         ret = pdata->device_enable(pdev);
883         if (ret)
884                 goto disable_timers;
886         return 0;
888 disable_timers:
889         omap_rproc_disable_timers(rproc, false);
890 suspend_iommu:
891         if (auto_suspend)
892                 omap_iommu_domain_deactivate(rproc->domain);
893 out:
894         return ret;
897 static int __maybe_unused omap_rproc_suspend(struct device *dev)
899         struct platform_device *pdev = to_platform_device(dev);
900         struct rproc *rproc = platform_get_drvdata(pdev);
901         struct omap_rproc *oproc = rproc->priv;
902         int ret = 0;
904         mutex_lock(&rproc->lock);
905         if (rproc->state == RPROC_OFFLINE)
906                 goto out;
908         if (rproc->state == RPROC_SUSPENDED)
909                 goto out;
911         if (rproc->state != RPROC_RUNNING) {
912                 ret = -EBUSY;
913                 goto out;
914         }
916         ret = _omap_rproc_suspend(rproc, false);
917         if (ret) {
918                 dev_err(dev, "suspend failed %d\n", ret);
919                 goto out;
920         }
922         /*
923          * remoteproc is running at the time of system suspend, so remember
924          * it so as to wake it up during system resume
925          */
926         oproc->need_resume = 1;
927         rproc->state = RPROC_SUSPENDED;
929         /*
930          * update the runtime pm status to be suspended, without decrementing
931          * the device usage count
932          */
933         pm_runtime_disable(dev);
934         pm_runtime_set_suspended(dev);
935 out:
936         mutex_unlock(&rproc->lock);
937         return ret;
940 static int __maybe_unused omap_rproc_resume(struct device *dev)
942         struct platform_device *pdev = to_platform_device(dev);
943         struct rproc *rproc = platform_get_drvdata(pdev);
944         struct omap_rproc *oproc = rproc->priv;
945         int ret = 0;
947         mutex_lock(&rproc->lock);
948         if (rproc->state == RPROC_OFFLINE)
949                 goto out;
951         if (rproc->state != RPROC_SUSPENDED) {
952                 ret = -EBUSY;
953                 goto out;
954         }
956         /*
957          * remoteproc was auto-suspended at the time of system suspend,
958          * so no need to wake-up the processor (leave it in suspended
959          * state, will be woken up during a subsequent runtime_resume)
960          */
961         if (!oproc->need_resume)
962                 goto out;
964         ret = _omap_rproc_resume(rproc, false);
965         if (ret) {
966                 dev_err(dev, "resume failed %d\n", ret);
967                 goto out;
968         }
969         oproc->need_resume = false;
971         rproc->state = RPROC_RUNNING;
973         /*
974          * update the runtime pm status to be active, without incrementing
975          * the device usage count
976          */
977         pm_runtime_set_active(dev);
978         pm_runtime_enable(dev);
979         pm_runtime_mark_last_busy(dev);
980 out:
981         mutex_unlock(&rproc->lock);
982         return ret;
985 static int omap_rproc_runtime_suspend(struct device *dev)
987         struct rproc *rproc = dev_get_drvdata(dev);
988         struct omap_rproc *oproc = rproc->priv;
989         int ret;
991         if (rproc->state == RPROC_CRASHED) {
992                 dev_dbg(dev, "rproc cannot be runtime suspended when crashed!\n");
993                 return -EBUSY;
994         }
996         if (WARN_ON(rproc->state != RPROC_RUNNING)) {
997                 dev_err(dev, "rproc cannot be runtime suspended when not running!\n");
998                 return -EBUSY;
999         }
1001         /*
1002          * do not even attempt suspend if the remote processor is not
1003          * idled for runtime auto-suspend
1004          */
1005         if (!_is_rproc_in_standby(oproc)) {
1006                 ret = -EBUSY;
1007                 goto abort;
1008         }
1010         ret = _omap_rproc_suspend(rproc, true);
1011         if (ret)
1012                 goto abort;
1014         rproc->state = RPROC_SUSPENDED;
1015         return 0;
1017 abort:
1018         pm_runtime_mark_last_busy(dev);
1019         return ret;
1022 static int omap_rproc_runtime_resume(struct device *dev)
1024         struct rproc *rproc = dev_get_drvdata(dev);
1025         int ret;
1027         if (WARN_ON(rproc->state != RPROC_SUSPENDED)) {
1028                 dev_err(dev, "rproc cannot be runtime resumed if not suspended!\n");
1029                 return -EBUSY;
1030         }
1032         ret = _omap_rproc_resume(rproc, true);
1033         if (ret) {
1034                 dev_err(dev, "runtime resume failed %d\n", ret);
1035                 return ret;
1036         }
1038         rproc->state = RPROC_RUNNING;
1039         return 0;
1041 #endif /* CONFIG_PM */
1043 static const struct omap_rproc_dev_data omap4_dsp_dev_data = {
1044         .device_name    = "dsp",
1045         .fw_name        = "omap4-dsp-fw.xe64T",
1046 };
1048 static const struct omap_rproc_dev_data omap4_ipu_dev_data = {
1049         .device_name    = "ipu",
1050         .fw_name        = "omap4-ipu-fw.xem3",
1051 };
1053 static const struct omap_rproc_dev_data omap5_dsp_dev_data = {
1054         .device_name    = "dsp",
1055         .fw_name        = "omap5-dsp-fw.xe64T",
1056 };
1058 static const struct omap_rproc_dev_data omap5_ipu_dev_data = {
1059         .device_name    = "ipu",
1060         .fw_name        = "omap5-ipu-fw.xem4",
1061 };
1063 static const struct omap_rproc_dev_data dra7_rproc_dev_data[] = {
1064         {
1065                 .device_name    = "40800000.dsp",
1066                 .fw_name        = "dra7-dsp1-fw.xe66",
1067         },
1068         {
1069                 .device_name    = "41000000.dsp",
1070                 .fw_name        = "dra7-dsp2-fw.xe66",
1071         },
1072         {
1073                 .device_name    = "55020000.ipu",
1074                 .fw_name        = "dra7-ipu2-fw.xem4",
1075         },
1076         {
1077                 .device_name    = "58820000.ipu",
1078                 .fw_name        = "dra7-ipu1-fw.xem4",
1079         },
1080         {
1081                 /* sentinel */
1082         },
1083 };
1085 static const struct of_device_id omap_rproc_of_match[] = {
1086         {
1087                 .compatible     = "ti,omap4-dsp",
1088                 .data           = &omap4_dsp_dev_data,
1089         },
1090         {
1091                 .compatible     = "ti,omap4-ipu",
1092                 .data           = &omap4_ipu_dev_data,
1093         },
1094         {
1095                 .compatible     = "ti,omap5-dsp",
1096                 .data           = &omap5_dsp_dev_data,
1097         },
1098         {
1099                 .compatible     = "ti,omap5-ipu",
1100                 .data           = &omap5_ipu_dev_data,
1101         },
1102         {
1103                 .compatible     = "ti,dra7-dsp",
1104                 .data           = dra7_rproc_dev_data,
1105         },
1106         {
1107                 .compatible     = "ti,dra7-ipu",
1108                 .data           = dra7_rproc_dev_data,
1109         },
1110         {
1111                 /* end */
1112         },
1113 };
1114 MODULE_DEVICE_TABLE(of, omap_rproc_of_match);
1116 static int omap_rproc_get_autosuspend_delay(struct platform_device *pdev)
1118         struct device_node *np = pdev->dev.of_node;
1119         const struct omap_rproc_dev_data *data;
1120         int delay = -EINVAL;
1122         data = of_device_get_match_data(&pdev->dev);
1123         if (!data)
1124                 return -ENODEV;
1126         if (!of_device_is_compatible(np, "ti,dra7-dsp") &&
1127             !of_device_is_compatible(np, "ti,dra7-ipu")) {
1128                 delay = data->autosuspend_delay;
1129                 goto out;
1130         }
1132         for (; data && data->device_name; data++) {
1133                 if (!strcmp(dev_name(&pdev->dev), data->device_name)) {
1134                         delay = data->autosuspend_delay;
1135                         break;
1136                 }
1137         }
1139 out:
1140         return (delay > 0) ? delay : DEFAULT_AUTOSUSPEND_DELAY;
1143 static const char *omap_rproc_get_firmware(struct platform_device *pdev)
1145         struct device_node *np = pdev->dev.of_node;
1146         const struct omap_rproc_dev_data *data;
1148         data = of_device_get_match_data(&pdev->dev);
1149         if (!data)
1150                 return ERR_PTR(-ENODEV);
1152         if (!of_device_is_compatible(np, "ti,dra7-dsp") &&
1153             !of_device_is_compatible(np, "ti,dra7-ipu"))
1154                 return data->fw_name;
1156         for (; data && data->device_name; data++) {
1157                 if (!strcmp(dev_name(&pdev->dev), data->device_name))
1158                         return data->fw_name;
1159         }
1161         return ERR_PTR(-ENOENT);
1164 static int omap_rproc_get_boot_data(struct platform_device *pdev,
1165                                     struct rproc *rproc)
1167         struct device_node *np = pdev->dev.of_node;
1168         struct omap_rproc *oproc = rproc->priv;
1169         int ret;
1171         if (!of_device_is_compatible(np, "ti,omap4-dsp") &&
1172             !of_device_is_compatible(np, "ti,omap5-dsp") &&
1173             !of_device_is_compatible(np, "ti,dra7-dsp"))
1174                 return 0;
1176         oproc->boot_data = devm_kzalloc(&pdev->dev, sizeof(*oproc->boot_data),
1177                                         GFP_KERNEL);
1178         if (!oproc->boot_data)
1179                 return -ENOMEM;
1181         if (!of_property_read_bool(np, "syscon-bootreg")) {
1182                 dev_err(&pdev->dev, "syscon-bootreg property is missing\n");
1183                 return -EINVAL;
1184         }
1186         oproc->boot_data->syscon =
1187                         syscon_regmap_lookup_by_phandle(np, "syscon-bootreg");
1188         if (IS_ERR(oproc->boot_data->syscon)) {
1189                 ret = PTR_ERR(oproc->boot_data->syscon);
1190                 return ret;
1191         }
1193         if (of_property_read_u32_index(np, "syscon-bootreg", 1,
1194                                        &oproc->boot_data->boot_reg)) {
1195                 dev_err(&pdev->dev, "couldn't get the boot register\n");
1196                 return -EINVAL;
1197         }
1199         if (of_device_is_compatible(np, "ti,dra7-dsp"))
1200                 oproc->boot_data->boot_reg_shift = 10;
1202         return 0;
1205 static int omap_rproc_of_get_internal_memories(struct platform_device *pdev,
1206                                                struct rproc *rproc)
1208         static const char * const ipu_mem_names[] = {"l2ram"};
1209         static const char * const dra7_dsp_mem_names[] = {"l2ram", "l1pram",
1210                                                                 "l1dram"};
1211         struct device_node *np = pdev->dev.of_node;
1212         struct omap_rproc *oproc = rproc->priv;
1213         struct device *dev = &pdev->dev;
1214         const char * const *mem_names;
1215         struct resource *res;
1216         int num_mems;
1217         const __be32 *addrp;
1218         u32 l4_offset = 0;
1219         u64 size;
1220         int i;
1222         /* OMAP4 and OMAP5 DSPs do not have support for flat SRAM */
1223         if (of_device_is_compatible(np, "ti,omap4-dsp") ||
1224             of_device_is_compatible(np, "ti,omap5-dsp"))
1225                 return 0;
1227         /* DRA7 DSPs have two additional SRAMs at L1 level */
1228         if (of_device_is_compatible(np, "ti,dra7-dsp")) {
1229                 mem_names = dra7_dsp_mem_names;
1230                 num_mems = ARRAY_SIZE(dra7_dsp_mem_names);
1231         } else {
1232                 mem_names = ipu_mem_names;
1233                 num_mems = ARRAY_SIZE(ipu_mem_names);
1234         }
1236         oproc->mem = devm_kcalloc(dev, num_mems, sizeof(*oproc->mem),
1237                                   GFP_KERNEL);
1238         if (!oproc->mem)
1239                 return -ENOMEM;
1241         for (i = 0; i < num_mems; i++) {
1242                 res = platform_get_resource_byname(pdev, IORESOURCE_MEM,
1243                                                    mem_names[i]);
1244                 oproc->mem[i].cpu_addr = devm_ioremap_resource(dev, res);
1245                 if (IS_ERR(oproc->mem[i].cpu_addr)) {
1246                         dev_err(dev, "failed to parse and map %s memory\n",
1247                                 mem_names[i]);
1248                         return PTR_ERR(oproc->mem[i].cpu_addr);
1249                 }
1250                 oproc->mem[i].bus_addr = res->start;
1252                 /*
1253                  * The DSPs have the internal memories starting at a fixed
1254                  * offset of 0x800000 from address 0, and this corresponds to
1255                  * L2RAM. The L3 address view has the L2RAM bus address as the
1256                  * starting address for the IP, so the L2RAM memory region needs
1257                  * to be processed first, and the device addresses for each
1258                  * memory region can be computed using the relative offset
1259                  * from this base address.
1260                  */
1261                 if (of_device_is_compatible(np, "ti,dra7-dsp") &&
1262                     !strcmp(mem_names[i], "l2ram")) {
1263                         addrp = of_get_address(dev->of_node, i, &size, NULL);
1264                         l4_offset = be32_to_cpu(*addrp);
1265                 }
1266                 oproc->mem[i].dev_addr =
1267                         of_device_is_compatible(np, "ti,dra7-dsp") ?
1268                                 res->start - l4_offset +
1269                                 OMAP_RPROC_DSP_LOCAL_MEM_OFFSET :
1270                                 OMAP_RPROC_IPU_L2RAM_DEV_ADDR;
1271                 oproc->mem[i].size = resource_size(res);
1273                 dev_dbg(dev, "memory %8s: bus addr %pa size 0x%x va %p da 0x%x\n",
1274                         mem_names[i], &oproc->mem[i].bus_addr,
1275                         oproc->mem[i].size, oproc->mem[i].cpu_addr,
1276                         oproc->mem[i].dev_addr);
1277         }
1278         oproc->num_mems = num_mems;
1280         return 0;
1283 static int omap_rproc_probe(struct platform_device *pdev)
1285         struct omap_rproc_pdata *pdata = dev_get_platdata(&pdev->dev);
1286         struct device_node *np = pdev->dev.of_node;
1287         struct omap_rproc *oproc;
1288         struct rproc *rproc;
1289         const char *firmware;
1290         u32 standby_addr = 0;
1291         int num_timers;
1292         int ret;
1294         if (!np) {
1295                 dev_err(&pdev->dev, "only DT-based devices are supported\n");
1296                 return -ENODEV;
1297         }
1299         /*
1300          * self-manage the ordering dependencies between omap_device_enable/idle
1301          * and omap_device_assert/deassert_hardreset API during runtime suspend
1302          * and resume, rather than relying on the order in omap_device layer.
1303          */
1304         if (pdev->dev.pm_domain) {
1305                 dev_dbg(&pdev->dev, "device pm_domain is being reset for this remoteproc device\n");
1306                 pdev->dev.pm_domain = NULL;
1307         }
1309         if (!pdata || !pdata->device_enable || !pdata->device_shutdown) {
1310                 dev_err(&pdev->dev, "platform data is either missing or incomplete\n");
1311                 return -ENODEV;
1312         }
1314         firmware = omap_rproc_get_firmware(pdev);
1315         if (IS_ERR(firmware))
1316                 return PTR_ERR(firmware);
1318         ret = dma_set_coherent_mask(&pdev->dev, DMA_BIT_MASK(32));
1319         if (ret) {
1320                 dev_err(&pdev->dev, "dma_set_coherent_mask: %d\n", ret);
1321                 return ret;
1322         }
1324         rproc = rproc_alloc(&pdev->dev, dev_name(&pdev->dev), &omap_rproc_ops,
1325                             firmware, sizeof(*oproc));
1326         if (!rproc)
1327                 return -ENOMEM;
1329         if (pdata->device_is_enabled && pdata->device_is_enabled(pdev)) {
1330                 rproc->late_attach = 1;
1331                 set_dma_ops(&pdev->dev, &arm_dma_m_ops);
1332         }
1334         oproc = rproc->priv;
1335         oproc->rproc = rproc;
1336         /* All existing OMAP IPU and DSP processors have an MMU */
1337         rproc->has_iommu = true;
1339         ret = omap_rproc_of_get_internal_memories(pdev, rproc);
1340         if (ret)
1341                 goto free_rproc;
1343         ret = omap_rproc_get_boot_data(pdev, rproc);
1344         if (ret)
1345                 goto free_rproc;
1347         /*
1348          * Timer nodes are directly used in client nodes as phandles, so
1349          * retrieve the count using appropriate size
1350          */
1351         oproc->num_timers = of_property_count_elems_of_size(np, "timers",
1352                                                             sizeof(phandle));
1353         if (oproc->num_timers <= 0) {
1354                 dev_dbg(&pdev->dev, "device does not have timers, status = %d\n",
1355                         oproc->num_timers);
1356                 oproc->num_timers = 0;
1357         }
1359 #ifdef CONFIG_OMAP_REMOTEPROC_WATCHDOG
1360         oproc->num_wd_timers = of_count_phandle_with_args(np, "watchdog-timers",
1361                                                           NULL);
1362         if (oproc->num_wd_timers <= 0) {
1363                 dev_dbg(&pdev->dev, "device does not have watchdog timers, status = %d\n",
1364                         oproc->num_wd_timers);
1365                 oproc->num_wd_timers = 0;
1366         }
1367 #endif
1369         if (oproc->num_timers || oproc->num_wd_timers) {
1370                 num_timers = oproc->num_timers + oproc->num_wd_timers;
1371                 oproc->timers = devm_kzalloc(&pdev->dev, sizeof(*oproc->timers)
1372                                              * num_timers, GFP_KERNEL);
1373                 if (!oproc->timers) {
1374                         ret = -ENOMEM;
1375                         goto free_rproc;
1376                 }
1378                 dev_dbg(&pdev->dev, "device has %d tick timers and %d watchdog timers\n",
1379                         oproc->num_timers, oproc->num_wd_timers);
1380         }
1382         init_completion(&oproc->pm_comp);
1383         oproc->autosuspend_delay = omap_rproc_get_autosuspend_delay(pdev);
1384         if (oproc->autosuspend_delay < 0) {
1385                 ret = oproc->autosuspend_delay;
1386                 goto free_rproc;
1387         }
1389         ret = of_property_read_u32(np, "ti,rproc-standby-info", &standby_addr);
1390         if (ret || !standby_addr) {
1391                 ret = !standby_addr ? -EINVAL : ret;
1392                 goto free_rproc;
1393         }
1395         oproc->standby_addr = devm_ioremap(&pdev->dev, standby_addr,
1396                                            sizeof(u32));
1397         if (!oproc->standby_addr) {
1398                 ret = -ENOMEM;
1399                 goto free_rproc;
1400         }
1402         ret = of_reserved_mem_device_init(&pdev->dev);
1403         if (ret) {
1404                 dev_err(&pdev->dev, "device does not have specific CMA pool\n");
1405                 goto free_rproc;
1406         }
1408         platform_set_drvdata(pdev, rproc);
1410         ret = rproc_add(rproc);
1411         if (ret)
1412                 goto release_mem;
1414         if (rproc_get_id(rproc) < 0)
1415                 dev_warn(&pdev->dev, "device does not have an alias id\n");
1417         return 0;
1419 release_mem:
1420         of_reserved_mem_device_release(&pdev->dev);
1421 free_rproc:
1422         if (rproc->late_attach)
1423                 set_dma_ops(&pdev->dev, &arm_dma_ops);
1424         rproc_free(rproc);
1425         return ret;
1428 static int omap_rproc_remove(struct platform_device *pdev)
1430         struct rproc *rproc = platform_get_drvdata(pdev);
1432         rproc_del(rproc);
1433         rproc_free(rproc);
1434         of_reserved_mem_device_release(&pdev->dev);
1436         return 0;
1439 static const struct dev_pm_ops omap_rproc_pm_ops = {
1440         SET_SYSTEM_SLEEP_PM_OPS(omap_rproc_suspend, omap_rproc_resume)
1441         SET_RUNTIME_PM_OPS(omap_rproc_runtime_suspend,
1442                            omap_rproc_runtime_resume, NULL)
1443 };
1445 static struct platform_driver omap_rproc_driver = {
1446         .probe = omap_rproc_probe,
1447         .remove = omap_rproc_remove,
1448         .driver = {
1449                 .name = "omap-rproc",
1450                 .pm = &omap_rproc_pm_ops,
1451                 .of_match_table = omap_rproc_of_match,
1452         },
1453 };
1455 module_platform_driver(omap_rproc_driver);
1457 MODULE_LICENSE("GPL v2");
1458 MODULE_DESCRIPTION("OMAP Remote Processor control driver");