depth - doc and script update
[jacinto-ai/pytorch-jacinto-ai-devkit.git] / docs / Depth_Estimation.md
1 # Depth Estimation
3 Depth Estimation predicts the depth (in the 3D space) associated with each pixel of the image. It is useful for tasks such as 3D Object detetion, surround view image stitching etc.
5 We suggest you to first read the documentation on [Sematic Segmentation](./Semantic_Segmentation.md) and also try out some examples in [run_segmentation.sh](../run_segmentation.sh) before attempting Depth Estimation training.
7 In these examples we demonstrate the use of KITTI dataset for depth estimation training. We also support Cityscapes dataset, but we do not have an example for it here.
9 Commonly used Training/Validation commands are listed in the file [run_depth.sh](../run_depth.sh). Uncommend one line and run the file to start the run.
11 Loss functions and many other parametes can be changed or configured in [scripts/train_depth_main.py](../scripts/train_depth_main.py). We have seen that a combination of SmoothL1, ErrorVariance and Overall Scale Difference produces good results.
13 Since Depth Estimation is a regression task, the generated output can be unconstrained. It is good to constrain it within reasonable limits so that the quantization error is contained. For this, in [scripts/train_depth_main.py](../scripts/train_depth_main.py) we can set the output range using the parameter args.model_config.output_range. For example:<br>
14 args.model_config.output_range = [(0,128)]
16 ### Results
18 ##### KITTI Depth Dataset
20 |Dataset    |Mode Architecture         |Backbone Model |Backbone Stride|Resolution |Complexity (GigaMACS)|ARD       |%ARD      |Model Configuration Name                  |
21 |---------  |----------                |-----------    |-------------- |-----------|--------             |----------|----------|----------------------------------------  |
22 |KITTI Depth|DeepLabV3Lite with DWASPP |MobileNetV2    |16             |768x384    |**3.44**             |0.0705    |**7.05**  |**deeplabv3lite_mobilenetv2_tv**          |
23 |KITTI Depth|DeepLabV3Lite with DWASPP |ResNet50       |32             |768x384    |**28.52**            |0.0631    |**6.31**  |**fpn_pixel2pixel_aspp_resnet50**         |
25 - ARD: Absolute Relative Difference<br>
26 - %ARD: Percentage Absolute Relative Difference