b38d4e77a3994facf393cdece1e4f2387db5beac
[jacinto-ai/pytorch-jacinto-ai-devkit.git] / docs / Depth_Estimation.md
1 # Depth Estimation
3 Depth Estimation predicts the depth (in the 3D space) associated with each pixel of the image. It is useful for tasks such as 3D Object detetion, surround view image stitching etc.
5 We suggest you to first read the documentation on [Sematic Segmentation](./Semantic_Segmentation.md) and also try out some examples in [run_segmentation.sh](../run_segmentation.sh) before attempting Depth Estimation training.
7 In these examples we demonstrate the use of KITTI dataset for depth estimation training. We also support Cityscapes dataset, but we do not have an example for it here.
9 Commonly used Training/Validation commands are listed in the file [run_depth.sh](../run_depth.sh). Uncommend one line and run the file to start the run.
11 Loss functions and many other parametes can be changed or configured in [scripts/train_depth_main.py](../scripts/train_depth_main.py). We have seen that a combination of SmoothL1, ErrorVariance and Overall Scale Difference produces good results.
13 ### Results
15 ##### KITTI Depth Dataset
17 |Dataset    |Mode Architecture         |Backbone Model |Backbone Stride|Resolution |Complexity (GigaMACS)|ARD       |%ARD      |Model Configuration Name                  |
18 |---------  |----------                |-----------    |-------------- |-----------|--------             |----------|----------|----------------------------------------  |
19 |KITTI Depth|DeepLabV3Lite with DWASPP |MobileNetV2    |16             |768x384    |**3.44**             |0.0705    |**7.05**  |**deeplabv3lite_mobilenetv2_tv**          |
20 |KITTI Depth|DeepLabV3Lite with DWASPP |ResNet50       |32             |768x384    |**28.52**            |0.0631    |**6.31**  |**fpn_pixel2pixel_aspp_resnet50**         |
22 - ARD: Absolute Relative Difference<br>
23 - %ARD: Percentage Absolute Relative Difference