minor document update
authorManu Mathew <a0393608@ti.com>
Mon, 11 May 2020 20:53:35 +0000 (02:23 +0530)
committerManu Mathew <a0393608@ti.com>
Mon, 11 May 2020 20:53:35 +0000 (02:23 +0530)
docs/Quantization.md

index 2198c2032cb3704c099cfd5b1812dbe207fc1e35..188f7a443dd09ea18b6c3ac7d464fea533fda393 100644 (file)
@@ -32,8 +32,10 @@ To get best accuracy at the quantization stage, it is important that the model i
 - **Multi-GPU training/calibration/validation with DataParallel is not yet working with our quantization modules** QuantTrainModule/QuantCalibrateModule/QuantTestModule. We recommend not to wrap the modules in DataParallel if you are training/calibrating/testing with quantization - i.e. if your model is wrapped in QuantTrainModule/QuantCalibrateModule/QuantTestModule.<br>
 - If you get an error during training related to weights and input not being in the same GPU, please check and ensure that you are not using DataParallel with QuantTrainModule/QuantCalibrateModule/QuantTestModule. This may not be such a problem as calibration and quantization may not take as much time as the original floating point training. The original floating point training (without quantization) can use Multi-GPU as usual and we do not have any restrictions on that.<br>
 - If your calibration/training crashes with insufficient GPU memory, reduce the batch size and try again.
-- If you are using TIDL to infer a model trained using QAT (or calibratied using PTQ) tools provided in this repository, please set **quantizationStyle = 3** in TIDL import config to use power of 2 quantization.
-- We have provided several useful functions and Modules as part of the xnn python module in this repository. Most notable ones are: [xnn.layers.resize_with, xnn.layers.ResizeWith](../modules/pytorch_jacinto_ai/xnn/resize_blocks.py) to export a clean resize/interpolate/upsamle graph, [xnn.layers.AddBlock, xnn.layers.CatBlock](../modules/pytorch_jacinto_ai/xnn/common_blocks.py) to do elementwise addition & concatenation in a torch.nn.Module form.
+- This repository has several useful functions and Modules as part of the xnn python module. Most notable ones are: [xnn.layers.resize_with, xnn.layers.ResizeWith](../modules/pytorch_jacinto_ai/xnn/resize_blocks.py) to export a clean resize/interpolate/upsamle graph, [xnn.layers.AddBlock, xnn.layers.CatBlock](../modules/pytorch_jacinto_ai/xnn/common_blocks.py) to do elementwise addition & concatenation in a torch.nn.Module form.
+- If you are using TIDL to infer a model trained using QAT (or calibratied using PTQ) tools provided in this repository, please set the following in the import config file:<br>
+**quantizationStyle = 3** to use power of 2 quantization.<br>
+**foldPreBnConv2D = 0** to avoid an issue in folding of BatchNormalization that comes before Convolution.<br>
 
 ## Post Training Calibration For Quantization (PTQ a.k.a. Calibration)
 **Note: this is not our recommended method in PyTorch.**<br>