minor document update
authorManu Mathew <a0393608@ti.com>
Tue, 12 May 2020 04:48:18 +0000 (10:18 +0530)
committerManu Mathew <a0393608@ti.com>
Tue, 12 May 2020 04:48:49 +0000 (10:18 +0530)
docs/Quantization.md

index 188f7a443dd09ea18b6c3ac7d464fea533fda393..5d9e0e24a8dbf20583313795e895014ceb80653a 100644 (file)
@@ -33,9 +33,7 @@ To get best accuracy at the quantization stage, it is important that the model i
 - If you get an error during training related to weights and input not being in the same GPU, please check and ensure that you are not using DataParallel with QuantTrainModule/QuantCalibrateModule/QuantTestModule. This may not be such a problem as calibration and quantization may not take as much time as the original floating point training. The original floating point training (without quantization) can use Multi-GPU as usual and we do not have any restrictions on that.<br>
 - If your calibration/training crashes with insufficient GPU memory, reduce the batch size and try again.
 - This repository has several useful functions and Modules as part of the xnn python module. Most notable ones are: [xnn.layers.resize_with, xnn.layers.ResizeWith](../modules/pytorch_jacinto_ai/xnn/resize_blocks.py) to export a clean resize/interpolate/upsamle graph, [xnn.layers.AddBlock, xnn.layers.CatBlock](../modules/pytorch_jacinto_ai/xnn/common_blocks.py) to do elementwise addition & concatenation in a torch.nn.Module form.
-- If you are using TIDL to infer a model trained using QAT (or calibratied using PTQ) tools provided in this repository, please set the following in the import config file:<br>
-**quantizationStyle = 3** to use power of 2 quantization.<br>
-**foldPreBnConv2D = 0** to avoid an issue in folding of BatchNormalization that comes before Convolution.<br>
+- If you are using TIDL to infer a model trained using QAT (or calibratied using PTQ) tools provided in this repository, please set the following in the import config file for best accuracy: **quantizationStyle = 3** to use power of 2 quantization. **foldPreBnConv2D = 0** to avoid a slight accuracy degradation due to incorrect folding of BatchNormalization that comes before Convolution (input mean/scale is implemented in TIDL as a PreBN - so this affects most networks).
 
 ## Post Training Calibration For Quantization (PTQ a.k.a. Calibration)
 **Note: this is not our recommended method in PyTorch.**<br>