modules/pytorch_jacinto_ai/xnn/quantize_torch_internal/quant_torch_eagercalib_module.py

   1 #################################################################################
   2 # Copyright (c) 2018-2021, Texas Instruments Incorporated - http://www.ti.com
   3 # All Rights Reserved.
   4 #
   5 # Redistribution and use in source and binary forms, with or without
   6 # modification, are permitted provided that the following conditions are met:
   7 #
   8 # * Redistributions of source code must retain the above copyright notice, this
   9 #   list of conditions and the following disclaimer.
  10 #
  11 # * Redistributions in binary form must reproduce the above copyright notice,
  12 #   this list of conditions and the following disclaimer in the documentation
  13 #   and/or other materials provided with the distribution.
  14 #
  15 # * Neither the name of the copyright holder nor the names of its
  16 #   contributors may be used to endorse or promote products derived from
  17 #   this software without specific prior written permission.
  18 #
  19 # THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS"
  20 # AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  21 # IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
  22 # DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT HOLDER OR CONTRIBUTORS BE LIABLE
  23 # FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  24 # DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR
  25 # SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER
  26 # CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY,
  27 # OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
  28 # OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  29 #
  30 #################################################################################
  31
  32 ###########################################################
  33 # Approximate quantized floating point simulation with gradients.
  34 # Can be used for quantized training of models.
  35 ###########################################################
  36
  37 import copy
  38 import torch
  39
  40 from .quant_torch_qconfig import *
  41 from .quant_torch_base_module import *
  42
  43 #warnings.filterwarnings('ignore', category=torch.jit.TracerWarning)
  44
  45 ###########################################################
  46 class QuantTorchEagerCalibrateModule(QuantTorchBaseModule):
  47     def __init__(self, module, dummy_input, *args, histogram=True, with_fakequantize=True, **kwargs):
  48         '''
  49         Quantize after collecting the ranges.
  50         If with_fakequantize is set, the range collection will be with quantization
  51         of weights and activations - this is seen to help accuracy.
  52         '''
  53         super().__init__(module, dummy_input, *args,  histogram=histogram, with_fakequantize=with_fakequantize,
  54                          constrain_weights=False, **kwargs)
  55
  56