As principais diferenças entre FP16 (ponto flutuante de 16 bits) e INT8 (número inteira de 8 bits) para modelos Deepseek giram principalmente em torno da precisão, faixa dinâmica e eficiência computacional.
Precisão
O FP16 geralmente fornece maior precisão em comparação com o INT8. Isso é particularmente importante para modelos que requerem cálculos precisos, pois o FP16 pode representar uma faixa mais ampla de valores e distinções mais finas entre eles devido à sua natureza de ponto flutuante. Por outro lado, a menor precisão do INT8 pode levar a maiores erros de quantização, especialmente em cenários em que parâmetros ou ativações do modelo têm valores que excedem a faixa limitada de números inteiros de 8 bits assinados, que se estendem de -128 a 127 [1] [4].faixa dinâmica
A faixa dinâmica de FP16 é significativamente mais ampla que a do INT8. O FP16 pode expressar valores em um espectro muito maior, pois aloca bits para o expoente e para o Mantissa, permitindo que ele lide com números muito pequenos e muito grandes de maneira eficaz. Em comparação, o intervalo fixo da INT8 limita sua aplicabilidade, particularmente em modelos complexos em que os valores de saída podem variar amplamente [2] [3]. Por exemplo, enquanto o INT8 possui uma faixa dinâmica de $$ 2^8 $$, o FP16 pode representar valores em um intervalo que efetivamente permite uma representação de dados muito mais sutis [2].Eficiência computacional
O INT8 é otimizado para a eficiência computacional, particularmente em tarefas de inferência nos dispositivos de borda. O uso da aritmética inteira normalmente requer menos energia e pode levar a cálculos mais rápidos em comparação com operações de ponto flutuante. Essa eficiência é crucial para implantar modelos em aplicações em tempo real, onde a latência e o consumo de energia são fatores críticos [1] [4]. Além disso, a quantização do INT8 permite reduções significativas no uso da memória, o que pode aumentar o desempenho em dispositivos com recursos limitados [3] [5].Em resumo, enquanto o FP16 oferece precisão superior e faixa dinâmica adequada para treinamento e inferência de modelos complexos, o INT8 se destaca em eficiência e velocidade operacionais, tornando-o preferível para a implantação em ambientes com restrição de recursos. A escolha entre essas precisões geralmente depende dos requisitos específicos do aplicativo, como a necessidade de precisão versus a necessidade de velocidade e eficiência.
Citações:[1] https://arxiv.org/pdf/2303.17951.pdf
[2] https://www.baseten.co/blog/fp8-eficiente-model-inference-with-8bit-bloating-point-numbers/
[3] https://itsabout.ai/understanding-data-types-in-ai-and-hpc-int8-fp8-fp16-bf16-bf32-fp32-tf32-fp64-and-hardware-accelerators/
[4] https://massedcompute.com/faq-answers/?question=what+are+the+differences+sbetwer+Int8+And+Fp16+Precision+Interms+of+Accuracy+And+Speed%3F
[5] https://www.baseten.co/blog/introduction-to-quantizing-ml-models/
[6] https://www.reddit.com/r/machinelearning/comments/114fgo8/d_is_fp16_used_in_deep_learning_or_fp32/
[7] https://forums.developer.nvidia.com/t/same-inference-seed-for-int8-and-fp16/66971
[8] https://forums.developer.nvidia.com/t/int8-vs-fp16-results/158139