De belangrijkste verschillen tussen FP16 (16-bit drijvend punt) en INT8 (8-bit geheel getal) Precisie voor diepeekmodellen draaien voornamelijk rond nauwkeurigheid, dynamisch bereik en computationele efficiëntie.
Nauwkeurigheid
FP16 biedt over het algemeen een hogere nauwkeurigheid in vergelijking met INT8. Dit is met name belangrijk voor modellen die precieze berekeningen vereisen, omdat FP16 een breder scala van waarden en fijnere onderscheidingen daartussen kan vertegenwoordigen vanwege de drijvende komma. De lagere precisie van INT8 kan daarentegen leiden tot grotere kwantisatiefouten, met name in scenario's waarbij modelparameters of activeringen waarden hebben die het beperkte bereik van ondertekende 8 -bits gehele getallen overschrijden, die zich uitstrekt van -128 tot 127 [1] [4].Dynamisch bereik
Het dynamische bereik van FP16 is aanzienlijk breder dan dat van INT8. FP16 kan waarden uitdrukken in een veel groter spectrum omdat het bits toewijst aan zowel de exponent als de mantissa, waardoor het zeer kleine en zeer grote getallen effectief kan verwerken. Ter vergelijking: het vaste bereik van INT8 beperkt de toepasbaarheid ervan, met name in complexe modellen waar de uitvoerwaarden sterk kunnen variëren [2] [3]. Hoewel Int8 bijvoorbeeld een dynamisch bereik van $$ 2^8 $$ heeft, kan FP16 waarden weergeven in een bereik dat effectief veel meer genuanceerde gegevensrepresentatie mogelijk maakt [2].Computationele efficiëntie
INT8 is geoptimaliseerd voor computationele efficiëntie, met name bij inferentietaken op randapparaten. Het gebruik van gehele rekenmetica vereist doorgaans minder vermogen en kan leiden tot snellere berekeningen in vergelijking met drijvende-puntbewerkingen. Deze efficiëntie is cruciaal voor het inzetten van modellen in realtime toepassingen waar latentie en energieverbruik cruciale factoren zijn [1] [4]. Bovendien zorgt INT8 -kwantisatie mogelijk voor aanzienlijke verminderingen van het geheugengebruik, wat de prestaties op apparaten met beperkte bronnen kan verbeteren [3] [5].Samenvattend, terwijl FP16 een superieure nauwkeurigheid en dynamisch bereik biedt dat geschikt is voor training en inferentie van complexe modellen, blinkt INT8 uit in operationele efficiëntie en snelheid, waardoor het de voorkeur heeft voor de implementatie in omgevingen in resource-beperkte omgevingen. De keuze tussen deze precisies hangt vaak af van de specifieke vereisten van de toepassing, zoals de behoefte aan nauwkeurigheid versus de behoefte aan snelheid en efficiëntie.
Citaten:[1] https://arxiv.org/pdf/2303.17951.pdf
[2] https://www.baseten.co/blog/fp8-efficient-model-inference-with-8-bit-floating-point-numbers/
[3] https://itsabout.ai/understanding-data-types-in-ai-en-hpc-int8-fp8-fp16-bf16-bf32-fp32-tf32-fp64-andware-celerators/
[4] https://massedcompute.com/faq-answers/?question=whaty+ zijn+The+Differentces+Bet tussen+int8+ en+fp16+precision+in+terms+of+Accuracy+ en SPEED%3F
[5] https://www.baseten.co/blog/introduction-to-quantizing-ml-models/
[6] https://www.reddit.com/r/machinelearning/comments/114fgo8/d_is_fp16_used_in_deep_learning_or_fp32/
[7] https://forums.developer.nvidia.com/t/same-inference-for-inint8-and-fp16/66971
[8] https://forums.developer.nvidia.com/t/int8-vs-fp16-results/158139