Klíčové rozdíly mezi FP16 (16bitový plovoucí bod) a INT8 (8bitový celé číslo) přesnost pro modely DeepSeek se primárně točí kolem přesnosti, dynamického rozsahu a výpočetní účinnosti.
Přesnost
FP16 obecně poskytuje vyšší přesnost ve srovnání s INT8. To je zvláště důležité pro modely vyžadující přesné výpočty, protože FP16 může představovat širší rozsah hodnot a jemnější rozdíly mezi nimi kvůli jeho přírodě s pohyblivou plovoucí. Naproti tomu nižší přesnost INT8 může vést k větším kvantizačním chybám, zejména ve scénářích, kde parametry modelu nebo aktivace mají hodnoty, které přesahují omezený rozsah podepsaných 8bitových celých čísel, která se rozprostírá od -128 do 127 [1] [4].Dynamický rozsah
Dynamický rozsah FP16 je výrazně širší než rozsah INT8. FP16 může vyjádřit hodnoty v mnohem větším spektru, protože přiděluje bity jak pro exponentu, tak pro Mantissa, což mu umožňuje efektivně zvládnout velmi malé a velmi velké množství. Ve srovnání, fixní rozsah INT8 omezuje jeho použitelnost, zejména ve složitých modelech, kde se výstupní hodnoty mohou velmi lišit [2] [3]. Například zatímco Int8 má dynamický rozsah $$ 2^8 $$, FP16 může představovat hodnoty v rozsahu, které účinně umožňuje mnohem více nuanční reprezentaci dat [2].Výpočetní účinnost
INT8 je optimalizován pro výpočetní účinnost, zejména v inferenčních úkolech na okrajových zařízeních. Použití celočíselného aritmetiky obvykle vyžaduje méně energie a může vést k rychlejším výpočtům ve srovnání s operacemi s pohyblivou řádovou čárkou. Tato účinnost je zásadní pro nasazení modelů v aplikacích v reálném čase, kde jsou kritickými faktory latence a spotřeba energie [1] [4]. Kvantizace INT8 navíc umožňuje významné snížení využití paměti, které může zvýšit výkon na zařízeních s omezenými zdroji [3] [5].Stručně řečeno, zatímco FP16 nabízí vynikající přesnost a dynamický rozsah vhodný pro trénink a inference komplexních modelů, Int8 vyniká v provozní účinnosti a rychlosti, což je výhodnější pro nasazení v prostředí omezeném na zdroje. Volba mezi těmito přesnostmi často závisí na specifických požadavcích aplikace, jako je potřeba přesnosti oproti potřebě rychlosti a účinnosti.
Citace:[1] https://arxiv.org/pdf/2303.17951.pdf
[2] https://www.baseten.co/blog/fp8-efektivní-model-inference-with-8-bitu-ploating-point-mbers/
[3] https://itsabout.ai/unstanding-data-Types-in-Ai-A-hpc-INT8-FP16-BF16-BF32-fp32-tf32-fp64-and-hardware-Accelerators/
[4] https://massedcompute.com/faq-answers/?question=what+are+the+Differences+Between mezi+int8 a+fp16+precision+in+terms+of+Accuracy+and+speed%3F
[5] https://www.baseten.co/blog/introduction-to-quantizing-ml-models/
[6] https://www.reddit.com/r/machinelearning/comments/114fgo8/d_is_fp16_used_in_deep_arning_or_fp32/
[7] https://forums.developer.nvidia.com/t/same-inference-speed-for-int8-and-fp16/66971
[8] https://forums.developer.nvidia.com/t/int8-vs-fp16-results/158139