Deepseek modelleri için FP16 (16 bit yüzen nokta) ve INT8 (8-bit tamsayı) hassasiyeti arasındaki temel farklılıklar öncelikle doğruluk, dinamik aralık ve hesaplama verimliliği etrafında döner.
Kesinlik
FP16 genellikle INT8'e kıyasla daha yüksek doğruluk sağlar. Bu, özellikle kesin hesaplamalar gerektiren modeller için önemlidir, çünkü FP16, yüzen nokta doğası nedeniyle aralarında daha geniş bir değer aralığını ve daha ince ayrımları temsil edebilir. Buna karşılık, INT8'in düşük hassasiyeti, özellikle model parametrelerinin veya aktivasyonlarının, -128'den 127'ye kadar uzanan sınırlı imzalı 8 bit tamsayıları aşan değerlere sahip olduğu senaryolarda daha fazla nicemleme hatasına yol açabilir [1] [4].Dinamik Aralık
FP16'nın dinamik aralığı Int8'inkinden önemli ölçüde daha geniştir. FP16, çok daha büyük bir spektrum boyunca değerleri ifade edebilir, çünkü hem üs hem de mantissa için bitleri tahsis ederek çok küçük ve çok büyük sayıları etkili bir şekilde işlemesine izin verir. Buna karşılık, Int8'in sabit aralığı, özellikle çıkış değerlerinin büyük ölçüde değişebileceği karmaşık modellerde uygulanabilirliğini sınırlar [2] [3]. Örneğin, Int8'in dinamik bir $$ 2^8 $$ aralığına sahipken, FP16 çok daha nüanslı veri temsiline etkili bir şekilde izin veren bir aralıktaki değerleri temsil edebilir [2].Hesaplama Verimliliği
Int8, özellikle kenar cihazlarındaki çıkarım görevlerinde hesaplama verimliliği için optimize edilmiştir. Tamsayı aritmetik kullanımı tipik olarak daha az güç gerektirir ve kayan nokta işlemlerine kıyasla daha hızlı hesaplamalara yol açabilir. Bu verimlilik, gecikme ve enerji tüketiminin kritik faktörler olduğu gerçek zamanlı uygulamalarda modelleri dağıtmak için çok önemlidir [1] [4]. Ayrıca, INT8 nicemleme, sınırlı kaynaklara sahip cihazlarda performansı artırabilen bellek kullanımında önemli azalmalara izin verir [3] [5].Özetle, FP16, karmaşık modellerin eğitimi ve çıkarımına uygun üstün doğruluk ve dinamik aralık sunarken, INT8 operasyonel verimlilik ve hızda mükemmeldir ve kaynak kısıtlı ortamlarda konuşlandırılması için tercih edilir. Bu hassasiyetler arasındaki seçim, genellikle hız ve verimlilik ihtiyacına karşı doğruluk ihtiyacı gibi uygulamanın özel gereksinimlerine bağlıdır.
Alıntılar:[1] https://arxiv.org/pdf/2303.17951.pdf
[2] https://www.baseten.co/blog/fp8-iffic-model-simerence-with-bit-floating-point-simbers/
[3] https://itsout.ai/understansting-data-types-in- ve-hpc-int8-fp8-fp16-bf16-bf32-fp32-tf32-fp64 ve hardware-accelereratörler
[4] https://massedcompute.com/faq-answers/?question= What+are+the+Differlers+Bet Arween 8+and+fp16+precision+in+interms+of+Accuracy+and+speed%3f
[5] https://www.baseten.co/blog/introduction-to-quantizing-ml-models/
[6] https://www.reddit.com/r/machinelearning/comments/114fgo8/d_is_fp16_used_in_deep_learning_or_fp32/
[7] https://forums.eveloper.nvidia.com/t/same-inference-speed-for-int8 ve-fp16/66971
[8] https://forums.eveloper.nvidia.com/t/int8-vs-fp16-results/158139