Kluczowe różnice między FP16 (16-bitowy punkt zmiennoprzecinkowy) i INT8 (8-bitowa liczba całkowita) dla modeli Deepeek, przede wszystkim obracają się wokół dokładności, zakresu dynamicznego i wydajności obliczeniowej.
Dokładność
FP16 ogólnie zapewnia wyższą dokładność w porównaniu do INT8. Jest to szczególnie ważne w przypadku modeli wymagających precyzyjnych obliczeń, ponieważ FP16 może reprezentować szerszy zakres wartości i drobniejsze różnice między nimi ze względu na jego zmiennoprzecinkowy charakter. Natomiast niższa precyzja INT8 może prowadzić do większych błędów kwantyzacji, szczególnie w scenariuszach, w których parametry modelu lub aktywacje mają wartości przekraczające ograniczony zakres podpisanych 8 -bitowych liczb całkowitych, który obejmuje od -128 do 127 [1] [4].zakres dynamiczny
Zakres dynamiczny FP16 jest znacznie szerszy niż INT8. FP16 może wyrażać wartości w znacznie większym spektrum, ponieważ przydziela bity zarówno dla wykładnika, jak i Mantissa, pozwalając mu skutecznie obsługiwać bardzo małe i bardzo duże liczby. Dla porównania, stały zakres INT8 ogranicza jego zastosowanie, szczególnie w złożonych modelach, w których wartości wyjściowe mogą się znacznie różnić [2] [3]. Na przykład, podczas gdy INT8 ma zakres dynamiczny $$ 2^8 $$, FP16 może reprezentować wartości w zakresie, który skutecznie pozwala na znacznie bardziej dopracowaną reprezentację danych [2].Wydajność obliczeniowa
INT8 jest zoptymalizowany pod kątem wydajności obliczeniowej, szczególnie w zadaniach wnioskowania na urządzeniach krawędziowych. Zastosowanie arytmetyki całkowitej zazwyczaj wymaga mniejszej mocy i może prowadzić do szybszych obliczeń w porównaniu do operacji zmiennoprzecinkowych. Wydajność ta ma kluczowe znaczenie dla wdrażania modeli w aplikacjach w czasie rzeczywistym, w których opóźnienie i zużycie energii są czynnikami krytycznymi [1] [4]. Ponadto kwantyzacja INT8 pozwala na znaczne zmniejszenie użycia pamięci, co może zwiększyć wydajność urządzeń o ograniczonych zasobach [3] [5].Podsumowując, podczas gdy FP16 oferuje doskonałą dokładność i zakres dynamiczny odpowiedni do szkolenia i wnioskowania z złożonych modeli, INT8 wyróżnia się wydajnością i prędkością operacyjną, co czyni go lepszym do wdrażania w środowiskach ograniczonych zasobów. Wybór między tymi dokładnością często zależy od konkretnych wymagań aplikacji, takich jak potrzeba dokładności w porównaniu z potrzebą szybkości i wydajności.
Cytaty:[1] https://arxiv.org/pdf/2303.17951.pdf
[2] https://www.baseten.co/blog/fp8-efficierzy-model-inference-with-8--bit-floating-point-numbers/
[3] https://itsabout.ai/understanding-data-types-in-ai-and-hpc-int8-fp8-fp16-bf16-bf32-fp32-tf32-fp64-and-hardware-accelerators/
[4] https://massedcompute.com/faq-answers/?question=whatse+Tare+The+Differences+Neint8+and+FP16+Precision+Interms+of+Curacy+andSpeed%3F
[5] https://www.baseten.co/blog/introduction-to-quantizing-ml-models/
[6] https://www.reddit.com/r/machinelearning/comments/114fgo8/d_is_fp16_used_in_deep_learning_or_fp32/
[7] https://forums.developer.nvidia.com/t/same-inference-speed-for-int8-and-fp16/66971
[8] https://forums.developer.nvidia.com/t/int8-vs-fp16-results/158139