Täpsus
FP16 annab üldiselt suuremat täpsust võrreldes int8 -ga. See on eriti oluline täpseid arvutusi vajavate mudelite jaoks, kuna FP16 võib olla laiemat väärtuste vahemikku ja nendevahelisi peenemaid erinevusi selle ujuvapunkti olemuse tõttu. Seevastu INT8 madalam täpsus võib põhjustada suuremaid kvantimisvigu, eriti stsenaariumide korral, kus mudeli parameetritel või aktiveerimisel on väärtused, mis ületavad allkirjastatud 8 -bitiste täisarvude piiratud ulatust, mis ulatub -128 kuni 127 [1] [4].Dünaamiline vahemik
FP16 dünaamiline vahemik on oluliselt laiem kui INT8. FP16 suudab väljendada väärtusi palju suuremas spektris, kuna see eraldab nii eksponendi kui ka mantissa bitti, võimaldades sellel tõhusalt käsitseda väga väikeseid ja väga suurt arvu. Võrdluseks - INT8 fikseeritud vahemik piirab selle rakendatavust, eriti keerukate mudelite puhul, kus väljundväärtused võivad väga erineda [2] [3]. Näiteks, kuigi Int8 dünaamiline vahemik on $ $ 2^8 $$, võib FP16 tähistada väärtusi vahemikus, mis võimaldab tõhusalt palju nüansseeritumat andmete esitust [2].Arvutuslikku tõhusust
Int8 on optimeeritud arvutuslikku tõhusust, eriti servaseadmete järelduste ülesannete osas. Täisarvude aritmeetika kasutamine nõuab tavaliselt vähem energiat ja see võib viia kiiremate arvutusteni võrreldes ujukoma toimingutega. See tõhusus on ülioluline mudelite juurutamiseks reaalajas rakendustes, kus latentsus ja energiatarbimine on kriitilised tegurid [1] [4]. Lisaks võimaldab INT8 kvantifitseerimine mälu kasutamise olulist vähenemist, mis võib parandada piiratud ressurssidega seadme jõudlust [3] [5].Kokkuvõtlikult võib öelda, et kuigi FP16 pakub suurepärast täpsust ja dünaamilist vahemikku, mis sobib keerukate mudelite treenimiseks ja järeldamiseks, paistab INT8 operatiivse efektiivsuse ja kiiruse osas silma, muutes selle ressursiga piiratud keskkonnas kasutamiseks eelistatavaks. Nende täpsuste vahel sõltub sageli rakenduse konkreetsetest nõuetest, näiteks täpsuse vajadusest versus vajadus kiiruse ja tõhususe järele.
Tsitaadid:[1] https://arxiv.org/pdf/2303.17951.pdf
]
]
]
]
]
]
[8] https://forums.developer.nvidia.com/t/int8-vs-fp16-results/158139