Deepseek-V3'teki Çoklu Tokul Tahmin (MTP) hedefi, paradigmayı geleneksel bir sonraki eğik tahminden aynı anda çok sayıda belirteç öngören daha bütünsel bir yaklaşıma kaydırarak model performansını önemli ölçüde artırır. Bu yenilik birkaç temel iyileştirmeye yol açar:
Geliştirilmiş Veri Verimliliği
MTP, modelin her giriş dizisi için birden fazla tahmin yapmasına izin vererek eğitim sinyallerinin yoğunluğunu arttırır. GPT gibi geleneksel modeller, tipik olarak bir seferde sadece bir jeton öngörür, bu da dizinin öngörücü potansiyelinin çoğunu boş bırakabilir. MTP, çoklu jetonları tahmin ederek, eğitim verilerinin daha iyi kullanılmasını sağlar, bu da öğrenme sonuçlarının ve genel verimliliğe yol açar [1] [2].Geliştirilmiş Temsil Planlaması
Bu hedef, modeli verilerdeki daha uzun vadeli bağımlılıkları göz önünde bulundurarak daha zengin iç temsiller geliştirmeye teşvik eder. MTP, aynı anda gelecekteki birkaç jeton için tahminler gerektirerek, modeli her pozisyonda daha bağlamsal bilgi kodlamaya zorlar ve dili anlarken insan bilişsel süreçleriyle daha yakından hizalanır. Bu, diziler içinde bağlam ve anlamın daha derin bir şekilde anlaşılmasına neden olur [1] [3].Daha geniş genelleme yetenekleri
MTP, modelin genişletilmiş bağlamlar üzerinde akıl yürütme veya tutarlı diziler üretme gerektiren çeşitli görevlerde genelleme yeteneğini geliştirir. Bu, özellikle uzun vadeli planlama ve çok adımlı muhakemenin gerekli olduğu Humaneval ve GSM8K gibi karmaşık ölçütlerde faydalıdır. Yaklaşan birden fazla jeton öngörme yeteneği, modelin daha tutarlı ve bağlamsal olarak alakalı çıktılar üretmesini sağlar, böylece karmaşık akıl yürütme gerektiren görevler üzerindeki performansını iyileştirir [1] [4].spekülatif kod çözme potansiyeli
Çıkarım sırasında MTP, spekülatif kod çözmeyi kolaylaştırabilir, burada çoklu jeton tahminleri sırayla değil paralel olarak üretilir. Bu özellik, model dağıtım sırasında gecikmeyi önemli ölçüde azaltabilir ve yanıt sürelerini hızlandırabilir, bu da gerçek zamanlı uygulamalar için daha verimli hale getirebilir [2] [3].Özetle, Deepseek-V3'teki çoklu atak tahmin hedefi sadece eğitim verimliliğini artırmakla kalmaz, aynı zamanda modelin öngörücü yeteneklerini ve karmaşık görevlerdeki genellemesini de artırır ve geleneksel bir sonraki işaretli tahmin yöntemlerine göre önemli bir ilerleme işaret eder.
Alıntılar:[1] https://community.aws/content/2rjj1wkztsfywvfsiibhwxeqmf1/four-uniquewaveys-from-depseek-v3?lang=en
[2] https://huggingface.co/deepseek-ai/deepseek-v3/blob/main/readme.md
[3] https://adasci.org/deepseek-v3-splained-optimizizing-fort-and-scale/
[4] https://arxiv.org/pdf/2412.19437.pdf
[5] https://arxiv.org/html/2412.19437v1
[6] https://www.linkedin.com/posts/ivandj_deepseek-v3-uterforforms-stonnet-at-53x-cheaper-activity-727804807307685889-xrno
[7] https://huggingface.co/deepseek-ai/deepseek-v3/blob/9672b384bf8a07c8968cf874cde35020f146fc64/readme.md
[8] https://gradentientflow.com/deepseek-what-yned-to-nown/
[9] https://ithy.com/article/deepseek-v3-progress-in-nanguage-models-huyq64wk