📅 2026-07-22
👁️ 1272
Speculative Decoding: Küçük Taslak Modellerle LLM Üretimini 3x Hızlandırma
Büyük dil modellerinin otoregresif token üretimindeki bellek darboğazını ortadan kaldıran ve $K$ adet tokenı paralel doğrulayan Speculative Decoding algoritması.