Új hozzászólás Aktív témák

• #68146 S_x96x_S addikt huskydog17 #68144

  Új Válasz 2025-01-28 12:32:03 #68146

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  S_x96x_S

  addikt

  válasz huskydog17 #68144 üzenetére

  > CNN modell FP16 volt, míg az új Transformer már FP8.

  annyit pontosítanék, hogy a blackwell -nek már
  második generációs Transformer -je van,
  ami már FP4 -et is tud - vagyis a lehetőség megvan az FP4 -re is.
  
  "Second-Generation Transformer Engine
  The second-generation Transformer Engine uses custom Blackwell Tensor Core technology combined with NVIDIA® TensorRT™-LLM and NeMo™ Framework innovations to accelerate inference and training for large language models (LLMs) and Mixture-of-Experts (MoE) models.
  To supercharge inference of MoE models, Blackwell Tensor Cores add new precisions, including new community-defined microscaling formats, giving high accuracy and ease of replacement for larger precisions. The Blackwell Transformer Engine utilizes fine-grain scaling techniques called micro-tensor scaling, to optimize performance and accuracy enabling 4-bit floating point (FP4) AI. This doubles the performance and size of next-generation models that memory can support while maintaining high accuracy."
  https://www.nvidia.com/en-eu/data-center/technologies/blackwell-architecture/

• #68145 huskydog17 addikt huskydog17 #68144

  Új Válasz 2025-01-28 12:19:22 #68145

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  huskydog17

  addikt

  válasz huskydog17 #68144 üzenetére

  Kiegészítés, pontosítás:

  Természetesen a Turin és Ampere a Transformer modellt is FP16-ban számolja, ezért is sokkal lassabbak alatta. Tehát röviden tömören:

  Ada és Blackwell gen Transformer modell esetén FP8, minden más (CNN és régebbi RTX genek) FP16.

Új hozzászólás Aktív témák