Új hozzászólás Aktív témák

• #50182 S_x96x_S addikt b. #50175

  Új Válasz 2025-11-30 05:48:11 #50182

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  S_x96x_S

  addikt

  válasz b. #50175 üzenetére

  Valóság meg : [Analysis’ Hardware Benchmarking shows NVIDIA achieving a ~5x tokens-per-dollar advantage over TPU v6e (Trillium), and a ~2x advantage over MI300X, in our key inference cost metric]
  ha google 5x sebességre lép előre és ugyan ezen az áron adja mint a V6e modellt ( amit kétlek)akkor is csak utolérné az Nvidia H100 gyorsítót nem hogy előnye lenne.

  A kedvenc szakértőd ( "Dylan Patel" )
  az általam korábban linkelt cikkben
  

  egy külön bekezdést szentelt
  az általad linkelt tpu bench kritikájának.
  

  https://newsletter.semianalysis.com/p/tpuv7-google-takes-a-swing-at-the?open=false#%C2%A7vllm-tpu-benchmarks-are-not-relevant-yet
  """
  vLLM TPU Benchmarks are not relevant yet
  
  This week, there was an new inference benchmark on TPUv6e that dropped claiming that TPUv6e has 5x worst performance per dollar than NVIDIA GPUs. We disagree mainly due to 2 reasons. First of all, this is benchmark is on vLLM on TPUs which was only released an couple month ago thus does not yet have optimized performance. Google internal Gemini workloads & Anthropic workloads work on an internal custom inference stack that has better perf per TCO than NVIDIA GPUs.
  
  
  Secondly, Aritifical Analysis’s cost per million tokens is using the list price of $2.7/hr/chip for TPUv6e. No major customers of TPUs is paying anywhere close to that much for TPUv6e given the BOM is a tiny fraction of the H100. As everyone knows, most clouds have an high ball list price such that their account sales executives can do “car salesman” tactics and give massive discounts so that the customer thinks they are getting a good deal. The SemiAnalysis AI TCO Model tracks the acutal market rental price of TPUs across all the various contract lengths (1 month, 1 year, 3 years, etc).
  """"

Új hozzászólás Aktív témák