| # | Model · Build | Hardware | Decode · tok/s | Get |
|---|---|---|---|---|
RTX 5090 32GB | 351 | |||
RTX 4090 24GB | 220 | |||
RTX A5000 | 177.6 | |||
RTX 5090 32GB | 173 | |||
RTX 5090 32GB | 142 | |||
2× DGX Spark | 94.4 | |||
M4 Pro | 85.5 | |||
M4 Pro | 82.8 | |||
M5 Max 128GB | 65 | |||
2× DGX Spark | 60.4 | |||
RTX 3060 12GB | 50 | |||
M4 Pro | 49.3 | |||
M4 Pro | 48.3 | |||
RTX 5060 8GB | 47 | |||
GTX 1660 SUPER 6GB | 40 | |||
4x DGX Spark | 30 | |||
RTX 5060 Ti 16GB | 14 | |||
RTX 5060 Ti 16GB | 10 | |||
| — | — | |||
| — | — | |||
| — | — | |||
| — | — | |||
| — | — | |||
| — | — | |||
| — | — | |||
| — | — | |||
| — | — | |||
| — | — | |||
| — | — | |||
| — | — | |||
| — | — | |||
| — | — | |||
| — | — | |||
| — | — | |||
| — | — | |||
| — | — | |||
| — | — | |||
| — | — | |||
| — | — | |||
| — | — | |||
| — | — | |||
| — | — | |||
| — | — | |||
| — | — | |||
| — | — | |||
| — | — | |||
| — | — | |||
| — | — | |||
| — | — | |||
| — | — | |||
| — | — | |||
| — | — | |||
| — | — | |||
| — | — | |||
| — | — | |||
| — | — |







