#gpu

Indlæg på X2Q med emnet gpu. Opdateres i takt med, at nye indlæg publiceres.

• Jun 22, 2026

  Apple M1 Pro vs RTX 4070 Ti til lokal AI — GPU-matmul og LLM-benchmarks (2026)

  RTX 4070 Ti rammer 75 TFLOPS ved fp16 via tensor cores; M1 Pro MPS når 4,2 TFLOPS — et 18× beregningsgab. Men på rigtig LLM-inferens (minicpm-v4.6, qwen3.5, gemma4:12b via ollama) er RTX kun 3–4× hurtigere. LLM-inferens ved batch=1 er hukommelsesbåndbredde-begrænset, ikke beregnings-begrænset, og M1's unified-memory-arkitektur lukker det meste af gabet. Apple's AMX-udvidelser giver også dens CPU 2,7× bedre matmul-gennemstrømning end en Intel i5 med samme tråd-antal.

• Jun 10, 2026

  Whisper-backend-dyst: faster-whisper vs HF Transformers vs whisper.cpp (2026)

  Tre måder at køre Whisper på — faster-whisper (CTranslate2), Hugging Face Transformers (batched, SDPA) og whisper.cpp (ggml) — benchmarket på rigtig dansk telefonlyd på et RTX 4070 Ti. faster-whisper + large-v3-turbo er hurtigst samlet (~56× realtid); whisper.cpp CUDA er tæt på med en brøkdel af VRAM'en og matcher endda GPU-hastighed på CPU for korte filer. Fulde tabeller for hastighed (RTF), VRAM og konsensus-WER-kvalitet, plus en anbefaling pr. use case.