#llm

3

Indlæg på X2Q med emnet llm. Opdateres i takt med, at nye indlæg publiceres.

Jul 13, 2026
Første kig på NVIDIA DGX Spark — hvad maskinen faktisk rapporterer (2026)
NVIDIA DGX Spark rapporterer sig selv som en 20-kernes Arm-maskine (10× Cortex-X925 + 10× Cortex-A725), 121 GiB unified LPDDR5x-hukommelse, en enkelt GB10 Blackwell-GPU på CUDA 13, og en 4 TB Samsung-NVMe — alt sammen i en guldfarvet kasse på størrelse med en tyk paperback. Dette første-kig-indlæg aflæser hele maskinen fra kommandolinjen (lscpu, free -h, nvidia-smi, lspci, lsblk) og viser den gøre det, ingen forbruger-GPU kan: holde en 67 GB llama4:scout og en 65 GB gpt-oss:120b i hukommelsen samtidig.
Jun 22, 2026
Apple M1 Pro vs RTX 4070 Ti til lokal AI — GPU-matmul og LLM-benchmarks (2026)
RTX 4070 Ti rammer 75 TFLOPS ved fp16 via tensor cores; M1 Pro MPS når 4,2 TFLOPS — et 18× beregningsgab. Men på rigtig LLM-inferens (minicpm-v4.6, qwen3.5, gemma4:12b via ollama) er RTX kun 3–4× hurtigere. LLM-inferens ved batch=1 er hukommelsesbåndbredde-begrænset, ikke beregnings-begrænset, og M1's unified-memory-arkitektur lukker det meste af gabet. Apple's AMX-udvidelser giver også dens CPU 2,7× bedre matmul-gennemstrømning end en Intel i5 med samme tråd-antal.
Jun 22, 2026
Ollama — komplet guide til lokal AI (2026)
Ollama lader dig køre store sprogmodeller lokalt med én kommando. Guiden dækker installation på Mac og Linux, hvilken model du skal vælge (med størrelsestabel), CLI-cheat-sheet, REST API med curl og Python, tilpasning med Modelfile og system-prompts, samt performance-tricks der halverer VRAM-forbruget.