Indlæg på X2Q med emnet whisper. Opdateres i takt med, at nye indlæg publiceres.
Et speaker-identification-eksperiment på telefonopkald gik gennem fem runder — fra en konklusion om at 8kHz-telefonlyd 'drukner stemmeidentitet' (EER 35-45%), over et metodegennembrud (82-92% på et rigtigt guldsæt), til et realitetstjek der styrtdykkede til 59,5% på blinde opkald. Løsningen var ikke en bedre model — det var at opdage, at 68% af de 'enkelt-taler'-klip faktisk indeholdt to stemmer. Renset for det: 87,2% nøjagtighed, AUC 0,856.
Fine-tunede whisper-large-v3 på CoRal-project/coral-v3 (dansk tale, telefon-kodek-augmenteret) med LoRA. Træningstabet sad fast omkring 35-40 tre forsøg i træk — så ud som om large-v3 selv var ustabil under LoRA. Det var det ikke: warmup-skemaet var for langt i forhold til, hvor langt træningen rent faktisk kørte. Rettet, og modellen halverede næsten WER på tilbageholdt dansk tale sammenlignet med den utrænede base. Så fandt en systematisk gennemgang af 30 rigtige opkald en reel fabrikationsrate, som benchmark-tallet ikke viste — udgivet alligevel, med et ærligt modelkort.
Pyannote-audio 3.1 virker, men kræver en Hugging Face-token og tager 5 sekunder pr. opkald. Benchmark af fem alternativer på 8 rigtige 2-parts telefonopkald: WeSpeaker + spectral clustering (0,2 s), multi-scale AHC (0,6 s), PLDA + spectral (0,3 s), Silero VAD + spectral (2,1 s) og cross-call gallery nearest-neighbour (0,2 s). Silero VAD-tilgangen vandt med 76,1 % agreement og er 2,4× hurtigere. Overraskelse: alle fem kollapserede på mono-kald — pyannote forbliver i produktion.
Forretningstelefonsamtaler var blevet optaget i 13 måneder — ~33.000 danske mp3-filer, ~570 timer 32 kbps telefonlyd. Opgaven: transskribér alt, navngiv talerne, resumér pr. opkald/dag/uge, gør det browsbart på en hjemmeside, og gør det lokalt uden LLM-API. Dette er bygget: et benchmark af danske ASR-modeller, en dual-model + Claude-fusions-pipeline, 'phone-first' taleridentifikation fra metadata, selvhelende infrastruktur over to GPU'er, og Claude Code-subagenter som det (API-løse) resumélag. Plus hvad det lærer om at anvende den samme pipeline i en kundeservicefunktion.
Tre måder at køre Whisper på — faster-whisper (CTranslate2), Hugging Face Transformers (batched, SDPA) og whisper.cpp (ggml) — benchmarket på rigtig dansk telefonlyd på et RTX 4070 Ti. faster-whisper + large-v3-turbo er hurtigst samlet (~56× realtid); whisper.cpp CUDA er tæt på med en brøkdel af VRAM'en og matcher endda GPU-hastighed på CPU for korte filer. Fulde tabeller for hastighed (RTF), VRAM og konsensus-WER-kvalitet, plus en anbefaling pr. use case.