Parakeet v3 vs Whisper pri prepise porád.
Whisper Large bol roky štandardom pre lokálny prevod reči na text. NVIDIA Parakeet TDT 0.6B v3 (otvorené váhy, Apache 2.0) teraz beží na rovnakom hardvéri štyrikrát rýchlejšie, s mierne lepšou presnosťou na anglickom zvuku z porád. Tu je krajina, ktorú sme preskúmali, než sme sa rozhodli, ako Notabium prepisuje.
Čo sa zmenilo
Parakeet používa architektúru Transducer namiesto prístupu encoder-decoder, ktorý používa Whisper. Transducery sú vhodné pre streamovanie. Vydávajú tokeny hneď, ako počujú zvuk, namiesto čakania na dokončenie celého bloku. Pri prepise porád to čisto zodpovedá tomu, ako výstup naozaj konzumujete: živý prepis, ktorý sa dopĺňa, ako ľudia hovoria.
Model má 600 miliónov parametrov. Whisper Large má 1,5 miliardy. Napriek tomu, že je menší, streamovacia architektúra plus lepšie tréningové dáta umožňujú Parakeetu vyrovnať sa presnosti Whisper Large na anglickom zvuku z porád a prekonať ho v rýchlosti.
Reálne čísla, náš laptop
Na M3 Max s rovnakou hodinovou testovacou poradou (dvaja hovoriaci, zvuk z konferenčného hovoru, mierne prekrývanie):
| Model | RTF (real time factor) | Presnosť (WER) | Poznámky |
|---|---|---|---|
| Whisper Large v3 | 0.18x (pomalé) | 5.4% | Najlepší viacjazyčný; pomalý na CPU; pre živý prepis potrebuje GPU |
| Whisper Medium | 0.42x | 6.9% | Dobrý kompromis; iba angličtina |
| Parakeet TDT 0.6B v3 | 0.05x (rýchle) | 4.8% | Iba angličtina; vhodný na streamovanie |
Nižší RTF je lepší: 0.05x prepisuje za 1/20 reálneho času. Whisper Large pri 0.18x je dosť rýchly na živý prepis s GPU, no rezerva Parakeetu má význam, keď na tom istom stroji bežia prepis aj model na zhrnutie súčasne.
Kde každý z nich zlyháva
Whisper zlyháva, keď:
- Signál z mikrofónu je slabý (nadmerne komprimovaný zvuk zo Zoomu so stratou paketov). Model si vymýšľa vierohodne znejúce vety, ktoré nikto nepovedal.
- Viacerí hovoriaci sa výrazne prekrývajú. Whisper nemá vnútornú diarizáciu.
- Potrebujete streamovaný výstup. Architektúra encoder-decoder čaká na dokončenie bloku.
Parakeet zlyháva, keď:
- Zvuk nie je v angličtine. Zvláda iba angličtinu. Whisper pokrýva 99 jazykov.
- Hovoriaci má silný prízvuk, ktorý tréningové dáta nevideli. Whisper Large pokrýva väčšiu rozmanitosť prízvukov.
- Potrebujete časové značky na úrovni slov so sub-sekundovou presnosťou. Časové značky Parakeetu sú hrubšie.
Čo používa Notabium a prečo
Prevádzkovať tieto modely sami znamená spravovať GPU, sťahovanie modelov a jazykové zálohy. Táto daň za nastavovanie sa málokedy vyplatí a strop presnosti vlastného modelu je nižší než pri spravovanej službe, ktorá sa priebežne dolaďuje na zvuku z porád.
Notabium preto prepisuje v cloude s ElevenLabs Scribe: spravovanou službou prevodu reči na text postavenou pre viachlasý zvuk z porád, so silnou presnosťou naprieč prízvukmi, so značkami hovoriacich a časovými značkami. Získate kvalitatívnu latku, na ktorú toto porovnanie mieri, bez toho, aby ste vlastnili infraštruktúru. Nahrávky a prepisy sú šifrované pri prenose aj v pokoji a viazané na váš účet a AI zhrnutia bežia s Claude.
Debata Parakeet vs Whisper je skvelým oknom do toho, kam smerujú otvorené rečové modely. Pri dodávaní produktu, na ktorý sa ľudia spoliehajú každý deň, vyhráva spravovaný cloudový model na presnosti a na jednoduchom fakte, že jednoducho funguje.
Súvisiace: Prepis Zoomu · Architektúra s botom vs bez bota