De l'enregistrement multipiste à la timeline éditable : transcription, diarisation et export AAF

Mon, 01 Jun 2026 00:00:00 +0000

Contexte

Une conférence enregistrée sur plusieurs microphones (intervenants, salle, musique) produit des heures d’audio multipiste brut. L’essentiel du temps de montage est consacré à repérer la matière — qui parle quand, sur quelle piste, où se trouvent les silences — avant toute coupe.

Les outils vocaux open source (Whisper et ses dérivés, pyannote, Silero VAD) résolvent bien la transcription et la question « qui a parlé quand », mais s’arrêtent au texte. La question traitée ici est de savoir si cette analyse peut être livrée sous la forme d’un objet de montage : une timeline multipiste au format AAF, le format d’échange que les stations audionumériques ouvrent nativement, avec des pistes qualifiées et les temps morts supprimés.

Avant → après

Un vrai projet traité de bout en bout : une conférence enregistrée sur 16 pistes. Toute la colonne de droite est produite automatiquement, sans aucune coupe manuelle ; les chiffres sont lus dans la base d’analyse du projet et dans l’AAF livré. Ce projet a été transcrit avec WhisperX (avec diarisation pyannote), et non avec faster-whisper. La qualité du montage n’a pas encore été évaluée face à un montage humain (n = 1 conférence).

	Entrée (enregistrement brut)	Sortie générée (timeline AAF)
Pistes	16 × 1 h 32 min 54 s (≈ 24 h 46 min d’audio) ; 10 des 16 pistes étaient quasi silencieuses au niveau numérique, 6 portaient du signal (≈ 9 h 17 min)	16 pistes conservées dans l’AAF, dont 6 portent des clips
Rôles des pistes	4 parole · 2 musique (dont une détectée comme ambiance) · 10 silencieuses	10 pistes silencieuses laissées vides, sans tri manuel
Matière	204 régions de parole et 5 passages musicaux détectés	41 clips (37 parole, 4 musique)
Coupes	—	40 coupes franches entre sources, dont 33 changements de micro
Transitions	—	0 fondu enchaîné : coupes franches, chaque clip de parole prolongé de 0,3 s
Temps morts	—	début et fin rognés et un trou interne de 16 s supprimé (36,9 s au total) ; timeline de 1 h 32 min 17 s

En haut : les 16 pistes d’entrée sur toute la durée de l’enregistrement, colorées selon le rôle et l’activité détectés ; les quatre micros de parole sont actifs presque en permanence, car chacun capte aussi ses voisins. En bas : le montage généré, une ligne par piste comme dans l’AAF — une seule source est retenue à chaque instant, les repères marquent les 40 changements de source, les zones hachurées du panneau supérieur sont les temps morts supprimés.

Les clips de parole sont peu nombreux et longs (médiane 79 s, le plus long 10 min 11 s) : le montage suit l’intervenant actif au lieu de couper à chaque respiration, et les micro-bascules de moins de 0,8 s sont absorbées par le lissage anti-papillotement. Dix clips durent encore moins de 6 s — de brèves interjections, premier endroit à vérifier lors de la relecture du montage.

Les pistes silencieuses ont tout de même produit des hallucinations types de Whisper dans leurs transcriptions brutes ; elles sont exclues du montage par la classification des pistes.

Approche

flowchart TB
 A["Enregistrement WAV multipiste"] --> B["Décodage en mono 16 kHz + énergie RMS par 100 ms"]
 B --> C["Détection d'activité vocale (Silero)"]
 C --> D["Transcription (Whisper large-v3, par segments)"]
 D --> E["Alignement forcé des mots (WhisperX / wav2vec2)"]
 C --> F["Diarisation des locuteurs (pyannote)"]
 E --> G["Attribution des locuteurs + post-traitement des segments"]
 F --> G
 B --> H["Rôle de la piste : parole / musique / silence"]
 G --> H
 H --> I["Montage : micro actif par trame de 100 ms"]
 I --> J["Export AAF (lié aux noms WAV d'origine)"]
 I --> K["Mixage mono WAV"]

Méthodes

Transcription. Whisper large-v3, soit via WhisperX (utilisé pour l’étude de cas ci-dessus), soit via faster-whisper (CTranslate2). La voie faster-whisper s’exécute sur des segments de longueur fixe dans un processus de travail isolé et persistant : le modèle n’est chargé qu’une fois, et un plantage natif ne fait perdre qu’un segment, signalé plutôt qu’ignoré silencieusement. Le décodage utilise une recherche en faisceau avec filtrage Silero VAD, et condition_on_previous_text est désactivé pour limiter les boucles de répétition.

Horodatage des mots et locuteurs. Les horodatages au niveau du mot proviennent de l’alignement forcé de WhisperX (wav2vec2). Les tours de parole proviennent de la diarisation pyannote et sont attribués aux mots par recouvrement temporel.

Post-traitement. Des filtres purs suppriment les hallucinations connues de Whisper (crédits de sous-titrage types, formules du genre « merci d’avoir regardé », segments purement musicaux), les sorties en écriture non latine sur de l’audio français et les doublons, puis fusionnent les segments consécutifs d’un même locuteur.

Qualification des pistes et montage. Chaque piste est classée en parole, musique ou silence en combinant l’énergie par trame, la couverture VAD et des statistiques de transcription. Le montage sélectionne, par trame de 100 ms, le microphone en s’appuyant sur le rapport signal sur bruit de chaque segment de parole au-dessus du bruit de fond de la piste (ce qui réduit la diaphonie entre micros), applique un lissage anti-papillotement et resserre la timeline en supprimant les temps morts globaux.

Synchronisation. Les enregistreurs distincts sont alignés en appariant des mots caractéristiques entre transcriptions (médiane robuste des décalages), après un placement grossier fondé sur l’horloge et corrigé de la dérive d’horloge.

Export. La liste de montage est écrite sous forme d’AAF multipiste avec pyaaf2, en intégrant l’audio ou en le référençant.

Déploiement. Un portail web reçoit les tâches et un nœud de calcul distinct l’interroge en HTTPS. Les clients ne téléversent que des copies d’analyse compressées accompagnées d’un manifeste de leurs fichiers d’origine ; l’AAF livré référence les noms des WAV d’origine, de sorte que le monteur reconnecte localement les sources en pleine qualité et que les originaux ne quittent jamais la machine du client.

Résultats

Banc d’essai (bench_stt.py) sur de l’audio réel de conférence issu d’un autre enregistrement à sept pistes, distinct de l’étude de cas à 16 pistes ci-dessus : fenêtres de parole d’une minute sélectionnées par VAD sur quatre pistes de parole, Whisper large-v3 dans tous les cas, ordinateur portable Apple Silicon, mesures à chaud hors chargement du modèle. Aucune transcription de référence n’étant disponible, les indicateurs de qualité sont des divergences par rapport à une pseudo-référence (sortie de WhisperX), et non des erreurs absolues.

Facteurs temps réel (4 × 1 min, une seule exécution ; réglages de décodage propres à chaque chaîne) :

Chaîne de traitement (CPU)	Facteur temps réel
openai-whisper	0,43
WhisperX	0,51
WhisperX + alignement forcé	0,54
openai-whisper + horodatage des mots	0,57
faster-whisper (faisceau 5 + VAD)	0,66
faster-whisper + horodatage des mots	0,70

Horodatage des mots : les horodatages natifs s’écartent de l’alignement forcé d’environ 205 ms en médiane (faster-whisper) et d’environ 210 ms (openai-whisper) ; l’alignement forcé ajoute environ 1,2 s par minute d’audio.
Divergence des transcriptions : 7 à 11 % de divergence au niveau du mot entre chaînes (pseudo-référence, 4 extraits d’une minute de l’autre enregistrement à 7 pistes). La mesure retire la casse et la ponctuation : après inspection manuelle, l’écart tient surtout au découpage des mots, à l’orthographe des noms propres et aux effets de bord des extraits.
Répétitions : 1,1 à 2,4 % de contenu répété ; aucun passage halluciné observé sur ces extraits.
Détection des pistes : les trois pistes de musique ou de silence de l’enregistrement à sept pistes ont été identifiées par VAD et écartées automatiquement.

Limites & suite

La qualité est mesurée par rapport à une pseudo-référence ; un jeu de test transcrit manuellement est nécessaire pour rapporter un véritable taux d’erreur sur les mots et un taux d’erreur de diarisation.
La qualité du montage n’a pas encore été évaluée face à un montage humain (n = 1 conférence).
Les extraits du banc d’essai sont courts (une minute par piste) et ne comportent qu’un seul locuteur par fenêtre : la précision de la diarisation en cas de chevauchement de plusieurs locuteurs n’est donc pas encore quantifiée.
CTranslate2 n’a pas de backend Metal : sur Apple Silicon, faster-whisper et WhisperX s’exécutent sur CPU, tandis que CUDA est utilisé lorsqu’il est disponible. Le choix du matériel pour chaque étape a été mesuré plutôt que présumé ; une comparaison sous CUDA reste à effectuer.
L’export AAF cible l’import dans Logic Pro ; les autres logiciels de montage n’ont pas été testés de manière systématique.

Stack technique

Python · faster-whisper · CTranslate2 · WhisperX · pyannote.audio · Silero VAD · PyTorch (MPS / CUDA) · ffmpeg · pyaaf2 · SQLite · PHP · MySQL

Montage Audio on Boris Dupoux