Voici le projet Starlight, « le tout premier modèle de diffusion pour la restauration des vidéos ». Son créateur promet qu’il est capable d’améliorer la définition des vidéos, et même de restaurer des vidéos dégradées par le temps, en respectant la cohérence temporelle.
L’un des points faibles dans l’upscaling de vidéos, autrement dit en augmentant la définition de l’image grâce à l’intelligence artificielle, c’est la continuité. De nombreux artéfacts visuels apparaissent car les IA traitent en général chaque image indépendamment, sans s’assurer de la cohérence entre elles. Topaz Labs, une entreprise spécialisée dans les logiciels d’upscaling, vient de présenter une toute nouvelle IA qui a résolu ce problème.
L’IA en question est le projet Starlight (à ne pas confondre avec le projet Stargate annoncé le mois dernier). Cette nouvelle IA respecte la cohérence temporelle des vidéos traitées. De plus, elle est particulièrement douée pour améliorer la qualité des vieilles vidéos sur des médias anciens qui ont été dégradées par le temps. Selon le développeur, Starlight est capable de restaurer les détails perdus à cause de la compressioncompression, le bruit, le crénelagecrénelage (ou aliasing), le flou, la distorsion atmosphérique ou encore les pixelspixels manquants.
Présentation du projet Starlight, et de vidéos améliorées avec l’IA. (En anglais, activez la traduction automatique des sous-titres.) © Topaz Labs
Un modèle de diffusion avec une nouvelle architecture
Topaz Labs indique avoir utilisé une nouvelle architecture de modèle de diffusion contenant plus de six milliards de paramètres. Starlight analyse des centaines d’images d’une vidéo afin de restaurer correctement les détails. Il fonctionne aussi bien avec de vieilles vidéos familiales qu’avec des vidéos professionnelles. Le modèle tourne sur des composants Nvidia dernier cri, ce qui signifie donc qu’il fonctionne dans le cloud. Pas besoin d’avoir un ordinateurordinateur puissant pour s’en servir. En revanche, il faudra faire attention à ne pas l’utiliser sur des vidéos privées, car le risque d’une fuite sur le Web n’est jamais nul.
Topaz Labs permet de tester sa nouvelle IA gratuitement sur des clips de 10 secondes maximum en Full HD (1 920 x 1 080 pixels). Pour des vidéos plus longues, il est possible de traiter des vidéos de jusqu’à 5 minutes en achetant des crédits. La version « Enterprise » permettra de traiter des vidéos encore plus longues et avec une définition plus élevée.
