Générer une vidéo à partir d’une image, ce n’est pas une nouveauté. Il existe plusieurs applications gratuites qui permettent de créer quelques secondes d’images animées à partir d’une photo. Mais celle que vient de créer ByteDance va bien au-delà de ce qu’il se fait actuellement.
ByteDance est mieux connu en tant que l’éditeur de TikTokTikTok. Aujourd’hui, la société chinoise vient de dévoiler OmniHuman-1, une intelligence artificielle (IA) capable de générer de longues vidéos réalistes de personnes à partir d’une simple photo. On peut alors voir une petite séquence montrant la personne en train de parler, de bouger, de chanter… et le résultat est très impressionnant comme le prouvent les exemples publiés par ByteDanse.
L’intérêt majeur d’OmniHuman, c’est que le logiciel est capable de générer cette vidéo spectaculaire, à partir d’une seule image dégradée. Cela fonctionne, même si la photo est mal cadrée, ou si elle présente des dimensions exotiquesexotiques. Il peut s’agir de portrait, d’une photo de plain-pied, etc. Dans tous les cas, le résultat est bluffant.
Parmi les exemples présentés par OmniHuman, on peut ainsi voir Albert EinsteinEinstein parler devant un tableau noir, ponctuant ses paroles par des gestes avec les mains et des expressions faciales subtiles. Pour parvenir à ces résultats exceptionnels, l’équipe de développement de ByteDance a formé l’IA sur plus de 18 700 heures de vidéo contenant des humains.
Exemple de vidéo animée réalisée à partir d’une photo. © OmniHuman
Quand les vidéos d’OmniHuman peupleront TikTok
L’audio, le texte et les poses physiquesphysiques ont également été assimilés par l’IA. Certaines gestuelles sont issues de l’analyse de conférences, telles celles des conférences TEDx, par exemple. Et puis, plus simplement, il y a la base de données colossale de vidéos de TikTok ou des milliers d’internautes se mettent en scène chaque jour. Ce sont toutes ces vidéos qui aident l’IA à réaliser une animation vidéo à partir d’une simple image.
Au niveau des usages, l’outil pourrait être utilisé dans des contextes éducatifs pour mettre en scène des célébrités délivrant des contenus. Mais il y a plus de chances qu’il soit utilisé, à terme, par les créateurs de contenus sur TikTok étant donné la promiscuité entre les deux applicationsapplications. Restent évidemment la problématique des deepfakes qui pourraient être générés facilement avec ce genre d’outil permettant de créer de fausses vidéos de façon ultraréaliste.
