Bonjour les passionnés de l'AI!
Bienvenue dans la trentième édition de "cette semaine dans AI Engineering"!
Cette semaine, Alibaba a lancé un nouveau modèle de génération de vidéos fou, Openai transforme Chatgpt en tuteur interactif, et ce modèle chinois open-source écrase toutes les références
Avec cela, nous explorerons également certains outils sous le radar qui peuvent suralimenter votre flux de travail de développement.
Alibaba a publié WAN 2.2, le premier modèle de génération de vidéos open source au monde en utilisant l'architecture de mélange d'Experts, offrant une génération de vidéos de qualité cinématographique avec 27B, mais seulement 14B actif par étape, ce qui rend la création de vidéos professionnelle accessible au matériel de consommation.
Architecture révolutionnaire MOE: premier modèle vidéo open source utilisant des experts spécialisés - expert en haut bruit pour la planification de la mise en page et un expert à faible bruit pour le raffinement de détail, l'optimisation des performances tout en maintenant l'efficacité informatique avec les licences Apache 2.0 à usage commercial.
Fondation de formation améliorée: améliorations massives des données avec + 65,6% de plus d'images et + 83,2% de vidéos supplémentaires par rapport à WAN 2.1, incorporant des données esthétiques organisées avec des étiquettes détaillées pour l'éclairage, la composition, le contraste et le ton de couleur pour obtenir une sortie de qualité cinématographique.
Stratégie du double modèle: version 27B MOE Premium avec commutation experte basée sur le rapport signal / bruit aux côtés du modèle dense 5B (TI2V-5B) pour le déploiement convivial, permettant une adoption généralisée sur différentes configurations matérielles.
Excellence du matériel des consommateurs:
Génère une vidéo de 5 secondes 720p en moins de 9 minutes sur un seul RTX 4090
Prend en charge à la fois la génération de texte à vidéo et d'image à vidéo à 720p / 24fps
Fonctionne efficacement sur les GPU de consommation avec une utilisation optimisée de la mémoire
Concours de modèle commercial:
Atteint "les principales performances parmi tous les modèles open source et fermé" "
Résultats supérieurs sur WAN-Bench 2.0 par rapport aux alternatives commerciales de premier plan
WAN2.2-VAE avancé avec un rapport de compression 16 × 16 × 4 pour un équilibre optimal d'efficacité de la qualité