Je me suis requestionné sur la capacité des algorithmes d’intelligence artificielle à reconstruire des mains, réflexion que j’avais eu l’année dernière et que j’avais expérimenté dans ce post. Entre temps, les modèles se sont affinés (la suite des productions du post ont été réalisé avec le modèle StableDiffusion XL), et j’ai appris à me servir d’outil dédié comme l’interface AUTOMATIC1111, et j’ai pu me servir d’un pc avec une config pour de l’IA chez bonjour lab.
Puis je me suis demandé si ce n’était pas plus pertinent d’intégrer d’autre algorithme dans le pipeline, notamment pour ajouter une dimension de « continuité » avec l’intégration de l’algorithme d’optical Flow
Puis j’ai tenté de voir comment l’algorithme pouvait produire une main plus fidèlement avec une controlnet conservant l’orientation de la main pour diriger la génération.
Le résultat de la prédiction est plus fiable et conserve en parti l’orientation « globale » de la main. Mais comme afficher dans le controlnet le modèle ne prend pas en compte le fait qu’il s’agisse d’une main gauche ou droite et donc génère des plis de l’intérieur de la paume sur l’extérieur.