Depuis peu, je vois sur mon fil d’actualité des personnes s’extasier sur les dernières nouveautés implémentés par OpenAI permettant de reproduire le style ghibli sur leurs portraits. Ce qui s’apparente à priori à une nouveauté est en réalité plutôt archaïque: les modèles génératifs de transfert de styles existent depuis presque dix ans, c’est même l’une […]
Reprise du projets des IA et des mains. Les modèles de diffusions ont des lacunes sur certaines productions de sujets dans une composition. Il y a quelque temps on pouvait voir en ligne des “memes” sur les erreurs de générations sur les mains. Plus récemment, sur le dernier modèle Stable Diffusion 3 on retrouvait des […]
L’explosion de la génération d’image par l’usage d’algorithme de diffusion, qu’ils s’agissent de Dall-e, Midjourney ou encore Stable diffusion, a soulevé des questionnements, notamment changement de paradigme dans l’élaboration d’images. En effet le langage devient l’interface, la sous couche nous permettant d’inférer (de générer) dans le modèle. Il devient l’équivalent du pinceau dans Photoshop. Le […]
J’avais pour idée de produire un horoscope produit par une intelligence artificielle. l’idée a murit par le terme de « prédiction » qui définit ainsi la résultante d’un algorithme de machine learning — et qui évidement évoque l’imaginaire de la voyance, des croyances ésotériques. Cette double signification m’a fait ainsi correspondre ces deux notions à priori éloignés.Les […]
Je me suis requestionné sur la capacité des algorithmes d’intelligence artificielle à reconstruire des mains, réflexion que j’avais eu l’année dernière et que j’avais expérimenté dans ce post. Entre temps, les modèles se sont affinés (la suite des productions du post ont été réalisé avec le modèle StableDiffusion XL), et j’ai appris à me servir […]
Suite des questionnements évoqués dans cet article. J’avais réalisé des tentatives d’interfaces pour rendre compte des composants permettant dans une interface de choisir une couleur, les colors pickers. Ainsi par mon analyse, j’avais interprété cette interface comme un sliders à trois dimensions. Ainsi on peut circonscrire ces choix de couleurs à un cube où les […]
Petit questionnement sur l’interface à la suite de mon premier projet d’interface immersive.Entre temps, Apple a annoncé son Vision Pro. Tout d’abord, la vision d’apple est de soustraire la manette du processus interactif et de régler les interactions par l’usage du hand tracking et du eye tracking. Est-ce une démarche pour se différencier des autres […]
Comment penser de l’interface, du graphisme, dans des espaces en réalité virtuelle ?C’est une question qui se pose souvent, et qui est en quelque sorte déjà un prolongement de la question du design de l’interface numérique. Nolwenn Maudet explique ainsi : « Le design graphique est née avec le plan imprimé. il s’est construit autour, ou […]
À la suite de la cartographie de mes sosies, je me suis demandé si mes sosies étaient ressemblant entre eux. J’ai donc élaboré un système pour pouvoir les comparer entre eux et produire une sorte de matrice de comparaison. Ainsi l’interface proposée affiche pour une image sélectionnée les sosies les plus proches sous forme d’une […]
Le synopsis video synthesizer par Denise Gallant et Rob Schafer, est un outil développé dans les années 1980 qui permettait de produire des traitements d’images sur des flux en temps réels. J’avais découvert leurs expérimentations et leurs productions [fig.1] grâce à l’article de Manon Bruet, parut dans la revue BackOffice n°1. Elle expliquait ainsi que […]
À la HEAR en 2021-2022 j’avais réalisé un système d’installation en temps réel qui cherchait notre sosie dans des images de visages générées par un algorithme de machine learning. Il cherchait dans une base de données d’images de visages (environ 200k) produits par l’algorithme StyleGAN2 de NVIDIA ThisPersonDoesNotExsit. Puis le programme sortait en output une […]
En cours de recherche à la HEAR, j’avais élaboré un dataset de texte de rap français pour entrainer un modèle de word2vec. L’idée était simplement d’avoir une approche technique à l’analyse de texte argotique. Pourquoi pas réutiliser ce qui avait été scrapé pour générer des vers ? Il est évident de rappeler que l’algorithme entrainé […]
En 4ème année à la HEAR, j’avais réalisé des expérimentations avec l’algorithme de Word2vec, que j’avais publié sur mon blog. Il s’agit d’un algorithme de machine learning par apprentissage non supervisé. On donne à l’algorithme de large corpus de textes. Puis par similarité de contexte il associe à chaque mots du corpus un vecteur. les […]
J’ai réalisé cette petite expérimentation en VR pour testé l’usage de dithering en effet de post processing et aussi pour creer un univers avec du « vivant », quelque chose qui manquait un peu dans mon projet VR de diplôme l’année dernière. Je voulais des créatures se déplaçant et attaquant et s’attaquant, des environnements pas uniquement tourné […]
Dans mon usage de Unity, il m’arrive parfois de vouloir produire une sprite depuis une animation réalisée depuis After Effect. Une sprite est une image contentant une série d’images pour la réalisation d’une animation. La sprite est utilisée dans les moteurs de jeu pour produire des animations de personnages ou de décor en 2D. Or […]
l’arrivée des modèles de génération d’image en text2image de plus en plus performant, DALLE Midjourney ou encore stable diffusion, on produit une critique et une résistance sur internet. En effet, les artistes publiant leur projets sur internet se sont mis à spammer cette image (ci-dessous) sur des plateformes comme art station pour montrer leur mécontentement […]
J’ai joué à Half life Alyx (2020) dès que j’ai eu un casque de réalité virtuelle, après avoir joué à SuperHot VR (2017), c’est donc une « presque première » expérience en réalité virtuelle, et cela m’a donné envie de connaitre un peu plus l’univers de cette série de jeu dont le premier opus est sorti en […]
J’ai poursuivi mes recherches sur la détection de mains, J’ai intégré ainsi un système comprenant certains signes avec un personnage réagissant au dit signe. La détection fonctionne assez bien, parfois elle se déclenche « toute seule » car le seuil de détection est peut-être trop faible. Aussi le calibrage des détections peut être lié à ma morphologie, […]
Les modèles de quest intègrent dans leurs système des modèles de hand tracking qui permettent dans une certaine mesure de se substituer aux manettes. Les cameras servant à la spatialisation (par du tracking de l’espace) détectent ainsi les mains de l’utilisateur•trice et permet d’en projeter un modèle 3D computer dans l’espace virtuelle. Après différents tests, […]
Après ma soutenance de mémoire en janvier 2022, J’ai « rééditer » mon mémoire sous la forme d’un site web pour rendre son contenu plus accessible que mon mémoire physique, archivé dans la médiathèque de HEAR. Vous pouvez le consulter à cette adresse : https://dnsep.felixjely.fr. L’animation d’arriver a été générer avec un algorithme génératif dénommé VQGAN+CLIP, qui […]
Les générations d’images possible par des algorithmes de deep learning comme DALL•E v2 ou encore Stable diffusion peuvent être assez bluffantes, j’ai déjà réalisé quelques posts à ce sujets. Mais ces algo peuvent produire aussi beaucoup de ratés. Ainsi ce meme m’a fait fait sourire et un petit peu réfléchir : l’algo montre ses limites sur […]
En DNSEP à la HEAR, j’avais réalisé un gan typographique. Un modèle génératif en deep learning, pour une valeur ascii donnée va générer un caractère typographique après avoir « appris » à générer depuis un corpus de typographie qui l’a « nourrit ». Le modèle produit n’utilise que les caractères latins sans accent (a-z,A-Z). Le modèle permet par déplacement […]
Après ma première ébauche d’effet de post-processing (traitement sur l’image de jeu rendu), j’ai voulu expérimenter une intégration d’un tramage bitmap suivant un effet de post-processing existant (lien du depot github) appelé dithering. C’est un traitement assez rare dans le jeu vidéo il existe quelques jeux qui intègrent cet effet, notamment The return of Obra […]
Je continue mes expérimentations avec les shaders pour cette fois ci créer un effet de post-processing. Dans un moteur de jeu vidéo les effets de post-processing corresponde à des effets sur l’image rendu : réétalonnage, flou de mouvement, effet de lumières etc… Avec la nouvelle version de Unity (2022.2 beta) on peut aussi utiliser des […]
![Shaders et matières [v1]](https://post.felixjely.fr/wp-content/uploads/2022/10/vlcsnap-2022-09-07-13h15m33s500-300x169.png)
Après mon diplôme et mes expérimentations avec DALLE, je suis donc mis en tête de continuer des expérimentations avec les matières dans un univers virtuel. Le projet, développé en réalité virtuelle pour le Meta Quest 2 dans Unity, utilise donc le pipeline de rendu Universal render Pipeline pour des questions d’optimisation. Ainsi cela permet de […]
Le 19 juin, j’ai reçu une invitation pour la beta ouverte de DALL•E après plusieurs mois dans une liste d’attente. Cet outil de génération d’images utilisant les dernières technologies de deep learning, permet donc de générer des images à partir d’un texte — on demande à l’algorithme de générer telle ou telle forme — mais […]
Ce blog de recherche est la suite d’un blog de recherche effectué en DNSEP de communication graphique à la HEAR. J’aimerais ainsi, par l’intermédiaire de ce support, continuer de documenter mes expérimentations. Mes intérêts se portent évidement dans le domaine du design graphique et se décline sur l’usage de technologies numériques émergentes ou non. J’ai […]