ATELIER | Du texte au son : Concevoir des agents d’IA multimodaux

Lors d'une récente démonstration de OpenAI, un site web dessiné à la hâte sur une serviette de table a été transmis à une itération de GPT-4 capable de traiter des images. En moins d'une minute, une photographie de la serviette a été traduite en HTML et en JavaScript, créant un site web parfaitement fonctionnel. La multimodalité dans le contexte de l'apprentissage automatique fait référence à la capacité des systèmes d'intelligence artificielle (IA) à travailler avec plusieurs modes de communication, tels des images, des sons, des odeurs ou du texte.
Cet atelier abordera les avancées rapides de la multimodalité dans l'IA et la manière dont les chaînes décisionnelle et comportementale peuvent accroître le potentiel artistique de ces systèmes. Nous examinerons les récents travaux de UKAI Projects et explorerons ensemble les modèles de langage génératifs tels que LangChain, qui offre un cadre pour la conception d'applications alimentées par des modèles de langage. Dans un futur proche, les applications les plus prometteuses seront en mesure de se connecter à diverses sources de données (une chaîne) afin d'interagir avec des environnements sans que la supervision humaine soit nécessaire en permanence.

Concrètement, les participant·e·s pourront :

1. Expérimenter la multimodalité dans des modèles de langage.

2. S'entraîner à rendre leurs agents sensibles aux données en les connectant à un système de classification audio, lui-même connecté au bruit ambiant de la ville.

3. Laisser leurs agents libres d'interagir avec leur environnement sonore, puis les uns avec les autres.

Aucune expérience de codage ni familiarité avec l'IA n'est nécessaire pour participer. Bien qu'il soit possible de partager des ordinateurs portables, veuillez apporter le vôtre pour profiter pleinement de l'atelier.

Cet atelier est présenté en collaboration avec UKAI Projects, un collectif de recherche basé à Toronto qui prototype les futurs numériques.

Veuillez prendre note que cette activité se déroulera en anglais uniquement.
Durant l’événement, aucun·e interprète ou service de transcription pour les personnes malentendantes ne sera présent.