[Interview] L’intégration de l’IA au coeur de Jamespot avec Romaric Pighetti, développeur Frontend

1. Bonjour Romaric, qui es-tu est quel poste occupe-tu au sein de Jamespot ?

Je suis ingénieur en informatique, avec un doctorat en apprentissage machine (machine learning) depuis 2016. J’ai eu de l’expérience sur des moteurs de recherche et je travaille depuis bientôt 3 ans chez Jamespot en tant que développeur front end. J’ai fortement participé à l’intégration d’outils utilisant l’IA au sein des produits Jamespot.

2. Peux-tu présenter les principales fonctionnalités de Jamespot qui reposent sur l’IA au moment de cette interview ?

Nous avons aujourd’hui intégré l’utilisation de l’IA à l’intérieur de la Digital Workplace Jamespot de 3 manières différentes :

1. Un agent conversationnel qui peut être mis à disposition sur la messagerie instantanée de la plateforme ;
2. Une aide à la création de contenu intégrée à l’éditeur de contenu (rédaction d’articles, de commentaires etc.). Nous l’appelons « baguette magique ». Elle permet de résumer ou développer un texte sélectionner d’un simple clic par exemple ;
3. 3. Les Extrabots que nous venons tout juste de mettre en production. Ce sont des utilisateurs « virtuels » auxquels on donne une mission et qui réagissent automatiquement à des publications d’articles ou de commentaires, ou lorsqu’ils sont mentionnés. Ils appellent un système d’IA avec les informations sur la publication et leur mission, et génèrent une réponse automatiquement.

Nous les avons utilisés par exemple pour proposer des actions à mener suite à la publication d’un compte rendu autour d’un rendez-vous client.

Ou pour prévenir lorsqu’une personne qui a été mentionnée dans une publication est absente (avec des interactions avec des systèmes RH externes).

Nous avons aussi un autre produit, Mr-Smith.AI, permettant d’intégrer un chatbot faisant du Research Augmented Generation (RAG) dans notre solution ou sur un site web.

3. Sur quelles technologies l’IA de Jamespot repose-t-elle ?

Jamespot se reposent aujourd’hui sur des fournisseurs externes de modèles de langages pour alimenter les fonctionnalités liées à l’IA.

DeepInfra est utilisé pour les fonctions dans les plateformes Jamespot et OpenAI pour Mr-Smith.AI.

Nous planifions de proposer l’utilisation d’autres fournisseurs dans le futur, en particulier français et européens.

4. Comment as-tu abordé l’intégration de l’IA dans un produit déjà existant ?

Dès le départ, étant donnée l’évolution rapide des systèmes d’IA, il a été question d’être flexible sur les API que l’on peut appeler depuis les outils Jamespot.

Pour décorréler l’utilisation de l’IA à l’intérieur de nos outils des API externes, nous avons dès le départ opté pour le développement d’un « relais » interne.

Ce dernier propose une API qui est fixe pour nos développement internes, et permet d’appeler différents modèles et fournisseurs en changeant simplement quelques paramètres.

Cette façon de faire nous permet d’être flexible à l’apparition de nouveaux outils d’IA et d’ajouter relativement simplement de nouveaux fournisseurs.

Nous avons dans le même temps ajouter les éléments nécessaires à l’utilisation de l’IA dans la base de code existante de Jamespot.

De nouvelles fonctionnalités étant régulièrement ajoutées, l’ajout de cette nouvelle fonctionnalité n’a pas présenté de difficultés particulièrement plus importantes que d’autres, même si certains défis se sont présentés mais que j’aborderai plus loin.

5. Quels défis techniques as-tu dû surmonter pour assurer une bonne performance et une expérience fluide pour les utilisateurs ?

Le défi le plus important que nous ayons rencontrés sur le point de l’expérience utilisateur se trouve au niveau de l’agent conversationnel intégré au chat de Jamespot.

La génération de la réponse complète prend du temps, et il n’était pas raisonnable d’attendre la génération de la réponse complète pour la présenter dans le Messenger à l’utilisateur.

D’un autre côté, Jamespot n’était pas techniquement prêt à gérer la création et l’affichage d’un message de chat de manière incrémentale. Nous avons pris le parti de découper le message généré par l’IA en phrases, qui sont envoyées l’une après l’autre à l’utilisateur.

Un deuxième point sur cette fonctionnalité est la façon dont les API conversationnelles gèrent la génération de la réponse. En mode « streaming », pour ne pas avoir à attendre la génération de la réponse complète mais l’avoir en direct, des server-sent events (SSE) sont utilisés.

Ce type de réponse d’API n’avait jamais été traité par Jamespot par le passé. Il a donc fallu intégrer les éléments nécessaires à la gestion de ce type d’API dans la solution Jamespot.

6. Comment gérez-vous les données des utilisateurs pour garantir la confidentialité et la conformité aux réglementations (RGPD, etc.) ?

Pour toute la partie se passant sur une plateforme Jamespot, les données sont traitées de la même manière que le reste des données de la plateforme (compte utilisateurs, articles, …).

Pour ce qui est de notre outil d’interface avec l’extérieur, il ne stocke aucune information concernant le contenu des requêtes. Les seuls choses qui sont stockés sont le type de requête et le volume en nombre de caractères ou de token à des fins de statistiques internes.

Nous informons les clients de quels fournisseurs de services sont utilisés pour les capacités liées à l’IA (DeepInfra et OpenAI suivant les cas).

Ils doivent accepter les conditions de gestion des données de ces fournisseurs pour utiliser les capacités liées à l’IA présentent dans Jamespot.

Comme dit précédemment, nous prévoyons d’étoffer l’offre de fournisseurs en incluant des fournisseurs souverains. Nous prévoyons aussi, à moyen terme, de permettre aux clients d’utiliser leur propre système sous certaines conditions.

7. Comment vois-tu l’évolution des fonctionnalités IA dans Jamespot dans les prochaines années ?

Je pense que le développement de l’IA dans Jamespot tournera autour de 3 axes :

1. L’utilisation du RAG, respectant les droits d’accès aux documents, pour améliorer l’expérience de recherche au sein des plateformes. Pouvoir poser des questions en langages naturels et avoir une réponse générée basée sur les documents internes et citant les sources est un élément extrêmement puissant et facilitant l’accès à l’information.
2. L’évolution des Extrabots, combinant IA et automatisation, pour automatiser des tâches répétitives plus ou moins complexes au sein des équipes. La génération d’un transcript et d’un compte rendu de réunion à partir d’un recording, assigner une criticité automatiquement à un ticket de support, prévenir automatiquement la personne en charge du client si le ton du message dépasse certains critères, etc.
3. L’ajout de fournisseurs alternatifs et l’étoffement de l’offre de modèles et de fournisseurs disponibles.

8. Quels conseils donnerais-tu aux entreprises qui souhaitent intégrer l’IA dans leur environnement de travail ? Quels sont les éléments que tu encourages les professionnels à regarder de près ?

Je distingue 2 cas d’intégration :

1. L’intégration technique dans un produit tel que nous l’avons faite chez Jamespot ;
2. L’achat et la mise à disposition d’outils reposant sur l’IA pour les équipes internes.

Pour l’intégration technique, je recommande aux personnes s’y attaquant de mettre une couche d’abstraction entre leur code métier et les outils d’IA, qu’ils utilisent des outils SaaS ou qu’ils hébergent des LLM en local ou autre.

Les capacités et technologies associées évoluent très vite. Cette abstraction permettra de bifurquer plus facilement vers de nouveaux systèmes et de suivre les évolutions. Sans aller trop loin, il est important de rester flexible dans les intégrations pour s’adapter rapidement aux nouveautés.

Pour ce qui est de l’investissement dans des outils d’IA pour augmenter la productivité des équipes, il y a plusieurs points d’attention.

Le premier est certainement de bien cibler les besoins et former les collaborateurs à l’utilisation de ces nouveaux outils. Ceci inclus de l’information sur les limites de ces outils.

Ensuite, il est important d’être attentif à la gestion des données transmises à l’IA :

• Sont-elles réutilisées pour entraîner le modèle, auquel cas la confidentialité n’est pas assurée ?
• Qu’est-ce qui est conservé et comment ?
• Y a-t-il soumission à des lois extra territorial ?
• Qu’est-ce qui est stocké et comment ?
• Est-t-il possible d’avoir un modèle « privé », entraîné avec des données du contexte de l’entreprise et non partagé ?

Il n’est pas envisageable de dire aux collaborateurs, vous pouvez utiliser l’outil avec les données X mais pas avec les données Y.

Intentionnellement ou non, quelqu’un fera une erreur. Il faut donc investir dans un outil qui réponde à vos exigences les plus fortes.

Sachez qu’un seul modèle ne pourra pas répondre à tous les besoins.

Le RAG, la génération de contenu éditorial et la réponse à des questions sont des tâches différentes.

Un même produit peut proposer les trois scénarios, mais certainement avec des modèles entraînés différemment pour chaque cas.

Enfin, il est important de rester attentifs et curieux sur les nouveautés car les choses évoluent très vites, et cette tendance va à mon avis perdurer pour encore plusieurs années.

Romaric Pighetti, Développeur Frontend et responsable de l’intégration de l’IA au coeur de la solution collaborative Jamespot

Je réserve ma démo Je teste la solution