Le 27 octobre dernier, lors de notre dernière conférence dédiée à l’IA et le secteur public (avec le soutien d’Apple France), nous avons présenté GAA-IA, l’outil juridique assisté par l’IA que le cabinet développe en interne depuis plusieurs mois.
À l’origine, GAA-IA a été conçu pour une expérimentation destinée à répondre à une difficulté que rencontrent aujourd’hui toutes les collectivités sollicitées par des éditeurs d’IA juridique, qu’ils soient « vénérables » ou « pure players » : en pratique il est compliqué de mesurer avec rigueur la qualité de ces outils sur un échantillon de questions effectivement traitées par leur service juridique. Les démonstrations commerciales portent sur des cas choisis par l’éditeur, et quand le service peut poser des questions, l’échantillon est insuffisant. Des « essais gratuits » sont proposés ; mais qui passe le temps nécessaire à la comparaison à l’aveugle des réponses à une batterie de questions identiques ?
Plus encore, les produits proposés par le marché de l’édition juridique, à des prix très importants, mériteraient être comparés à des solutions généralistes (Claude, par exemple) et surtout à des applications développées en interne combinant modèles d’IA légers gratuits ou peu onéreux et données de qualité issues des propres bases des cabinets ou services juridiques. C’est une évidence, nous avons constitué, au fil des ans, des bases documentaires spécialisées, dédiées aux questions que nous rencontrons vraiment, assorties de réponses adaptées à nos lecteurs. L’objectif est d’exploiter ces bases, sous exploitées, voire oubliées.
GAA-IA est notre réponse, permettant dans l’immédiat de tester 2 hypothèses. La première est celle de la primauté de la qualité de la documentation sur la puissance du modèle employé. La seconde, plus subtile, est que la documentation est beaucoup plus efficace quand elle est dédiée au métier concerné, intègre des problématiques pratiques, des paires « question/réponse » que les IA adorent.
GAA-IA combine application informatique, choix de modèles à comparer et création par le cabinet de bases de données sous forme de RAG dédiées à 2 sujets de test : discipline dans la Fonction publique et référé précontractuel. 2 pôles du cabinet (Agents publics et Commande publique) ont établi 10 questions, tirées de notre pratique, ensuite soumises à 10 configurations différentes (LLM seuls, LLM + GAA-IA, assistants d’éditeurs juridiques…). Les « copies » ont été anonymisées par l’équipe IA puis corrigées à l’aveugle par des avocats spécialisés du cabinet.
Un premier jeu a déjà été corrigé et a fourni des résultats très édifiants. Nous sommes en cours de correction du second jeu. A suivre !
Au-delà de ce premier test, nous avons décidé de faire évoluer GAA-IA, dont les résultats nous ont véritablement impressionnés. L’outil pouvant avoir vocation à être déployé en dehors du cabinet.
