Le goulot d’étranglement des tests logiciels: Karim Jouini sur FOMO Sapiens

Un épisode pour les fondateurs, CEO et CTO qui cherchent la place de l’IA dans leur cycle de livraison. Pour aller à l’essentiel: ce que fait un agent de test IA à 18:54, pourquoi un LLM brut ne teste pas de façon fiable à 22:03, et le conseil de Karim aux CTO à 33:00. L’épisode est en anglais. Les sous-titres traduits automatiquement de YouTube sont disponibles.

Karim Jouini construit du logiciel depuis l’adolescence, et sa première leçon n’avait rien de technique: construire un produit est la partie facile, le vendre est la partie difficile. Cette leçon l’a accompagné pendant sept ans chez Microsoft, puis neuf ans à la tête d’Expensya, la solution de gestion des notes de frais qu’il a cédée à Medius.

Avec Thunders, il s’attaque au problème qui a coûté le plus cher à Expensya. Expensya comptait près d’un million de lignes de code de test. Thunders les remplace par des agents IA qui suivent des scénarios écrits en langage naturel, avec une couche d’ingénierie au-dessus du LLM pour que chaque exécution soit rapide, économique et reproductible.

Ce qu’il défend dans l’épisode:

• L’IA a réglé le design et le code: ce sont désormais les tests qui bloquent la plupart des mises en production.
• Un LLM seul est trop lent, trop coûteux et pas assez reproductible pour tester un logiciel.
• Les tests sont souvent la partie la plus difficile d’un projet logiciel, pas la tâche à faible valeur qu’on imagine.
• Le code écrit avec l’IA soulève une question que peu de gens posent: quelle part de ce code se trouve désormais chez OpenAI et Anthropic ?

Construire le produit était facile. Le vendre, beaucoup moins.

Karim est né à Tunis et a grandi au gré des affectations de son père, diplomate: en Inde, puis au Nigeria. Son grand frère voulait un ordinateur, la famille en a acheté un, et Karim tapait au clavier avant de savoir vraiment écrire (son écriture, avoue-t-il, reste difficile à lire). Il apprend à coder à 11 ans. La technologie reste un loisir jusqu’en 2002.

Cet été-là, à 16 ans, il prend un job d’été dans un cybercafé, payé environ 150 dollars pour la saison. Le travail: attendre les clients, noter l’heure d’arrivée, compter les minutes et facturer, le tout sur papier. Pour ne plus s’ennuyer, il passe ses soirées et ses week-ends à développer un mini ERP pour gérer le cybercafé. Le gérant lui demande s’il peut acheter une licence. « C’est là que j’ai appris ce qu’était une licence », raconte Karim (05:01). Il passe le reste du lycée à la vendre aux cybercafés de toute la Tunisie.

Le produit était la partie facile. Il fallait expliquer sa valeur, le marketer, le vendre, assurer le support, lutter contre le piratage et relancer les renouvellements. Patrick note que les écoles de commerce n’enseignent presque jamais la vente. Pour Karim, c’est pourtant ce qui sépare une bonne idée d’une idée qui réussit: expliquer la douleur, y répondre, trouver le prix et la stratégie qui font un gagnant-gagnant, où ni vous ni votre client ne captez plus de valeur que l’autre. « Je n’aime pas forcément vendre, mais je sais à quel point c’est important. » (07:21)

Choisir un problème: trouver ce qui est cassé, puis comprendre pourquoi maintenant

Karim rejoint Microsoft pour voir comment on construit du logiciel à grande échelle, en pensant rester deux ans. Il y reste sept ans, d’ingénieur logiciel à engineering manager. Le Printemps arabe, parti de Tunisie en 2011, rend le retour plus attirant.

Sa méthode pour choisir un problème tient en deux temps. D’abord, trouver une tâche que vous détestez ou qui vous semble complètement cassée. Pour lui, les notes de frais, chez Microsoft comme ailleurs. Ensuite, comprendre pourquoi personne ne l’a réglée. « Quand quelque chose est cassé, ça ne veut pas dire que les gens sont bêtes », dit-il (09:26). Les acteurs en place avaient souvent leurs raisons, et la vraie question est de savoir si ces raisons vont disparaître.

Trois verrous qui sautaient pour Expensya en 2014

• Le papier. Les entreprises européennes devaient archiver les justificatifs papier, ce qui cassait toute expérience numérique à la dernière étape. Plusieurs pays européens préparaient des textes pour changer cela.
• Le mobile. La plupart des dépenses se font en déplacement, et les outils existants avaient des applications mobiles médiocres. En 2014, on pouvait partir du principe que chaque salarié avait un smartphone avec un appareil photo correct: Expensya a été conçue mobile first.
• Le coût de l’IA. Traiter des justificatifs par IA coûtait trop cher. Karim, ingénieur en IA formé bien avant les LLM, rappelle que la référence, c’étaient des opérateurs qui ressaisissaient les justificatifs à la main à Madagascar, au Bangladesh ou en Tunisie: l’IA devait faire mieux et moins cher qu’eux.

Il construit un prototype avec son cofondateur alors qu’il est encore chez Microsoft, annonce ouvertement son départ, puis se lance une fois le prototype validé. Patrick fait le lien avec son propre livre, The 10% Entrepreneur, consacré à la création d’entreprise sans quitter son emploi.

Pourquoi Expensya a été vendue: quand 30 applications remplacent un ERP

Il a fallu près de neuf ans entre le lancement et la sortie. Expensya comptait alors 1,5 million d’utilisateurs (les salariés de ses clients), surtout des ETI et des grands comptes comme des énergéticiens et des opérateurs ferroviaires, d’abord en France, puis en Espagne, en Allemagne et en Afrique du Nord.

La décision de vendre vient d’un diagnostic stratégique. Pendant 25 à 30 ans, les DAF ont acheté un ERP: un seul produit qui couvre toutes les fonctions et, selon Karim, les fait toutes mal. Il coûte cher à déployer dans chaque nouveau pays, seules quelques personnes du back-office y ont accès, et les salariés finissent par remplir des tableurs. Des SaaS spécialisés comme Expensya ont gagné ce marché une fonction après l’autre, mais ont laissé les DAF avec 30 applications qui ne communiquent pas.

Expensya devait devenir une suite, avec trois options: construire les briques manquantes (trop lent, et c’était avant Claude Code), racheter d’autres sociétés, ou vendre. Des acquéreurs avaient fait le même raisonnement et ont commencé à appeler. Une banque d’affaires a comparé les offres, et Expensya a été cédée à Medius, une société suédoise soutenue par les fonds Marlin et Advent, qui assemblait « une sorte de Microsoft Office, mais pour les DAF » (16:54). Karim est resté 18 mois, puis il est parti: il pensait que l’IA transformerait le secteur plus vite que prévu, et il voulait en être.

Ce que fait un agent de test IA, en termes simples

Patrick demande une explication accessible à quelqu’un qui n’a jamais écrit une ligne de code. Karim prend l’exemple d’un outil de gestion des congés. Avant de le déployer, chaque scénario doit fonctionner: chaque catégorie de salariés peut poser des congés, les managers sont notifiés et peuvent valider, les validations remontent correctement dans l’ERP, les fiches de paie sont justes. S’y ajoutent les vérifications de sécurité et d’accessibilité.

Il existe deux façons de faire. Les tests manuels, par des salariés, des clients bêta ou des auditeurs, donnent une qualité élevée et des retours fins, mais ne passent pas à l’échelle, ralentissent les mises en production et coûtent cher. Le code de test passe à l’échelle, mais il en faut énormément. Expensya en comptait près d’un million de lignes, parce qu’un produit grands comptes présent dans près de 200 pays, avec des règles de TVA, des niveaux hiérarchiques, des allocations et des cartes corporate différents, multiplie sans cesse les scénarios.

Chez Thunders, nos agents jouent le rôle du testeur manuel. Vous décrivez un scénario en langage naturel (« connecte-toi en tant que salarié, pose le 15 mai en congé, vérifie que le manager le reçoit », 21:31) ou vous fournissez de la documentation, et l’agent ouvre un navigateur et l’exécute. Puis il recommence, chaque jour ou à chaque changement.

Pourquoi un LLM seul ne suffit pas pour tester une application

Les agents s’appuient sur des LLM, mais Karim donne trois raisons pour lesquelles un LLM seul ne suffit pas:

• Il est lent: demander à un assistant généraliste d’exécuter un scénario complet prend plusieurs minutes, parfois des dizaines.
• Il coûte cher: il consomme énormément de tokens.
• Il n’est pas reproductible: il fait quelque chose de légèrement différent à chaque fois, alors qu’un test n’a de valeur que s’il refait exactement la même chose.

C’est pour cela que nous avons construit une couche d’ingénierie au-dessus des modèles, pour des exécutions rapides, économiques et reproductibles. Patrick, qui vient de livrer son premier produit avec Claude Code, le résume bien: une entreprise sérieuse veut un outil conçu pour ce travail par des gens qui connaissent le test. Nous comparons les deux approches dans Thunders vs Claude. Pour aller plus loin sur les limites des LLM, voir l’épisode de Karim sur les limites des agents IA.

Le code est réglé: pourquoi les tests sont le nouveau goulot d’étranglement

Patrick évoque Mythos, le modèle dont Anthropic a annoncé qu’il pouvait exposer des failles logicielles si vite que sa sortie a été retenue. Karim y voit l’autre face du même mouvement. Des agents entraînés à tester, avec des compétences en UX, en UI, en sécurité et en accessibilité, permettent à n’importe quelle entreprise de livrer un logiciel au niveau de qualité des leaders, pour moins cher et avec des cycles de mise en production plus courts.

Dans la séquence de questions rapides, Patrick demande ce que doit faire demain matin un CTO qui n’a pas fait des tests une priorité. La réponse de Karim: revoir radicalement ses priorités, parce que l’IA a réglé le code. Regarder son cycle de mise en production, identifier ce qui le ralentit le plus, et « je parie que ce sont les tests » (33:21).

La conviction que Karim a abandonnée: les tests ne sont pas un travail à faible valeur

En début de carrière, Karim partageait une idée répandue: les tests sont une tâche à faible valeur, confiée aux ingénieurs les moins bons. Plusieurs projets lui ont donné tort. Sur ces projets, les tests étaient la partie la plus difficile et la plus exigeante intellectuellement. Il raconte l’un d’eux, la Kinect, dans son épisode MoTaverse sur le rôle de quality architect.

Interrogé sur la décision logicielle la plus imprudente qu’il ait vue, Karim cite les administrations, et une institution française chargée des passeports et des cartes d’identité, piratée en avril. L’identité des citoyens, dit-il, c’est ce qu’il faut protéger avant tout.

L’IA est-elle une bulle ? Efficacité, emploi et course aux armements

Karim ne prétend pas lire l’avenir. Il donne son point de vue sur trois sujets.

Efficacité et bulle

Pour lui, la panique autour des réseaux électriques et des data centers est exagérée, parce que l’IA devient sans cesse plus efficace. En voyant des entreprises racheter des centrales nucléaires, sa réaction a été qu’« on suppose que l’IA peut tout faire, sauf être efficace » (25:22). Il nous situe quelque part au milieu d’une bulle comparable à celle d’internet: un succès massif, mais un besoin d’investissement surestimé, et un capital qu’il a bien fallu rembourser.

Emploi

Sur ce point, il est pessimiste. Il s’attend à 10 à 15 ans de transformation brutale, avec un quart à un tiers des emplois disponibles menacés. Son frère, lui aussi ingénieur en IA, n’est pas d’accord et pense que de nouveaux métiers combleront l’écart. Si le marché de l’emploi tient encore, explique-t-il, c’est parce que toute la tech reconstruit son logiciel avec l’IA. Et le marché s’élargit: l’oncle de sa femme dirige une agence de voyages traditionnelle, et ses idées d’automatisation auraient demandé six ou sept ingénieurs pendant deux ans il y a cinq ans. Aujourd’hui, un seul ingénieur pourrait les réaliser en trois mois. Karim doute que cette croissance suffise à compenser les emplois perdus.

La course aux armements

Ce qui l’inquiète le plus, ce sont les investissements dans l’IA militaire et de surveillance. Il compare la course entre les États-Unis, la Chine et d’autres puissances au projet Manhattan: chacun pense que le premier à atteindre l’AGI pourra empêcher les autres d’y arriver, et qu’on verra ensuite.

La question que personne ne pose sur le code généré par l’IA

Dernière question de Patrick: que devrait-on tous se demander sur le code généré par l’IA ? Karim répond d’abord en plaisantant, « qui teste tout ça ? » (33:57), puis donne sa vraie réponse, plus dérangeante: quelle part de ce code se trouve désormais entre les mains d’OpenAI et d’Anthropic ?

Patrick abonde et compare la situation aux débuts de Facebook, quand chacun livrait ses photos et ses données sans y penser. Karim ajoute un exemple de souveraineté. Les textes rédigés par l’IA ont leurs mots fétiches, et les humains commencent à les adopter. Un chercheur a tenté d’estimer la part des lois françaises récentes rédigées en partie avec ChatGPT en suivant ce vocabulaire, et a observé une hausse progressive à partir de 2022. Si des projets de texte passent par ChatGPT, souligne Karim, le fournisseur peut connaître des lois avant les citoyens français.

• Pour qu’une bonne idée réussisse, il faut la vendre: expliquer la douleur, y répondre et fixer un prix gagnant-gagnant.
• Face à un problème non résolu, cherchez ce qui empêchait de le résoudre jusqu’ici, et vérifiez si ce frein est en train de disparaître.
• Les SaaS spécialisés ont battu l’ERP, puis ont créé leur propre problème: 30 applications qui ne se parlent pas.
• Un LLM seul est lent, coûteux et pas assez reproductible pour tester. La fiabilité vient de l’ingénierie construite au-dessus.
• Avec un design et un code accélérés par l’IA, ce sont les tests qui ont le plus de chances de ralentir vos mises en production.
• Avant de coller du code ou des données dans un outil d’IA, demandez-vous qui d’autre peut désormais les voir.

FOMO Sapiens est animé par Patrick J. McGinnis, à l’origine du terme FOMO, pour fear of missing out (la peur de passer à côté). L’émission s’intéresse à la façon dont les esprits entrepreneurs trouvent l’inspiration et le courage de construire une vie hors du commun, et à la manière de transformer le FOMO en concentration. Patrick est aussi l’auteur de The 10% Entrepreneur, consacré à la création d’entreprise sans quitter son emploi. FOMO Sapiens est enregistré à New York et disponible sur YouTube et les plateformes de podcast. Karim est le premier invité tunisien de l’émission.