Vous avez posé la même question à trois experts et vous avez eu trois réponses différentes. L'un dit que c'est impossible, l'autre dit que c'est déjà réglé, et vous n'avez rien de solide pour avancer.
Dans ce guide : quatre questions pour savoir s'il vaut la peine de tester vous-même, même hors de votre domaine, l'histoire d'une société de recherche qui l'a fait avec un antivenin de scorpion, et ce qu'il faut vérifier avant de dépenser un centime.
Commençons par la base. Certaines questions ne se résolvent pas en demandant autour de vous, parce que personne n'a encore la vraie réponse. Vous pouvez collectionner les avis, vous n'aurez jamais plus de certitude. Dès que le coût pour tester vous-même devient assez bas, le chemin le plus court vers une vraie réponse, c'est parfois de faire un travail totalement hors de votre métier, juste pour obtenir une réponse nette à la question qui, elle, est dans votre métier.
Quatre questions avant de vous lancer
Chaque question vérifie quelque chose de différent. Si une seule échoue, tester vous-même n'est pas le bon raccourci.
- Les experts sont-ils vraiment en désaccord, ou n'avez-vous pas encore trouvé le bon?Si les réponses vont de "ça n'a jamais marché" à "ça va tout résoudre", personne ne sait vraiment. Si la plupart des experts disent la même chose, continuez à chercher plutôt que de tester.
- Le coût du test est-il faible par rapport à la décision qui en dépend?Comparez ce que coûte le test à ce que vous êtes prêt à engager selon la réponse. Si le test ne représente qu'une fraction de cette somme, c'est justifié.
- Quelqu'un d'autre que l'IA peut-il confirmer le résultat?Un résultat que seul le modèle garantit n'est pas un résultat. Il faut une vérification humaine et indépendante, dans le monde réel.
- La réponse va-t-elle vraiment changer ce que vous ferez après?Si votre décision reste la même dans tous les cas, ne testez pas. Ne testez que les questions où la réponse détermine la prochaine étape.
Citrini Research, une société de recherche sur les actions et la macro, s'est retrouvée exactement dans ce cas. Elle voulait savoir si la découverte de médicaments par IA était un vrai thème d'investissement, et n'arrivait pas à obtenir une réponse nette : certains experts disaient que l'IA n'avait jamais produit de médicament important, d'autres qu'elle allait tout guérir en cinq ans. Au lieu de demander à un expert de plus, elle a utilisé Claude pour concevoir des protéines qui se lient aux toxines de scorpion, et a envoyé les résultats à un laboratoire indépendant.
Claude a fait tourner 300 sous-agents qui ont généré 318 000 candidats protéiques en 64 heures. Parmi eux, 211 sont passés au laboratoire, et 17 ont été confirmés comme se liant réellement à quatre toxines de scorpion différentes. Tout cela a coûté moins de 200 000 dollars, moins qu'une seule embauche senior sur un an.
Attendez, avant de vous emballer. Se lier à une toxine n'est pas la neutraliser, et c'est exactement ce que les critiques ont relevé : des protéines qui se lient à ces toxines existent dans la littérature depuis plus de 15 ans, et l'étape qui prouve réellement qu'un médicament fonctionne n'a pas encore eu lieu. Citrini l'a reconnu elle-même : 64 heures de conception numérique se sont transformées directement en mois de travail humain, synthèse d'ADN, production de protéines, vraies toxines, et encore 4 à 7 ans avant qu'un médicament puisse atteindre un patient. L'IA va vite pour inventer, pas pour prouver que l'invention tient. Ce goulot d'étranglement n'a pas bougé.
Dans les dix prochaines minutes : notez une question pour laquelle vous recevez des réponses contradictoires d'experts, et faites-la passer par les quatre questions ci-dessus. Si elle les passe toutes, c'est celle que vous testez cette semaine.