Karpathy partage son flux de travail pour construire une base de connaissances personnelle avec des LLM : la majorité du temps n'est plus consacrée à écrire du code, mais à manipuler des connaissances.

D’après le suivi de 1M AI News, Andrej Karpathy, cofondateur d’OpenAI, a partagé sur X une découverte récente : construire une base de connaissances personnelle avec des LLM est plus précieux que de les utiliser pour écrire du code. La majeure partie de sa consommation de tokens est actuellement passée de l’écriture de code à la manipulation des connaissances.

Le workflow complet se déroule en cinq étapes :

1. Acquisition des données : indexer les documents sources, comme des articles, des articles de recherche, des dépôts de code, des jeux de données, des images, etc., dans le répertoire raw/, puis « compiler » de manière incrémentale avec un LLM pour produire un wiki markdown incluant des résumés, des liens retour, une classification par concepts et des articles interconnectés
2. Interface de consultation : utiliser Obsidian comme front-end pour visualiser les données brutes, le wiki compilé et des visualisations dérivées ; le contenu du wiki est entièrement maintenu par le LLM, et les humains ne l’éditent presque pas directement
3. Requêtes de question-réponse : lorsque le wiki atteint une certaine taille (dans l’un de ses axes de recherche, il y a déjà environ 100 articles et 400 000 mots), on peut poser au LLM des questions complexes ; le LLM récupère automatiquement le contenu du wiki pour y répondre. Il pensait au départ qu’il fallait du RAG, mais les fichiers d’index et les résumés que le LLM maintient automatiquement suffisent déjà à cette échelle
4. Boucle de retour des sorties : les résultats des requêtes sont générés sous forme de markdown, de présentations Marp ou de graphiques matplotlib ; après les avoir consultés dans Obsidian, on les archive dans le wiki, afin que l’exploration personnelle continue de s’enrichir
5. Contrôle qualité : utiliser le LLM régulièrement pour faire un « contrôle de santé » du wiki ; détecter les incohérences de données, compléter les informations manquantes, et exploiter les relations entre concepts, afin d’augmenter progressivement l’exhaustivité des données

Karpathy dit avoir aussi développé quelques outils supplémentaires, par exemple un moteur de recherche simple de wiki. Il peut être utilisé soi-même dans une interface web, ou être donné en tant qu’outil en ligne de commande au LLM pour traiter des requêtes plus vastes. Il pense que ce workflow n’est encore, pour l’instant, qu’un « assemblage de scripts », mais qu’il cache en coulisses une « opportunité de produit incroyablement nouvelle ». L’idée plus lointaine est la suivante : pour chaque question posée à un modèle de pointe, on pourrait faire appel à un groupe de LLM qui construisent automatiquement un wiki temporaire, réalisent un contrôle qualité, itèrent sur plusieurs tours, puis finissent par produire un rapport complet, « bien au-delà d’un simple .decode() ».