Qu’est-ce qui devrait relever de l’utilisation légitime et équitable des corpus ouverts d’intelligence publique?
Traduction de Open and Shut par Ben Recht sur Substack, 29 juillet 2026.
J’espère que l’intention de mon appel de lundi était claire : nous devrions viser un modèle que n’importe quelle équipe puisse construire à partir de zéro, pourvu qu’elle ait accès au corpus d’entraînement, au logiciel et aux ressources informatiques. Nous voulons quelque chose d’ouvert au public, car ces modèles sont le reflet de l’intelligence et de la culture publiques. Comme Colin Fraser l’a fait remarquer sur Bluesky, « on ne peut plus revenir au monde d’avant, avant qu’on sache que si on crée un modèle linguistique suffisamment grand, il finit par ressembler à un petit bonhomme qui, tantôt résout des problèmes mathématiques non résolus, tantôt te rend fou ». Ces modèles linguistiques s’appuient sur l’intelligence collective et culturelle de l’humanité, et je crois donc qu’ils devraient être ouverts et accessibles à tous.
Mais la signification exacte du terme « ouvert » est délicate à cerner. Un exemple louable de modèle de corpus ouvert est Olmo d’Ai2. Le rapport sur leur modèle détaille toutes les données utilisées. Pour le pré-entraînement, ils utilisent un mélange de données provenant de Wikipédia et de Wikibooks, de pages Web extraites par Common Crawl, d’articles universitaires tirés d’articles arXiv téléchargés au format LaTeX, de code sélectionné à partir de dépôts GitHub dotés de licences flexibles, et de pages Web mathématiques issues de FineMath 3. Les versions antérieures du corpus Dolma incluent également des fils de discussion Reddit, des articles de Semantic Scholar et des livres du domaine public provenant du Projet Gutenberg. Toutes ces données sont accessibles à tous.
Voici maintenant une question pour les puristes parmi vous. FineMath 3 est généré à l’aide d’annotations provenant du LLM Llama. D’une part, techniquement parlant, Llama n’est pas un modèle de corpus ouvert. D’autre part, l’ensemble de données FineMath peut être téléchargé gratuitement. Je dirais que cela compte tout de même.
Même si vous m’accordez ce point, vous constaterez que les LLM sont beaucoup plus utilisés dans le pipeline de données du rapport technique d’Olmo. Par exemple, pour générer certaines données d’entraînement en mathématiques lors des dernières étapes de l’entraînement, l’équipe utilise Qwen. Qwen n’est pas un modèle à corpus ouvert. Pour certains raisonnements plus complexes, ils utilisent les traces de raisonnement de GPT-4. Ce n’est en aucun cas un modèle ouvert. Si vous utilisez un modèle à corpus fermé pour générer des données d’entraînement pour votre modèle à corpus ouvert, avons-nous mis fin à notre quête d’ouverture totale?
Je ne suis pas un puriste, mais le monde flou de la distillation est véritablement compliqué. La distillation n’est pas une action clairement définie, mais décrit en gros la pratique consistant à recueillir les sorties textuelles d’un modèle linguistique pour les utiliser comme ensemble d’entraînement d’un autre. Ce que nous sommes autorisés à utiliser et ce que nous ne pouvons pas utiliser est incroyablement déroutant. Même si nous nous en tenons simplement au texte pur, il est difficile de dire quelles données d’entraînement sont réellement acceptables sur le plan juridique en vertu de « la loi ».
La loi est confuse et incertaine. Si vous achetez un livre physique, que vous le numérisez, que vous effectuez une reconnaissance optique de caractères (OCR) et que vous l’ajoutez à votre corpus d’entraînement, cela relève de l’« utilisation équitable ». Si vous achetez exactement le même texte sous forme de livre électronique et que vous l’ajoutez à votre corpus d’entraînement, cela constitue une violation du contrat de licence du livre électronique. Le fait qu’il y ait une distinction entre ces deux actions est absurde et stupide. La stupidité est inévitable dans notre code juridique complexe. Elle ne devient pas moins stupide quand on tente de comprendre comment la « distillation » s’articule avec les conditions d’utilisation des grands modèles de langage (LLM).
Je réfléchis à voix haute et sans conséquence ici, dans ce bulletin d’information. Je reconnais volontiers que c’est compliqué. Mais nous allons devoir changer ou combattre les lois qui nous empêchent d’obtenir des résultats justes. Si nous voulons empêcher une concentration de pouvoir chez OpenAI ou Anthropic, nous devons réfléchir aux lois justes et appropriées pour y parvenir.
Le chef de la direction d’Anthropic, Dario Amodei, avec son attitude typiquement bornée et insupportable, est intervenu dans le débat sur les modèles ouverts lundi, affirmant que les États-Unis devraient « interdire la distillation à l’échelle industrielle », mais qu’il ne préconisait pas l’interdiction des modèles à poids ouverts. Sa lettre est truffée de contradictions de ce genre. Je me fiche de son raisonnement alambiqué, car il n’en reste pas moins que la position de loin la plus défendable est d’interdire les modèles à poids fermés.
Les modèles fermés sont indéfendables. Bien sûr, il faut reconnaître le mérite d’Alex Radford, d’Ilya Sutskever, de Sam Altman et de Dario Amodei, car je n’aurais jamais imaginé que ces modèles seraient aussi utiles qu’ils le sont aujourd’hui. Comme l’a dit Fraser, on ne peut pas revenir à l’époque où on ne savait pas tout ça. Par contre, il ne faut pas leur accorder trop de crédit, car on pourrait aussi soutenir qu’ils devraient être en prison. Si vous trouvez que c’est une exagération, je vous invite à lire la page Wikipédia d’Aaron Swartz. Ou à lire cet article approfondi du Financial Times sur les bibliothèques en ligne utilisées pour entraîner nos modèles linguistiques actuels. Les bibliothécaires sont pourchassés partout dans le monde par le FBI. Les entrepreneurs du secteur des grands modèles de langage (LLM) sont des multimilliardaires et peuvent verser des indemnités de plusieurs milliards de dollars pour se couvrir. On peut se livrer à de longues discussions pédantes sur ce qui est légal et ce qui ne l’est pas. On peut aussi se demander : « Qu’est-ce qui est bien? » et « Qu’est-ce qui est juste? » La situation actuelle, où les meilleurs modèles américains restent inaccessibles, est profondément inacceptable.
Fichier Excel des traductions par Gilles en vrac
Fiches avec les premières phrases (et non seulement les titres)
Les caractères gras dans le texte sont de Gilles.