![\"\"](\"https:\/\/gillesenvrac.ca\/carnet\/wp-content\/uploads\/2026\/08\/open_shut.webp\")
<\/figure>\n\n\n\nJ\u2019esp\u00e8re que l\u2019intention de mon appel de lundi<\/a> \u00e9tait claire : nous devrions viser un mod\u00e8le que n\u2019importe quelle \u00e9quipe puisse construire \u00e0 partir de z\u00e9ro, pourvu qu\u2019elle ait acc\u00e8s au corpus d\u2019entra\u00eenement, au logiciel et aux ressources informatiques. Nous voulons quelque chose d\u2019ouvert au public<\/em>, car ces mod\u00e8les sont le reflet de l\u2019intelligence et de la culture publiques. Comme Colin Fraser l\u2019a fait remarquer sur Bluesky<\/a>, \u00ab on ne peut plus revenir au monde d\u2019avant, avant qu\u2019on sache que si on cr\u00e9e un mod\u00e8le linguistique suffisamment grand, il finit par ressembler \u00e0 un petit bonhomme qui, tant\u00f4t r\u00e9sout des probl\u00e8mes math\u00e9matiques non r\u00e9solus, tant\u00f4t te rend fou \u00bb. Ces mod\u00e8les linguistiques s\u2019appuient sur l\u2019intelligence collective et culturelle de l\u2019humanit\u00e9, et je crois donc qu\u2019ils devraient \u00eatre ouverts et accessibles \u00e0 tous.<\/p>\n\n\n\n Mais la signification exacte du terme \u00ab ouvert \u00bb est d\u00e9licate \u00e0 cerner. Un exemple louable de mod\u00e8le de corpus ouvert est Olmo<\/a> d\u2019Ai2. Le rapport sur leur mod\u00e8le d\u00e9taille toutes les donn\u00e9es utilis\u00e9es. Pour le pr\u00e9-entra\u00eenement, ils utilisent un m\u00e9lange de donn\u00e9es provenant de Wikip\u00e9dia et de Wikibooks, de pages Web extraites par Common Crawl<\/a>, d\u2019articles universitaires tir\u00e9s d\u2019articles arXiv t\u00e9l\u00e9charg\u00e9s au format LaTeX, de code s\u00e9lectionn\u00e9 \u00e0 partir de d\u00e9p\u00f4ts GitHub dot\u00e9s de licences flexibles, et de pages Web math\u00e9matiques issues de FineMath 3<\/a>. Les versions ant\u00e9rieures du corpus Dolma incluent \u00e9galement des fils de discussion Reddit, des articles de Semantic Scholar et des livres du domaine public provenant du Projet Gutenberg. Toutes ces donn\u00e9es sont accessibles \u00e0 tous.<\/p>\n\n\n\n Voici maintenant une question pour les puristes parmi vous. FineMath 3 est g\u00e9n\u00e9r\u00e9 \u00e0 l\u2019aide d\u2019annotations provenant du LLM Llama. D\u2019une part, techniquement parlant, Llama n\u2019est pas un mod\u00e8le de corpus ouvert. D\u2019autre part, l\u2019ensemble de donn\u00e9es FineMath peut \u00eatre t\u00e9l\u00e9charg\u00e9 gratuitement. Je dirais que cela compte tout de m\u00eame.<\/p>\n\n\n\n M\u00eame si vous m\u2019accordez ce point, vous constaterez que les LLM sont beaucoup plus utilis\u00e9s dans le pipeline de donn\u00e9es du rapport technique d\u2019Olmo. Par exemple, pour g\u00e9n\u00e9rer certaines donn\u00e9es d\u2019entra\u00eenement en math\u00e9matiques lors des derni\u00e8res \u00e9tapes de l\u2019entra\u00eenement, l\u2019\u00e9quipe utilise Qwen. Qwen n\u2019est pas un mod\u00e8le \u00e0 corpus ouvert. Pour certains raisonnements plus complexes, ils utilisent les traces de raisonnement de GPT-4. Ce n\u2019est en aucun cas un mod\u00e8le ouvert. Si vous utilisez un mod\u00e8le \u00e0 corpus ferm\u00e9 pour g\u00e9n\u00e9rer des donn\u00e9es d\u2019entra\u00eenement pour votre mod\u00e8le \u00e0 corpus ouvert, avons-nous mis fin \u00e0 notre qu\u00eate d\u2019ouverture totale?<\/p>\n\n\n\n Je ne suis pas un puriste, mais le monde flou de la distillation<\/em> est v\u00e9ritablement compliqu\u00e9. La distillation n\u2019est pas une action clairement d\u00e9finie, mais d\u00e9crit en gros la pratique consistant \u00e0 recueillir les sorties textuelles d\u2019un mod\u00e8le linguistique pour les utiliser comme ensemble d\u2019entra\u00eenement d\u2019un autre. Ce que nous sommes autoris\u00e9s \u00e0 utiliser et ce que nous ne pouvons pas utiliser est incroyablement d\u00e9routant. M\u00eame si nous nous en tenons simplement au texte pur, il est difficile de dire quelles donn\u00e9es d\u2019entra\u00eenement sont r\u00e9ellement acceptables sur le plan juridique en vertu de \u00ab la loi \u00bb.<\/p>\n\n\n\n La loi est confuse et incertaine. Si vous achetez un livre physique, que vous le num\u00e9risez, que vous effectuez une reconnaissance optique de caract\u00e8res (OCR) et que vous l\u2019ajoutez \u00e0 votre corpus d\u2019entra\u00eenement, cela rel\u00e8ve de l\u2019\u00ab utilisation \u00e9quitable \u00bb. Si vous achetez exactement le m\u00eame texte sous forme de livre \u00e9lectronique et que vous l\u2019ajoutez \u00e0 votre corpus d\u2019entra\u00eenement, cela constitue une violation du contrat de licence du livre \u00e9lectronique. Le fait qu\u2019il y ait une distinction entre ces deux actions est absurde et stupide. La stupidit\u00e9 est in\u00e9vitable dans notre code juridique complexe. Elle ne devient pas moins stupide quand on tente de comprendre comment la \u00ab distillation \u00bb s\u2019articule avec les conditions d\u2019utilisation des grands mod\u00e8les de langage (LLM).<\/p>\n\n\n\n Je r\u00e9fl\u00e9chis \u00e0 voix haute et sans cons\u00e9quence ici, dans ce bulletin d\u2019information. Je reconnais volontiers que c\u2019est compliqu\u00e9. Mais nous allons devoir changer ou combattre les lois qui nous emp\u00eachent d\u2019obtenir des r\u00e9sultats justes. Si nous voulons emp\u00eacher une concentration de pouvoir chez OpenAI ou Anthropic, nous devons r\u00e9fl\u00e9chir aux lois justes et appropri\u00e9es pour y parvenir.<\/p>\n\n\n\n Le chef de la direction d\u2019Anthropic, Dario Amodei, avec son attitude typiquement born\u00e9e et insupportable, est intervenu dans le d\u00e9bat sur les mod\u00e8les ouverts<\/a> lundi, affirmant que les \u00c9tats-Unis devraient \u00ab interdire la distillation \u00e0 l\u2019\u00e9chelle industrielle \u00bb, mais qu\u2019il ne pr\u00e9conisait pas l\u2019interdiction des mod\u00e8les \u00e0 poids ouverts. Sa lettre est truff\u00e9e de contradictions de ce genre. Je me fiche de son raisonnement alambiqu\u00e9, car il n\u2019en reste pas moins que la position de loin la plus d\u00e9fendable est d\u2019interdire les mod\u00e8les \u00e0 poids ferm\u00e9s.<\/p>\n\n\n\n Les mod\u00e8les ferm\u00e9s sont ind\u00e9fendables. Bien s\u00fbr, il faut reconna\u00eetre le m\u00e9rite d\u2019Alex Radford, d\u2019Ilya Sutskever, de Sam Altman et de Dario Amodei, car je n\u2019aurais jamais imagin\u00e9 que ces mod\u00e8les seraient aussi utiles qu\u2019ils le sont aujourd\u2019hui. Comme l\u2019a dit Fraser, on ne peut pas revenir \u00e0 l\u2019\u00e9poque o\u00f9 on ne savait pas tout \u00e7a. Par contre, il ne faut pas leur accorder trop de cr\u00e9dit, car on pourrait aussi soutenir qu\u2019ils devraient \u00eatre en prison. Si vous trouvez que c\u2019est une exag\u00e9ration, je vous invite \u00e0 lire la page Wikip\u00e9dia d\u2019Aaron Swartz<\/a>. Ou \u00e0 lire cet article approfondi du Financial Times<\/a> sur les biblioth\u00e8ques en ligne utilis\u00e9es pour entra\u00eener nos mod\u00e8les linguistiques actuels. Les biblioth\u00e9caires sont pourchass\u00e9s partout dans le monde par le FBI. Les entrepreneurs du secteur des grands mod\u00e8les de langage (LLM) sont des multimilliardaires et peuvent verser des indemnit\u00e9s<\/a> de plusieurs milliards de dollars pour se couvrir. On peut se livrer \u00e0 de longues discussions p\u00e9dantes sur ce qui est l\u00e9gal et ce qui ne l\u2019est pas. On peut aussi se demander : \u00ab Qu\u2019est-ce qui est bien? \u00bb et \u00ab Qu\u2019est-ce qui est juste? \u00bb La situation actuelle, o\u00f9 les meilleurs mod\u00e8les am\u00e9ricains restent inaccessibles, est profond\u00e9ment inacceptable.<\/p>\n\n\n\n Fichier Excel des\u00a0traductions<\/a> par\u00a0Gilles en vrac<\/em> Qu\u2019est-ce qui devrait relever de l\u2019utilisation l\u00e9gitime et \u00e9quitable des corpus ouverts d\u2019intelligence publique? Traduction de Open and Shut par Ben Recht sur Substack, 29 juillet 2026. J\u2019esp\u00e8re que l\u2019intention de mon appel de lundi \u00e9tait claire : nous devrions viser un mod\u00e8le que n\u2019importe quelle \u00e9quipe puisse construire \u00e0 partir de z\u00e9ro, pourvu qu\u2019elle … <\/p>\n
\n\n\n\n
Fiches<\/a> avec les premi\u00e8res phrases (et non seulement les titres)
Les\u00a0caract\u00e8res gras<\/strong>\u00a0dans le texte sont de Gilles.<\/p>\n","protected":false},"excerpt":{"rendered":"