Pourquoi les systèmes d’IA « ouverts » sont en réalité fermés, et pourquoi cela a de l’importance

Traduction de Why ‘open’ AI systems are actually closed, and why this matters par David Gray Widder, Meredith Whittaker & Sarah Myers West paru dans Nature volume 635, pages 827–833, le 27 novembre 2024. [48 min]

Résumé

Cet article examine l’intelligence artificielle (IA) « ouverte ». Les affirmations concernant l’IA « ouverte » manquent souvent de précision ; elles éludent fréquemment l’analyse de la forte concentration du secteur dans le développement et le déploiement de l’IA à grande échelle, et appliquent souvent à tort aux systèmes d’IA une conception de l’« ouverture » issue du domaine des logiciels libres et open source. À l’heure actuelle, des acteurs puissants cherchent à influencer les politiques en avançant que l’IA « ouverte » est soit bénéfique pour l’innovation et la démocratie, d’une part, soit préjudiciable à la sécurité, d’autre part. Lors de l’élaboration des politiques, les définitions ont leur importance. Afin d’apporter plus de clarté à ce débat, nous examinons les fondements des arguments en faveur de l’ouverture dans l’IA et proposons une analyse concrète de ce qu’est l’IA et de ce que l’« ouverture » en matière d’IA peut et ne peut pas apporter : en nous penchant sur les modèles, les données, la main-d’œuvre, les cadres de référence et la puissance de calcul. Nous mettons en évidence trois principales possibilités offertes par l’IA « ouverte », à savoir la transparence, la réutilisabilité et l’extensibilité, et nous observons qu’une IA aussi « ouverte » que possible permet certaines formes de contrôle et d’expérimentation en complément des modèles existants. Cependant, nous constatons que l’ouverture à elle seule ne remet pas en cause la concentration du pouvoir dans le secteur de l’IA. Tout comme de nombreux projets traditionnels de logiciels libres ont été récupérés de diverses manières par les grandes entreprises technologiques, nous montrons comment la rhétorique autour de l’IA « ouverte » est souvent utilisée de manière à exacerber, plutôt qu’à réduire, la concentration du pouvoir dans le secteur de l’IA.

Résumé par SIRI – 260 mots

Cet article examine de manière critique le concept d’intelligence artificielle (IA) « ouverte », soulignant que l’application des principes du logiciel libre à l’IA est souvent inadaptée et trompeuse. Bien que l’ouverture puisse offrir une certaine transparence, une réutilisabilité et une extensibilité, elle ne parvient pas à démocratiser le secteur.

L’auteur soutient que la rhétorique de l’ouverture est fréquemment utilisée par les grandes entreprises technologiques pour consolider leur domination, influencer les politiques publiques et échapper à la réglementation. Contrairement aux logiciels traditionnels, les systèmes d’IA dépendent de ressources massives — données, puissance de calcul et main-d’œuvre — qui restent concentrées entre les mains de quelques géants technologiques.
En conclusion, l’article affirme que miser uniquement sur une IA « ouverte » ne suffira pas à créer un écosystème diversifié ou responsable. Sans mesures strictes, comme l’application des lois antitrust, l’ouverture risque simplement de perpétuer la concentration du pouvoir au lieu de servir l’intérêt public.

L’illusion de l’ouverture : De nombreux systèmes dits « ouverts » (comme LLaMA de Meta) n’offrent qu’un accès limité, sans inclure les données d’entraînement ou la documentation complète, une pratique qualifiée d’« openwashing ».
Concentration du pouvoir : Les ressources nécessaires (puissance de calcul, données massives, main-d’œuvre pour l’étiquetage) restent contrôlées par une poignée d’entreprises (Nvidia, Google, Meta, Microsoft).
Limites de la transparence : En raison de la nature probabiliste de l’IA, même un accès complet au code et aux poids ne permet pas de prédire ou d’expliquer totalement le comportement d’un modèle.
Enjeux politiques : Le débat sur l’IA ouverte est souvent instrumentalisé pour façonner la réglementation en faveur des intérêts commerciaux des grandes entreprises.

Intro

Cette perspective examine l’intelligence artificielle (IA) « ouverte ». Nous constatons que des concepts issus des logiciels libres sont appliqués de manière inadaptée aux systèmes d’IA. À l’heure où les acteurs du secteur cherchent à influencer les politiques en avançant, d’une part, que l’IA ouverte est bénéfique pour l’innovation scientifique et la démocratie, ou, d’autre part, qu’elle est préjudiciable à la sécurité, nous cherchons à ancrer les discussions sur les possibilités offertes par l’« ouverture » en IA dans une analyse concrète de ce qu’est l’IA et de ce que l’ouverture en IA peut et ne peut pas apporter.

Dans cette optique, nous passons en revue les composants essentiels des systèmes d’IA, en examinant lesquels peuvent être rendus ouverts et lesquels ne le peuvent pas, tout en analysant l’écosystème qui s’est formé autour du concept d’IA ouverte. Nous constatons que les systèmes d’IA ouverts peuvent offrir transparence, réutilisabilité et extensibilité : ils peuvent être scrutés, réutilisés et servir de base à d’autres développements, à des degrés divers. Mais nous constatons également que les affirmations avancées autour de l’ouverture manquent souvent de précision ; elles se concentrent fréquemment sur une seule étape du cycle de vie des systèmes d’IA, du développement au déploiement, négligeant souvent la forte concentration du secteur dans le développement et le déploiement de l’IA à grande échelle, ce qui fausse la conception courante de l’ouverture issue des logiciels libres et open source. Les discours qui mettent l’accent sur l’ouverture sans tenir compte des incitations économiques liées à l’IA abordent rarement les questions de contexte, de pouvoir et d’utilisation — comment ces systèmes seront-ils utilisés, par qui, sur qui — alors même que ces questions façonnent profondément les résultats politiques dont les débats sur l’ouverture et l’IA prétendent se préoccuper.

Ces questions revêtent une importance particulière dans le paysage actuel de l’IA, dominé par des acteurs privés1,2,3,4,5.

Créer les conditions permettant à des alternatives indépendantes aux technologies dominées par l’industrie de prospérer est une cause louable. Cependant, tout comme de nombreux projets open source traditionnels ont été cooptés de diverses manières par les grandes entreprises technologiques, nos conclusions indiquent que la rhétorique de l’ouverture est souvent utilisée de manière à exacerber, loin de l’atténuer, la concentration du pouvoir dans le secteur de l’IA.

La rhétorique de l’IA ouverte attire actuellement l’attention des milieux politiques et de la recherche et façonne les politiques tant aux États-Unis que dans l’Union européenne, entre autres juridictions6,7,8,9. Le débat sur l’« IA open source » a été en grande partie façonné par les entreprises du secteur de l’IA, qui ont utilisé des arguments liés à l’ouverture pour servir leurs objectifs spécifiques en matière de réglementation et de marché. En fonction de leur modèle économique, ces entreprises ont utilisé la rhétorique de l’ouverture pour soutenir implicitement l’idée que l’IA devrait soit être exemptée de toute réglementation10, soit être soumise à des exigences strictes en matière de licences ou à des contrôles à l’exportation11. Parallèlement, des travaux récents menés par des chercheurs ont utilement complexifié ces affirmations, même s’ils n’ont pas redéfini le débat public, en apportant des nuances et des fondements grâce à l’évaluation des risques et des avantages de l’ouverture des modèles12,13 et en créant des taxonomies de modèles plus ou moins ouverts dans le but d’apporter une clarté conceptuelle14,15.

L’IA ouverte et l’arbitrage définitionnel

La définition même de l’IA est contestée et floue, ce qui brouille encore davantage la question de savoir ce que signifie « ouvert » dans le contexte de l’IA. Au cours de ses plus de 70 ans d’histoire, le terme « IA » a été appliqué à une grande variété d’approches, moins en tant que terme technique spécifique qu’en tant qu’argument marketing et aspiration4,16. Certains systèmes d’IA sont déterministes, comme les systèmes basés sur des règles, qui — à partir d’un ensemble d’entrées — suivent un ensemble d’instructions pour produire des résultats clairement définis. D’autres sont probabilistes : ils effectuent des comparaisons avec de vastes ensembles de données et tirent des conclusions à partir des liens entre les points de données. À l’heure actuelle, ce terme désigne souvent des systèmes d’apprentissage automatique probabilistes, de grande envergure et gourmands en ressources, l’IA dite « générative » retenant particulièrement l’attention dans le discours populaire. C’est sur ces systèmes que nous nous concentrons, car ce sont les systèmes d’IA de grande envergure et génératifs qui remettent le plus clairement en cause les définitions traditionnelles de l’open source et qui sont au cœur des politiques et des débats actuels.

La nécessité d’une clarté définitionnelle a suscité un débat considérable17, qui a abouti à une proposition de l’Open Source Initiative18. Dans les discussions plus grand public sur l’IA, s’appuyant sur des idéologies relatives aux logiciels libres forgées il y a plusieurs décennies dans le but de résister au contrôle des entreprises19, les conceptions conventionnelles des logiciels libres et open source sont projetées sur les systèmes d’IA ouverts, même lorsqu’elles ne s’y appliquent pas19,20. Partant de la promesse selon laquelle l’open source démocratise le développement logiciel, que de nombreux regards portés sur un code ouvert pourraient garantir son intégrité et sa sécurité21, ou que l’open source uniformise les règles du jeu et permet à l’innovation de triompher22,23, les logiciels open source ont concrétisé bon nombre de ces promesses, à des degrés divers18.

Méthodes pour affirmer sa domination grâce aux logiciels libres — et non en dépit d’eux Tout au long de l’histoire des logiciels libres et open source, les entreprises technologiques à but lucratif ont utilisé leurs ressources pour s’emparer d’écosystèmes, ou se sont servies de projets open source pour affirmer leur domination de diverses manières. Voici quelques exemples d’initiatives menées par des entreprises par le passé.
Investir dans l’open source pour défier ses concurrents propriétaires.IBM et Linux. En 1999, IBM a investi 1 milliard de dollars américains dans le système d’exploitation open source Linux — un logiciel d’exploitation positionné comme une alternative open source à Microsoft, alors dominant — et a créé la Linux Foundation24.
Publier un logiciel libre pour contrôler une plateforme.Google et Android. En 2007, Google a ouvert le code source du système d’exploitation Android et y a massivement investi, ce qui lui a permis de s’imposer sur le marché des systèmes d’exploitation mobiles face à son concurrent Apple et d’attirer l’attention des autorités de régulation pour des pratiques anticoncurrentielles25.
Réimplémenter et commercialiser sous forme de logiciel en tant que service (SaaS).Amazon et MongoDB. En 2019, Amazon a mis en œuvre sa propre version de la célèbre base de données open source MongoDB, baptisée DocumentDB26, et l’a commercialisée en tant que service sur sa plateforme AWS. En 2022, l’entreprise est passée à un accord de partage des revenus avec MongoDB27,28,29.
Développer un framework open source permettant à l’entreprise d’intégrer des produits open source dans ses systèmes propriétaires.Meta et PyTorch. Le PDG de Meta, Mark Zuckerberg, a expliqué comment l’ouverture du code source du framework PyTorch a facilité l’exploitation de nouvelles idées développées en externe et gratuitement30,31.

L’IA ouverte se distingue des logiciels open source sur des points essentiels. Contrairement aux logiciels open source, l’identification des préjudices et des failles dans les systèmes d’IA nécessite bien plus que la mise à disposition des poids et d’une interface de programmation d’application (API) accessible ou d’un modèle d’IA sous licence libre (comme dans la série de modèles LLaMA de Meta) ; et bien que la mise à disposition des données d’entraînement et d’une documentation ouverte rigoureuse ait des effets bénéfiques sur la capacité à auditer les systèmes d’IA, ce qui est essentiel pour la responsabilité, il existe des limites inhérentes à la capacité de prédire le comportement de systèmes qui sont probabilistes32.

De même, bien que l’ouverture puisse favoriser la concurrence à la périphérie — en permettant à d’autres de s’appuyer sur des modèles d’IA de base grâce à un réglage fin d’une grande efficacité —, cela ne modifie pas les caractéristiques du marché dans son ensemble. Le réglage fin n’élimine pas non plus l’impact des décisions clés prises pendant la phase de développement du modèle de base33. Parmi les facteurs qui rendent les règles du jeu inégales dans le domaine de l’IA, on peut citer les effets de réseau, l’accès aux ensembles de données, l’accès et le coût des ressources informatiques nécessaires à l’inférence à grande échelle, l’absence de modèle économique viable et, à l’heure actuelle, des taux d’intérêt gonflés34,35,36,37,38. Ensemble, ces facteurs limitent fortement la compétitivité des start-ups spécialisées dans l’IA dans le contexte économique actuel et contribuent à un marché où les voies vers la rentabilité passent, dans l’ensemble, par les grandes entreprises technologiques — dont les infrastructures sont indispensables au développement de l’IA et dont l’accès aux marchés est indispensable à tout retour sur investissement39. L’ouverture peut permettre une plus grande capacité à modifier des modèles d’IA déjà développés, mais ces facteurs environnementaux plus larges déterminent si le produit d’une telle expérimentation a une chance d’accéder au marché40.

Dans la pratique, les différents degrés d’ouverture en matière d’IA offrent des possibilités très variées, même s’ils sont tous regroupés de manière prêtant à confusion sous le même terme, « ouverture »41. Certains systèmes décrits comme ouverts, tels que le LLaMA-3 de Meta (réf. 42), n’offrent guère plus qu’une API ou la possibilité de télécharger un modèle soumis à des restrictions d’utilisation clairement non ouvertes42,43. Dans ces cas, il s’agit de systèmes de « openwashing » qu’il convient de considérer comme fermés44,45,46. D’autres variantes extrêmes de l’IA ouverte, telles que la série Pythia d’EleutherAI, vont beaucoup plus loin en offrant l’accès au code source, aux données d’entraînement sous-jacentes et à la documentation complète, ainsi qu’en accordant une licence pour le modèle d’IA permettant une réutilisation à grande échelle selon des conditions conformes à la définition de longue date de l’open source donnée par l’Open Source Initiative.

Compte tenu de ces définitions confuses, à moins de citer mot pour mot certaines affirmations, nous évitons d’utiliser le terme « open source » dans la suite de cet article et utilisons à la place le terme générique « ouvert ».

Qu’est-ce qui est (et n’est pas) « ouvert » dans l’IA ouverte ?

Les systèmes d’IA nécessitent des processus de développement spécifiques et s’appuient sur des ressources spécialisées et coûteuses concentrées entre les mains de quelques grandes entreprises technologiques5,47,48,49. Compte tenu des ressources nécessaires à la production de systèmes d’IA à grande échelle, les entreprises commerciales d’IA disposant de puissance de calcul, de jeux de données et d’équipes de recherche dominent de plus en plus le domaine de la recherche et du développement en IA. De ce fait, ces entreprises déterminent non seulement l’orientation des développements, mais aussi les conditions dans lesquelles les systèmes d’IA peuvent être construits, y compris quels éléments d’un système (poids et ensembles de données) sont rendus accessibles à d’autres pour qu’ils puissent y accéder et les réutiliser. Bien que de nouvelles techniques aient facilité la création de cas d’utilisation plus légers et plus efficaces, affinés à partir de modèles de base plus vastes50, elles l’ont fait sans modifier ces caractéristiques sous-jacentes du marché. En fin de compte, le coût et les ressources nécessaires à l’entraînement, ainsi que les goulots d’étranglement que les grandes entreprises contrôlent en matière d’accès au marché, font que l’IA ouverte n’équivaut pas pour autant à un changement direct des conditions de concurrence sur le marché de l’IA, bien que, dans ses manifestations les plus poussées, elle offre trois avantages clés :

  1. Transparence. De nombreux systèmes d’IA qualifiés d’« ouverts » publient les poids, la documentation ou les données relatives au système. Les exemples les plus poussés d’IA ouverte donnent accès aux données d’entraînement sous-jacentes et aux informations sur les poids associés à un modèle donné. Ces deux éléments sont utiles pour permettre certaines formes de validation et d’audit51,52 et contribuent tous deux à fournir des informations a posteriori sur le comportement du système, qui sont essentielles pour la responsabilité. En raison de la nature probabiliste des systèmes d’IA actuels, les affirmations concernant la transparence de ces systèmes, aussi ouverts soient-ils, doivent être nuancées, en particulier lorsqu’on les compare à des logiciels traditionnels : connaître les poids, le code et la documentation ne permet pas de déterminer exactement comment un modèle se comportera dans un contexte donné, ni d’expliquer pourquoi un résultat donné se produit, ni de prédire les propriétés dites « émergentes » du système53,54,55.
  2. Réutilisabilité. Certains modèles et données d’IA ouverts sont mis à disposition de tiers sous licence en vue de leur réutilisation56. Les données et les poids de modèles sous licence libre, ainsi que le recours fréquent à des licences open source traditionnelles pour les rendre accessibles, ont alimenté l’idée selon laquelle l’IA ouverte aurait des effets bénéfiques intrinsèques sur la concurrence sur le marché7. Cependant, l’accès au marché reste une ressource limitée. Même les acteurs disposant de ressources importantes, qui possèdent le capital, les talents et les données nécessaires pour créer des modèles à grande échelle, n’ont pas toujours de moyen évident de déployer ces modèles ou d’assurer un retour sur investissement, en raison d’importants goulots d’étranglement dans l’accès au marché, qui — à l’heure actuelle — passe par les grandes entreprises, soit via des offres cloud, soit par le biais d’intégrations à grande échelle dans des plateformes. On le constate notamment dans l’exemple de la décision de Mistral AI, une entreprise d’IA « ouverte », de conclure un contrat avec Microsoft, permettant ainsi à ce dernier d’accorder sous licence une version de son modèle d’IA « Mixtral Large » à ses clients du cloud via son activité Azure Cloud. Cela est d’autant plus remarquable que Mistral est l’une des start-ups d’IA les mieux financées développant des modèles ouverts57 et qu’elle s’est positionnée sur le marché grâce à son utilisation efficace des ressources informatiques58. Mais malgré ces atouts, elle a tout de même choisi — à l’instar d’OpenAI et d’Inflection AI — d’accéder au marché via la plateforme cloud de Microsoft59.
  3. Extensibilité. L’extensibilité nous permet de nous appuyer sur des modèles prêts à l’emploi pour les affiner en fonction d’un objectif précis. Il s’agit d’une caractéristique clé défendue en particulier par les acteurs du monde des entreprises engagés dans l’IA ouverte60. Cela s’explique en grande partie par le fait que le travail d’« extension » des modèles prêts à l’emploi fait office de développement de produit gratuit pour ceux qui souhaiteraient réutiliser un modèle affiné. Étendre un modèle d’IA ouverte signifie que ceux qui effectuent ce travail ne partent pas de zéro. Ils prennent un grand modèle, déjà entraîné au prix d’efforts considérables et de coûts élevés, en ajustent les paramètres et, en général, l’entraînent à nouveau sur des données supplémentaires, souvent spécialisées, afin d’adapter ses performances à un domaine ou à une tâche particulière. Des choix éditoriaux notables ont déjà été opérés au cours du processus de développement du « modèle de base »61,62,63.

L’économie politique de l’IA ouverte

Nous passons ici en revue les éléments — modèles, données, main-d’œuvre, cadres et puissance de calcul — fréquemment impliqués dans la création et l’utilisation de grands systèmes d’IA2,64. Cela nous aide à évaluer quelles parties de ces systèmes sont ou peuvent être rendues ouvertes, lesquelles ne le sont pas ou ne le peuvent pas, et de quelles manières.

Modèles d’IA

Une grande partie du débat actuel sur l’IA ouverte se concentre sur les modèles d’IA, qui ne constituent qu’une partie d’un système d’IA opérationnel et qui, à eux seuls, ne couvrent pas l’intégralité du cycle de vie d’un système d’IA, du développement au déploiement. Un modèle d’IA désigne un système algorithmique qui a été entraîné et évalué à l’aide de grandes quantités de données afin de produire des résultats statistiquement probables en réponse à une entrée donnée, stockés sous forme de poids numériques. Par exemple, ChatGPT fonctionne en appliquant des modèles GPT (Generative Pre-trained Transformer), qui ont été entraînés sur d’énormes quantités de données textuelles, dont une grande partie a été extraite du Web. Ces modèles GPT constituent une partie de la suite logicielle spécifique aux clients de ChatGPT, qui comprend un client web et des applications iOS et Android, dont chacune nécessite des bibliothèques et un savoir-faire distincts pour sa maintenance, ainsi que du personnel qualifié pour les entretenir tant qu’elles existent48. Ces clients intègrent les modèles GPT comme un élément parmi d’autres de l’interface destinée aux utilisateurs. Une fois entraîné, un modèle d’IA peut être publié de la même manière que n’importe quel autre code logiciel : sous une licence ouverte permettant sa réutilisation, ou mis à disposition en ligne d’une autre manière. La réutilisation d’un modèle d’IA déjà entraîné ne nécessite pas d’avoir accès aux données d’entraînement ou d’évaluation sous-jacentes, ni que les poids ou d’autres détails du système soient rendus publics. En ce sens, de nombreux systèmes d’IA qualifiés d’« ouverts » utilisent ce terme de manière approximative. Au lieu de fournir une documentation et un accès pertinents, ils constituent en réalité des « enveloppes » autour de modèles fermés, héritant de données non documentées, ne fournissant pas de données d’entraînement annotées issues de l’apprentissage par renforcement à partir de retours d’expérience humains (RLHF) ni d’informations sur les processus de travail, et publiant rarement leurs résultats, sans parler de les documenter dans des publications évaluées par des pairs15.

Il existe désormais plusieurs exemples de modèles d’IA ouverts à grande échelle disponibles pour une réutilisation publique dans une certaine mesure : parmi ceux-ci figurent le LLaMA-2 de Meta (réf. 60) et le LLaMA-3 (réf. 43) ; Falcon 40B, développé par l’Institut d’innovation technologique des Émirats arabes unis, entraîné sur AWS65 ; les modèles MPT66 de MosaicML et Mixtral 8x22B de Mistral AI, tous deux liés à Azure de Microsoft ; le modèle BLOOM de BigScience, entraîné sur le supercalculateur français Jean Zay67. Regrouper tous ces modèles sous l’étiquette unique d’« ouverts » ne rend pas justice aux distinctions importantes qui les séparent et contribue à la confusion autour de ce terme.

Des entreprises telles que Hugging Face et Stability AI proposent des modèles d’IA ouverts à leurs clients et au grand public. Leurs modèles économiques ne reposent pas sur l’octroi de licences pour les modèles propriétaires eux-mêmes, mais consistent plutôt à facturer des fonctionnalités supplémentaires et des prestations de service en complément des modèles ouverts, telles que l’accès à l’API, l’entraînement des modèles sur des données personnalisées, ainsi que la sécurité et l’assistance technique en tant que services payants68. Elles proposent également à leurs clients de procéder à l’ajustement fin de modèles privés, en affinant et en calibrant les performances de modèles déjà entraînés pour une tâche ou un domaine donné.

L’association à but non lucratif EleutherAI propose également des modèles d’IA open source à grande échelle, accompagnés de la documentation et des bases de code utilisées pour les entraîner. EleutherAI se consacre exclusivement à la promotion de la recherche sur l’IA à grande échelle69, en mettant ses modèles sous licence Apache 2.0, une licence open source très permissive destinée aux chercheurs en IA56. Parmi les acteurs engagés dans l’IA ouverte, EleutherAI offre sans doute les systèmes d’IA les plus ouverts qui soient.

Une poignée de projets universitaires ont également produit de grands modèles d’IA ouverts à plus petite échelle. Parmi ceux-ci figure le modèle Alpaca de Stanford, bien connu pour avoir été développé afin de fonctionner sur un simple ordinateur portable — un exploit remarquable compte tenu de la nature très gourmande en ressources de calcul du déploiement de tels modèles70. Cependant, même un chatbot basé sur ce modèle extrêmement efficace sur le plan informatique est devenu trop coûteux — et trop risqué, en raison des « hallucinations » du modèle — pour continuer à fonctionner, et l’équipe l’a depuis retiré71.

La tendance actuelle dans le développement de l’IA suit une approche « plus c’est gros, mieux c’est » en matière de données, de puissance de calcul et de taille des modèles33. Plus le modèle est grand, plus son apprentissage et son calibrage mobilisent de ressources, et plus il est donc difficile de le produire en dehors des grandes entreprises technologiques. Bien que nous sachions que le plus grand modèle d’IA accessible au public est actuellement LLaMA-3 et qu’il a été entraîné sur 15 000 milliards de tokens42, les informations sur les ensembles de données utilisés pour les modèles sont devenues de plus en plus opaques, tant pour les modèles fermés que pour ceux prétendument ouverts. OpenAI n’a pas communiqué la taille de GPT-4 (réf. 72), le rapport technique d’Anthropic n’aborde pas la taille des données d’entraînement de Claude 373 et Mistral AI a refusé de divulguer ne serait-ce que la taille des données d’entraînement de son modèle accessible au public, invoquant la « nature hautement concurrentielle du domaine »74. De plus, bien que l’ajustement d’un modèle à une tâche ou à un domaine particulier soit moins coûteux en termes de calcul par instance (mais beaucoup plus coûteux pour l’environnement dans l’ensemble), ces tiers ne peuvent s’appuyer que sur des modèles qu’ils ne peuvent ni examiner de près ni reproduire, ce qui conduit à une « classe supérieure d’IA »33.

Données

Des données façonnées selon des spécifications rigoureuses (et nécessitant beaucoup de main-d’œuvre) sont nécessaires pour construire des systèmes d’IA à grande échelle. Certains chercheurs ont même affirmé que l’accès aux données pouvait être plus important que l’accès à la puissance de calcul lors de la construction d’une IA à grande échelle48,75. Les deux sont essentiels et, dans la dynamique actuelle de « course à l’échelle », plus on en dispose, « meilleures » sont les performances de ces modèles33,76.

Les données constituent souvent un élément fermé de nombreuses offres d’IA qui se présentent comme ouvertes : de nombreux modèles d’IA à grande échelle décrits comme ouverts négligent de fournir ne serait-ce que des informations de base sur les données sous-jacentes utilisées pour entraîner le système77, sans parler de mettre ouvertement à disposition les données d’entraînement sous-jacentes ou d’en documenter la provenance. Le manque de transparence des données remet sérieusement en cause toute affirmation concernant les avantages de l’IA ouverte et entrave le type de validation ou de reproductibilité nécessaire à une science rigoureuse.

L’extraction de données pour créer des ensembles de données destinés au développement de l’IA soulève des questions d’extraction et de propriété intellectuelle qui sont particulièrement pertinentes au regard des préoccupations concernant la concentration dans le secteur de l’IA. Ces ensembles de données, qu’ils soient ouverts ou fermés, sont souvent constitués à partir d’images, de textes et de codes protégés par le droit d’auteur provenant du Web, ou en copiant et en réutilisant des ensembles de données compilés par des groupes linguistiques issus du « monde majoritaire », tels que GhanaNLP78 et Lesan AI79. Cela signifie que, même s’il est possible d’entraîner des modèles sans contenu protégé par le droit d’auteur80, ceux qui utilisent ces ensembles de données pour entraîner et évaluer des modèles d’IA recourent souvent au travail et à la propriété intellectuelle d’autrui pour ce faire, invoquant l’usage loyal alors même que ces arguments font l’objet de contestations juridiques81, et sont disposés et en mesure d’assumer le coût des poursuites judiciaires dans les deux cas82. Qu’elle soit légale ou non, la pratique consistant à pêcher sans discernement des données sur le Web pour créer des systèmes qui sont désormais sur le point de menacer les moyens de subsistance des écrivains, des artistes et des programmeurs — dont le travail a créé ces données « Web » au départ — a suscité l’inquiétude et la colère83, et des poursuites judiciaires engagées au nom de ces acteurs sont désormais en cours84.

Ces préoccupations sont particulièrement pressantes compte tenu des échos coloniaux présents dans les pratiques actuelles de travail sur les données : les systèmes d’IA s’appuient fréquemment sur des données et des ressources humaines provenant du monde de la majorité85, et le fondateur du projet open source GhanaNLP a fait remarquer que l’open source des géants de la tech risque de permettre la poursuite de l’exploitation coloniale86,87,88. Une telle exploitation va également à l’encontre des mouvements du « monde majoritaire » en faveur de la souveraineté des données, illustrés par des projets tels que Te Hiku Media, qui soulignent que « la majorité des tangata whenua et des autres peuples autochtones n’ont peut-être pas accès aux ressources leur permettant de bénéficier des technologies open source… En rendant simplement nos données et nos connaissances open source, nous nous laissons encore davantage coloniser numériquement dans le monde moderne »89.

Il ne s’agit pas ici de plaider en faveur de jeux de données fermés, qui ne font qu’aggraver ce problème. Il s’agit plutôt d’un appel à clarifier précisément ce que les jeux de données ouverts peuvent et ne peuvent pas accomplir. Lorsque les jeux de données ne sont pas mis à disposition pour être examinés, ou lorsqu’ils sont d’une taille insondable, il devient très difficile de vérifier si ces jeux de données ne détournent pas la propriété intellectuelle d’autrui ou n’utilisent pas à des fins commerciales des données qui avaient été spécifiquement concédées sous licence pour un usage non commercial ou dans le cadre de mandats de souveraineté particuliers. Par exemple, il a été démontré que l’assistant de programmation GitHub Copilot de Microsoft — un système d’IA générative qui produit du code — a été entraîné sur du code sous licence GPL90, une licence open source qui exige que le code dérivé soit publié selon les mêmes conditions, et qu’il reproduit ensuite ce code. Cependant, même l’utilisation de code sous licence permissive pour entraîner une IA générative peut de la même manière enfreindre les dispositions exigeant l’attribution, que les systèmes d’IA générative actuels pourraient fournir, mais ne fournissent pas à l’heure actuelle.

Des ensembles de données tels que Pile91 et Common Crawl92,93 sont largement disponibles, mais un travail supplémentaire est nécessaire pour rendre ces ensembles de données utiles à la construction de grands modèles d’IA. Une curation et un remixage minutieux des ensembles de données sont nécessaires pour créer une IA performante : Le modèle BLOOM de BigScience a été entraîné sur un ensemble composite de 498 ensembles de données, ce qui a impliqué un processus complexe de gouvernance des données, ainsi qu’un processus manuel de filtrage de qualité visant à supprimer le code, le spam et autres éléments parasites67. Bien que l’on puisse supposer que les ensembles de données plus volumineux utilisés par les entreprises nécessitent des niveaux de travail proportionnellement similaires, nous n’en savons pratiquement rien, même concernant ceux qui se prétendent ouverts.

Main-d’œuvre

Le besoin insatiable des systèmes d’IA à grande échelle en données curées, étiquetées et soigneusement organisées signifie que la mise en place d’une IA à grande échelle nécessite une main-d’œuvre humaine considérable. C’est ce travail qui crée l’« intelligence » que les systèmes d’IA sont censés produire, selon leur argumentaire commercial94,95. Ce travail peut être globalement classé selon les domaines suivants :

  • Étiquetage et classification des données
  • Calibrage des modèles (apprentissage par renforcement avec retour d’information humain, et processus similaires)
  • La modération de contenu, la confiance et la sécurité, ainsi que d’autres formes d’assistance post-déploiement
  • L’ingénierie, le développement de produits et la maintenance.

Les systèmes d’IA générative sont entraînés et évalués à partir d’un large éventail de textes, de discours ou d’images générés par l’homme. Le processus consistant à façonner un modèle de manière à ce qu’il puisse imiter une production de type humain sans reproduire de contenu offensant ou dangereux nécessite une implication humaine intensive afin de garantir que les résultats du modèle restent dans les limites de ce qui est « acceptable »96 — et permettent ainsi à celui-ci d’être commercialisé, vendu et appliqué dans le monde réel par des entreprises et d’autres institutions soucieuses de conserver leurs clients et de préserver leur réputation. Ce processus est souvent appelé « apprentissage par renforcement à partir de retours d’information humains » (RLHF), un terme à consonance technique qui, dans la pratique, fait référence à des milliers d’heures de travail humain, au cours desquelles les travailleurs peuvent être chargés de sélectionner, parmi quelques extraits de texte produits par un système d’IA générative, celui qui ressemble le plus à un texte généré par un humain, leurs choix étant ensuite réinjectés dans le système97. Bien que la préparation des données et l’étalonnage des modèles nécessitent un travail considérable, rarement mis en avant, qui est pourtant fondamental pour donner du sens aux données qui façonnent les systèmes d’IA, les entreprises ne divulguent généralement que peu, voire aucune information sur les pratiques de travail qui sous-tendent ce travail sur les données, et le fait de ne pas divulguer ces informations est rarement critiqué comme une forme de manque de transparence. Ce que nous savons de ces processus est en grande partie le fruit soit du journalisme d’investigation98,99,100, soit de l’action collective menée par des travailleurs et des chercheurs101,102,103.

Le travail nécessaire à la sélection, à la préparation des données et à l’étalonnage des systèmes est mal rémunéré, mais il représente tout de même un coût considérable compte tenu du nombre de travailleurs et du temps requis pour traiter les données afin de construire les systèmes d’IA contemporains. Cela constitue un obstacle supplémentaire à un accès démocratique et ouvert aux ressources nécessaires à la création et au déploiement de grands modèles d’IA (même si nous ne pouvons accepter le terme « démocratique » pour désigner une structure qui repose sur des travailleurs précaires et faiblement rémunérés, qui ne tirent que peu d’avantages de leur travail tout en subissant des préjudices et qui sont eux-mêmes exclus de cette démocratie imaginaire).

Cadres de développement

Les cadres de développement permettent aux développeurs de logiciels de créer et de déployer plus facilement leurs applications de manière structurée, prévisible et efficace. Ils font partie des pratiques de développement standard et ne sont pas propres à l’IA. Ils fonctionnent en fournissant des morceaux de code pré-écrits, des flux de travail modélisés, des outils d’évaluation et d’autres méthodes standardisées pour les tâches de développement courantes. Cela contribue à créer des systèmes informatiques plus fongibles, interopérables et testables, tout en minimisant le temps passé à « réinventer la roue » et en évitant les bogues facilement introduits lors de la mise en œuvre de systèmes à partir de zéro. Comme pour le développement logiciel en général, le développement de l’IA s’appuie sur une poignée de frameworks de développement open source populaires. Ceux-ci comprennent des référentiels de plus en plus vastes de jeux de données, des outils de validation des données, des outils d’évaluation, des outils de construction de modèles, des outils d’entraînement et d’exportation de modèles, des bibliothèques de pré-entraînement et bien plus encore, qui, ensemble, façonnent la manière dont l’IA est créée et déployée4.

Les deux frameworks de développement d’IA dominants sont PyTorch et TensorFlow. Tous deux ont été créés au sein de grandes entreprises technologiques commerciales, respectivement Meta et Google, qui continuent de les financer et de les maintenir. Il existe bien plus de modèles d’IA pré-entraînés fonctionnant exclusivement au sein du framework PyTorch que de modèles fonctionnant avec TensorFlow33,104. PyTorch est également le framework le plus populaire dans la recherche universitaire en IA, utilisé dans la plupart des articles scientifiques105,106.

PyTorch a été initialement développé pour un usage interne chez Meta, mais a été rendu public en 2017. Bien que PyTorch fonctionne comme une fondation de recherche sous l’égide de la Linux Foundation107, il continue de bénéficier du soutien financier de Meta107,108 et ses principaux responsables de la maintenance (chargés de la gouvernance et de la prise de décision) sont tous des employés de Meta109. TensorFlow a été initialement développé et publié par Google Brain en 2015 (réf. 110) et continue d’être dirigé et soutenu financièrement par Google, qui emploie également bon nombre de ses principaux contributeurs111.

Les frameworks de développement open source offrent des outils qui rendent le processus de développement et de déploiement de l’IA plus rapide, plus prévisible et plus robuste. Ils présentent également des avantages importants pour les entreprises qui les développent. Ils permettent notamment à Meta, à Google et à ceux qui pilotent le développement de ces frameworks de standardiser la construction de l’IA afin que les résultats soient compatibles avec leurs propres plateformes d’entreprise — garantissant ainsi que leur framework amène les développeurs à créer des systèmes d’IA qui, à l’instar des Lego, s’emboîtent parfaitement avec leurs propres systèmes d’entreprise112. Dans le cas de Meta, cela lui permet d’intégrer et de commercialiser plus facilement les systèmes développés, optimisés ou déployés à l’aide de PyTorch. Zuckerberg a clairement exposé ces avantages pour Meta lors d’une conférence téléphonique sur les résultats financiers de 2023, au cours de laquelle il a déclaré : « [PyTorch] est généralement devenu la norme dans le secteur […] cela s’est globalement avéré très précieux pour nous […] Comme il est intégré à notre pile technologique, lorsqu’il y a des opportunités d’intégration avec des produits, il est beaucoup plus facile de s’assurer que les développeurs et les autres collaborateurs sont en phase avec ce dont nous avons besoin, compte tenu du fonctionnement de nos systèmes. »113 et a réitéré ce point lors d’une conférence téléphonique sur les résultats financiers de 202431. Cela vaut également pour Google et TensorFlow. Dans le cas de Google, TensorFlow a été conçu pour fonctionner de manière simple et intuitive avec le matériel Tensor Processing Unit (TPU) de Google, cette puissante infrastructure informatique propriétaire qui est au cœur de l’activité de calcul IA dans le cloud de Google. Cela permet à Google d’optimiser ses offres cloud commerciales pour le développement de l’IA, positionnant ainsi ces produits comme le moteur de l’IA. De cette manière, les frameworks de développement ouverts peuvent contribuer à consolider et à renforcer la domination des entreprises en matière d’IA.

Les cadres de développement ouverts en IA peuvent également permettre à ceux qui financent et orientent leur développement de créer des passerelles vers des offres informatiques et autres services rentables. À l’instar de la manière dont les représentants des entreprises orientent la gouvernance des normes Internet à l’exclusion des autres114, les entreprises spécialisées dans l’IA façonnent les pratiques de travail des chercheurs et des développeurs33 de manière à ce que les nouveaux modèles d’IA puissent être facilement intégrés et commercialisés. Cela confère à l’entreprise proposant le cadre un pouvoir indirect considérable au sein de l’écosystème : elle forme les développeurs, les chercheurs et les étudiants qui interagissent avec ces outils aux normes du cadre qu’elle privilégie, contribuant ainsi à définir — et, d’une certaine manière, à s’approprier — le domaine de l’IA4,115.

Puissance de calcul

Le développement de grands modèles d’IA nécessite des ensembles de données massifs, dont le traitement requiert une puissance de calcul considérable49,76. Le développement actuel de l’IA se caractérise par une course à l’échelle33, des estimations antérieures montrant que la quantité de calcul utilisée pour entraîner les modèles a été multipliée par environ 300 000 en 6  ans, soit une multiplication par environ 8 chaque année116, et des estimations récentes de l’utilisation des données indiquant une augmentation de la taille des ensembles de données d’environ 2,4 fois par an117. L’accès à la puissance de calcul reste un obstacle notable à la réutilisabilité pratique de nombreux systèmes d’IA ouverts, en raison du coût élevé impliqué tant pour l’entraînement que pour l’exécution de l’inférence (51 686 kWh, 7 571 kWh et 1 × 10−4 kWh pour les coûts énergétiques de l’entraînement, du réglage fin et de l’inférence, respectivement, dans un cas118) sur de grands modèles d’IA à grande échelle (c’est-à-dire leur intégration dans un produit ou une API en vue d’une utilisation publique généralisée). De plus, tirer le maximum de capacité de calcul d’un matériel spécialisé nécessite des systèmes logiciels spécialisés et, dans certains cas, propriétaires.

On ne saurait trop insister sur la position dominante de Nvidia dans ce domaine : l’entreprise détient une part de marché de 70 à 90 % pour les puces d’IA de pointe119. De plus, plus de quatre millions de développeurs s’appuient sur CUDA120, le « standard de facto de l’industrie »121, un framework en partie propriétaire développé par Nvidia qui ne prend en charge l’entraînement que sur les processeurs graphiques propriétaires de l’entreprise (GPU) de l’entreprise (des processeurs informatiques spécialisés, initialement développés pour les jeux vidéo, désormais principalement utilisés pour l’entraînement en IA car ils permettent d’effectuer rapidement de nombreux calculs en parallèle). L’écosystème de développement CUDA est un élément clé de la puissante domination de Nvidia sur le marché49 (la part de marché de l’entreprise s’élevant à 88 % pour les GPU122) ; il a été entretenu et étendu depuis 2006, ce qui lui a donné une longueur d’avance considérable. À l’instar de l’écosystème de développeurs d’Apple — qui offre aux personnes souhaitant créer des applications et des services pour les systèmes d’exploitation propriétaires de l’entreprise des composants de haute qualité —, CUDA fournit aux chercheurs et développeurs en IA des ressources étendues et qui font référence.

En bref, les ressources de calcul nécessaires pour créer de nouveaux modèles d’IA et utiliser ceux qui existent déjà à grande échelle, en dehors des contextes d’entreprises privatisées et des expérimentations individuelles, sont rares, extrêmement coûteuses et concentrées entre les mains d’une poignée d’entreprises seulement (avec Nvidia à leur tête49,122), qui bénéficient elles-mêmes d’économies d’échelle, de la capacité à contrôler les logiciels optimisant le calcul et de la possibilité de vendre un accès coûteux aux ressources de calcul33,123. La fluidité de l’intégration entre la fourniture de ressources de calcul et l’accès aux modèles est considérée par certains comme un moteur de la demande envers les fournisseurs d’infrastructures cloud124,125, ce qui suggère en outre que c’est la maîtrise d’un écosystème, plutôt que la capacité à produire un modèle ou une offre de produits performants, qui détermine la compétitivité en matière d’IA.

Conclusion

En décortiquant les éléments qui, ensemble, composent les systèmes d’IA modernes et en examinant lesquels de ces éléments peuvent ou ne peuvent pas être rendus ouverts, nous dressons une carte de l’IA ouverte qui montre que, même dans sa forme la plus poussée, l’IA ouverte dépend fortement des ressources d’un petit nombre de grandes entreprises, qui contrôlent de fait le secteur de l’IA et l’écosystème de la recherche au-delà.

C’est pourquoi la poursuite d’une IA, même la plus ouverte qui soit, ne conduira pas à elle seule à un écosystème plus diversifié, plus responsable ou plus démocratisé, même si elle peut présenter d’autres avantages. Nous constatons également que, comme par le passé, les grandes entreprises technologiques en lice pour s’assurer un avantage en matière d’IA utilisent l’IA ouverte pour consolider leur position dominante sur le marché, tout en brandissant le slogan de l’ouverture pour détourner l’attention des accusations de monopole dans le domaine de l’IA et de la réglementation qui en découle1. La réalité est que, quelle que soit leur ouverture, lorsque les systèmes d’IA sont déployés à grande échelle dans des domaines sensibles, ils peuvent avoir des effets diffus et profonds qui ne devraient pas être déterminés par la poignée d’entreprises à but lucratif qui contrôlent actuellement les ressources nécessaires pour créer et déployer ces systèmes à grande échelle, les mettant ainsi à la disposition des millions de clients qui en seront directement affectés, en particulier lorsque ces effets ne peuvent être prévus simplement en examinant le code du système, les poids des modèles et la documentation. La création d’alternatives significatives au modèle actuel d’IA ne se fera pas uniquement par la poursuite d’un développement ouvert de l’IA, même si des éléments tels que la transparence des données et la documentation sont précieux pour la responsabilité, et que les projets d’IA aussi ouverts que possible illustrent utilement les limites du possible. Concentrer l’intervention politique sur la question de savoir si l’IA sera ouverte ou fermée détourne l’attention de la nature extrêmement opaque de la plupart des systèmes d’IA d’entreprise, qu’ils soient ouverts ou fermés, ce qui, en retour, détourne une énergie et une initiative précieuses des questions relatives aux implications de l’IA dans la pratique.

À moins d’être accompagnée d’autres mesures énergiques visant à lutter contre la concentration du pouvoir dans le domaine de l’IA, notamment l’application des lois antitrust et la protection de la vie privée, la recherche de l’ouverture ne sera probablement pas, à elle seule, source d’avantages significatifs. En effet, les conditions de transparence, ainsi que les infrastructures nécessaires à la réutilisation et à l’extension, continueront d’être définies par ces mêmes entreprises puissantes, qui ne seront guère enclines à accepter des contrôles significatifs allant à l’encontre de leurs motivations de profit et de croissance.

Nous avons besoin d’un champ d’action plus large pour le développement de l’IA et d’une plus grande diversité de méthodes, ainsi que d’un soutien aux technologies qui répondent de manière plus significative aux besoins du public, et non à des intérêts commerciaux. Et nous avons besoin d’un espace pour nous demander « pourquoi l’IA » dans le contexte de nombreux défis sociaux et écologiques urgents. Créer les conditions permettant de rendre ces alternatives possibles est un projet qui peut coexister avec la réglementation, voire être soutenu par celle-ci. Mais placer tous nos espoirs dans une IA « ouverte » de manière isolée ne nous mènera pas vers ce monde et pourrait, à bien des égards, aggraver la situation, car les décideurs politiques et le public misent leurs espoirs et leur élan sur l’IA ouverte126, en partant du principe qu’elle apportera des avantages qu’elle ne peut offrir dans un contexte de concentration du pouvoir des entreprises.

Références

  1. LeCun, Y. Testimony before the U.S. Senate Select Committee on Intelligence (2023).
  2. Luitse, D. & Denkena, W. The great transformer: examining the role of large language models in the political economy of AI. Big Data Soc. 8, 20539517211047734 (2021).
  3. Rikap, C. Same End By Different Means: Google, Amazon, Microsoft and Meta’s Strategies to Organize Their Frontier AI Innovation Systems. City, University of London https://www.cdh.cam.ac.uk/wp-content/uploads/2023/06/8.-Rikap-2023-Same-end-different-means-longer-version-CITYPERC.pdf (2023).
  4. Whittaker, M. The steep cost of capture. Interactions 28, 50–55 (2021). Through a historical analysis of the military’s influence over AI of the past, this piece shows how AI of the present depends on resources held by a few companies, thus allowing them to capture AI research agendas.
  5. Luitse, D. Platform power in AI: the evolution of cloud infrastructures in the political economy of artificial intelligence. Internet Policy Rev. 13, 1–44 (2024).
  6. O’Brien, M. White House wades into debate on ‘open’ versus ‘closed’ artificial intelligence systems. Associated Press https://apnews.com/article/ai-executive-order-biden-opensource-models-1c42092e55729d731d246440094f7fed (2024).
  7. Staff in the Office of Technology. On Open-Weights Foundation Models. Federal Trade Commission https://www.ftc.gov/policy/advocacy-research/tech-at-ftc/2024/07/open-weights-foundation-models (2024).
  8. Competition & Markets Authority. CMA AI strategic update. UK Government https://www.gov.uk/government/publications/cma-ai-strategic-update/cma-ai-strategic-update (2024).
  9. Bommasani, R. et al. Considerations for Governing Open Foundation Models. Stanford University https://hai.stanford.edu/issue-brief-considerations-governing-open-foundation-models (2023).
  10. Karabus, J. GitHub CEO says EU AI Act shouldn’t apply to open source devs. The Register https://www.theregister.com/2023/02/07/github_ceo_ai_act/ (2023).
  11. Deutsch, J. OpenAI Backs Idea of Requiring Licenses for Advanced AI Systems. Bloomberg https://www.bloomberg.com/news/articles/2023-07-20/internal-policy-memo-shows-how-openai-is-willing-to-be-regulated (2023).
  12. Kapoor, S. et al. Position: On the societal impact of open foundation models. Proc. Machine Learning Res. 235, 23082–23104 (2024).
  13. Seger, E. et al. Open-sourcing highly capable foundation models: an evaluation of risks, benefits, and alternative methods for pursuing open-source objectives. Preprint at http://arxiv.org/abs/2311.09227 (2023).
  14. Bommasani, R. et al. The Foundation Model Transparency Index. Preprint at https://doi.org/10.48550/arXiv.2310.12941 (2023).
  15. Liesenfeld, A., Lopez, A. & Dingemanse, M. in Proc. 5th International Conference on Conversational User Interfaces 1–6 https://doi.org/10.1145/3571884.3604316 (ACM, 2023).
  16. Suchman, L. The uncontroversial ‘thingness’ of AI. Big Data Soc. 10, 20539517231206794 (2023). An important short piece problematizing the stability of the notion of ‘AI’.
  17. Gent, E. The tech industry can’t agree on what open-source AI means. That’s a problem. MIT Technology Review https://www.technologyreview.com/2024/03/25/1090111/tech-industry-open-source-ai-definition-problem/ (2024).
  18. Open Source Initiative. The Open Source AI Definition – 1.0. Open Source Initiative https://opensource.org/ai/open-source-ai-definition (2024).
  19. Coleman, E. G. Coding Freedom: The Ethics and Aesthetics of Hacking (Princeton Univ. Press, 2013). An ethnography examining the politics and ethics of free and open source software communities.
  20. Kelty, C. M. Two Bits: The Cultural Significance of Free Software (Duke Univ. Press, 2008).
  21. Meneely, A. & Williams, L. in Proc. 16th ACM Conference on Computer and Communications Security 453–462 https://doi.org/10.1145/1653662.1653717 (ACM, 2009).
  22. Rosenberg, J. The meaning of open. Google Public Policy Blog https://publicpolicy.googleblog.com/2009/12/meaning-of-open.html (2009).
  23. Alexy, O. Free Revealing: How Firms Can Profit From Being Open (Springer, 2009).
  24. IBM. A strong history and commitment to open source. IBM https://www.ibm.com/opensource/story/.
  25. AT.40099 – Google Android. European Commission https://competition-cases.ec.europa.eu/cases/AT.40099 (2015).
  26. Barr, J. Amazon DocumentDB (with MongoDB Compatibility): Fast, Scalable, and Highly Available. AWS News Blog https://aws.amazon.com/blogs/aws/new-amazon-documentdb-with-mongodb-compatibility-fast-scalable-and-highly-available/ (2019).
  27. Staff in the Office of Technology. Cloud Computing: Taking Stock and Looking Ahead. Federal Trade Commission https://www.ftc.gov/news-events/events/2023/05/cloud-computing-taking-stock-looking-ahead (2023).
  28. McLaughlin, K. & Gardizy, A. After Years of Resistance, AWS Opens Checkbook for Open-Source Providers. The Information https://www.theinformation.com/articles/after-years-of-resistance-aws-opens-checkbook-for-open-source-providers (2023).
  29. Asay, M. & Mehla, A. MongoDB and AWS Expand Global Collaboration. MongoDB https://www.mongodb.com/blog/post/mongodb-aws-expand-global-collaboration (2022).
  30. Zuckerberg, M. Open Source AI Is the Path Forward. Meta https://about.fb.com/news/2024/07/open-source-ai-is-the-path-forward/ (2024).
  31. Zuckerberg, M. & Dorell, K. Fourth Quarter 2023 Results conference call (2024).
  32. Ojewale, V., Steed, R., Vecchione, B., Birhane, A. & Raji, I. D. Towards AI accountability infrastructure: gaps and opportunities in AI audit tooling. Preprint at https://doi.org/10.48550/arXiv.2402.17861 (2024).
  33. Gururaja, S., Bertsch, A., Na, C., Widder, D. & Strubell, E. in Proc. 2023 Conference on Empirical Methods in Natural Language Processing (eds Bouamor, H., Pino, J. & Bali, K.) 13310–13325 https://doi.org/10.18653/v1/2023.emnlp-main.822 (Association for Computational Linguistics, 2023). This is an interview study of academic NLP researchers on the incentives governing their field and on the effect of corporate power in their practice.
  34. Khan, L. M. Sources of tech platform power. Georgetown Law Technol. Rev. 2, 325 (2018).
  35. Vipra, J. & Korinek, A. Market concentration implications of foundation models: the invisible hand of ChatGPT. Brookings Center on Regulation and Markets https://www.brookings.edu/articles/market-concentration-implications-of-foundation-models-the-invisible-hand-of-chatgpt/ (2023).
  36. Ezrachi, A. & Stucke, M. E. Virtual Competition: The Promise and Perils of the Algorithm-Driven Economy (Harvard Univ. Press, 2019).
  37. OECD. Artificial intelligence, data and competition. OECD https://www.oecd.org/en/publications/artificial-intelligence-data-and-competition_e7e88884-en.html (2024).
  38. Competition and Markets Authority, UK Government. AI Foundation Models Technical Update Report. UK Government https://www.gov.uk/cma-cases/ai-foundation-models-initial-review (2024).
  39. West, S. M. & Kak, A. AI Now 2023 Landscape: Confronting Tech Power. AI Now Institute https://ainowinstitute.org/2023-landscape (2023).
  40. Nathan, A., Grimberg, J. & Rhodes, A. Gen AI: Too Much Spend, Too Little Benefit? Goldman Sachs https://www.goldmansachs.com/intelligence/pages/gs-research/gen-ai-too-much-spend-too-little-benefit/report.pdf (2024).
  41. Solaiman, I. in Proc. 2023 ACM Conference on Fairness, Accountability, and Transparency 111–122 https://doi.org/10.1145/3593013.3593981 (ACM, 2023). This is a key piece that was the first to argue that AI is not ‘binary’ in an AI context.
  42. Meta. Introducing Meta Llama 3: The most capable openly available LLM to date. Meta AI https://ai.meta.com/blog/meta-llama-3/ (2024).
  43. Meta. Meta Llama 3 License. Meta https://llama.meta.com/llama3/license/ (2024).
  44. Maffulli, S. Meta’s LLaMa 2 license is not Open Source. Open Source Initiative https://opensource.org/blog/metas-llama-2-license-is-not-open-source (2023).
  45. Nolan, M. Llama and ChatGPT Are Not Open-Source. IEEE Spectrum https://spectrum.ieee.org/open-source-llm-not-open (2023).
  46. Hull, C. Is Llama 2 open source? No – and perhaps we need a new definition of open… OpenSource Connections https://opensourceconnections.com/blog/2023/07/19/is-llama-2-open-source-no-and-perhaps-we-need-a-new-definition-of-open/ (2023).
  47. Buchanan, B. The AI Triad and What It Means for National Security Strategy. Center for Security and Emerging Technology https://cset.georgetown.edu/publication/the-ai-triad-and-what-it-means-for-national-security-strategy/ (2020).
  48. Musser, M., Gelles, R., Kinoshita, R., Aiken, C. & Lohn, A. The Main Resource Is the Human. Center for Security and Emerging Technology https://cset.georgetown.edu/publication/the-main-resource-is-the-human/ (2023).
  49. Vipra, J. & West, S. M. Computational Power and AI. AI Now Institute https://ainowinstitute.org/publication/policy/compute-and-ai (2023).
  50. Dettmers, T., Pagnoni, A., Holtzman, A. & Zettlemoyer, L. QLoRA: Efficient Finetuning of Quantized LLMs. Proc. 37th Int. Conf. Neural Inf. Process. (NIPS ’23) Article 441, 10088–10115 (Curran Assoc., Red Hook, NY, 2024).
  51. Birhane, A., Prabhu, V., Han, S., Boddeti, V. N. & Luccioni, A. S. Into the LAION’s Den: Investigating Hate in Multimodal Datasets. 37th Conf. Neural Inf. Process. Syst. Datasets Benchmarks Track https://openreview.net/forum?id=6URyQ9QhYv (2023).
  52. Gerchick, M. et al. in Proc. 2023 ACM Conference on Fairness, Accountability, and Transparency 1292–1310 https://doi.org/10.1145/3593013.3594081 (ACM, 2023).
  53. Rudin, C. Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead. Nat. Mach. Intell. 1, 206–215 (2019).
  54. Lipton, Z. C. The mythos of model interpretability: in machine learning, the concept of interpretability is both important and slippery. Queue 16, 31–57 (2018).
  55. Poursabzi-Sangdeh, F., Goldstein, D. G., Hofman, J. M., Wortman Vaughan, J. W. & Wallach, H. in Proc. 2021 CHI Conference on Human Factors in Computing Systems 1–52 https://doi.org/10.1145/3411764.3445315 (ACM, 2021).
  56. EleutherAI. License – EleutherAI/gpt-neox. GitHub https://github.com/EleutherAI/gpt-neox?tab=Apache-2.0-1-ov-file (2024).
  57. Metz, C. Mistral, French A.I. Start-Up, Is Valued at $2 Billion in Funding Round. The New York Times https://www.nytimes.com/2023/12/10/technology/mistral-ai-funding.html (2023).
  58. Mistral AI. https://mistral.ai/.
  59. Boyd, E. Introducing Mistral-Large on Azure in partnership with Mistral AI. Microsoft Azure Blog https://azure.microsoft.com/en-us/blog/microsoft-and-mistral-ai-announce-new-partnership-to-accelerate-ai-innovation-and-introduce-mistral-large-first-on-azure/ (2024).
  60. Touvron, H. et al. Llama 2: open foundation and fine-tuned chat models. Preprint at https://doi.org/10.48550/arXiv.2307.09288 (2023).
  61. Bender, E. M., Gebru, T., McMillan-Major, A. & Shmitchell, S. in Proc. 2021 ACM Conference on Fairness, Accountability, and Transparency 610–623 https://doi.org/10.1145/3442188.3445922 (ACM, 2021). This article documents that the creation of massive training datasets renders them difficult to scrutinize and increasingly opaque.
  62. Bertsch, A. et al. in Proc. 4th Workshop on Gender Bias in Natural Language Processing (GeBNLP) (eds Hardmeier, C., Basta, C., Costa-jussà, M. R., Stanovsky, G. & Gonen, H.) 235–243 https://doi.org/10.18653/v1/2022.gebnlp-1.24 (Association for Computational Linguistics, 2022).
  63. Longpre, S. et al. A Pretrainer’s Guide to Training Data: Measuring the Effects of Data Age, Domain Coverage, Quality, & Toxicity. Proc. 24 Conf. N. Am. Ch. Assoc. Comp. Linguistics Hum. Language Tech. Vol. 1, 3245–3276 (Assoc. Comp. Linguistics, Mexico City, Mexico, 2023).
  64. Widder, D. G. & Nafus, D. Dislocated accountabilities in the “AI supply chain”: modularity and developers’ notions of responsibility. Big Data Soc. 10, 20539517231177620 (2023).
  65. Almazrouei, E. et al. The Falcon series of open language models. Preprint at https://doi.org/10.48550/arXiv.2311.16867 (2023).
  66. The MosaicML NLP Team. Introducing MPT-7B: A New Standard for Open-Source, Commercially Usable LLMs. Databricks https://www.databricks.com/blog/mpt-7b (2023).
  67. Scao, T. L. et al. BLOOM: a 176B-parameter open-access multilingual language model. Preprint at https://arxiv.org/abs/2211.05100 (2023).
  68. Osman, L. & Sewell, D. Hugging Face. Contrary Research https://research.contrary.com/company/hugging-face (2022).
  69. EleutherAI. EleutherAI – About. EleutherAI https://www.eleuther.ai/about.
  70. Edwards, B. You can now run a GPT-3-level AI model on your laptop, phone, and Raspberry Pi. Ars Technica https://arstechnica.com/information-technology/2023/03/you-can-now-run-a-gpt-3-level-ai-model-on-your-laptop-phone-and-raspberry-pi/ (2023).
  71. Germain, T. Stanford Researchers Take Down Alpaca AI Due to ‘Hallucinations’ and Rising Costs. Gizmodo Australia https://gizmodo.com/stanford-ai-alpaca-llama-facebook-taken-down-chatgpt-1850247570 (2023).
  72. OpenAI. GPT-4 technical report. Preprint at http://arxiv.org/abs/2303.08774 (2023).
  73. Anthropic. The Claude 3 Model Family: Opus, Sonnet, Haiku. Anthropic https://www-cdn.anthropic.com/de8ba9b01c9ab7cbabf5c33b80b7bbc618857627/Model_Card_Claude_3.pdf.
  74. Mensch, A. mistralai/Mistral-7B-v0.1. Training data? Hugging Face https://huggingface.co/mistralai/Mistral-7B-v0.1/discussions/8 (2023).
  75. Xu, H. et al. Demystifying CLIP data. Preprint at https://arxiv.org/abs/2309.16671 (2023).
  76. Kaplan, J. et al. Scaling laws for neural language models. Preprint at https://doi.org/10.48550/arXiv.2001.08361 (2020).
  77. Gebru, T. et al. Datasheets for datasets. Commun. ACM 64, 86–92 (2021).
  78. GhanaNLP. About Us. GhanaNLP https://ghananlp.org/about.
  79. Deck, A. The AI startup outperforming Google Translate in Ethiopian languages. Rest of World https://restofworld.org/2023/3-minutes-with-asmelash-teka-hadgu/ (2023).
  80. Knibbs, K. Here’s Proof You Can Train an AI Model Without Slurping Copyrighted Content. WIRED https://www.wired.com/story/proof-you-can-train-ai-without-slurping-copyrighted-content/ (2024).
  81. Khan, M. & Hanna, A. The subjects and stages of AI dataset development: a framework for dataset accountability. Ohio State Law J. 19, 171 (2023).
  82. Smith, B. & Nowbar, H. Microsoft announces new Copilot Copyright Commitment for customers. Microsoft On the Issues https://blogs.microsoft.com/on-the-issues/2023/09/07/copilot-copyright-commitment-ai-legal-concerns/ (2023).
  83. Jiang, H. H. et al. in Proc. 2023 AAAI/ACM Conference on AI, Ethics, and Society 363–374 https://doi.org/10.1145/3600211.3604681 (ACM, 2023).
  84. Setty, R. Sarah Silverman, Authors Hit OpenAI, Meta With Copyright Suits. Bloomberg Law https://news.bloomberglaw.com/ip-law/sarah-silverman-authors-hit-openai-meta-with-copyright-suits (2023).
  85. Browne, G. AI Is Steeped in Big Tech’s ‘Digital Colonialism’. WIRED https://www.wired.com/story/abeba-birhane-ai-datasets/ (2023).
  86. Azunre, P. [@pazunre]. If African AI/ML researchers are not careful, this new “Open Source” movement championed by the richest global tech companies will become a mechanism for continued exploitation of our human capital and continent… [1/3]. Twitter https://twitter.com/pazunre/status/1569743778524680192 (2022).
  87. Abebe, R. et al. in Proc. 2021 ACM Conference on Fairness, Accountability, and Transparency 329–341 https://doi.org/10.1145/3442188.3445897 (ACM, 2021).
  88. Común, T. Resisting Data Colonialism – A Practical Intervention (Institute of Network Cultures, 2023).
  89. Te Hiku Media. Kaitiakitanga-License/LICENSE.md. GitHub https://github.com/TeHikuMedia/Kaitiakitanga-License/blob/tumu/LICENSE.md (2018).
  90. Vincent, J. The lawsuit that could rewrite the rules of AI copyright. The Verge https://www.theverge.com/2022/11/8/23446821/microsoft-openai-github-copilot-class-action-lawsuit-ai-copyright-violation-training-data (2022).
  91. Gao, L. et al. The Pile: an 800GB dataset of diverse text for language modeling. Preprint at https://doi.org/10.48550/arXiv.2101.00027 (2020).
  92. Baack, S. A in Proc. 2024 ACM Conference on Fairness, Accountability, and Transparency 2199–2208 https://doi.org/10.1145/3630106.3659033 (ACM, 2024).
  93. Luccioni, A. S. & Viviano, J. D. What’s In The Box? A Preliminary Analysis of Undesirable Content in the Common Crawl Corpus. Proc. 59th Annu. Meeting Assoc. Comp. Linguistics and 11th Int. Joint Conf. Natural Lang. Processing Vol. 2 182–189 (Assoc. Comp. Linguistics, 2021).
  94. Taylor, A. The Automation Charade. Logic(s) Magazine https://logicmag.io/failure/the-automation-charade/ (2018).
  95. Williams, A., Miceli, M. & Gebru, T. The Exploited Labor Behind Artificial Intelligence. Noema Magazine https://www.noemamag.com/the-exploited-labor-behind-artificial-intelligence/ (2022).
  96. Thylstrup, N. & Talat, Z. Detecting ‘Dirt’ and ‘Toxicity’: Rethinking Content Moderation as Pollution Behaviour. SSRN https://doi.org/10.2139/ssrn.3709719 (2020).
  97. Christiano, P. et al. Deep Reinforcement Learning From Human Preferences. Proc. 31 Int. Conf. Neural Inf. Processing Syst. (NIPS ’17) 4302–4310 (Curran Assoc., Red Hook, NY, 2017).
  98. Perrigo, B. Exclusive: OpenAI Used Kenyan Workers on Less Than $2 Per Hour to Make ChatGPT Less Toxic. Time.com https://time.com/6247678/openai-chatgpt-kenya-workers/ (2023).
  99. Hao, K. The Hidden Workforce That Helped Filter Violence and Abuse Out of ChatGPT. The Wall Street Journal https://www.wsj.com/podcasts/the-journal/the-hidden-workforce-that-helped-filter-violence-and-abuse-out-of-chatgpt/ffc2427f-bdd8-47b7-9a4b-27e7267cf413 (2023).
  100. Hao, K. & Hernández, A. P. How the AI industry profits from catastrophe. MIT Technology Review https://www.technologyreview.com/2022/04/20/1050392/ai-industry-appen-scale-data-labels/ (2022).
  101. Perrigo, B. 150 African Workers for ChatGPT, TikTok and Facebook Vote to Unionize at Landmark Nairobi Meeting. Time.com https://time.com/6275995/chatgpt-facebook-african-workers-union/ (2023).
  102. Mutemi, M. [@MercyMutemi]. On behalf of the young Kenyans whose lives have been ruined because they did the dirty work training the #ChatGPT algorithm, we have filed a petition to @NAssemblyKE to investigate how @OpenAI and @samasource got away with such exploitation and to urgently regulate tech work. https://t.co/9seeyGKqFM. Twitter https://twitter.com/MercyMutemi/status/1678984336996028416 (2023).
  103. Irani, L. C. & Silberman, M. S. in Proc. SIGCHI Conference on Human Factors in Computing Systems 611–620 https://doi.org/10.1145/2470654.2470742 (ACM, 2013).
  104. Foster, K. PyTorch vs TensorFlow: Who has More Pre-trained Deep Learning Models? HackerNoon https://hackernoon.com/pytorch-vs-tensorflow-who-has-more-pre-trained-deep-learning-models (2022).
  105. He, H. The State of Machine Learning Frameworks in 2019. The Gradient https://thegradient.pub/state-of-ml-frameworks-2019-pytorch-dominates-research-tensorflow-dominates-industry/ (2019).
  106. Paszke, A. et al. PyTorch: An Imperative Style, High-Performance Deep Learning Library. In Proc. 33 Int. Conf. Neural Inf. Processing Syst. Article 721, 8026–8037 (Curran Assoc., Red Hook, NY, 2019).
  107. Meta. Announcing the PyTorch Foundation: A new era for the cutting-edge AI framework. Meta https://ai.meta.com/blog/pytorch-foundation/ (2022).
  108. Tarantola, A. Meta is spinning off the Pytorch framework into its own AI research foundation. Engadget https://www.engadget.com/meta-is-spinning-off-its-pytorch-ai-framework-into-its-own-research-foundation-140051987.html (2022).
  109. PyTorch Contributors. PyTorch Governance: Maintainers. PyTorch 2.2 documentation. PyTorch https://pytorch.org/docs/stable/community/persons_of_interest.html (2023).
  110. Metz, C. Google Just Open Sourced TensorFlow, Its Artificial Intelligence Engine. WIRED https://www.wired.com/2015/11/google-open-sources-its-artificial-intelligence-engine/ (2015).
  111. Contributors to tensorflow/tensorflow. GitHub https://github.com/tensorflow/tensorflow/graphs/contributors (2024).
  112. Engler, A. How open-source software shapes AI policy. Brookings https://www.brookings.edu/articles/how-open-source-software-shapes-ai-policy/ (2021).
  113. Zuckerberg, M. & Crawford, D. First Quarter 2023 Results conference call (2023).
  114. Cath-Speth, C. J. N. Changing Minds and Machines: A Case Study of Human Rights Advocacy in the Internet Engineering Task Force (IETF). Thesis, Univ. Oxford (2021).
  115. Langenkamp, M. & Yue, D. N. in Proc. 2022 AAAI/ACM Conference on AI, Ethics, and Society 385–395 https://doi.org/10.1145/3514094.3534167 (ACM, 2022). This study examines the economic value of open-source AI development.
  116. Schwartz, R., Dodge, J. & Smith, N. A. Green AI. Commun. ACM 63, 54–63 (2020).
  117. Villalobos, P. et al. Will we run out of data? Limits of LLM scaling based on human-generated data. Preprint at http://arxiv.org/abs/2211.04325 (2024).
  118. Luccioni, S., Jernite, Y. & Strubell, E. in Proc. 2024 ACM Conference on Fairness, Accountability, and Transparency 85–99 https://doi.org/10.1145/3630106.3658542 (ACM, 2024). This paper measures the carbon cost (and therefore, indirectly, the US$ cost) of different AI models, thus giving a scale of the resources they require to run.
  119. Leswing, K. Nvidia dominates the AI chip market, but there’s more competition than ever. CNBC https://www.cnbc.com/2024/06/02/nvidia-dominates-the-ai-chip-market-but-theres-rising-competition-.html (2024).
  120. Cherney, M. A. Exclusive: Behind the plot to break Nvidia’s grip on AI by targeting software. Reuters https://www.reuters.com/technology/behind-plot-break-nvidias-grip-ai-by-targeting-software-2024-03-25/ (2024).
  121. Why do Nvidia’s chips dominate the AI market? The Economist https://www.economist.com/the-economist-explains/2024/02/27/why-do-nvidias-chips-dominate-the-ai-market (2024).
  122. Dow, R. Shipments of graphics add-in boards decline in Q1 of 24 as the market experiences a return to seasonality. Jon Peddie Research https://www.jonpeddie.com/news/shipments-of-graphics-add-in-boards-decline-in-q1-of-24-as-the-market-experiences-a-return-to-seasonality/ (2024).
  123. Patel, D. & Nishball, D. Google Gemini Eats The World – Gemini Smashes GPT-4 By 5X, The GPU-Poors. Semianalysis https://www.semianalysis.com/p/google-gemini-eats-the-world-gemini (2023).
  124. Dotan, T. Microsoft Earnings Growth Accelerates on Stronger-Than-Expected Cloud Demand. The Wall Street Journal https://www.wsj.com/tech/microsoft-msft-q1-earnings-report-2024-b19e51eb (2023).
  125. Vyas, I. AI and Machine Learning Integration in SaaS Applications. IEEE Computer Society https://www.computer.org/publications/tech-news/trends/ai-and-machine-learning-integration/ (2023).
  126. Lowe, L. AI, Startups, & Competition: Shaping California’s Tech Future. Chaindesk https://www.chaindesk.ai/tools/youtube-summarizer/ai-startups-and-competition-shaping-california-s-tech-future-pieVtTrbDBs (2024).

Les traductions par Gilles en vrac (.xlsx ou .html)
Les caractères gras dans le texte sont de Gilles.