Falcon 180B

Ajouter des liens
Un article de Wikipédia, l'encyclopédie libre.
Falcon 180B
(pour ‘‘Fast and Large-scale Attention Multi-Queries Network’’)[1].

Informations
Créateur Technology Innovation Institute (TII)
Développé par Applied AI Research Centre
Première version
Dernière version Falcon 40B
1er de la série Falcon : ()
État du projet publié et en développement
Taille des données 3,5 trillions de jetons (tokens)
Langues Multilingue
Type Grand modèle de langage
Politique de distribution Gratuit sous certaines conditions
Licence Licence TII Falcon 180B
Site web Site officiel

modifier - modifier le code - voir Wikidata (aide) Consultez la documentation du modèle

Falcon 180B est un grand modèle de langage (LLM) développé par le Technology Innovation Institute (TII) des Émirats arabes unis, basé à Abu Dhabi. En 2023, c'est le plus grand modèle de langage ouvert, avec 180 milliards de paramètres et entraîné sur un corpus de 3,5 trillions de jetons (tokens) provenant du jeu de données RefinedWeb, disponible au public à l'automne 2023.

Histoire[modifier | modifier le code]

Le projet Falcon a été lancé en 2022, lorsque le TII a décidé de créer un modèle de langage pouvant rivaliser avec les modèles propriétaires tels que GPT-4 d'OpenAI et PaLM 2 de Google.

Le TII a mobilisé son Centre de recherche en intelligence artificielle appliquée (CAIR) pour concevoir et entraîner ce modèle, en utilisant les infrastructures de calcul d'Amazon Web Services.

Un premier prototype (Falcon 40B) a été dévoilé en avril 2023, 40 y signifiant qu'il était doté de 40 milliards de paramètres (entraîné sur 1 trillion de jetons). Il utilisait une architecture innovante basée sur l'attention multi-requêtes pour améliorer la scalabilité et la performance. Il a produit des résultats impressionnants pour diverses tâches de traitement du langage naturel (compréhension et génération de texte, traduction automatique et réponse aux questions[2].

Falcon 180B a été annoncé en septembre 2023 par le TII, présenté comme une version évoluée et élargie de Falcon 40B, et destiné à démocratiser l'accès à l'IA générative (IAG) pour favoriser l'innovation dans divers domaines[2]. Il comprend 180 milliards de paramètres, est entraîné sur 3,5 trillions de jetons, et utilise (pour ~85 %) le même jeu de données RefinedWeb que LLaMA 2, un autre modèle ouvert développé par Meta AI[3]entrainé après Falcon 40B. RefinedWeb est un corpus géant de données textuel. Falcon 180B a aussi été entrainé sur du code informatique (~3 % de son corpus). Tout ceci le rend polyvalent dans ses modes de sortie, et il peut résoudre des problèmes complexes[2].

À l'automne 2023, c'est le modèle le plus avancé créé par l'institut ; surpassant LLaMA 2 et rivalisant avec les modèles propriétaires tels que GPT-4 et PaLM 2.

Le TII a rendu Falcon 180B accessible au public à l'automne 2023, sous une licence ouverte spécifique, en partie, basée sur la licence Apache (Version 2.0)[4] autorisant- à certaines conditions (excluant toute « utilisation d'hébergement », notamment) - un usage commercial. Falcon est ainsi disponible à partir de la version de transformeur 4.33[2].

Modèle Open source[modifier | modifier le code]

En 2023, le modèle de chat, mais aussi le modèle de base (dépourvu de format d’invite car "non-conversationnel", et non-entraîné avec des instructions, et donc utilisable par les seuls initiés)[5] et modèle de chat[6] de Falcon 180B sont disponibles sur la plateforme web Hugging Face où Falcon 180B a été rapidement classé en tête du classement des modèles ouverts. Cette plateforme permet de tester et comparer les modèles de langage[2].

Et chacun peut également interagir avec lui sur l'espace de démonstration[7].

Caractéristiques[modifier | modifier le code]

Falcon 180B utilise une architecture basée sur l'attention multi-requêtes. Ceci permet au modèle d'effectuer plusieurs requêtes d'attention simultanément, ce qui réduit le coût computationnel et améliore la qualité des représentations. Le modèle peut aussi gérer des séquences plus longues et de mieux capturer les relations entre les éléments d'une séquence. Le caractère multimodal de son corpus d'entrainement lui permet de traiter et de générer différents types de données (ex : répondre à des questions basées sur des images, générer des descriptions de vidéos, ou créer des graphiques à partir de données numériques…)[2].

Il utilise un mécanisme d'auto-régression pour générer du texte, ce qui signifie qu'il prédit le prochain mot en se basant sur les mots précédents. Cela permet au modèle de produire du texte cohérent et fluide, qui suit une logique et une structure. Le modèle peut également adapter son style et son ton en fonction du contexte et du public cible.

Il utilise un mécanisme d'auto-encodage pour encoder et décoder les données, ce qui signifie qu'il apprend à reconstruire les données d'entrée en sortie. Cela permet au modèle d'apprendre les caractéristiques essentielles des données, et de les transformer selon les besoins. Par exemple, le modèle peut compresser, décompresser, traduire, résumer ou paraphraser les données.

Falcon 180B nécessite pour fonctionner à plein plus de 400 Go de mémoire correspondent (soit plus de 4 Gigaoctets), capacité rarement rencontrée sur les ordinateurs portables.

Comparaison avec LLaMA 2[modifier | modifier le code]

LLaMA 2 est l'autre grand modèle de langage ouvert disponible la même année, créé par Meta AI et lancé en juin 2023. Ce modèle de 70 milliards de paramètres a été entraîné sur 1 trillion de jetons provenant aussi du jeu de données RefinedWeb. LLaMA 2 s'est formé sur le même corpus que Falcon 180B, mais il est plus petit et bien moins puissant.

Ces deux modèles ont aussi en commun d'être basés sur l'architecture transformeur, qui utilise des couches d'attention pour encoder et décoder les données. Ils peuvent tous deux traiter et générer différents types de données, grâce à leur entraînement sur un corpus multimodal. Ils sont tous deux accessibles au public sous une licence ouverte, qui permet leur utilisation commerciale sous certaines conditions.

Falcon 180B est cependant nettement plus grand et plus puissant que LLaMA 2 : « Le Falcon 180B a été entraîné sur 3,5 trillions de jetons sur un maximum de 4096 GPU simultanément, à l’aide d’Amazon SageMaker pour un total de ~7 000 000 d’heures GPU. Cela signifie que le Falcon 180B est 2,5 fois plus grand que le Llama 2 et qu’il a été entraîné avec 4 fois plus de calcul »)[2]. Et il utilise un système d'attention multi-requêtes (avantageux en termes de scalabilité et de performance). Falcon 180B utilise l'auto-régression pour générer du texte, ce qui lui permet de produire du texte plus cohérent et fluide que LLaMA 2 (qui utilise, lui, l'auto-encodage).

Selon les résultats publiés par le TII, Falcon 180B surpasse LLaMA 2 sur diverses tâches de traitement du langage naturel, telles que la compréhension de texte, la génération de texte, la traduction automatique et la réponse aux questions.

Avantages et inconvénients du caractère ouvert[modifier | modifier le code]

Avantages[modifier | modifier le code]

Le modèle est plus accessible à tous (pour un particulier, les coûts de serveurs peuvent rester prohibitifs, mais des intermédiaires tels qu'entités de Recherche académique, ONG ou entreprises peuvent mettre l'IA à disposition de tiers), au profit d'une démocratisation de l'intelligence artificielle et l'innovation dans divers domaines.

Le modèle Falcon 180B, parce qu'il est ouvert, peut être plus rapidement et à moindre cout amélioré grâce aux retours d'une communauté d'utilisateurs large et variée, au profit de sa qualité et sa fiabilité. Selon la juriste Mélanie Clément-Fontaine (22 septembre 2023) : « les concepteurs visent à profiter de l’expertise d’une large communauté d’utilisateurs alors que ce LLM égale voire dépasse déjà les performances des plus grands LLM propriétaires. En tout état de cause, le choix révèle une autre façon d’exercer les droits de propriété intellectuelle » ; ils enclenchent ainsi 3 dynamiques : « la première est celle de rendre accessible intellectuellement l’IA, ce qui répond aux préoccupations éthiques du moment. Ensuite, la démarche permet de miser sur le travail collaboratif des spécialistes des LLM pour mieux concurrencer les autres outils comme GPT-4 d’OpenAI et PaLM 2 Large de Google qui reposent sur un modèle propriétaire. Enfin, le choix d’appliquer l’open source à la technologie de l’IA (d’autres IA sont disponibles en open source comme LLaMA, StableLM, RedPajama et MPT) file la tendance actuelle qui consiste à libéraliser l’accès aux contenus numériques à la faveur de l’entraînement des IA »[8].

Le modèle, personnalisable, peut, éventuellement collaborativement, être adapté aux besoins spécifiques de certains utilisateurs, ce qui le rendra in fine de plus en plus polyvalent.

Il peut en outre être utilisé à des fins commerciales, à certaines conditions, et donc générer des revenus et stimuler l'économie. Dans tous les cas, il doit être utilisé en respectant la « Politique d'utilisation acceptable » indiquée par la licence (dans sa version mise à jour au moment de l'utilisation, version hébergée sur FalconLLM.tii.ae).

Inconvénients, risques[modifier | modifier le code]

Comme toute IA puissante, ce modèle pourrait être utilisé à des fins malveillantes ou éthiquement discutables, au détriment du bien commun, de la sécurité, de la vie privée d'individus, groupes ou organisations.

Comme d'autres modèles d'IA, celui ci pourrait par exemple être détourné et utilisé pour créer des contenus trompeurs ou diffamatoires, pour manipuler l’opinion publique, ou pour attaquer des systèmes informatiques.

En étant ouvert, ce modèle pourrait éventuellement être plus facilement piraté, saboté, ou altéré pour introduire des biais ou des erreurs, mais parce qu'il est ouvert, ce risque peut aussi être mieux contrôlé par la communauté des usagers.

Notes et références[modifier | modifier le code]

  1. ↑ Philippe Schmid, « Spread Your Wings: Falcon 180B is here », sur Hugging Face Blog, (consulté le )
  2. ↑ a b c d e f et g « Spread Your Wings: Falcon 180B is here », sur huggingface.co (consulté le )
  3. ↑ Guilherme Penedo, Quentin Malartic, Daniel Hesslow et Ruxandra Cojocaru, « The RefinedWeb Dataset for Falcon LLM: Outperforming Curated Corpora with Web Data, and Web Data Only », sur ArXiv, (DOI 10.48550/ARXIV.2306.01116, consulté le ) — ArXiv est un site où les articles n'ont pas été relus par des pairs
  4. ↑ « LICENSE (version en.txt) d'utilisation de l'IA Falcon180b », sur huggingface.co, (consulté le )
  5. ↑ « tiiuae/falcon-180B · Hugging Face », sur huggingface.co, (consulté le )
  6. ↑ « tiiuae/falcon-180B-chat · Hugging Face », sur huggingface.co, (consulté le )
  7. ↑ « Falcon-180B Demo - a Hugging Face Space by tiiuae », sur huggingface.co (consulté le )
  8. ↑ « Pourquoi le grand modèle de langage Falcon 180B est en accès libre ? - IP/IT et Communication », sur www.dalloz-actualite.fr (consulté le )

Articles connexes[modifier | modifier le code]

Bibliographie[modifier | modifier le code]

  • Mélanie Clément-Fontaine, Pourquoi le grand modèle de langage Falcon 180B est en accès libre ?, Dalloz Actualité, (lire en ligne)
Ce document provient de « https://fr.wikipedia.org/w/index.php?title=Falcon_180B&oldid=214578558 ».