PaLM
| Développé par | Google AI |
|---|---|
| Type | Grand modèle de langage |
| Site web | ai.google/discover/palm2 |
PaLM (Pathways Language Model) est un grand modèle de langage de 540 milliards de paramètres développé par Google AI[1]. Les chercheurs ont également formé des versions plus petites de PaLM, des modèles à 8 et 62 milliards de paramètres, pour tester les effets de la taille du modèle[2].
PaLM est capable d'effectuer un large éventail de tâches, notamment le raisonnement de bon sens, le raisonnement arithmétique, l'explication de blagues, la génération de code et la traduction[2],[3],[4],[5]. Lorsqu'il exploite la technique de la chaîne de pensée, PaLM a obtenu des performances nettement meilleures sur des tests nécessitant un raisonnement en plusieurs étapes, par exemple en logique[1],[2].
Le modèle a été annoncé pour la première fois en avril 2022, et est resté privé jusqu'en mars 2023, lorsque Google a lancé une interface de programmation, permettant ainsi d'envoyer des requêtes automatisées à PaLM et à d'autres technologies[6]. Cette interface était au début seulement disponible pour un nombre limité de développeurs inscrits sur une liste d'attente, mais a ensuite été rendue publique[7].
Google et DeepMind ont développé une version de PaLM 540B appelée Med-PaLM, qui a été spécialisée sur des données médicales et surpasse les systèmes précédents de réponse aux questions médicales[8],[9]. Med-PaLM a été le premier à passer les examens de médecine aux États-Unis. Et, en plus de répondre avec précision aux questions à choix multiples et aux questions ouvertes, il fournit également un raisonnement et est capable d'évaluer ses propres réponses[10].
Google a également étendu PaLM à l'aide d'un transformateur de vision pour créer PaLM-E, un modèle de pointe pouvant à la fois voir et parler, et pouvant être aussi être utilisé pour la manipulation robotique[11],[12]. Le modèle peut effectuer des tâches de robotique de manière compétitive, sans avoir besoin de recyclage ou d'être ajusté pour le tâche à accomplir[13].
En mai 2023, Google a annoncé PaLM 2 lors du discours d'ouverture de Google I/O[14]. PaLM 2 est un modèle de 340 milliards de paramètres entraîné sur 3,6 billions de tokens[15].
En juin 2023, Google a lancé AudioPaLM, un système permettant la traduction directe et automatique de discours oral d'une langue à une autre, basé sur l'architecture PaLM-2[16].
Entraînement[modifier | modifier le code]
PaLM est un transformeur pré-entraîné sur un corpus de haute qualité de 780 milliards de tokens. Cet ensemble de données comprend des pages Web filtrées, des livres, des articles Wikipédia, des articles de presse, du code source issu de GitHub et des conversations sur les réseaux sociaux[1],[2]. Il est basé sur les ensembles de données utilisés pour entraîner le modèle LaMDA de Google[2]. Les conversations sur les réseaux sociaux représentent 50 % du corpus, ce qui aide le modèle dans ses capacités conversationnelles[2].
PaLM a été entraîné sur deux clusters de 3072 TPU v4, chaque cluster lié à 768 hôtes avec de fortes contraintes de parallélisme des données et des modèles, ce qui représentait la plus grande configuration TPU[2],[17]. Cet entraînement sur un total de 6144 TPU a également été marqué par une efficacité particulièrement élevée pour l'entraînement d'un modèle de cette taille, avec un taux d'efficacité en utilisation de FLOPS de 57,8%[3].
Voir également[modifier | modifier le code]
Références[modifier | modifier le code]
- (en) Cet article est partiellement ou en totalité issu de l’article de Wikipédia en anglais intitulé « PaLM » (voir la liste des auteurs).
- (en) Sharan Narang et Aakanksha Chowdhery, « Pathways Language Model (PaLM): Scaling to 540 Billion Parameters for Breakthrough Performance », sur Google Research, (consulté le )
- (en) « PaLM: Scaling Language Modeling with Pathways », JMLR, (arXiv 2204.02311, lire en ligne)
- (en) George Anadiotis, « Google sets the bar for AI language models with PaLM », sur VentureBeat, (consulté le )
- (en) Matthias Bastian, « Google PaLM: Giant language AI can explain jokes », sur the decoder, (consulté le )
- (en) « Google: Why Is No One Talking About PaLM », sur Seeking Alpha, (consulté le )
- Vincent, « Google opens up its AI language model PaLM to challenge OpenAI and GPT-3 », The Verge, (consulté le )
- (en) Scott Huffman et Josh Woodward, « PaLM API & MakerSuite: an approachable way to start prototyping and building generative AI applications », sur Google Developers, (consulté le )
- (en) « Large language models encode clinical knowledge », Nature, (ISSN 1476-4687, lire en ligne)
- (en) « MedPaLM: New Chatbots Will Soon Be Better Than Waiting For A Doctor », sur The Medical Futurist, (consulté le )
- (en) Yossi Matias et Greg Corrado, « Our latest health AI research updates », sur Google, (consulté le )
- (en) Tasmia Ansari, « Google Unveils Multimodal Chain of Thought Reasoning With PaLM-E », sur Analytics India Magazine, (consulté le )
- (en) Driess et Florence, « PaLM-E: An embodied multimodal language model », ai.googleblog.com (consulté le )
- (en) Benj Edwards, « Google's PaLM-E is a generalist robot brain that takes commands », sur Ars Technica, (consulté le )
- Lardinois, « Google launches PaLM 2, its next-gen large language model » [archive du ], TechCrunch, (consulté le )
- (en) Jennifer Elias, « Google's newest A.I. model uses nearly five times more text data for training than its predecessor », sur CNBC, (consulté le )
- (en) « AudioPaLM », sur google-research.github.io, (consulté le )
- (en) « An empirical analysis of compute-optimal large language model training », www.deepmind.com (consulté le )
