Microsoft et Nvidia ont créé le plus grand modèle de traitement du langage naturel au monde

Microsoft et Nvidia ont créé le plus grand modèle de traitement du langage naturel au monde

Les modèles de langage sont basés sur des algorithmes statistiques. Plus ils absorbent de données, plus ils sont censés produire des résultats pertinents. Microsoft a mis le paquet en faisant ingurgiter à son nouveau modèle trois fois plus de paramètres que les plus gros modèles existants.

530 milliards de paramètres… C'est ce qu'il a fallu pour entraîner le nouveau modèle de langage annoncé hier par Microsoft, qui l'a développé avec Nvidia. Les deux entreprises le présentent comme le plus grand modèle jamais créé jusqu'ici.

Baptisé Megatron-Turing Natural Language Generation (MT-NLG), il permettrait d'obtenir des résultats sans équivalent pour les applications de traitement automatique du langage naturel, et notamment pour des fonctions de compréhension de texte. Parmi ses applications concrètes, on peut par exemple imaginer produire automatiquement le résumé d'un livre ou répondre à une question.


Météo Rabat

Agenda