La société d'intelligence artificielle Mistral a confirmé la fuite d'un modèle linguistique d'une puissance comparable à celle du GPT-4.
La société française d'intelligence artificielle Mistral a admis qu'un de ses clients avait accidentellement publié en ligne un puissant modèle linguistique open source appelé "miqu-1-70b". Selon certaines estimations, ce modèle surpasse les modèles gratuits et se rapproche du modèle commercial GPT-4 d'OpenAI.
Voici ce que nous savons
Le 28 janvier, le modèle est apparu sur la plateforme HuggingFace, puis sur le forum 4chan. Arthur Mensch, cofondateur de Mistral, a confirmé son authenticité.
Selon lui, il s'agit d'un ancien développement de l'entreprise, qui a été retravaillé sur le Llama 2 et distribué à certains clients. Cependant, l'un d'entre eux, "trop enthousiaste" à l'égard de la technologie, a publié les fichiers sur HuggingFace.
M. Mensch a également précisé que Mistral avait fait des progrès considérables dans le développement de modèles de langage depuis la sortie de miqu-1-70b et qu'il annoncerait bientôt quelque chose de plus puissant. Les experts estiment qu'il pourrait s'agir d'un analogue open source à part entière de GPT-4.
Un employé trop enthousiaste de l'un de nos clients en accès anticipé a divulgué une version quantifiée (et en filigrane) d'un ancien modèle que nous avons entraîné et distribué très ouvertement.
- Arthur Mensch (@arthurmensch) 31 janvier 2024
Pour commencer à travailler rapidement avec quelques clients sélectionnés, nous avons réentraîné ce modèle à partir de Llama 2 à la minute où nous avons obtenu...
L'émergence d'un modèle gratuit de ce calibre a le potentiel de changer fondamentalement le paysage de l'IA générative. Elle exercera une forte pression sur le modèle commercial d'OpenAI, qui repose sur des abonnements payants pour l'accès à GPT-3 et GPT-4.
Source : VentureBeat
