Groq, une entreprise de puces d’IA, veut que tout le monde oublie l’Elon Musk Chatbot sarcastique portant presque le même nom, Grok. Des démos ultra-rapides de Groq sont devenues virales ce week-end, rendant les versions actuelles de ChatGPT, Gémeaux et même Grok semble lent. Groq prétend fournir « les grands modèles de langage les plus rapides au monde », et des tests tiers affirment que pourrait tenir le coup.
En une fraction de seconde, Groq produit des centaines de mots dans une réponse factuelle, citant des sources tout au long du chemin. d’après une démo postée sur X. Dans une autre démo, le fondateur et PDG Jonathon Ross laisse un L’animateur de CNN a une conversation verbale en temps réel avec un chatbot IA à l’autre bout du monde à la télévision en direct. Bien que ChatGPT, Gemini et d’autres chatbots soient impressionnants, Groq pourrait les rendre ultra-rapides. Assez rapides pour avoir des cas d’utilisation pratiques dans le monde réel.
Groq crée des puces d’IA appelées unités de traitement du langage (LPU), qui prétendent être plus rapides que les unités de traitement graphique (GPU) de Nvidia. sont généralement considérés comme la norme de l’industrie pour l’exécution de modèles d’IA, mais les premiers résultats montrent que les LPU pourraient les faire exploser hors de l’eau.
Groq est un « moteur d’inférence », pas un chatbot comme ChatGPT, Gemini, ou Grow. Il aide ces chatbots à fonctionner incroyablement rapidement mais pas les remplacer complètement. Sur le site Web de Groq, vous pouvez tester différents chatbots et voyez à quelle vitesse ils fonctionnent en utilisant les LPU de Groq.
Groq produit 247 jetons/seconde contre 18 jetons/seconde de Microsoft, selon un test tiers de l’analyse artificielle publié la semaine dernière. Cela signifie que ChatGPT pourrait fonctionner plus de 13 fois plus vite s’il fonctionnait sur les puces de Groq.
Les chatbots IA comme ChatGPT, Gemini et Grok pourraient être beaucoup plus utiles s’ils étaient plus rapides. L’une des limites actuelles est que ces modèles peuvent ne suit pas la parole humaine en temps réel ; certains retards rendent les conversations robotiques. Google a récemment truqué sa démo Gemini pour donner l’impression que les Gémeaux pourraient avoir une conversation multimodale en temps réel, même s’ils ne le peuvent pas. Mais avec l’augmentation de Grok vitesses, cette vidéo pourrait être une réalité.
Avant Groq, Ross a co-fondé la division des puces IA de Google, qui produisait des puces de pointe pour entraîner des modèles d’IA. Avec des LPU, dit Ross Groq contourne deux goulets d’étranglement LLM sur lesquels les GPU et les CPU se bloquent : calculer la densité et la bande passante mémoire.
Le nom Grok vient de Étranger dans un pays étrange, un livre de science fiction de Robert Heinlein de 1961. Le mot signifie « comprendre profondément et intuitivement. les entreprises l’utilisent pour décrire leurs produits d’IA.
Non seulement il y a le Groq de Ross et le Grok d’Elon Musk, mais il y a aussi un Grok, une entreprise informatique basée sur l’IA. Grimes a également un Jouet alimenté par l’IA, Grok, soi-disant nommé d’après la façon dont elle et les enfants de Musk disent « Grocket ». Cependant, Ross affirme que son Groq a été premier en 2016.
« Bienvenue dans la Galaxie de Groq, Elon a dit un novembre article de blog de Ross, trois jours après qu’Elon Musk ait publié la version xAI de Grok. appelé Groq™ », a déclaré Ross, en s’assurant d’inclure que Groq est un nom de marque déposée.
Bien que Groq reçoive beaucoup de buzz, il reste à voir si ses puces IA ont la même évolutivité que les GPU ou les GPU de Nvidia. Les TPU de Google. Les puces IA sont aujourd’hui un objectif majeur pour Sam Altman, PDG d’OpenAI, qui envisage même de les construire lui-même. Groq’s l’augmentation de la vitesse des puces pourrait relancer le monde de l’IA, créant de nouvelles possibilités de communication en temps réel avec les chatbots IA.
