Nvidia, l’empereur des puces électroniques confronté aux premiers doutes sur l’intelligence artificielle
August 19, 2024
Nvidia, l’empereur des puces électroniques confronté aux premiers doutes sur l’intelligence artificielle
by Folivao
9 comments
**La société californienne, qui domine largement ce marché, fait face aux interrogations des investisseurs sur le peu de bénéfices générés jusqu’ici, mais aussi à la concurrence de ses propres clients, comme Google, Amazon, Microsoft, Meta ou Tesla.**
Le mât jaune et rouge, dressé au milieu du parking de la zone commerciale, brille comme un phare pour les automobilistes américains. A toute heure du jour et de la nuit, il y a toujours un restaurant Denny’s pour accueillir les visiteurs affamés. Mais celui de Berryessa Road, dans l’est de San José, en Californie, est devenu le plus célèbre du pays. On y trouve pourtant les mêmes tables, chaises et canapés rouges surannés que dans le millier d’autres restaurants de la chaîne aux Etats-Unis. Dans un coin discret, au-dessus de la banquette d’angle, une plaque toute fraîche prévient : « Cet emplacement a vu naître une société à 1 000 milliards de dollars [906 milliards d’euros, au cours actuel]. Félicitations Nvidia ! Qui aurait pensé qu’une idée lancée ici changerait le monde ? »
Le héros de cette histoire, Jensen Huang, cofondateur et PDG de l’entreprise Nvidia, est venu en personne, le 26 septembre 2023, saluer ce modeste rappel de ses débuts laborieux, comme pour mieux graver sa légende. « J’ai commencé comme plongeur chez Denny’s », rappelle-t-il souvent dans ses interventions, souvenir de ses années étudiantes. Maintenant, les chaînes de télévision se bousculent pour le recevoir. Il faut dire qu’avec Elon Musk il est la personnalité la plus en vue de la Silicon Valley. L’une des plus riches, aussi. Car sa société, dont il possède 3,5 % du capital, ne vaut plus 1 000 milliards de dollars en Bourse, comme indiqué sur la plaque, mais plus de 2 500 milliards. Le 18 juin, elle a même dépassé Microsoft et Apple, à l’altitude extrême de 3 300 milliards de dollars, pour devenir brièvement la firme la plus chère du monde.
Pourtant, Nvidia ne produit ni smartphones, ni ordinateurs, ni logiciels, juste des cartes électroniques. Mais celles-ci sont magiques. Elles sont les clés d’entrée dans le monde inquiétant et fascinant de l’intelligence artificielle (IA). Par leur vitesse de calcul et leur souplesse d’utilisation, elles sont pour l’instant sans égales sur le marché. Résultat, quand Microsoft, Google ou Amazon ont décidé, en 2023, d’investir des dizaines de milliards de dollars dans des centres de données destinés à entraîner les modèles d’IA, comme le robot conversationnel ChatGPT d’OpenAI, ils n’ont pas eu d’autre choix que de frapper à la porte de Nvidia. Et leurs milliards sont tombés directement dans la poche de la compagnie de San José.
Sur l’année 2023 (exercice fiscal clos fin janvier), ses ventes ont bondi de 126 %, à 61 milliards de dollars, et son bénéfice net a frôlé les 30 milliards. Du jamais-vu dans le monde austère des fabricants de puces, ni même dans la technologie en général. Intel, aux temps glorieux de son monopole sur les PC avec Microsoft, n’a jamais atteint une telle performance. Pas plus qu’Apple en pleine frénésie de l’iPhone. A tel point que les analystes sont perplexes devant un tel engouement : feu de paille, bulle ou changement d’époque ?
Pour comprendre cette folie, il faut revenir au Denny’s de San José, en 1993. A cette époque, Jen-Hsun « Jensen » Huang est un jeune ingénieur de 30 ans, émigré de Taïwan à l’âge de 9 ans et employé chez l’électronicien LSI Logic. Au fond du café, il refait le monde avec ses amis Chris Malachowsky et Curtis Priem, concepteurs de puces chez l’informaticien Sun Microsystems. L’obsession du moment est le rendu graphique sur les écrans d’ordinateur. Cela ne gênait pas uniquement les informaticiens, mais aussi les fans de jeux vidéo, frustrés par le rendu si pauvre des consoles Atari ou des Game Boy de Nintendo.
**Relations étroites avec les développeurs informatiques**
Le micro-ordinateur prend son envol, mais pas les images, encore très rustiques. Il manque des puces suffisamment puissantes pour animer tout cela. Les trois compères lancent Nvidia (invidia signifie « envie », en latin), se fourvoient pendant trois ans dans de fausses pistes techniques avant de trouver, à deux doigts de la faillite, la martingale : concevoir une carte électronique composée d’une puce (processeur) graphique qui ne s’occupe que de l’image, compatible avec les PC Windows et adaptée spécifiquement aux jeux vidéo.
Le marché est balbutiant, mais il pointe le bout de son nez avec l’apparition de jeux en trois dimensions. Doom, sorti en 1993, est l’un des premiers où le tireur est le joueur lui-même, transformé en super-héros qui trucide le plus de démons possible. La carte graphique est indispensable pour animer un tel carnage. De cette première période, Nvidia retire les deux premiers ingrédients de sa réussite : la spécialisation dans les puces capables d’opérations à très grande vitesse grâce au calcul parallèle et l’importance de nouer des relations étroites avec les développeurs informatiques, concepteurs de tous ces petits monstres de plus en plus réalistes.
Ses cartes GeForce deviennent la référence de tous les gameurs du monde et des concepteurs de jeux. Pour faciliter leur tâche, la société développe un écosystème logiciel qui permet d’adapter la carte graphique à l’application recherchée. Appelée « Cuda », cette bibliothèque logicielle est aujourd’hui la clé de voûte du système Nvidia, sans équivalent à cette échelle parmi la concurrence. C’est le troisième atout de la société : faire de son matériel une plate-forme, à l’instar d’Apple ou d’Amazon, avec son environnement logiciel qui facilite le travail des utilisateurs et rend compliqué son transfert à ses rivaux.
Progressivement, Jensen Huang se rend compte que la communauté des chercheurs est de plus en plus friande de son matériel pour les capacités de calcul qu’il offre. Notamment à l’université de Toronto, au Canada. C’est là qu’officie le Britannique Geoffrey Hinton. Une pointure dans le milieu de l’informatique, spécialisé dans les réseaux de neurones qui tentent de répliquer le fonctionnement du cerveau. On le surnomme le « parrain de l’IA ». Il a vu passer dans son laboratoire le Français Yann Le Cun, avec lequel il partagera, ainsi que Yoshua Bengio, en 2018, le prix Turing, le « Nobel des informaticiens ».
Depuis 2009, il utilise des cartes Nvidia pour entraîner ses réseaux. En 2012, l’un de ses doctorants, Alex Krizhevsky, avec son compère Ilya Sutskever, achète sur Amazon deux cartes GeForce pour entraîner, dans sa chambre, un système de reconnaissance d’images, nourri jour et nuit de millions de photos durant une semaine. Baptisé « AlexNet », le système remporte haut la main le concours national ImageNet de reconnaissance d’images. Le seul à utiliser des cartes graphiques en lieu et place de superordinateurs, il reconnaît des camions, des voitures, des chats et autres, avec une précision de dix points supérieure à ses concurrents. C’est une consécration pour les trois chercheurs… et pour Nvidia. Du moins dans le monde de la recherche. Car, pour l’instant, ce sont les jeux vidéo qui font massivement vivre la société.
**« Vrai défi »**
Néanmoins, Jensen Huang, qui suit de près les exploits des chercheurs, maintient le cap. La suite s’enchaîne impeccablement. Geoffrey Hinton et le très jeune Alex Krizhevsky sont embauchés par Google, tandis qu’Ilya Sutskever intègre une entreprise naissante et plus idéaliste, OpenAI. Ils emportent avec eux la conviction de la suprématie de Nvidia en matière de calcul. Quand, en novembre 2022, OpenAI affiche aux yeux du grand public les prouesses étourdissantes de l’IA générative avec ChatGPT, la démonstration de la maturité de la technologie est faite. Dès lors, tout le monde veut en être.
Les start-up fleurissent, biberonnées par l’argent du capital-risque et des géants du Net. Microsoft apporte 10 milliards de dollars à OpenAI et lance un plan d’investissement de 50 milliards de dollars pour développer des centres de données adaptés à l’entraînement de ses machines, qui doivent avaler toute la connaissance de l’Internet durant des mois avant de pondre la moindre phrase intelligible. Amazon investit 4 milliards de dollars dans Anthropic, le concurrent d’OpenAI. Un marché est né, sonnant et trébuchant pour Nvidia, dont la technologie est nonpareille. Selon le site spécialisé TechRadar, la société en détiendrait plus de 80 %. Comme elle ne peut pas fournir tout le monde, elle dicte son prix et choisit ses clients. Il faut compter entre 30 000 et 50 000 dollars pour un seul processeur graphique. Les plus gros centres peuvent en compter plusieurs milliers.
C’est un autre point fort de l’entreprise : la capacité – et la ténacité – à se positionner sur des marchés qui n’existent pas encore, ce que Jensen Huang appelle les « marchés à 0 milliard ». « Ce qui est important, expliquait-il devant les étudiants de l’université Harvard, le 6 mars, ce n’est pas la taille d’un marché, mais l’importance du travail que l’on fournit. » L’innovation précède le marché. Ce fut le cas dans la vidéo 3D, puis dans les centres de données et dans l’IA. Il espère que cela se produira dans la conduite autonome des voitures, la conception de médicaments ou la simulation, qu’il appelle « omniverse ». Tous domaines que la firme cultive avec la patience du jardinier.
Kilucru: les promesses des grands groupes vendeurs de rêves n’ont pas généré les résultats escomptés 😱
ChatGPT n’a pas remplacé les développeurs 😱
Pouvoir générer des images toutes lisses avec un prompt n’a pas généré de boom économique 😱
Une technologie connue et utilisée dans la recherche depuis plus de 20 ans (certes un peu actualisée et avec plus de puissance de calcul) n’a pas révolutionné le monde une fois que les investisseurs et les cryptobros en ont entendu parlé 😱😱
Je parodie à peine, il y a des bons acteurs et des bons usages mais c’est niche et rarement utile pour la plupart des boites. Ca serait à crever de rire si les patrons boomers ne voulaient pas installer des ia de merde inutiles super chères partout sans rien y connaitre avec les fonds de leurs boites plutôt que d’augmenter leurs employés.
Oui il y a une énorme bulle sur l’intelligence artificielle. J’ai ce ressenti en voyant la recherche essayer d’optimiser les LLMs en passant du RAG au Graph RAG par exemple, on risque de tourner en rond très vite.
Je ne me fais pas de soucis pour NVIDIA. Toutes les startup à la con qui surfent sur la vague IA par contre…
*« Pendant la ruée vers l’or, ce ne sont pas les chercheurs d’or qui se sont le plus enrichis, mais les vendeurs de pelles et de pioches. »*
Par contre, si vous avez des actions chez les vendeurs de pelles… bah si j’étais à votre place, je commencerais à les revendre
Quand on voit le gouffre énergétique que c’est il est grand temps que ça se termine cette bulle
Est-ce que paradoxalement, une baisse de la demande “IA” va pas être bonne pour toutes les industries “établies” qui utilisent déjà du calcul sur GPU (Et il y en a de plus en plus). Il y a un nombre donnés de GPU qui sortent des usines de nvidia, et celles qui vont pour de “L’AI” ne vont pas dans ton robot chirurgien ou dans ton bureau d’étude mécanique.
Le sous titre :
> La société californienne, qui domine largement ce marché, fait face aux interrogations des investisseurs sur le peu de bénéfices générés jusqu’ici, mais aussi à la concurrence de ses propres clients, comme Google, Amazon, Microsoft, Meta ou Tesla.
On parle pas des modèles ou de leurs usages, mais des puces et des revenus de Nvidia. Et de la panique des investisseurs qui trouvent les revenus faiblards par rapport à la hype.
Et pour avoir tout le contexte, l’action NVDA a fait +165% sur l’année dernière. Les investisseurs ont créé une bulle (sur Nvidia spécifiquement, pas l’IA en général). Et maintenant ils ont peur que les revenus suivent pas. Petit violon.
Toute la promesse de l’IA générative tire son origine des scaling laws pour les modeles basés sur les transformers. A savoir: si on augmente la taille d’un modele avec certaines proportions pour le nombre de parametres, la base de données d’entrainement et le temps de calcul, les modeles – en théorie – s’améliorent.
Depuis GPT-4 en 2022 (dont on sait depuis qu’il a 1.8T de parametres), les frontier models (Claude, GPT, Gemini, Grok, LlaMa etc sont globalement restés autour la meme échelle, voire plus petits. Par contre la base d’entrainement et les temps de calcul ont augmenté. Les resultats sont bien lá (allez essayer Claude Sonnet 3.5, de loin le meilleur LLM). Cependant, on est pas encore au point ou on peut faire confiance á ces modeles pour des choses importantes, surtout en mode full automatisé.
Ce qu’on attend pour fin 2024/début 2025, ce sont les premiers modeles de l’échelle supérieure (surtout Claude 4, GPT-5, Gemini 2). Si ces modeles sont un échec, alors tout le secteur a du souci á se faire. Par contre, s’ils sont á la hauteur des attentes provoquées par OpenAI ou Anthropic, ca va etre un festival…
9 comments
**La société californienne, qui domine largement ce marché, fait face aux interrogations des investisseurs sur le peu de bénéfices générés jusqu’ici, mais aussi à la concurrence de ses propres clients, comme Google, Amazon, Microsoft, Meta ou Tesla.**
Le mât jaune et rouge, dressé au milieu du parking de la zone commerciale, brille comme un phare pour les automobilistes américains. A toute heure du jour et de la nuit, il y a toujours un restaurant Denny’s pour accueillir les visiteurs affamés. Mais celui de Berryessa Road, dans l’est de San José, en Californie, est devenu le plus célèbre du pays. On y trouve pourtant les mêmes tables, chaises et canapés rouges surannés que dans le millier d’autres restaurants de la chaîne aux Etats-Unis. Dans un coin discret, au-dessus de la banquette d’angle, une plaque toute fraîche prévient : « Cet emplacement a vu naître une société à 1 000 milliards de dollars [906 milliards d’euros, au cours actuel]. Félicitations Nvidia ! Qui aurait pensé qu’une idée lancée ici changerait le monde ? »
Le héros de cette histoire, Jensen Huang, cofondateur et PDG de l’entreprise Nvidia, est venu en personne, le 26 septembre 2023, saluer ce modeste rappel de ses débuts laborieux, comme pour mieux graver sa légende. « J’ai commencé comme plongeur chez Denny’s », rappelle-t-il souvent dans ses interventions, souvenir de ses années étudiantes. Maintenant, les chaînes de télévision se bousculent pour le recevoir. Il faut dire qu’avec Elon Musk il est la personnalité la plus en vue de la Silicon Valley. L’une des plus riches, aussi. Car sa société, dont il possède 3,5 % du capital, ne vaut plus 1 000 milliards de dollars en Bourse, comme indiqué sur la plaque, mais plus de 2 500 milliards. Le 18 juin, elle a même dépassé Microsoft et Apple, à l’altitude extrême de 3 300 milliards de dollars, pour devenir brièvement la firme la plus chère du monde.
Pourtant, Nvidia ne produit ni smartphones, ni ordinateurs, ni logiciels, juste des cartes électroniques. Mais celles-ci sont magiques. Elles sont les clés d’entrée dans le monde inquiétant et fascinant de l’intelligence artificielle (IA). Par leur vitesse de calcul et leur souplesse d’utilisation, elles sont pour l’instant sans égales sur le marché. Résultat, quand Microsoft, Google ou Amazon ont décidé, en 2023, d’investir des dizaines de milliards de dollars dans des centres de données destinés à entraîner les modèles d’IA, comme le robot conversationnel ChatGPT d’OpenAI, ils n’ont pas eu d’autre choix que de frapper à la porte de Nvidia. Et leurs milliards sont tombés directement dans la poche de la compagnie de San José.
Sur l’année 2023 (exercice fiscal clos fin janvier), ses ventes ont bondi de 126 %, à 61 milliards de dollars, et son bénéfice net a frôlé les 30 milliards. Du jamais-vu dans le monde austère des fabricants de puces, ni même dans la technologie en général. Intel, aux temps glorieux de son monopole sur les PC avec Microsoft, n’a jamais atteint une telle performance. Pas plus qu’Apple en pleine frénésie de l’iPhone. A tel point que les analystes sont perplexes devant un tel engouement : feu de paille, bulle ou changement d’époque ?
Pour comprendre cette folie, il faut revenir au Denny’s de San José, en 1993. A cette époque, Jen-Hsun « Jensen » Huang est un jeune ingénieur de 30 ans, émigré de Taïwan à l’âge de 9 ans et employé chez l’électronicien LSI Logic. Au fond du café, il refait le monde avec ses amis Chris Malachowsky et Curtis Priem, concepteurs de puces chez l’informaticien Sun Microsystems. L’obsession du moment est le rendu graphique sur les écrans d’ordinateur. Cela ne gênait pas uniquement les informaticiens, mais aussi les fans de jeux vidéo, frustrés par le rendu si pauvre des consoles Atari ou des Game Boy de Nintendo.
**Relations étroites avec les développeurs informatiques**
Le micro-ordinateur prend son envol, mais pas les images, encore très rustiques. Il manque des puces suffisamment puissantes pour animer tout cela. Les trois compères lancent Nvidia (invidia signifie « envie », en latin), se fourvoient pendant trois ans dans de fausses pistes techniques avant de trouver, à deux doigts de la faillite, la martingale : concevoir une carte électronique composée d’une puce (processeur) graphique qui ne s’occupe que de l’image, compatible avec les PC Windows et adaptée spécifiquement aux jeux vidéo.
Le marché est balbutiant, mais il pointe le bout de son nez avec l’apparition de jeux en trois dimensions. Doom, sorti en 1993, est l’un des premiers où le tireur est le joueur lui-même, transformé en super-héros qui trucide le plus de démons possible. La carte graphique est indispensable pour animer un tel carnage. De cette première période, Nvidia retire les deux premiers ingrédients de sa réussite : la spécialisation dans les puces capables d’opérations à très grande vitesse grâce au calcul parallèle et l’importance de nouer des relations étroites avec les développeurs informatiques, concepteurs de tous ces petits monstres de plus en plus réalistes.
Ses cartes GeForce deviennent la référence de tous les gameurs du monde et des concepteurs de jeux. Pour faciliter leur tâche, la société développe un écosystème logiciel qui permet d’adapter la carte graphique à l’application recherchée. Appelée « Cuda », cette bibliothèque logicielle est aujourd’hui la clé de voûte du système Nvidia, sans équivalent à cette échelle parmi la concurrence. C’est le troisième atout de la société : faire de son matériel une plate-forme, à l’instar d’Apple ou d’Amazon, avec son environnement logiciel qui facilite le travail des utilisateurs et rend compliqué son transfert à ses rivaux.
Progressivement, Jensen Huang se rend compte que la communauté des chercheurs est de plus en plus friande de son matériel pour les capacités de calcul qu’il offre. Notamment à l’université de Toronto, au Canada. C’est là qu’officie le Britannique Geoffrey Hinton. Une pointure dans le milieu de l’informatique, spécialisé dans les réseaux de neurones qui tentent de répliquer le fonctionnement du cerveau. On le surnomme le « parrain de l’IA ». Il a vu passer dans son laboratoire le Français Yann Le Cun, avec lequel il partagera, ainsi que Yoshua Bengio, en 2018, le prix Turing, le « Nobel des informaticiens ».
Depuis 2009, il utilise des cartes Nvidia pour entraîner ses réseaux. En 2012, l’un de ses doctorants, Alex Krizhevsky, avec son compère Ilya Sutskever, achète sur Amazon deux cartes GeForce pour entraîner, dans sa chambre, un système de reconnaissance d’images, nourri jour et nuit de millions de photos durant une semaine. Baptisé « AlexNet », le système remporte haut la main le concours national ImageNet de reconnaissance d’images. Le seul à utiliser des cartes graphiques en lieu et place de superordinateurs, il reconnaît des camions, des voitures, des chats et autres, avec une précision de dix points supérieure à ses concurrents. C’est une consécration pour les trois chercheurs… et pour Nvidia. Du moins dans le monde de la recherche. Car, pour l’instant, ce sont les jeux vidéo qui font massivement vivre la société.
**« Vrai défi »**
Néanmoins, Jensen Huang, qui suit de près les exploits des chercheurs, maintient le cap. La suite s’enchaîne impeccablement. Geoffrey Hinton et le très jeune Alex Krizhevsky sont embauchés par Google, tandis qu’Ilya Sutskever intègre une entreprise naissante et plus idéaliste, OpenAI. Ils emportent avec eux la conviction de la suprématie de Nvidia en matière de calcul. Quand, en novembre 2022, OpenAI affiche aux yeux du grand public les prouesses étourdissantes de l’IA générative avec ChatGPT, la démonstration de la maturité de la technologie est faite. Dès lors, tout le monde veut en être.
Les start-up fleurissent, biberonnées par l’argent du capital-risque et des géants du Net. Microsoft apporte 10 milliards de dollars à OpenAI et lance un plan d’investissement de 50 milliards de dollars pour développer des centres de données adaptés à l’entraînement de ses machines, qui doivent avaler toute la connaissance de l’Internet durant des mois avant de pondre la moindre phrase intelligible. Amazon investit 4 milliards de dollars dans Anthropic, le concurrent d’OpenAI. Un marché est né, sonnant et trébuchant pour Nvidia, dont la technologie est nonpareille. Selon le site spécialisé TechRadar, la société en détiendrait plus de 80 %. Comme elle ne peut pas fournir tout le monde, elle dicte son prix et choisit ses clients. Il faut compter entre 30 000 et 50 000 dollars pour un seul processeur graphique. Les plus gros centres peuvent en compter plusieurs milliers.
C’est un autre point fort de l’entreprise : la capacité – et la ténacité – à se positionner sur des marchés qui n’existent pas encore, ce que Jensen Huang appelle les « marchés à 0 milliard ». « Ce qui est important, expliquait-il devant les étudiants de l’université Harvard, le 6 mars, ce n’est pas la taille d’un marché, mais l’importance du travail que l’on fournit. » L’innovation précède le marché. Ce fut le cas dans la vidéo 3D, puis dans les centres de données et dans l’IA. Il espère que cela se produira dans la conduite autonome des voitures, la conception de médicaments ou la simulation, qu’il appelle « omniverse ». Tous domaines que la firme cultive avec la patience du jardinier.
Kilucru: les promesses des grands groupes vendeurs de rêves n’ont pas généré les résultats escomptés 😱
ChatGPT n’a pas remplacé les développeurs 😱
Pouvoir générer des images toutes lisses avec un prompt n’a pas généré de boom économique 😱
Une technologie connue et utilisée dans la recherche depuis plus de 20 ans (certes un peu actualisée et avec plus de puissance de calcul) n’a pas révolutionné le monde une fois que les investisseurs et les cryptobros en ont entendu parlé 😱😱
Je parodie à peine, il y a des bons acteurs et des bons usages mais c’est niche et rarement utile pour la plupart des boites. Ca serait à crever de rire si les patrons boomers ne voulaient pas installer des ia de merde inutiles super chères partout sans rien y connaitre avec les fonds de leurs boites plutôt que d’augmenter leurs employés.
Oui il y a une énorme bulle sur l’intelligence artificielle.
J’ai ce ressenti en voyant la recherche essayer d’optimiser les LLMs en passant du RAG au Graph RAG par exemple, on risque de tourner en rond très vite.
Je ne me fais pas de soucis pour NVIDIA. Toutes les startup à la con qui surfent sur la vague IA par contre…
*« Pendant la ruée vers l’or, ce ne sont pas les chercheurs d’or qui se sont le plus enrichis, mais les vendeurs de pelles et de pioches. »*
Par contre, si vous avez des actions chez les vendeurs de pelles… bah si j’étais à votre place, je commencerais à les revendre
Quand on voit le gouffre énergétique que c’est il est grand temps que ça se termine cette bulle
Est-ce que paradoxalement, une baisse de la demande “IA” va pas être bonne pour toutes les industries “établies” qui utilisent déjà du calcul sur GPU (Et il y en a de plus en plus). Il y a un nombre donnés de GPU qui sortent des usines de nvidia, et celles qui vont pour de “L’AI” ne vont pas dans ton robot chirurgien ou dans ton bureau d’étude mécanique.
Le sous titre :
> La société californienne, qui domine largement ce marché, fait face aux interrogations des investisseurs sur le peu de bénéfices générés jusqu’ici, mais aussi à la concurrence de ses propres clients, comme Google, Amazon, Microsoft, Meta ou Tesla.
On parle pas des modèles ou de leurs usages, mais des puces et des revenus de Nvidia. Et de la panique des investisseurs qui trouvent les revenus faiblards par rapport à la hype.
Et pour avoir tout le contexte, l’action NVDA a fait +165% sur l’année dernière. Les investisseurs ont créé une bulle (sur Nvidia spécifiquement, pas l’IA en général). Et maintenant ils ont peur que les revenus suivent pas. Petit violon.
Toute la promesse de l’IA générative tire son origine des scaling laws pour les modeles basés sur les transformers. A savoir: si on augmente la taille d’un modele avec certaines proportions pour le nombre de parametres, la base de données d’entrainement et le temps de calcul, les modeles – en théorie – s’améliorent.
Depuis GPT-4 en 2022 (dont on sait depuis qu’il a 1.8T de parametres), les frontier models (Claude, GPT, Gemini, Grok, LlaMa etc sont globalement restés autour la meme échelle, voire plus petits. Par contre la base d’entrainement et les temps de calcul ont augmenté. Les resultats sont bien lá (allez essayer Claude Sonnet 3.5, de loin le meilleur LLM). Cependant, on est pas encore au point ou on peut faire confiance á ces modeles pour des choses importantes, surtout en mode full automatisé.
Ce qu’on attend pour fin 2024/début 2025, ce sont les premiers modeles de l’échelle supérieure (surtout Claude 4, GPT-5, Gemini 2). Si ces modeles sont un échec, alors tout le secteur a du souci á se faire. Par contre, s’ils sont á la hauteur des attentes provoquées par OpenAI ou Anthropic, ca va etre un festival…