De petits modèles d’artificielles intelligences pour plus d’efficience

Le 30 novembre dernier, l’univers de la tech fêtait le 2e anniversaire de ChatGPT.
L’occasion de se rappeler que l’IA générative n’est finalement pas si vieille que cela, et qu’au cours de ces 24 derniers mois, le monde entier n’avait que cela à la bouche.

Les spécialistes comme les néophytes, les professionnels comme les amateurs, les experts comme les consommateurs lambda.

L’avènement d’Open AI, désormais valorisé autour de 160 milliards de dollars, a donné le coup d’envoi d’une course effrénée au déploiement de ce que l’on a baptisé les LLM, les grands modèles de langage.

Tous les géants du digital se sont mis à dépenser sans compter, à coup de dizaines de milliards de dollars, pour développer leur propre système.

Cependant, après deux années d’euphorie, il semble que le soufflet d’une dynamique à bout de souffle est en train de retomber.

De nombreuses problématiques, quasi existentielles, ont émergé, soulevant des interrogations autour de la durabilité, la soutenabilité et la légitimité de cette quête inassouvie d’accès à une connaissance instantanée.

Les quantités astronomiques d’énergies nécessaires pour faire tourner les data centers requis par cette technologie, la pollution atmosphérique, ou encore la consommation accrue des ressources naturelles et autres matières premières, risquent fort de faire courir l’ensemble de cet écosystème à sa propre perte.

Partant de là, certains acteurs majeurs du secteur ont décidé de réduire la voilure sur la toile et de revenir à une raison plus nette.

Ont ainsi émergé depuis quelques mois, de petits modèles d’IA nécessitant moins de puissance de calcul.

Ils n’ont besoin que de centaines de millions, voire quelques milliards de paramètres, contre près de 200 milliards pour GPT-3 et environ 2 trilliards pour GPT-4.
D’après l’expert Nicolas de Bellefonds, cité par l’AFP, l’émergence de ces nouveaux outils, qui ont la particularité d’être spécialisés dans un même domaine, permettent d’avoir «de meilleures performances ou, en tout cas, équivalentes» à de grands modèles généralistes pour «un coût bien plus faible».

De fait, certaines tâches dans les entreprises et les administrations ne requièrent pas de recourir à des LLM bien trop vastes.
Il en résulte des interactions plus rapides, puisque la base de données dans laquelle l’intelligence artificielle générative puise ses informations est à la fois plus réduite et plus pertinente.
Et qui dit moins de données et de paramètres, dit aussi une capacité de stockage plus restreinte.
Ces petits modèles d’IA peuvent ainsi être greffés directement sur les smartphones ou les ordinateurs.
De quoi avoir la mainmise sur les données et limiter considérablement les risques de piratage.
Cette agilité permettra ainsi, d’après les spécialistes du sujet, de rendre encore plus intelligents les objets qui nous entourent.

Du réfrigérateur au robot cuiseur, en passant par l’incontournable smart TV.
Pas de quoi pour autant signer l’arrêt de mort des LLM.

Ils continueront à présenter une utilité certaine dans des circonstances plus complexes et donc justifiées.

La prochaine étape du développement de l’IA résidera sans doute dans la capacité à faire communiquer petits, moyens et grands modèles.

Il s’agira alors d’optimiser l’énergie et les moyens nécessaires à l’exécution de telle ou telle requête en fonction de son degré de complexité.

Et si c’était cela en finale la vocation profonde de l’intelligence artificielle : faire preuve d’efficience.