De plus en plus d’entreprises utilisent de grands modèles de langage, qui nécessitent l’accès à des GPU. Les plus populaires d’entre eux sont de loin ceux de Nvidia, ce qui les rend coûteux et souvent peu disponibles. Louer une instance à long terme auprès d’un fournisseur de services en nuage alors que vous n’avez besoin d’accéder à ces ressources coûteuses que pour un seul travail n’est pas forcément judicieux.
Pour résoudre ce problème, AWS a lancé aujourd’hui Amazon Elastic Compute Cloud (EC2) Capacity Blocks for ML, permettant aux clients d’acheter l’accès à ces GPU pour une durée définie, généralement pour exécuter une tâche liée à l’IA telle que l’entraînement d’un modèle d’apprentissage automatique ou l’exécution d’une expérience avec un modèle existant.
« Il s’agit d’une nouvelle façon innovante de planifier les instances de GPU où vous pouvez réserver le nombre d’instances dont vous avez besoin pour une date future pendant la durée que vous souhaitez « , a écrit Channy Yun dans un billet de blog annonçant la nouvelle fonctionnalité.
Le produit permet aux clients d’accéder aux instances de GPU NVIDIA H100 Tensor Core dans des clusters de 1 à 64 instances avec 8 GPU par instance. Ils peuvent réserver du temps jusqu’à 14 jours par incréments d’un jour, jusqu’à 8 semaines à l’avance. Une fois le délai écoulé, les instances s’arrêtent automatiquement.
Le nouveau produit permet aux utilisateurs de s’inscrire pour le nombre d’instances dont ils ont besoin pour un bloc de temps défini, tout comme la réservation d’une chambre d’hôtel pour un certain nombre de jours (selon les termes de l’entreprise). Du point de vue du client, il saura exactement combien de temps durera la tâche, combien de GPU il utilisera et combien cela lui coûtera à l’avance, ce qui lui donnera une certitude en matière de coûts.
Pour Amazon, il est possible de faire travailler ces ressources très demandées dans un environnement proche d’une vente aux enchères, ce qui lui assure des revenus (en supposant que les clients viennent, bien sûr). Le prix d’accès à ces ressources sera réellement dynamique, variant en fonction de l’offre et de la demande, selon l’entreprise.
Lorsqu’un utilisateur s’inscrit au service, celui-ci affiche le coût total pour la période et les ressources. Les utilisateurs peuvent augmenter ou diminuer ce coût, en fonction de leur appétit pour les ressources et de leur budget, avant d’accepter d’acheter.
La nouvelle fonctionnalité est généralement disponible à partir d’aujourd’hui dans la région AWS US East (Ohio).