Migration d'AWS SageMaker vers GCP Vertex AI : une transition vers un environnement de formation

DEV - 14/04
Auparavant, j'utilisais AWS SageMaker Studio pour la formation de modèles dans mon travail. Cependant, lorsque j'ai reçu un...

Auparavant, j'utilisais AWS SageMaker Studio pour la formation de modèles dans mon travail. Cependant, lorsque j'ai reçu un généreux crédit de 10 000 $ de Google Cloud for Startups, j'ai décidé de migrer notre environnement de formation vers Vertex AI Workbench.

Cet article explore les différences d'utilisabilité entre SageMaker et Vertex AI et documente notre processus de migration.

Construire l'environnement de formation modèle

Création du fichier Docker

Dans SageMaker, le code de l'application n'était pas inclus dans l'image du conteneur. Au lieu de cela, nous avons utilisédépendancespour charger du code externe etpoint d'accèspour spécifier un script shell qui change d'environnement Conda et exécute le code.

Script de formation SageMaker :

importer sagemaker depuis sagemaker.estimator importer Estimator session = sagemaker.Session() role = sagemaker.get_execution_role() estimator = Estimator( image_uri="*****.dkr.ecr.ap-northeast-1.amazonaws.com/bert -training:latest", role=role, instance_type="ml.g4dn.2xlarge", instance_count=1, base_job_name="pre-training", output_path="s3://sagemaker/output_data/pre_training", sagemaker_session=session, Entry_point="pre-training.sh", dependencies=["bert-training"], checkpoint_s3_uri="s...
[Courte citation de 8% de l'article original]