Hugging Face présente l’intégration native de TorchNeuron pour Trainium

Ce qui change

Les bibliothèques Hugging Face intègrent directement le backend neuron de PyTorch, avec exécution immédiate et torch.compile.

Source : Hugging Face TorchNeuron integration announcement

Notre analyse

Point de vue du studio : avant une migration, distinguer la compilation initiale des exécutions suivantes. Vérifier que le checkpoint sauvegardé se recharge sur le matériel de destination prévu.

À garder en tête

L’exemple d’entraînement désactive les formes dynamiques automatiques et le chargement asynchrone des poids.

Source : Hugging Face TorchNeuron integration announcement