Hugging Face propose des contrats d’intégration pour détecter plus vite les régressions

Ce qui change

Dans un article du 3 novembre, Hugging Face décrit les Model Integration Contracts. L’équipe rapporte qu’un petit modèle de test exécuté sur CPU a révélé une régression d’attention UMT5 lors de la réexécution de modifications passées.

Source : Hugging Face: Transformers Model Integration Contracts

Notre analyse

Notre analyse : les équipes peuvent choisir un parcours d’utilisation représentatif et conserver une référence vérifiée en complément de tests plus larges. Un petit modèle de test est surtout utile s’il emprunte le même chemin que le cas réel.

À garder en tête

Au 1er novembre, Hugging Face indique que sa tâche de contrats signale les échecs sans bloquer les pull requests. La couverture reste partielle et, selon l’équipe, ces petits modèles ne remplacent pas les tests d’intégration complets.

Source : Hugging Face: Transformers Model Integration Contracts