Le cofondateur d’Anthropic évoque l’entraînement d’IA décentralisée, affirmant que sa croissance dépasse largement celle des modèles centralisés.

Foresight News rapporte que Jack Clark, cofondateur d’Anthropic et ancien directeur des politiques chez OpenAI, a évoqué l’importance de l’entraînement décentralisé dans sa newsletter hebdomadaire sur l’IA, Import AI. Il explique que l’entraînement décentralisé permet d’améliorer la confidentialité des données et la robustesse des systèmes grâce à l’apprentissage distribué sur plusieurs nœuds. Il cite un rapport de recherche d’Epoch AI, qui analyse plus de 100 articles pertinents et souligne que l’échelle de calcul de l’entraînement décentralisé croît à un rythme de 20 fois par an (bien supérieur au taux de croissance annuel de 5 fois pour l’entraînement centralisé de pointe). Actuellement, l’entraînement décentralisé reste environ 1000 fois plus petit que l’entraînement centralisé de pointe, mais il est techniquement réalisable et pourrait permettre un développement collectif plus large de modèles plus puissants.