AI Booster向下屏蔽底层GPU硬件差异,提供多样化算力的灵活调度,为模型运行提供高性能、高可靠的运行环境。AI Booster向上适配了PyTorch、TensorFlow等主流框架,支持业界主流模型,提供从数据处理、模型开发、训练、优化、评估到部署的端到端工程工具集,涵盖大型模型全生命周期管理,显著降低开发门槛。
AI Booster还提供了模型迁移工具,能够实现大模型从国际主流GPU向国产GPU无感迁移。以近期中兴通讯研发大模型的一项迁移为例,通过模型分析、算子开发和模型性能优化,能在5天内实现模型的可用,在15天内实现模型好用。