3. 调用 Paddle 分布式 Fleet API，添加运行策略，设置异构设备 (Heter-Trainer) 使用 GPU 作为运算设备，然后完成反向组网。
4. 分别进入不同设备的运行逻辑
1) 启动 Server 与 Heter-Trainer。
2) 启动 CPU-Trainer，执行数据 IO 及总体训练流程控制。
5. 启动异构参数服务器
飞桨对分布式训练的启动代码进行了易用性封装，使用 fleetrun 命令即可快速启动分布式训练：
当训练结束后可以看到任务成功的显示信息，如下所示。
Server 上的显示信息
Heter-Trainer 上的显示信息
CPU-Trainer 上的显示信息
由百度深度学习工程师精心打造的 4 节系列直播课，11 月 9 日、10 日、12 日、13 日每天晚上 19 点，让你快速：
了解深度学习框架的前沿进展，理解动态图的开发模式及其优势；
掌握用更少，更简洁的代码完成深度学习的经典任务；
通过图片相似度案例掌握产业应用广泛的经典双塔网络结构；
通过机器翻译案例掌握自然语言处理领域的经典 LSTM 网络结构。
掌握深度学习先人一步，扫描海报上的二维码，并回复：【直播】，即可加入交流群与更多深度学习大佬交流~
如果您想详细了解更多飞桨的相关内容，请参阅以下文档。
飞桨官网地址：
https://www.paddlepaddle.org.cn/
飞桨开源框架项目地址：
GitHub：https://github.com/PaddlePaddle/Paddle
Gitee：https://gitee.com/paddlepaddle/Paddle
飞桨 (PaddlePaddle) 以百度多年的深度学习技术研究和业务应用为基础，是中国首个开源开放、技术领先、功能完备的产业级深度学习平台，包括飞桨开源平台和飞桨企业版。飞桨开源平台包含核心框架、基础模型库、端到端开发套件与工具组件，持续开源核心能力，为产业、学术、科研创新提供基础底座。飞桨企业版基于飞桨开源平台，针对企业级需求增强了相应特性，包含零门槛 AI 开发平台 EasyDL 和全功能 AI 开发平台 BML。EasyDL 主要面向中小企业，提供零门槛、预置丰富网络和模型、便捷高效的开发平台；BML 是为大型企业提供的功能全面、可灵活定制和被深度集成的开发平台。
本文为机器之心发布，转载请联系本公众号获得授权。
✄------------------------------------------------
加入机器之心（全职记者 / 实习生）：hr@jiqizhixin.com
投稿或寻求报道：content@jiqizhixin.com
广告 & 商务合作：bd@jiqizhixin.com喜欢此内容的人还喜欢
原标题：《飞桨推出异构参数服务器架构，异构硬件高效
组合，训练速度提升65%以上》
