登录
注册
回到首页
AI搜索
发现报告
发现数据
专题报告
研选报告
定制报告
VIP权益
发现大使
发现一下
热门搜索:
新能源车
AIGC
Chatgpt
大模型
新质生产力
低空经济
当前位置:首页
/
行业研究
/
报告详情
/
Lu Qiu - Alluxio 加速云上深度学习训练
信息技术
2022-05-18
DataFunSummit2022:大数据计算架构峰会
c***
AI智能总结
查看更多
Alluxio及其在云训练中的加速应用
Alluxio与POSIX API
数据可访问性
:将客户端接口转换为本地存储接口。
数据局部性
:通过智能多级分层实现远程数据的高性能访问。
缓存机制
:读缓存、写缓冲、透明缓存策略等。
元数据同步
:跨集群同步文件变化。
加速云训练
层级1:底层数据访问加速
热温冷数据分级
:热数据缓存在内存,温数据缓存在SSD,冷数据存放在HDD。
缓存策略
:数据定位策略、缓存命中率调整、超时时间控制。
使用案例
:阿里云、微软、Momo等公司使用Alluxio提升训练性能。
层级2:数据预处理及训练加速
大数据ETL集群
:使用Spark/Flink处理数据,并在处理后的数据上进行模型训练。
解决方案
:利用Alluxio缓存中间结果,避免临时文件写入对底层存储的压力,提高整体数据预处理到训练管道的速度。
使用案例
:Boss Zinpin公司使用Alluxio优化Spark/Flink任务。
层级3:数据调度层
数据预处理
:在大数据ETL集群中进行数据预处理。
数据预加载
:动态缓存训练期间的数据。
资源共享
:跨多个任务共享数据。
实际案例
阿里巴巴
:使用Alluxio提高了Kubernetes环境下的TensorFlow模型训练吞吐量。
微软
:通过Alluxio缓存减少了I/O等待时间,提升了训练性能。
Momo
:支持多种底层存储和计算框架,加速了计算和训练任务。
Boss Zinpin
:使用Alluxio优化了Spark/Flink任务,降低了Ceph的压力。
Alluxio的POSIX API开发
社区合作
:与腾讯、微软、阿里等公司合作开发。
技术改进
:Alluxio 2.8版本增强了稳定性,支持大量小文件和高并发访问。
社区活动
AI SIG会议
:定期举办技术交流会议,促进社区发展。
招聘
:Alluxio正在招聘,欢迎加入开源社区。
查看更多
你可能感兴趣
2024年Alluxio助力AI模型训练加速宝典2.0(实战篇)
-
2024-08-23
AMD Milan-X CPU人工智能一体机加速深度学习训练
信息技术
超益集伦
2022-06-27
字节跳动云原生机器学习离线训练实践_单既喜
文化传媒
ArchSummit深圳2022|全球架构师峰会
2022-07-19
从领域落地看深层解析的符号模型与深度学习的预训练模型 - 李维
文化传媒
DataFunSummit 2022 :第二届知识图谱在线峰会PPT汇总
2022-03-21
高频选股因子周报:训练深度学习因子需要加入正交层吗?
海通国际
2024-01-22