低延迟高吞吐的机器学习推理系统

2021.11.02

投稿:周时强部门:计算机工程与科学学院浏览次数:

活动信息

时间: 2021年11月07日 15:30

地点: 校本部东区计算机楼1001

报 告 人:陈全 教授,上海交通大学
报告时间:11月07日(周日)15:30~17:30
报告地点:计1001(腾讯会议ID:715 693 831)
邀 请 人:朱能军 讲师
报告摘要:
随着机器学习的发展,互联网服务软件开始使用机器学习推理向普通用户提供服务。然而现有的机器学习推理系统存在着响应延迟高、运行吞吐低的问题,导致用户体验差。为此,我们研究低延迟高吞吐的机器学习推理系统,提出了请求弹性批处理,以及确定性的OP交错执行技术。可以实现单个机器学习推理服务运行时的低延迟,并且当多个服务同时运行时,显著减少服务质量违反并提高总体吞吐。
报告人简介:
陈全,上海交通大学计算机系教授, 2020年获国家优秀青年科学基金资助。长期从事计算机系统、云计算领域的研究,研究成果获国家技术发明二等奖及多项省部级一等奖。获2017年IEEE TCSC Award for Excellence (Early Career Researcher)、阿里青橙奖。担任SCI期刊Parallel Computing, Frontier of Computer Science编委;主持及参与多项国家自然科学基金项目、重点研发计划项目、及各企业的创新研究计划项目等