首页 >人工智能 > 内容

一种提高超级计算性能和灵活性的新框架

人工智能 2021-08-04 16:01:17

由马德里卡洛斯三世大学 (UC3M) 协调的欧洲研究项目 ASPIDE 的研究人员为高性能软件开发人员创建了一个工具和实用程序包,以提高在超级计算行业中创建应用程序时的性能和灵活性。

因此,它们加速了城市环境和移动电话行业中的海量数据处理,或蜂箱中寄生虫检测等领域。

这个欧洲研究项目的成果可以应用于“极端数据”领域,换句话说,当有大量数据需要实时存储和分析时,需要大量内存和Exascale计算机系统(anexaFLOP 相当于每秒 quintillion 浮点运算)。例如,如果我们想要分析每天在高性能模拟和社交媒体分析中产生的大量信息,就必须使用 Exascale 计算机。事实上,每分钟有超过 500 小时的视频上传到 YouTube,或者大约 150,000 张图片上传到 Facebook。

研究人员说,目前,传统的存储系统无法管理这些数据的极端规模。“新的大规模计算基础设施面临的最大挑战不是它们的计算能力,而是处理和移动数据,”UC3M 计算机科学与工程系副教授兼 ASPIDE 协调员 Francisco Javier García Blas 解释说。正是在这一点上,在这个欧洲研发与创新项目的框架内获得的结果可能特别有用,因为它们有助于定义新的编程模型、API(应用程序编程接口)和表达数据密集型任务的方法在百亿亿级系统中。“除此之外,几乎所有正在开发的软件都可以免费提供给社区,”他补充道。

在 ASPIDE 项目中开发的框架可用于促进超级计算和大数据相关领域常用的软件设计。该框架有两大好处。首先,它使用任务调度、数据局部性和密集并行技术提高了应用程序的性能。其次,它实现了一个处理基础设施,即AIDE,它为数据密集型应用程序提供了灵活的开发机制。

研究人员已将这些实用程序和编程机制的优势应用于项目中使用的多个用例,并在社会层面产生直接影响和影响。一方面,他们加速了磁共振研究的大规模处理,这些研究用于收集有关大脑微观结构和连通性的指标,以改善对精神疾病的诊断。除此之外,他们还将深度学习技术应用于蜂箱中寄生虫的自动检测,旨在提高蜜蜂的生活质量并防止这种授粉物种的衰退。最后,所开发的技术还应用于城市环境和移动电话行业的海量数据处理。

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时候联系我们修改或删除,多谢。