如何建造一台超级计算机(build a supercomputer)

你需要一台每秒可以进行数百万亿次浮点运算的机器吗?或者你需要一个关于你地下室的超级计算机如何翻转断路器的酒吧故事吗?构建自己的高性能计算集群,也就是超级计算机,是一个挑战,任何有周末空闲时间和一些现金可以燃烧的专家极客都可以应对。从技术上讲,现代多处理器超级计算机是一个计算机网络,它们并行工作以解决问题。本文将简要描述过程中的每个步骤,重点介绍硬件和软件。...

台阶

  1. 1首先确定所需的硬件组件和资源。您将需要一个头部节点、至少12个相同的计算节点、一个以太网交换机、一个配电装置和一个机架。确定电力需求、冷却和所需空间。还要决定您想要的专用网络IP地址、节点名称、要安装的软件包以及要提供并行计算功能的技术(稍后将详细介绍)。虽然硬件很昂贵,但本指南中列出的所有软件都是免费的,而且大多数都是开源的。如果你想看看你的超级计算机理论上有多快,请使用以下工具:http://hpl-calculator.sourceforge.net/
  2. Image titled Build a Supercomputer Step 1
  3. 2构建计算节点。您需要组装计算节点或获取预构建服务器。选择一个能最大化空间、冷却和能源效率的计算机服务器机箱。或者你可以使用十几台使用过的、过时的服务器——它们的整体将超过它们的部分之和,同时为你节省大量现金。所有处理器、网络适配器和主板都应该相同,这样整个系统才能很好地协同工作。当然,不要忘记每个节点的RAM和存储,以及头部节点的至少一个光驱。
  4. Image titled Build a Supercomputer Step 2
  5. 3将服务器安装到机架中。从底部开始,这样机架就不会顶重。你需要一个朋友来帮你解决这个问题——密集的服务器可能非常沉重,引导它们进入将它们固定在机架上的轨道非常困难。
  6. Image titled Build a Supercomputer Step 3
  7. 4将以太网交换机安装在服务器机箱上方。花点时间配置交换机:允许9000字节的巨型帧大小,将IP地址设置为您在步骤1中决定的静态地址,并关闭不必要的路由协议,例如SMTP窥探。
  8. Image titled Build a Supercomputer Step 4
  9. 5安装PDU(配电装置)。根据节点在最大负载下可能需要的电流大小,高性能计算可能需要220伏。
  10. Image titled Build a Supercomputer Step 5
  11. 6安装完所有设备后,即可开始配置过程。Linux实际上是HPC集群的操作系统——它不仅是科学计算的理想环境,而且在数百甚至数千个节点上安装它也不需要花费一分钱。想象一下,在所有这些节点上安装Windows要花多少钱!从安装最新版本的主板BIOS和固件开始,所有节点上的BIOS和固件都应该相同。在每个节点上安装您首选的linux发行版,头部节点有一个图形用户界面。流行的选择包括CentOS、OpenSuse、Scientific Linux、RedHat和SLES。作者强烈建议使用岩石群分布。除了安装计算集群运行所需的所有工具外,Rocks还使用一种很棒的方法,使用PXE引导和Red Hat“Kick Start”过程,将自身的许多实例快速“分发”到节点。
  12. Image titled Build a Supercomputer Step 6
  13. 7安装消息传递接口、资源管理器和其他必要的库。如果在上一步中没有安装Rocks,则必须手动设置必要的软件以启用并行计算机制。首先,您需要一个便携式bash管理系统,比如Torque Resource Manager,它允许您分解任务并将任务分发到多台机器。将Torque与Maui Cluster Scheduler配对以完成设置。接下来,您需要安装消息传递接口,这是独立计算节点上的各个进程共享相同数据所必需的。OpenMP是一款不需要动脑筋的产品。不要忘记多线程数学库和编译器来构建并行计算程序。我说过你应该安装石头吗?
  14. Image titled Build a Supercomputer Step 7
  15. 8将计算节点连接在一起。head节点将计算任务发送给compute节点,而compute节点必须将结果发送回,并相互发送消息。越快越好。使用专用以太网连接群集中的所有节点。头部节点还可以通过以太网充当NFS、PXE、DHCP、TFTP和NTP服务器。您必须将该网络与公共网络分开,以确保广播数据包不会干扰LAN中的其他网络。
  16. Image titled Build a Supercomputer Step 8
  17. 9测试集群。在向用户释放所有计算能力之前,您可能最不想做的事情就是测试它的性能。HPL(High Performance Lynpack)基准测试是衡量集群计算速度的常用选择。您需要从源代码处编译它,并为您选择的体系结构提供所有可能的优化。当然,您必须从源代码处编译,为您的平台提供所有可能的优化选项。例如,如果使用AMD CPU,请使用Open64以-0快速优化级别编译。比较你在500强的成绩。org将你的集群与世界上最快的500台超级计算机进行比较!
  18. Image titled Build a Supercomputer Step 9
  • 要获得真正的高网络速度,请查看InfiniBand网络接口。不过,要做好支付高价的准备。
  • 通过提供KVM over IP、远程电源循环等功能,IPMI可以轻松管理大型集群。
  • 使用Ganglia监视节点上的计算负载。
  • 发表于 2022-05-17 20:14
  • 阅读 ( 78 )
  • 分类:IT

你可能感兴趣的文章

什么是超级计算机?世界十大超级计算机

... 什么是超级计算机用于(supercomputers used for)? ...

  • 发布于 2021-03-25 17:41
  • 阅读 ( 196 )

ibm的jeopardy playing computer watson向专业人士展示了它是如何做到的[视频]

...M, and some background on the magic that makes Watson work. IBM’s Watson Supercomputer Destroys All Humans In Jeopardy Practice Round [Endgadget]

  • 发布于 2021-04-13 02:33
  • 阅读 ( 178 )

奥巴马希望在2025年前建造一台exascale超级计算机

白宫正在认真对待超级计算机。今天,奥巴马总统发布了一项行政命令,建立了国家战略计算倡议——本质上是确保美国在超级计算机领域处于领先地位的联邦战略。该命令指出,在医学、气候科学和航空航天领域的实施只是超...

  • 发布于 2021-04-30 22:35
  • 阅读 ( 116 )

印度正在建造一台超级计算机来预报季风

印度正在开发一台超级计算机,以更精确地预测季风,并希望在明年之前将其投入运行。据路透社报道,该国气象办公室正斥资6000万美元建造这台新的超级计算机,该计算机将使用3D模型来预测季节性降雨的发展。印度地球科学...

  • 发布于 2021-05-05 09:04
  • 阅读 ( 145 )

小型计算机(minicomputer)和超级计算机(supercomputer)的区别

这些计算机有不同的形状、大小、处理能力和性能。家庭中使用的计算机与商业应用中使用的计算机大不相同。根据能力、性能和成本,计算机可以很容易地分为微型计算机、超级计算机、大型计算机和微型计算机。我们在这里...

  • 发布于 2021-06-26 13:05
  • 阅读 ( 325 )

微型计算机(microcomputer)和超级计算机(supercomputer)的区别

...、电子表格和数据库管理系统。   什么是超级计算机(a supercomputer)? 超级计算机是指一类功能极其强大的计算机,能够以或接近最高运算速度运行。它是世界上速度最快的计算机的总称。这类电脑很大,可能要占用好几个房间...

  • 发布于 2021-06-26 13:06
  • 阅读 ( 305 )

超级计算(supercomputing)和量子计算(quantum computing)的区别

...理论之一——量子力学所证实的。   什么是超级计算(supercomputing)? 超级计算一直是技术前沿的一种特殊计算形式。随着计算领域的发展和成熟,计算变得更加广泛和多样化。超级计算机是任何以高计算I/O比运行的计算系统,...

  • 发布于 2021-06-26 13:52
  • 阅读 ( 386 )

大型计算机(mainframe computer)和超级计算机(supercomputer)的区别

...和处理工具。 主机间(between mainframe computer)和超级计算机(supercomputer)的区别 大型计算机的特点是,大型协会利用PC机来处理其内部系统,用于不同的目的,如关键应用程序、海量信息管理、统计、行业详细信息、购买和提供记录...

  • 发布于 2021-07-08 13:28
  • 阅读 ( 460 )

计算机(computer)和超级计算机(supercomputer)的区别

关键区别:计算机是一种通用可编程机器,它根据一组指定的指令执行算术和逻辑运算。超级计算机是具有最佳处理能力的计算机,因此比其他类型的计算机贵。 许多人用不同的方式定义了计算机。然而,它们都指的是一台已...

  • 发布于 2021-07-12 05:42
  • 阅读 ( 132 )

超级计算机(supercomputer)和大型机(mainframe)的区别

关键区别:超级计算机是一台功能强大的计算机,用于以尽可能快的速度处理数据。主机是一台大型计算机,用于处理大量数据的计算。因此,超级计算机的主要焦点是速度,而大型机则是处理大量的数据。超级计算机和大型...

  • 发布于 2021-07-12 05:48
  • 阅读 ( 530 )