Introduction
High Performance Computing
Izzatul Ummah
MOTIVATION BEHIND HPC
• Untuk menjalankan program/aplikasi yang
membutuhkan sumberdaya komputasi yang
besar serta waktu yang lama.
• Harga supercomputer mainframe sangat
mahal. Dibutuhkan solusi komputasi yang
lebih murah daripada mainframe.
APLIKASI HPC
• Solving grand challenge applications using
computer modeling, simulation and analysis
Aerospace
Internet &
Ecommerce
Life Sciences
CAD/CAM
Digital Biology
Military Applications
3
DESIGN ISSUE OF HPC
• Hardware:
– Multicore, multiprocessor, GPU, cluster/grid
• Sistem operasi:
– RockCluster, Oracle Grid Engine
• Networking:
– Infiniband, Gigabit Ethernet
• Programming language (usually based on C):
– MPI, PVM, CUDA, OpenMP, OpenCL, Pthread, dsb
• Power consumption (electricity)
• Cooling (fan, Air Conditioner)
KOMPONEN HPC
HARDWARE
• Kategori berdasarkan hardware:
– 1 computer
• 1 processor, multicore
• Multi-processor
• GPU
– Multi-computer:
• CLUSTER (1 subnet LAN, dedicated, homogen)
– Cluster biasa: contoh Beowulf
– Cluster dikombinasikan dengan GPU
• GRID (berbasis Internet, heterogen)
• Akan dibahas lebih jauh di slide selanjutnya
CONTOH HARDWARE
• Kategori berdasarkan hardware:
– 1 computer
• 1 processor, multicore: Intel Core i7, AMD Opteron (12 cores)
• Multi-processor: SuperMicro (2-4 processor @ 12 cores)
• GPU: NVIDIA GeForce GTX Titan (2688 cores) click here
– Multi-computer:
• CLUSTER (1 subnet LAN, dedicated, homogen)
– Cluster biasa: Beowulf
– Cluster dikombinasikan dengan GPU
• GRID (Internet, heterogen): DesktopGrid Federation, click here
• Akan dibahas lebih jauh di slide selanjutnya
OPERATING SYSTEM
• Linux RockCluster
– Based on CentOS, easy to install, easy to use
– http://www.rocksclusters.org
•
•
•
•
Windows HPC 2008, Windows Azure
AIX
CrayLinux
Oracle Grid Engine
MIDDLEWARE (PROGRAMMING)
• Seluruh middleware di atas berbasis C
TOOLKIT
• Globus Toolkit: untuk membangun grid
– http://www.globus.org/toolkit/
• Ganglia: untuk monitoring cluster
• PBS Torque: untuk job scheduling/queuing
• OpenMOSIX
LOCAL AREA NETWORK
• InfiniBand
• Gigabit Ethernet
CONTOH ARSITEKTUR
• Palo Dozen (Teknik Fisika ITB), 2008: tanpa GPU
CONTOH ARSITEKTUR
• Palo Dozen (Teknik Fisika ITB), 2010
TOPOLOGI CLUSTER
•
•
•
•
Star
Bus
Crossbar
Cube
SPESIFIKASI KOMPONEN CLUSTER
PRODI ILMU KOMPUTASI, ITTELKOM
• 6 buah node cluster: Intel Core i7, RAM 4 GB,
HDD 500 GB (khusus storage node 1 TB)
• 1 buah GPU NVIDIA GeForce GTX-590 @ 1024
cores
• 2 buah GPU NVIDIA GeForce GTX-670
• 1 buah SuperMicro: 2 processor, 24 cores @ 2.6
GHz, RAM 128 GB, HDD 4 TB
• 1 buah IBM X-3620 M3, RAM 24 GB, HDD 4 TB
• 2 buah SuperMicro
TILED DISPLAY
HARDWARE: 1 processor, multicore
Contoh Processor Multicore
http://en.wikipedia.org/wiki/Multi-core_processor
• AMD:
– Athlon 64, Athlon II, Opteron, Phenom II, Radeon (GPU)
• IBM:
– POWER4, POWER5, POWER6, POWER7, PowerPC 970MP
– XENON
• Intel:
– Core i3 (2,4), Core i5, Core i7 (6,8 cores)
– Xeon
• Sun Microsystems:
– UltraSPARC, SPARC T4, SPARC T5
• NVIDIA GPU
– GeForce
– Tesla
– Quadro
Multi-processor
GPU (Graphical Processing Unit)
Multicomputer: CLUSTER
HYBRID: Cluster + GPU
www.top500.org
www.top500.org
• 1st: TITAN CRAY
–
–
–
–
The fastest supercomputer in the world
Oak Ridge National Laboratory
17.59 Petaflop/s
560640 cores (termasuk 261632 NVIDIA K20x
accelerator cores)
– Official website: http://www.olcf.ornl.gov/titan/
• 2nd : IBM SEQUOIA
– National Nuclear Security Administration
– 1572864 cores
– 16.32 Petaflop/s
www.top500.org
• 3rd: FUJITSU K COMPUTER
– RIKEN Advanced Institute for Computational
Science (AICS) in Kobe, Japan
– 10.51 Petaflop/s
– 705024 cores (SPARC)
Supercomputer “TITAN”
HIGHLIGHTS: www.top500.org
• Sejak dimulai tahun 1992, sudah merilis 40 list (2
list per tahun).
• Menggunakan Linpack benchmark.
• 46% di antaranya menggunakan processor
dengan 8-core atau lebih, 40% menggunakan 6core, sisanya di bawah itu.
• 75% menggunakan processor Intel. 61%
menggunakan AMD Opteron.
• Jaringan: InfiniBand 225, Gigabit Ethernet 188.
• Didominasi oleh IBM.
LINPACK BENCHMARK
• Sekumpulan source code tester untuk menguji
kecepatan komputasi FLOPS pada komputer
tertentu (supercomputer atau cluster).
• Bahasa: C, Ada, Fortran, Pascal, Java
• Official website:
http://www.netlib.org/benchmark/
TOP500 STATISTICS
• http://www.top500.org/statistics/list/
TOP500 OPERATING SYSTEM
• What about Mac? Click here
TOP500 ARCHITECTURE
• Cluster: setiap komputer bersifat independen dalam hal memori,
harddisk, dsb, serta terhubung melalui jaringan LAN biasa (misalnya
Gigabit Ethernet atau Infiniband).
– Programmer harus tahu bagaimana mendistribusikan job komputasi.
• Massively Parallel Processor (MPP): hanya terdiri dari 1 komputer
yang memiliki ribuan CPU yang bersifat tightly interconnected.
MPPs have exotic memory architectures to allow extremely high
speed exchange of intermediate results with neighboring
processors.
– Cocok untuk kasus yang bersifat embarrassingly parallel
– Extremely fast, but incredibly expensive
TOP500 CORES per SOCKET
• Contoh:
– Core i7 SandyBridge-E desktop: 2, 4, 6 cores
• Core i7-39xxX
• Core i7-39xxK
– AMD Opteron: 2, 4, 6, 8, 12, 16 cores
LIMITATION ISSUE
• Supercomputer/cluster needs a lot of power
consumption.
• It must be energy-efficient.
1994: BEOWULF CLUSTER
• Dibangun pada tahun 1994 di NASA (National
Aeronautics and Space Administration).
• Terdiri dari sekumpulan personal computer yang
identik dan harganya murah, yang dihubungkan
oleh LAN.
• Menggunakan UNIX-like OS (BSD/Linux/Solaris),
free & opensource.
– MOSIX, ClusterKnoppix, Rock Cluster distro
• Middleware:
– MPI (Message Passing Interface): OpenMPI, MPIch2
– PVM (Parallel Virtual Machine)
2013: SUPERCOMPUTER QUANTUM
• Sebuah komputer super bernilai US$ 15 juta yang
menggunakan prinsip 'fisika kuantum' akan segera
diinstal di fasilitas Badan Antariksa Amerika Serikat
(NASA). Komputer itu akan dipakai bersama oleh
Google NASA.
• Komputer kuantum tidak menggunakan bits tetapi
qubits (Quantum Bits).
• Prosesor D-Wave Two memanfaatkan efek yang
disebut terowongan kuantum:
– Bisa mencoba semua solusi yang mungkin dalam waktu
bersamaan, dan memilih yang terbaik (brute force,
exhaustive search).
REFERENCE
•
•
•
•
•
•
http://www.top500.org
https://computing.llnl.gov/
http://www.rocksclusters.org/wordpress/
http://www.nvidia.com/page/home.html
http://desktopgridfederation.org/
http://computational.engineering.or.id
– “HPC Cluster”, Eko Mursito Budi, Teknik Fisika ITB.
• http://grid.ui.ac.id/
– “Introduction to Cluster”, Heru Suhartanto, Fasilkom UI.
• http://komputasi.lipi.go.id/
• BATAN, “Jaringan Komputasi”, Aswin Sasongko
– "http://www.batan.go.id/ppin/lokakarya/LKSTN_10/ASWIN-.pdf
• LMGTFY (Let Me Google That For You) 