ISC 2017: зен-буддизм в межзионье

Организаторы выставки ISC 2017 в очередной раз отчитались о новом рекорде по числу посетителей. Это, с одной стороны, косвенно указывает на рост интереса к мероприятию и к HPC-технологиям вообще. С другой же, в этот раз чего-то действительно интересного и нового представлено почти не было. А всё потому, что крупные анонсы уже были сделаны зимой и весной. Ну, к примеру, на выставке показали ранее объявленные решения NVIDIA Volta — машины с Tesla V100. О процессорах Intel Xeon Scalable (они же Skylake-SP) тоже известно давно, но формальный анонс будет сделан через несколько недель. Стенды так и пестрели табличками Intel Xeon Inside, причём непременно с приставкой Platinum. То есть по факту всё вроде бы готово, но кое-где вид человека с фотоаппаратом у сотрудников вызывал нервный тик.

На своём стенде Intel ничего из своего нового «железа» не показывала, а рассказывала больше о программных продуктах. Например, у нынешних Intel Xeon Phi теперь есть возможность запуска систем визуализации. Ранее под эти задачи обычно отводились узлы с ускорителями других компаний — NVIDIA, в первую очередь. А основной доклад был посвящён слиянию облачных технологий и HPC. Естественно, у Intel для этого уже есть Scalable System Framework (SSF) и HPC Orchestrator. Строго говоря, разговоры об «облаках» в HPC (или HPC в «облаках», это с какой стороны посмотреть) шли давно. Да и вообще, согласно данным Hyperion Research 64% HPC-центров запускают некоторые задачи (7-8% от общего объёма) в публичных облачных сервисах. В целом же, идёт взаимное сближение этих экосистем — кластеры всё больше похожи на «облака» в плане ПО, а «облака» всё чаще обзаводятся специфичным «железом», GPGPU-ускорителями и даже FPGA. Собственно говоря, у той же Amazon уже пару лет есть готовый HPC-сервис, да и раньше публичные «облака» использовали для этих целей.

В целом же рост HPC-сегмента, по данным того же исследования (хотя можно и просто посмотреть вокруг), обеспечит машинное обучение: ИИ или глубинное обучение, называйте, как хотите. Обычные конфигурации корпоративных серверов для этого не подходят. В свежем рейтинге TOP500 уже есть одна машина, которая создана исключительно под эти задачи — TSUBAME 3.0 занимает в нём 61 место. Она включает 2160 ускорителей NVIDIA Tesla P100 и всего 288 CPU Intel Xeon E5-2680 v4, а также снабжена интерконнектом Intel Omni-Path. В рейтинге HPCG, который теперь добавляется и в TOP500, она находится на 36 месте, зато в списке Green500 — на первом. Впрочем, если приглядеться к этим спискам повнимательнее, то можно увидеть всю ту же тенденцию к росту числа ускорителей. 91 машина из 500 теперь имеет ускорители или сопроцессоры, а в прошлом рейтинге их было 86. 71 машина снабжена ускорителями Tesla, 14 оснащены Intel Xeon Phi, ещё три используют оба этих ускорителя и только одна обладает узлами с картами Radeon. Ещё две используют специфические решения PEZY.

Любопытно, что 13 систем из 500 используют Intel Xeon Phi KNL в качестве основной вычислительной единицы, а не в качестве сопроцессора. Однако их могло бы быть и больше. 21 система полагается на CPU с архитектурой  POWER/PowerPC, 7 базируются на SPARC, ещё 6 имеют Opteron, а две — CPU SunWay. Из нового в TOP500 можно отметить четыре интересных суперкомпьютера. Первый использует Intel Xeon D-1571, однако удивляться не стоит — основные вычисления идут на упомянутых выше MIMD-процессорах PEZY-SC2. Ещё три машины — это первые системы на платформе Intel Purley. Две с CPU Intel Xeon Gold 6148, одна — с Xeon Platinum 8160. В целом, сейчас в TOP500 92,8% машин работают на решениях Intel. Ну а в Green500 в лидерах сплошь суперкомпьютеры с ускорителями NVIDIA Tesla. Впрочем, в Green500 есть ещё одна интересная машина-лидер по использованию баззвордов в названии: AIST Artificial Intelligence Cloud (AAIC). Да-да, тут вам и «облака», и ИИ, и Интернет вещей, и роботы.

Отдельный вопрос, в каком виде вся эта моща будет предоставляться — то ли готовый сервис, то ли просто эдакий IaaS. Вообще говоря, впервые облачную модель доступа к суперкомпьютерным мощностям реализовала Penguin Computing ещё в 2009 году. Из более свежих анонсов — в мае Cray совместно с Markley представила решение Supercomputing-as-a-Service. У той же Cray совместно с Deloitte уже год есть сервис по анализу рисков. Да, идеологически все подобные системы близки к технологиям BigData, о симбиозе которых с HPC заговорили года три назад. Hyperion Research предлагает и продвигает более общий термин High Performance Data Analysis (HPDA), то есть «высокопроизводительный анализ данных» в прямом переводе. Это уже не традиционные для HPC задачи моделирования и симуляций, это может стать основной причиной дальнейшего роста суперкомпьютерных мощностей вообще. Впрочем, приход облачной модели в HPC и для традиционных задач полезен, так как это открывает путь к инженерному суперкомпьютингу для малых и средних предприятий.

Однако не всё так безоблачно, потому что грядущие экзафлопсы принесут с собой ещё и экзабайты данных. Уже сейчас, с одной стороны, всё чаще говорят о необходимости in-memory processing, то есть обработки информации непосредственно в рамках локальной памяти. С другой стороны, эксперты говорят, что даже текущие внутренние шины не слишком хорошо справляются с такими нагрузками — передача данных на вычислитель и обратно по времени слишком затратна в сравнении со временем самого расчёта. Да, мы уже неоднократно говорили о смене иерархии памяти как таковой. Однако простой рост скоростей и увеличение числа каналов и набортной памяти, в общем, тоже не самый идеальный путь развития. И это мы ещё не затронули тему интерконнекта для множества узлов. HPE с конца прошлого года занимается созданием и продвижением шины Gen-Z, которая предлагает абстракцию от конкретного «железа» и сведение всего общения к привычным для CPU процедурам загрузки/выгрузки данных.

Собственно на выставке HPE вкратце рассказала о Gen-Z, а также напомнила об очередной пачке спецификаций, которые вышли в этом месяце. Впрочем, это пока всё дела дней грядущих. Пока что в том же TOP500 в качестве интерконнекта до сих пор в основном используется Ethernet (теперь уже 10-гигабитный): 207 машин. На втором месте находится InfiniBand, который установлен в 178 суперкомпьютерах. Зато можно немного порадоваться за Intel Omni-Path, которым оснащено 38 машин (год назад их было 8) — почти всё это свежие инсталляции. На своём стенде Intel демонстрировала любопытное решение компании Attala Systems — новую архитектуру для СХД. Если коротко, то суть её сводится к удалённому доступу к NVMe по сети, причём неважно какой (на стенде, конечно, показывали вариант с Omni-Path). Обработкой трафика занимаются выделенные FPGA — они установлены в хранилищах (упомянута модель DN2440-E) и в адаптерах для вычислительных узлов. На сайте компании, увы, ничего пока нет, так что вот вам пара фото их листовки.

На стенде РСК были показаны первые коммутаторы Intel OPA с жидкостным охлаждением. Ну и в целом компании дошли до стадии принятия неизбежного — СЖО теперь есть у всех. Кажется, последней из крупных игроков OEM-партнёрство с производителем жидкостного охлаждения анонсировала Dell. Теперь её решения PowerEdge 14-го поколения оснащаются системами CoolIT. Компания Asetek, в свою очередь, похвасталась тем, что теперь 9 суперкомпьютеров из списков TOP500 и Green500 охлаждаются их решениями. Да и вообще, СЖО, по словам самой компании, — это норма! Иммерсионных систем в этот раз почти не было. Как обычно свои «ванночки» привезли Allied Control из BitFury Group и Fujitsu. Из новых лиц на выставке была только Asperitas с продуктом AIC24. Внутри ванны, как ни странно, не популярная нынче жидкость 3M, а некое вазелиновое масло. Основная причина выбора именно такого теплоносителя — это его высокая доступность и низкая цена. Впрочем, в теплообменниках используется вода.

С другой стороны, прекрасно, если есть конкуренция. Правда, в плане вычислений тут пока всё не слишком хорошо. Альтернатив x86_64 (читай — Intel) в качестве основных CPU практически нет, а на ускорителях, которые, конечно, поспособствовали значительному прогрессу в области HPC, можно решать далеко не все задачи. Да, сейчас в TOP500 есть машины с китайскими процессорами SunWay, но они весьма специфичны, как их другие азиатские собратья PEZY. На платформе OpenPOWER базируется всего пара суперкомпьютеров. С ARM тоже не всё так просто. Cavium уже не первый год выпускает свои CPU, но только недавно ими заинтересовался достаточно крупный HPC-игрок Atos Bull. Да и то вычислительные узлы обещают продемонстрировать во втором квартале 2018 года. Applied Micro только весной показала первый сервер на базе новых CPU, а про чипы Phytium FT-2000/64 уже не первый год ходят слухи, что они якобы будут установлены в следующий китайский суперкомпьютер. С ускорителями NEC Aurora примерно та же история.

Ах, да, AMD! Почему такой заголовок у материала, догадаться нетрудно. Официальный анонс новых серверных процессоров EPYC и ускорителей Radeon Instinct произошёл как раз во время выставки, хотя на ISC 2017 он, честно говоря, особого интереса участников и посетителей не вызвал. Да и стенд самой компании был весьма и весьма скромен — всего три машины. Ну и ещё буквально несколько систем можно было найти на стендах других производителей, но и те были не укомплектованы или вовсе экспонировались с закрытыми крышками и без намёка на детальное описание. Так что всё было очень тихо и спокойно. Впрочем, заострять внимание на новинках AMD здесь не будем, потому что про них всё-всё рассказано в отдельном большом материале. Тем не менее, нельзя не отметить, что пока новая платформа AMD вызывает много вопросов, особенно в области того, что связано с HPC. Ну, ещё посмотрим, как оно выйдет.

На деле важны не все эти экзафлопсы, а то, что HPC-технологии становятся всё более доступными. То, что раньше могли себе позволить или очень крупные компании, или окологосударственные структуры, потихоньку становится обыденной составляющей любого бизнеса, потому что у этого самого бизнеса много, очень много данных, которые надо обрабатывать не только качественно, но и очень быстро. Это и новая аналитика, когда, к примеру, банки закупают микро-дата-центры для защиты от фрода в реальном времени. И новые инженерные решения, когда даже небольшие фирмы могут себе позволить заказать расчёты. А вот как и когда от всего этого поменяется наша жизнь — хотелось бы, в лучшую сторону — вопрос интересный.