24 февраля 2020 г.

Суперкомпьютер Oracle Raspberry Pi, крупнейший из известных кластеров Raspberry Pi, был награжден одним из 10 лучших проектов Raspberry Pi 2019 года от Tom's Hardware.

https://www.tomshardware.com/features/top-raspberry-pi-proje...

Вот его история.

Рождение идеи

В 2018 году небольшая группа энтузиастов предпродажной подготовки из Oracle Switzerland представила свой 12-узловой кластер Raspberry Pi на хакатоне Hackzurich. Кластер был собран в виде узла 3x4, имитирующего центр обработки данных Oracle Cloud с 3 доменами доступности. Он запускал полностью рабочий кластер Kubernetes поверх него и мог демонстрировать отказоустойчивость узла и домена доступности. Кластер оказался настоящим магнитом для людей. Яркие светодиоды, симпатичный кластер и неудовлетворенное любопытство «что он делает?»

Заложен фундамент суперкомпьютера Raspberry Pi.

Он становится большим

Вернувшись с хакатона, у нас в голове возникла идея портативной демонстрационной станции, которую мы можем использовать на конференциях и демонстрировать, что такое облачные технологии.

Мы не только сможем продемонстрировать простые сценарии аварийного переключения и поддержания работоспособности, но и с чем-то вроде Kubernetes или проекта Oracle Fn наверху, мы сможем создать множество автономных демонстраций, поместить их в каталог в Интернете и затем продемонстрировать в прямом эфире на конференции. Каталог также позволит нам легко подключаться к нему в течение года и в любой точке мира без необходимости иметь физический доступ к кластеру. И используя такой автономный программный стек, любое другое оборудование, использующее тот же стек, будь то кластер Raspberry Pi или нет, также сможет использовать те же самые демонстрации. Было ясно, что это открывает множество возможностей, но следующий вопрос заключался в том, насколько далеко мы зайдем.

https://kubernetes.io/

Сначала мы думали о построении модульного кластера из 128 узлов. Модульный в том смысле, что мы создадим 8 отдельных блоков кластеров с 16 узлами, которые затем можно было бы объединить в более крупные кластеры (8x16, 4x32, 2x64, 1x128).

Это дало бы нам несколько преимуществ, например, наличие нескольких кластеров, которые могут путешествовать по миру и одновременно присутствовать на разных конференциях. В случае, если нам потребуется больше вычислительной мощности или произойдет более крупное событие, когда мы захотим продемонстрировать больший кластер, мы могли бы легко сложить их до нужного размера. Для выделенных событий, таких как Oracle Code One, мы просто объединим их все в один большой кластер.

Как уже было сказано, сначала мы думали о 128 узлах, но проходя через это, мы спросили себя, кто еще делал что-то подобное раньше, и, что более важно, какой кластер сегодня самый большой? Поэтому мы сделали шаг назад, провели небольшое исследование и вскоре обнаружили, что в наши дни 128 узлов больше не представляют собой ничего особенного.

Например, был The Beast v2, 144-узловой кластер Raspberry Pi, который был разработан как демонстрационная установка для balena.io. Мы также обнаружили эксперимент с облачным кластером Bolzano Raspberry Pi, который представлял 300-узловой кластер Raspberry Pi.

https://www.balena.io/blog/the-evolution-of-the-beast-contin...

https://kubernetes.io/

https://www.anandtech.com/show/12037/cheap-supercomputers-la...

Самый большой кластер Raspberry Pi, который мы смогли найти, был создан отделом высокопроизводительных вычислений Лос-Аламосской национальной лаборатории с стремительно развивающимся кластером Raspberry Pi на 750 узлов. При этом у нас была четкая цель: что бы мы ни делали, оно должно выходить за пределы 750 узлов. Поскольку мы были гиками, мы знали, что следующим логическим числом будет 1024, и поэтому мы начали создавать кластер Raspberry Pi с 1024 узлами.

Строительство суперкомпьютера

Когда мы начали строительство модульного кластера с 1024 узлами, мы вскоре поняли, что наши планы не обязательно сработают в срок, который мы имели в виду: Oracle Code One 2019.

Создание модульного кластера добавило значительных усилий и времени, которого было слишком мало, чтобы завершить вовремя для Code One 2019. Учитывая, что нам не нужен модульный аспект кластера для конференции, поскольку мы все равно хотели иметь один большой кластер для Code One, мы приостановили эту идею и решили пойти на одну-единственную синюю коробку. Внутри вы найдете:

Стеллажи высотой 5 x 2 метра

1 сервер Supermicro 1U Xeon

18 USB-блоков питания

22 сетевых коммутатора

49 держателей Raspberry Pi, напечатанных на 3D-принтере

1060 Raspberry Pi

Подождите, 1060 Raspberry Pi? Да! Как оказалось, 1024 Raspberry Pi были отличной идеей, но, собрав стойку, мы обнаружили, что внутри у нас все еще есть место. Что же делать? Зря тратить место или заполнить стойку дополнительными Raspberry Pi? Что ж, мы выбрали последнее, и поэтому наш кластер Raspberry Pi с 1024 узлами стал кластером Raspberry Pi с 1060 узлами.

Затем мы начали искать необходимые компоненты. 1060 Raspberry Pi - это довольно много.

Любую операцию, которую вам нужно выполнить, будь то подключение сетевого кабеля или установка винта, вам придется проделать это как минимум 1060 раз. Добавьте к этому 1060 SD-карт, и вы потратите немало времени на прошивку этих карт, не говоря уже о подключении их к каждой Raspberry Pi и, возможно, установке на них дополнительного программного обеспечения.

Поэтому вместо того, чтобы покупать 1060 SD-карт, мы решили загружать их все по сети с одного центрального сервера (сервера Supermicro 1U Xeon). Загрузка по сети позволила нам установить и настроить программное обеспечение только один раз, и если какие-либо изменения должны произойти, они также произойдут только один раз. Поскольку мы были Oracle, для нас было естественным загрузить Oracle Linux для ARM вместо Raspbian по умолчанию.

https://blogs.oracle.com/linux/announcing-oracle-linux-7-for...

На Oracle Code One 2019

Нам удалось создать и продемонстрировать кластер на Oracle Code One 2019.

Мы выбрали увлекательную демонстрацию, созданную с использованием Java, которая не только показывала использование кластера на большом экране, но и искажала картину конференции.

Участники могли отправлять сообщения в кластер, чтобы освободить это изображение. Как только сообщение было получено, случайный узел отправлялся дальше и освобождал часть изображения в реальном времени. Задача заключалась в том, чтобы как можно быстрее отправить как можно больше сообщений, чтобы прояснить всю картину. Таким образом, участники могли не только получить удовольствие от аппаратной инженерии, которая здесь работает, но и весело взаимодействовать с кластером. Демонстрация также побудила участников использовать подход краудсорсинга и работать вместе, что косвенно помогло им пообщаться с другими участниками.

Как только картина прояснялась, мы ставили новую и начинали все сначала. Это, безусловно, привлекло внимание людей, не только посетителей Code One, но и социальных сетей, а также таких людей, как ServeTheHome и Tom's Hardware.

https://www.servethehome.com/oracle-shows-1060-raspberry-pi-...

https://www.tomshardware.com/news/oracle-raspberry-pi-superc...

Благодарим вас всех!

За пределами Oracle Code One 2019

После завершения Oracle Code One 2019 мы вернулись к списку идей. Было еще много выдающихся вещей, о которых мы думали, но пока не удосужились. Но какой из них заняться в первую очередь? Что ж, иметь один большой кластер было круто, но нам очень, очень понравилась идея иметь более мелкие кластеры, которые могли бы путешествовать по миру в одно и то же время.

Итак, для следующей цели мы решили пойти на мини-кластеры. И как лучше всего что-нибудь сделать? Установив крайний срок, который для этого проекта мы установили для Open World London 2020, который произошел всего две недели назад.

И вот, мы представляем вам мини-кластер Raspberry Pi на 84 узла:

На этот раз мы решили помочь поиску внеземного разума (SETI) с нашим кластером через проект SETI@Home. И снова наш кластер имел большой успех и привлек внимание всего мира, несмотря на то, что он был меньше своего старшего брата.

https://seti.org/

Дорога впереди

Так что же впереди? На доске все еще есть много идей, которыми мы займемся в обозримом будущем. Одна из наших целей по-прежнему состоит в том, чтобы сделать эти кластеры Raspberry Pi полностью облачными и использовать на них такие технологии, как Kubernetes и Fn Project. Нам также по-прежнему нравится идея иметь демонстрационный каталог, который может использоваться любым кластером в любой точке мира, на каком бы мероприятии он ни присутствовал в настоящее время. И, конечно же, мы еще не отказались от идеи сделать эти кластеры модульными. Но тем временем у нас появились и новые идеи.

Один из них - сделать (большой) кластер сердцем и центром для опыта Oracle Code One с поддержкой IoT и позволить ему захватывать и обрабатывать множество различных показаний датчиков события в реальном времени с помощью Oracle Cloud.

Пока не решено, какой из этих идей мы займемся следующей. Но уже ясно одно: дорога еще впереди, и мы с нетерпением ждем ее ...

https://youtu.be/KbVcRQQ9PNw

Оригинал: Using your Linux box for volunteer computing

Автор:Peter Enseleit

Дата: 31 марта 2008

Перевод: Александр Тарасов aka oioki

Дата перевода: 3 апреля 2008

Любой из нас может помочь человечеству в решении глобальных проблем, таких как слежение за болезнями и прогнозирование погоды, просто задействуя свои компьютеры в решении сложных вычислительных задач. Концепция, известная под названием добровольные вычисления, помогает по всему миру университетам и исследовательским институтам, создающим проекты с зачастую гуманитарными целями, такими как прогнозирование и контроль распространения малярии в Африке.

Чтобы принять участие в этом добром деле, нужно скачать и установить клиентское программное обеспечение, которое будет время от времени подгружать новые вычислительные задания для вашего компьютера, который вне всякого сомнения иногда простаивает без дела. После завершения задания, компьютер отсылает результат на центральные компьютеры проекта, где он становится частицей решения одной большой вычислительной задачи. Задействуя компьютеры по всему миру, такие проекты получают гигантскую вычислительную мощь, которая иначе не была бы доступна. Таким образом, решения будут найдены быстрее, и проект быстрее достигнет своих целей. Такая форма распределенных вычислений стала популярной благодаря проектам SETI@home и Folding@home, на данный момент для участия открыто огромное количество проектов. Задачи их разнятся от поиска лекарств от болезней до рендеринга трехмерной анимации. Давайте посмотрим, как можно поучаствовать в таких добровольных проектах, если у вас установлена ОС Linux.

BOINC

Berkeley Open Infrastructure for Network Computing (BOINC) - это полноценная платформа для распределенных вычислений, которая включает как продвинутое клиентское ПО, позволяющее пользователям участвовать в добровольных вычислениях, так и серверную часть для организации таких проектов. Таким образом, любой может организовать свой проект, лишь бы были навыки администрирования Linux и целеустремленность. Довольно много добровольных вычислительных проектов по всему миру основаны на платформе BOINC. В их числе и World Community Grid. Список всех доступных BOINC-проектов и проектов World Community Grid настолько велик, что удовлетворит запросы любого человека, желающего задействовать свой компьютер в каких-либо благих целях.

Для запуска BOINC-клиента необходимо как минимум процессор Pentium 500 МГц, 64 Мб оперативной памяти и 50 Мб места на диске. BOINC-клиент доступен для скачивания из репозиториев Linux, таких как Gentoo, Fedora, Debian и Ubuntu. В Debian и Ubuntu для установки можно воспользоваться либо графической утилитой Synaptic, либо установить пакеты из командной строки:

sudo apt-get install boinc-client boinc-manager

Эта команда установит BOINC-клиент как службу, которая будет работать в фоновом режиме. Если в вашем репозитории нет BOINC-клиента, можно скачать его с веб-сайта проекта BOINC; для установки следуйте инструкциям в Release notes.

Если у вас Ubuntu, то свежеустановленный BOINC-менеджер можно запустить из меню Applications -> Accessories -> BOINC Manager. В отличие от версий BOINC-клиента для Windows и Mac, Linux-версия поставляется без хранителя экрана. Вся работа проделывается молча и ненавязчиво, в фоновом режиме, независимо от вашего хранителя экрана.

Присоединиться к проекту можно прямо из BOINC-менеджера. Выберите пункт меню Advanced View -> Advanced -> Attach to Project. Введите URL-адрес проекта, к которому хотите присоединиться, свой email-адрес и пароль. Если не возникнет проблем, вы присоединитесь к проекту. Произойдет загрузка первого задания от проекта, и ваш BOINC-клиент начнет его обработку.

Настройте, какую долю вычислительных ресурсов вашего компьютера будет использовать BOINC. Это делается в BOINC-менеджере в диалоговом окне Preferences. Можно ограничить количество часов работы клиента, установить какую долю процессорного времени занимать вычислениями, ограничить использование места на диске, оперативной памяти и сетевого трафика.

Чтобы задействовать ресурсы своего компьютера сразу в нескольких проектах, нужно воспользоваться менеджером аккаунтов. На данный момент их два: это BOINC Account Manager и GridRepublic. Менеджер аккаунтов - это веб-сайт, позволяющий настраивать BOINC-клиент, выбирать в каких проектах участвовать и просматривать статистику по работе, выполненной вашими клиентами. Также можно настроить так, чтобы один аккаунт использовался на нескольких компьютерах, причем у каждого будут свои настройки по ограничению на количество используемых ресурсов и время работы.

После установки менеджера аккаунтов нужно настроить локальный BOINC-менеджер на соединение с ним. После установки соединения BOINC-клиент на вашем компьютере заберет настройки, указанные в менеджере аккаунтов и будет работать уже согласно им. Эта схема удобна, когда вы установили BOINC-клиенты как на рабочем, так и на домашнем компьютере - ведь таким образом получается некий центр управления ресурсами.

Я настроил свой BOINC-клиент так, чтобы он начинал работать спустя три минуты бездействия, так что он совсем не будет мешать моей работе с компьютером. Даже после того, как он начинает свою работу, я все еще могу с комфортом пользоваться OpenOffice.org Writer и GIMP, путешествовать по интернету и слушать музыку. Когда нагрузка процессора и потребление памяти достигает определенной границы, BOINC-клиент переходит в спящий режим до тех пор, пока снова не встретится трехминутная пауза.

Folding@home

Клиент Folding@home для Linux - это консольное приложение, у которого нет какого-либо пользовательского интерфейса или хранителя экрана, в отличие от версий для Windows и Mac. Он способен обрабатывать задания лишь от одного проекта, целью которого является "понимание процессов сворачивания белка и связанных с этим заболеваний". Установка клиента включает в себя загрузку исполняемого файла, выставление права на выполнение и запуск. Вики проекта Folding@home содержит исчерпывающие указания.

При первом запуске клиента вам зададут несколько конфигурационных вопросов, включая и то, сколько памяти следует использовать и с каким приоритетом запускать процесс вычисления. Затем как и в BOINC, произойдет загрузка первого задания и начнется его выполнение, т.е. вычисление.

Клиент Folding@home не столь гибок в настройке, как BOINC-клиент. На моей машине он работает постоянно, вне зависимости от нагрузки процессора в каждый момент времени. При запуске моего "тяжелого" процесса клиент не переходит в спящий режим. Но в любом случае, выполнении таких повседневных задач, как работа с текстами, путешествия по интернету и прослушивание музыки мало требовательны к ресурсам компьютера, так что такую легкую агрессию со стороны клиента Folding@home можно и перетерпеть.

distributed.net

Клиент distributed.net для Linux - также консольное приложение. Он используется лишь в двух проектах: поиск оптимальных линеек Голомба (хотите узнать подробности, добро пожаловать на страницу проекта) и взлом алгоритма шифрования RC5-72.

При первом запуске клиента вам будет предложено изменить конфигурацию. Здесь надо будет ввести свой email, который будет ассоциировать вас с проектом, определить режим работы при использовании батарей (если у вас ноутбук), заполнить список приложений, которые должны блокировать работу клиента, установить приоритет вычислительного процесса, выбрать количество задействованных процессоров и нагрузку сети.

В соответствии с показаниями моего системного монитора, клиент distributed.net полностью использует ресурсы моего процессора. Он нагружает оба ядра моего процессора и не уходит в спящий режим при запуске приложений. Но удивительно, хотя системный монитор и показывает загрузку процессора 95-100%, но заметного ухудшения производительности не наблюдается - я спокойно использую обычные приложения. Однако будем объективными - под такой нагрузкой Baobab (анализатор свободного места на диске) затрачивает больше времени на сканирование моей файловой системы, чем обычно.

Вопросы безопасности

Фактически добровольные вычисления дают внешним приложениям доступ к ресурсам вашего компьютера, поэтому есть смысл задуматься о безопасности. Организаторы проекта Folding@home заверяют своих пользователей в том, что прилагают все усилия для обеспечения безопасности. Среди них есть и 2,048-битная цифровая подпись на все данные, которые поступают и исходят от вашего компьютера. С другой стороны, организаторы distributed.net открыто заявляют, что их клиенты одно время были использованы злоумышленниками для распространения троянских программ. На странице безопасности BOINC упомянуты опасности, которые подстерегают компьютер добровольного участника вычислений. Компания борется с каждой из них, для борьбы против вирусов используется шифрование с открытым ключом. В любом случае, организаторы проекта BOINC заявляют, что "участники должны понимать, что участвуя в проектах BOINC, они подвергают свои компьютеры угрозе". Очевидно, есть смысл самому поискать информацию о проекте, в котором вы хотите поучаствовать, а также о соответствующих клиентах.

Заключение

Можно найти больше информации по добровольным вычислениям на сайте GridCafe. Там же проводятся дискуссии по поводу других форм распределенных вычислений, в том числе и коммерческих.

Все описанные в статье клиенты позволяют участвовать в добровольных вычислениях, имея машину с установленной ОС Linux. Клиент Folding@Home задействует ваш компьютер в благородных целях, а именно в разработке лекарства от болезней, связанных с белками.

Среди всех клиентов, описанных здесь, он является наименее конфигурируемым, но на моем компьютере он честно выполняет свою работу и при этом оказывает наименьшее влияние на мою работу. Клиент distributed.net делает упор на решение математических задач. Я указал ему, что требуется задействовать оба ядра, и были задействованы оба, причем на полную мощность. Однако это не помешало мне работать с обычными настольными приложениями. В легкости установки и использования несомненным победителем выходит BOINC-клиент. Его доступность во многих репозиториях пакетов означает, что можно установить его с минимальными затратами времени и сил. Платформа BOINC предоставляет простой пользовательский интерфейс с гибкими настройками, касающимися использования вычислительных ресурсов. Наконец, любой человек может сделать свой выбор из огромного числа проектов, основанных на этой платформе, и начать таким образом содействовать решению мировых научных проблем.

Астрономы, работающие на Очень Большом телескопе (VLT) Европейской Южной обсерватории (ESO) получили самые чёткие и детальные на сегодняшний день изображения астероида Клеопатра, примечательного своими необычными очертаниями – формой тело напоминает собачью косточку. Их наблюдения позволили двум командам учёных с беспрецедентной точностью определить массу и форму астероида, а также узнать больше об истории образования «косточки» и двух её спутников.

https://www.eso.org/public/teles-instr/paranal-observatory/v...

Новые изображения Клеопатры позволили построить наиболее точную на сегодняшний день трёхмерную модель астероида. Такое качество обеспечивает технология адаптивной оптики, используемая на ESO VLT.

Credit: ESO

https://www.eso.org/public/russia/teles-instr/technology/ada...

Орбита Клеопатры лежит в поясе астероидов между Марсом и Юпитером. Около 20 лет назад радарные наблюдения открыли учёным любопытную форму астероида, а в 2008 году стало известно, что вокруг него обращаются два спутника, которых назвали в честь детей египетской царицы — Алекс-Гелиос и Клео-Селена.

«Клеопатра – поистине уникальный объект в Солнечной системе», – говорит Франк Марши, астроном из Института SETI в Маунтин Вью, США, а также сотрудник Астрофизической лаборатории в Марселе, Франция. Под руководством Франка проводилось исследование астероида, которое сегодня публикуется в журнале «Astronomy & Astrophysics». «В науке часто бывает, что изучение странных исключений из правил приводит к значительному прогрессу. Я думаю, с Клеопатрой дело обстоит именно так. Изучение этой сложной кратной системы астероидов может помочь нам узнать больше о Солнечной системе в целом».

Новые снимки были получены в разное время между 2017 и 2019 гг. спектрополяриметром для высококонтрастных исследований экзопланет SPHERE, смонтированным на телескопе ESO VLT. Марши и команда использовали эти данные – а благодаря вращению астероида они содержали наблюдения под разными углами – для построения наиболее точной на сегодняшний день трёхмерной модели Клеопатры. Это позволило им вывести ограничения на форму и объём «косточки»: оказалось, что один из округлых её концов больше другого, а её длина составляет примерно 270 километров.

https://www.eso.org/public/russia/teles-instr/paranal-observ...

Другая команда учёных при помощи приёмника SPHERE смогла точнее определить орбиты двух спутников астероида. В своей работе, тоже публикуемой в журнале «Astronomy & Astrophysics», группа под руководством Мирослава Брожа из Карлова университета в Праге показала, что истинные положения «лун» не сходятся с вычисленными на основании предыдущих оценок.

«С этим вопросом надо было разобраться», – говорит Брож. «Ведь если орбиты спутников определены неверно, то неверно и всё остальное, в том числе и масса Клеопатры». И правда, после уточнения орбит при помощи моделирования учёные сделали вывод, что масса астероида на 35% ниже, чем думали ранее.

Объединив новые оценки объёма и массы, исследователи вычислили новое значение плотности астероида. Она оказалась менее половины плотности железа и ниже, чем считалось прежде (3,4 г/см3 против прежних 4,5 г/см3). Это навело астрономов на мысль о пористой структуре астероида, что, вероятно, указывает на его формирование посредством повторной аккумуляции материала после сильнейшего столкновения.

Наконец, полученная информация дала учёным возможность заглянуть в прошлое спутников Клеопатры. По мнению Марши и его коллег, когда-то Алекс-Гелиос и Клео-Селена образовались из обломков астероида – его пористая структура и почти критическая скорость вращения означают, что даже относительно слабого удара могло быть достаточно, чтобы отломать мелкие фрагменты от его поверхности.

Клеопатра, несомненно, заслуживает дальнейшего изучения, и Марши планирует использовать для этого строящийся Чрезвычайно Большой телескоп ESO (ELT): «Я с огромным нетерпением жду возможности направить ELT на Клеопатру, чтобы поискать вокруг неё новые спутники и определить их орбиты».

https://elt.eso.org/

Первое исследование опубликовано под названием «(216) Kleopatra, a low density critically rotating M-type asteroid».

Второе исследование опубликовано под названием «An advanced multipole model for (216) Kleopatra triple system»

Источник: ESO

Обзор

В наблюдаемой Вселенной около двух триллионов галактик, и эволюция каждой из них чувствительна к присутствию всех остальных. Можем ли мы поместить все это в компьютер или даже мобильный телефон, чтобы смоделировать эволюцию Вселенной? В недавней статье мы представили идеально параллельный алгоритм для космологического моделирования, которое решает этот вопрос.

Современная космология полагается на очень большие наборы данных для определения содержания нашей Вселенной, в частности, количество темной материи и темной энергии. Эти большие наборы данных включают координаты и электромагнитные спектры очень далеких галактик, до 20 миллиардов световых лет от нас. В следующем десятилетии миссия Евклида и Обсерватория Веры Рубина, в частности, получит информацию о нескольких миллиардах галактик.

Физические проблемы

Установление связи между нашими знаниями физики, например, уравнениями, которые управляют эволюцией темной материи и темной энергией, и астрономические наблюдения требуют значительных вычислительных ресурсов.

Действительно, самые последние наблюдения охватывают огромные объемы: порядка куба со стороной 12 миллиардов световых лет. Поскольку типичное расстояние между двумя галактиками составляет всего несколько миллионов световых лет, мы должны смоделировать около триллиона галактик, чтобы воспроизвести наблюдения.

Кроме того, чтобы проследить физику образования этих галактик, пространственное разрешение должно быть порядка десяти световых лет. Поэтому, в идеале моделирование должно иметь коэффициент масштабирования (то есть соотношение между наибольшим и наименьшим физическим длины проблемы) близко к миллиарду. Ни один существующий или даже строящийся компьютер не может достичь такой цели.

Поэтому на практике необходимо использовать приближенные приемы, заключающиеся в «заселении» крупномасштабных структур Вселенной с жуткими (но реалистичными) галактиками. Это приближение дополнительно подтверждается тем фактом, что эволюция галактик компоненты, например звезды и межзвездный газ, связаны с очень быстрыми явлениями по сравнению с глобальной эволюцией космоса.

Использование `` ярких и сложных галактик '' по-прежнему требует моделирования динамики Вселенной с масштабным соотношением около 4000, что вполне возможно с современными суперкомпьютерами.

Проблема вычислительных пределов

Моделирование гравитационной динамики Вселенной - это то, что физики называют N-тело проблема. Хотя уравнения должны быть решаемыми являются аналитическими, поскольку в большинстве случаев в физике решения не имеют простых выражений и требуют численных методов. Прямое численное решение состоит в явном вычислении взаимодействий между всеми парами тел, также называемые «частицами». Вычисление сил прямым суммированием было предпочтительным методом в космологии в начале развития численного моделирования, в 1970-е годы. В настоящее время он в основном используется для моделирования звездных скоплений и центров галактик. Количество частиц, используемых в моделировании «прямого суммирования», представлено зелеными точками на рис. 1, где ось - N имеет логарифмический масштаб.

Рисунок 1: Эволюция количества частиц, используемых в N- моделировании тела в зависимости от года публикации. Разные символы и цвета соответствуют различным методам, используемым для вычисления гравитационной динамики (прямое суммирование зеленым цветом, продвинутые алгоритмы оранжевым цветом). Для сравнения, закон Мура о производительности компьютера представлен черной пунктирной линией.

Числовая стоимость метода прямого суммирования увеличивается как, количество рассматриваемых пар частиц. По этой причине, несмотря на улучшения, предоставляемые аппаратными ускорителями, такими как графические процессоры (GPU), количество частиц, используемых с этим методом, не может расти так быстро, как в знаменитом «Законе Мура», который предсказывает удвоение производительность компьютерного оборудования каждые 18 месяцев. Закон Мура проверялся около четырех десятилетий (1965-2005 гг.), Но как традиционные аппаратные архитектуры достигли своего физического предела, производительность отдельных вычислительных ядер достигла плато около 2015 г. (см. рис. 2). Следовательно, космологическое моделирование не может просто полагаться на то, что процессоры становятся быстрее, чтобы сократить время вычислений.

Рисунок 2: Однопоточная производительность ЦП как функция времени. Различные товарные знаки и модели представлены разными цветами и символами, как указано в подписи. Этот график основан на скорректированных результатах SPECfp®.

Чтобы снизить стоимость моделирования, большая часть работы в области численной космологии с 1980 г. заключалась в улучшении алгоритмов. Цель состояла в том, чтобы обойти явный расчет всех гравитационных взаимодействий между частицами, особенно для пары, которые являются наиболее удаленными в моделируемом объеме. Эти алгоритмические разработки позволили значительно увеличить в количестве частиц, используемых в космологическом моделировании (см. оранжевые треугольники на рисунке 1). Фактически, с 1990 г. вычислительные мощности в космологии увеличивались быстрее, чем закон Мура, а усовершенствования программного обеспечения добавляли увеличение производительности компьютера (подробнее в этом сообщении в блоге).

В 2020 году с архитектурой современных суперкомпьютеров вычисления больше не ограничиваются количеством операций, которые процессоры могут обработать в заданное время, но из-за присущих им задержек при обмене данными между различными процессорами участвуют в так называемых «параллельных» расчетах. В этих вычислительных методах большое количество процессоров работают вместе, синхронно для выполнения вычислений, слишком сложных для выполнения на обычном компьютере.

https://florent-leclercq.eu/blog.php?page=2

Застой производительности из-за задержек связи теоретизировались в «законе Амдала» (см. рис. 3), названном в честь ученого, который сформулировал ее в 1967 году. Теперь это главная проблема космологического моделирования: без повышения «степени параллелизма »наших алгоритмов, мы скоро выйдем на технологическое плато.

Рисунок 3: Закон Амдала: теоретическое ускорение выполнения программы в зависимости, от количества процессоров выполняющего его, для разных значений параллельной части программы (разные строки). Ускорение ограничено программой. Например, если 90% программы можно распараллелить, теоретический максимальный коэффициент ускорения с использованием большого количества процессоров будет 10.

Подход sCOLA: разделяй и властвуй

Вернемся к решаемой физической проблеме: речь идет о моделировании гравитационной динамики Вселенной на разные масштабы. В «малых» масштабах есть много объектов, которые взаимодействуют друг с другом: требуется численное моделирование. Но в «больших» пространственных масштабах, то есть если мы посмотрим на рисунок 4 очень издалека, в ходе эволюции происходит немногое (за исключением линейного увеличение амплитуды неоднородностей). Несмотря на это, при использовании традиционных алгоритмов моделирования гравитационный эффект всех частиц друг на друга должны быть рассчитаны, даже если они очень далеко друг от друга. Это дорого и практически бесполезно, так как большая часть гравитационной эволюции правильно описывается простыми уравнениями, которые можно решить практически без компьютера.

Рисунок 4: Сравнение между традиционным моделированием (левая панель) и симуляцией с использованием нашего нового алгоритма (правая панель). Согласно нашему подходу, объем моделирования представляет собой мозаику из «плиток», вычисляемых независимо, чьи края представлены пунктирными линиями. Чтобы свести к минимуму ненужные численные вычисления, можно использовать гибридный алгоритм моделирования.

Основная идея, называемая пространственным сопутствующим лагранжевым ускорением (sCOLA), заключается, в физике: это «смена системы координат». В этом контексте крупномасштабной динамики учитывается новая система отсчета, в то время как мелкомасштабная динамика решается численно на компьютере с использованием обычных расчетов гравитации.

К сожалению, самая первая версия алгоритма sCOLA дает результаты, которые слишком приблизительны, чтобы быть годными к употреблению. В нашей последней публикации мы изменили sCOLA, чтобы повысить ее точность.

Кроме того, мы осознали, что эта концепция позволяет «разделять и властвовать».

Действительно, учитывая большой объем моделированния, sCOLA позволяет моделировать под томы меньшего размера независимо, без связи с соседними под томами. Таким образом, наш подход позволяет представить Вселенную в виде большой мозаики: каждый из «Плитки» на рис. 4 - это небольшая симуляция, которую может решить скромный компьютер, и сборка всех плиток дает общую картину.

Это то, что в информатике называется «идеально параллельным» алгоритмом, в отличие от всех алгоритмов космологического моделирования до сих пор существовавших. Благодаря ему мы смогли получить космологическое моделирование с удовлетворительным разрешением, оставаясь при этом на относительно скромной вычислительной базе (рис. 5).

Наш идеально параллельный алгоритм sCOLA был реализован в общедоступном коде Simbelmynë, куда он включен в версии 0.4.0 и новее.

Рис. 5. Компьютер на базе графического процессора в Парижском институте астрофизики. Его стоимость составляет лишь сотую часть стоимости суперкомпьютера на мобильных вычислительных мощностях.

Новое оборудование для моделирования Вселенной

Этот новый алгоритм не ограничивается использованием в небольших вычислительных мощностях, но позволяет предусмотреть новые способы использования вычислительного оборудования. В идеале каждая из «плиток» может быть достаточно маленькой, чтобы помещаться в «кэш-память» наших компьютеров, то есть часть памяти, к которой процессоры могут получить доступ за наименьшее время. В результате скорость связи увеличивается, что позволит нам очень быстро смоделировать весь объем Вселенной или даже с разрешением, которого до сих пор не было достигнуто.

Идя дальше, мы можем даже представить, что каждая из имитаций, соответствующих «плитке», будет достаточно маленькой, чтобы ее можно было использовать на современном мобильном телефоне!

Этот метод распараллеливания будет основан на такой платформе, как Cosmology@Home, который посвящен распределенным совместным вычислениям. Эта платформа основана на усилиях, инициированных SETI@Home для поиска внеземного разума.

Хотите принять участие в распределенных вычислениях, тогда, Вам сюда:

https://boinc.ru

https://www.euclid-ec.org/

https://www.lsst.org/

http://spec.org/

https://arxiv.org/abs/1502.07751

http://simbelmyne.florent-leclercq.eu/

https://www.cosmologyathome.org/

https://setiathome.berkeley.edu/

Веками земляне обращали взор на небеса и размышляли о жизни среди звёзд. Но разве мы не можем предположить, что пока мы искали инопланетян, они следили за нами в ответ?

В новом исследовании астрономы составили список ближайших звёздных систем, любопытные обитатели которых могли бы «открыть» жизнь на Земле.

Ученые определили звёздные системы, из которых инопланетные астрономы могли открыть Землю за последние 5000 лет, наблюдая, как она «проходит» на фоне поверхности Солнца. Credit: OpenSpace/American Museum of Natural History

В перечень вошли 1715 систем, из которых инопланетные учёные имели бы возможность в течение последних пяти тысячелетий обнаружить нашу планету, увидев, как она проплывает на фоне солнечного диска. Из них 46 находятся достаточно близко, чтобы местные радары могли принять радио- и телепередачи, начавшиеся около 100 лет назад.

Авторы предполагают, что всего есть 29 потенциально обитаемых планет, жители которых могли бы наблюдать транзит Земли и подслушать наши радиосигналы. Таким образом, они могли бы предположить наличие на третьей планете Солнечной системы разумной жизни.

«Один из способов обнаружить планету – заметить, как она закрывает часть света своей звезды, – говорит Лиза Калтенеггер, профессор астрономии и директор Института Карла Сагана в Корнелльском университете. – Мы задались вопросом: «Для кого бы мы были пришельцами, если бы кто-то за нами наблюдал?». В небе есть крошечная полоса, которая представляет собой такое себе космическое место в первом ряду для всех, кто хочет посмотреть на транзит Земли».

Из всех планет за пределами Солнечной системы, обнаруженных человечеством – а их более 4 тысяч – приблизительно 70% открыты при помощи транзитного метода. Однако технологии не стоят на месте: так, недавнее исследование показало, что наличие планет вокруг звезды можно попытаться определить по её составу.

В своей работе авторы опирались на набор данных о звёздах Gaia, составленный Европейским космическим агентством. В нём они нашли 2034 звёздные системы в пределах 100 парсеков (326 световых лет), из которых был бы виден проход Земли через диск нашего светила в период с 5000 лет назад – момента зарождения земных цивилизаций – до 5000 лет в будущем.

Из них 75 находятся на расстоянии до 100 световых лет от Земли, что открывает для них возможность перехватить радиоволны, щедро посылаемые человечеством во все стороны Вселенной с начала XX века. Именно вокруг этих звёзд обращаются упомянутые 29 потенциально обитаемых планет, население которых, если оно есть, возможно, давно знает о нашем существовании.

Одна звезда, известная как Росс 128, красный карлик в созвездии Девы, находится примерно в 11 световых годах от нас. Любой надлежащим образом «вооружённый» житель её планеты, которая почти вдвое больше нашей, мог наблюдать транзит Земли на протяжении более чем 2000 лет – с 900 года до нашей эры до приблизительно 900 лет назад, когда звезда сместилась с точки обзора.

Немного дальше, на расстоянии в 12.5 световых лет от Земли, находится звезда Тигардена. На её орбите находятся две пригодные для жизни планеты – Teegarden b и Teegarden c. Если на них есть кто живой, то он сможет увидеть Землю на фоне Солнца через 29 лет.

Наконец, нашумевшая система Trappist тоже находится достаточно близко, чтобы слышать наши передачи: 45 световых лет – но потенциальным обитателям четырёх планет, которые находятся в зоне Златовласки вокруг её звезды Trappist-1, придётся ждать ещё 1642 года, чтобы посмотреть на наш космический дом.

По чистой случайности (или нет?), статья была опубликована точь-в-точь перед ожидаемой датой передачи Конгрессу США отчёта об НЛО из Пентагона. В то время как некоторые уже готовят шапочки из фольги и заклеивают веб-камеры, большинство как любителей, так и экспертов считает, что никаких ужасающих тайн документ не откроет. (Однако если это так, то почему правительство так упорно откладывало публикацию…?)

Профессор Бет Биллер в Эдинбургском институте астрономии, которая не принимала участия в исследовании, считает, что работа может изменить подход учёных к SETI, программе поиска внеземной жизни. «Меня поразило настолько малое количество звёзд, с которых был бы виден транзит Земли» – прокомментировала она статью.

«Обнаружение планеты транзитным методом требует чрезвычайно точного совпадения траекторий планеты и её звезды, так что результат меня не удивил. Теперь мне интересно, какая часть звёзд в каталоге Gaia расположена таким образом, чтобы с них можно было обнаружить Землю другими способами, например методом Допплера или с помощью прямого наблюдения!».

Источник: The Guardian

В 1964 году советский астрофизик Николай Кардашев предложил разделить все цивилизации на три класса в зависимости от того, сколько энергии им требуется: вся энергия планеты, звезды или галактики.

https://ria.ru/20200710/1574134495.html

Фримен Дайсон предложил идею искусственной конструкции вокруг звезды, преобразующей ее энергию. Построить такую под силу только технологически очень развитой цивилизации. Сфера Дайсона поглощает излучение, нагревается и сама излучает в инфракрасном диапазоне. Поэтому ее можно обнаружить в Галактике.

Но что, если прогресс зависит не от количества затрачиваемой энергии? На это намекает и история человечества. Исчерпаемость запасов ископаемого топлива заставила задуматься над энергосбережением, поисками альтернативных источников. На наших глазах произошла настоящая "зеленая революция". Теперь мы изобретаем технологии, которые бы не вредили природе, думаем, как залечить раны, нанесенные предыдущими поколениями.

Раньше люди преобразовывали под себя планету, теперь они хотят модифицировать себя, чтобы слиться с ней. Исходя из этих соображений, ученые из Германии, Италии и Чили разделили внеземные цивилизации по степени их интеграции с природой.

Сейчас мы на первом уровне, все еще активно преобразуем природу. На следующем станем преобразовывать себя, в том числе с помощью генной инженерии. Высший уровень — цивилизация сливается с природой, конвертируя мертвую материю Вселенной в разумную.

Но что, если прогресс зависит не от количества затрачиваемой энергии? На это намекает и история человечества. Исчерпаемость запасов ископаемого топлива заставила задуматься над энергосбережением, поисками альтернативных источников.

На наших глазах произошла настоящая "зеленая революция". Теперь мы изобретаем технологии, которые бы не вредили природе, думаем, как залечить раны, нанесенные предыдущими поколениями.

Раньше люди преобразовывали под себя планету, теперь они хотят модифицировать себя, чтобы слиться с ней. Исходя из этих соображений, ученые из Германии, Италии и Чили разделили внеземные цивилизации по степени их интеграции с природой. Сейчас мы на первом уровне, все еще активно преобразуем природу. На следующем станем преобразовывать себя, в том числе с помощью генной инженерии. Высший уровень — цивилизация сливается с природой, конвертируя мертвую материю Вселенной в разумную.

V. D. Ivanov/2020

Комбинация классификации Кардашева (римские цифры справа) и новой классификации (арабские сверху), в которой цивилизации разделены по степени интеграции с природой

IT-галактика - это что-то придуманное Александром Некрасовым и Робертом Ибатуллиным в "Роза и червь"?

Ну а пан-галактические цивилизации-невидимки это либо берсеркеры либо мир вечной галактической войны?

По-сути "степень слияния с природой" можно интерпретировать и иначе. Насколько цивилизация ПРЯЧЕТСЯ от остальных цивилизаций.

Такой подход лучше.

ПриродноНЕслитые цивилизации - это ЛЮБАЯ цивилизация, только-только совершившая некий цивилизационный скачек-ароморфоз.

Скажем, когда люди стали охотниками (они ведь миллионы лет были падальщиками в Африке, и только выйдя на просторы Евразии они дорвались до массовой загонной охоты) они устроили экокатастрофу. И, кстати, оставили после себя свои "сферы Дайсона". Меголиты (многие на дне поднявшегося океана):

Мертвые останки былой роскоши.

Все такие охотничьи цивилизации (например в Северной Африке где сейчас пустыня) вымерли-исчезли. Распались. Нет таких на планете больше.

Но вот некоторые забились по углам и дожили до наших дней. Аборигены Австралии, например быстро сделали вывод и стали экомезоцивилизацией. Слились с природой. Навсегда. Невидимыми, пока на них не натолкнулась более продвинутая цивилизация.

Но кое где некоторые охотничие цвилизации совершили цивилизационный скачек в сторону от слияния с природой - отклыли земледелие и скотоводство.

Первые земледельческие цивилизации тоже НАСИЛОВАЛИ среду. Это цивилизации рек. Египет, Месопотамия - это самые устойчивые (где среду не сильно и изнасилуешь. Но люди ухитрялись и там). Но помимо них была куча цивилизаций(городов) - однодневок. Те же Анасази в Северной Америке. Да и все мезоамерканские цивилизации - типичный пример. Много было и в Евразии. Раскапывают и удивляются. Был город, были сооружения, мелиорация. Но все покрыто песком. Был, расцвел и... исчез за тысячи лет до нашего времени. Почему?

Потому что эти цивилизации были "тупые".

Они быстро всходили, быстро разрушали свою среду (чрезмерная мелиорация, напрмер) и сходили на нет.

Они тоже были далеки от гармонии с природой ибо только-только открыли новый техноуклад.

Третий заход - мы.

Техносферная цивилизация. Очередной скачек и опять мы убиваем свой мир. Мы за пару веков (буквально два!) спалили почти все богатые ископаемые, сделанные природой за миллиарды! Мы оторвались от природы и теперь усиленно начинаем посыпать голову пеплом молится на дурочку Грету.

Но посмотрите на шаг назад. Это уже письменная цивилизация. Это не загадочные охотники.

Посмотрите на Восток, которые не сделал шаг в верх из аграрной в техно. Они попытались слиться с природой на уровне аграрной цивилизации. Посмотрите на его умиротворительную "природосливающуюся" религию...

Любая цивилизация длительно находящийся на некой ступеньке развития рано или поздно "СОЛЬЕТСЯ с природой". Вернее или исчезнет или сольется. Произойдет "живительная эвтоназия" отбора. Эволюция свое возьмет. Выживут только те кто слились, приспособились. Это принцип Назаретяна и универсальной истории. Цивилизация либо освоится на этой ступеньке развития "слившись с природой" или исчезнет с лика вселенной.

Третьего не дано. То есть.

Классификация выше изначально кретинская. Мозголюбская. Гретотумберговская. Никакая цивилизация долго не будет находится на левом крае фаз новой классификации. Все длительно существующие цивилизации будут "слиты с природой". И только редкие, находящиеся "на переходе" будут себя "светить" транжирством и изобилием. Но это короткий миг. Как вспышка сверхновой. Так что и нет смысла их искать.

Где-то так.

Но как тогда использовать эту прекрасную идею двух шкал для SETI?

А вот так и использовать. По степени ксенофобии древних реально слившихся с природой цивилизаций. Можно помыслить ситуацию когда все цивилизации в классификации Александра Панов ЭКЗОГУМАНИТАРНЫ. То есть мы живем в мире НЕПУГАННЫХ ИДИОТОВ (это традиция советского SETI)/ Мир, дружба, жвачка! Великого кольца, так сказать. А можно помыслить ситуацию с цивилизациями в галактике которые как звери в темном лесу.

И вот тогда можно по-взрослому играться на таком поле, располагая разные сценарии развития мира и искать тут свое место.

Первоисточник идеи:

https://arxiv.org/pdf/2005.13221.pdf

- Махмуд, почему у тебя в лагмам - один лук?!

- Вай! дАрагой! ЗачемЬ так говориШь? "Один лЬук!" Вай! "Много лЬюк!" Хорошьий лагман!

:)

"Техно" без "духовности" это и есть признак цивилизации-однодневки. Была и сплыла.

У реально стабильной, обосновавшейся в укладе цивилизации должен быть БАЛАНС. Техно-гуманитарный баланс.

Тот факт что мы "физики" терпеть не можем "лириков", а "лирики" нас "физиков" и есть признак ПЕРЕХОДА и разбаланса старого и отсутствия нового...

Мой спор тут с модераторами (так получилось суть не в том что они модераторы) - спор охотников, мол, чо делать перед наступающей катастрофой (которая уже видна)?

Они говорят что надо слиться с природой здесь и сейчас. Очень мудро говорят. Мол, от себя же не убежать! А я говорю - надо идти за горизонт! Искать новые охотничьи угодья!

Они говорят - бессмысленно. Не будет новых таких же богатых! Мы весь ледник ободрали. Нет мегафауны больше!

А я говорю - надо все равно искать!!! Не важно чего? Искать всегда надо! Такова наша природа!!!

Нельзя сидеть на месте! Останемся тут - вымрем нафик! Надо все равно расселяться!!!

Обе стороны и правы и неправы одновременно.

"И каждый пошел своею дорогой, а поезд пошел своей!" (с)

То что нас коробит от гуманитарщины, "духовности из всех щелей" - это как раз и признак катастрофы в мозгах. Разрыва духовного и технического. Онтологическая катастрофа. Несоответствие старого миропонимания новому укладу. Отрыва от природы, так сказать. Признак революции (глупого наивного технооптимизма) и следом идущей контрреволюции (замшелой технофобии и технопессимизма).

Признак переходности, неустойчивости, мимолетности процесса....

Ступенька со всеми сопутствующими переходными колебаниями.

Это - вечный сюжет. Он будет повторяться и повторяться.

Теория игр поможет в поисках разумной жизни во Вселенной

В новом исследовании, проведенном учеными из Манчестерского университета, Великобритания, во главе с доктором Имонном Керинсом (Eamonn Kerins), показано, что использование стратегии, связанной с кооперативными играми и называемой «теорией игр», поможет повысить эффективность поисков внеземной жизни.

Программы современных поисков внеземного интеллекта (SETI) опираются на два альтернативных по отношению друг к другу подхода. Один подход состоит в проведении обзора обширных участков неба и поисках необычного сигнала в огромном объеме наблюдательных данных. Другой подход состоит в целенаправленном наблюдении выбранной заранее планетной системы. Объем обрабатываемых данных здесь сокращается, но каков шанс того, что была выбрана «правильная» система?

Для оптимизации этих поисков доктор Керинс предлагает использовать теорию игр.

Предположим, что и мы, и иная разумная цивилизация Вселенной желаем установить друг с другом контакт. Это отвечает условиям так называемой «координационной игры» из теории игр, отличающейся тем, что оба участника хотят достичь одной и той же общей цели (кооперативной победы), однако на протяжении всего игрового процесса остаются не осведомленными о действиях друг друга.

Общий подход теории игр применительно к координационной игре состоит в том, что для достижения победы кратчайшим путем необходимо учитывать действия другого участника. Переводя этот принцип на поиски SETI, доктор Керинс предлагает обратить внимание на планетные системы Галактики, из которых виден транзит Земли перед Солнцем. Ученый считает, что если представители иных цивилизаций могут увидеть транзит нашей планеты, то они могут направить в нашу сторону сигнал, подобно тому, как мы можем направить сигнал в хорошо заметную нам систему с транзитными экзопланетами (большинство известных сегодня экзопланет открыто именно транзитным методом).

Второй вопрос состоит в том, направлять ли нам самим исходящий сигнал в выбранную систему или ждать сигнала от другого «участника игры». Правило здесь состоит в том, что направляет исходящий сигнал тот участник, который более ясно видит транзитную экзопланету, на которой расположен другой участник. Поскольку большинство планет, с поверхности которых виден транзит Земли, расположены на орбитах вокруг небольших, тусклых звезд, а сама Земля обращается вокруг более яркой звезды, то условия наблюдения нашей планеты представителями иных цивилизаций будут лучше, поэтому сделать «первый шаг» и отправить в нашу сторону радиосигнал должны они, а нам выгоднее «слушать эфир» в рамках той зоны, где расположены планеты, с которых виден транзит Земли, считает Керинс.

Работа опубликована в журнале Astronomical Journal.