Мой realme C21Y и старый Samsung a30s, участвуют в распределенных вычислениях программы Boinc

MLC@Home закрывается

После более чем двух лет, нескольких ухабистых моментов и огромной поддержки со стороны наших волонтеров, я как администратор MLC, принимаю решение закрыть MLC@Home как проект для BOINC временно.

Почему?

Мы достигли целей, которые я поставил перед собой (и даже больше!) с помощью 4 полных наборов данных, включающих десятки терабайт данных для анализа. Теперь нам нужно сосредоточиться на анализе результатов и написании статей.

Как исследователь, в какой-то момент вы должны перестать генерировать данные и писать; и моя семья, работа и школьные обязательства ограничивают количество времени, которое я могу потратить на создание новых экспериментов.

Это должно быть очевидно, так как я все меньше и меньше реагировал на сообщество за последние 6 месяцев, за что прошу прощения. Хотя мы всегда можем хотеть большего от любого начинания, я думаю, что мы достигли пока много, и хочу поставить проект на паузу, на неопределенный срок, пока не появится что-то новое.

Это время, чтобы отпраздновать все, чего наши волонтеры достигли вместе! Это сообщество было потрясающим на форуме и Discord-е. Мы закрываемся не из-за проблем, а потому, что мы достигли целей, которые мы поставили перед собой. Для этого я не мог быть более благодарен.

Единственный горько-сладкий аспект закрытия проекта — это то, что я надеялся вырастить MLC@Home за пределы MLDS, стать платформой для демократизированных исследований в области машинного обучения. Мне не удалось наладить отношения с другими исследователями, и поэтому MLDS был единственным проектом на MLC@Home. Частично виноват COVID, но есть ряд других факторов, начиная от того, как финансируются исследования в такой горячей области, как машинное обучение, и заканчивая моим ограниченным временем.

Если другие исследователи проявят интерес, мы можем возродить проект в будущем, но пока я не могу оправдать запуск проекта без реального пути к значимой новой работе. Это было бы несправедливо по отношению к волонтерам.

Что происходит?

Во-первых, как и было обещано, наборы данных останутся доступными (выпуск DS4 потребует некоторых размышлений и времени, см. ниже), а основной веб-сайт MLC@Home (https://www.mlcathome.org) и твиттер останутся активными, поэтому я буду публиковать обновления в любых документах и получать доступ к DS4, когда он доступен.

На данный момент изменений нет по серверным частям сайта BOINC. Мне нужно будет прочитать о том, как правильно архивировать форумы, страницы проекта и статистику, чтобы они могли оставаться доступными (только для чтения), не становясь магнитом для спама и (в настоящее время ежечасно...) попытки взлома (вздох...). Я также буду сворачивать сообщество Discord в течение следующего месяца или около того.

Лично я буду продолжать свои исследования и работать над публикацией значимых результатов.

Я также продолжу поддержку других проектов BOINC (я вношу свой вклад в BOINC со времен классической версии SETI@Home) и поддержку идеи добровольных вычислений. Когда-нибудь я напишу о своем опыте исследователя.

В целом это был положительный опыт, но есть некоторые определенные области для улучшения.

Что касается вас, я призываю вас продолжать поддерживать другие замечательные проекты BOINC своим вычислительным временем. Официальный список здесь https://boinc.berkeley.edu/projects.php.

DS1/2/3 уже доступны для скачивания, а как насчет DS4?

DS4 имеет размер более 12 ТБ только для части Dense. Так что для копирования потребуется еще больше времени, упаковать, проанализировать и загрузить. Я намереваюсь сделать это после того, как мой анализ и диссертация будут завершены, что должно быть в ближайшие 6 мес. Если вы исследователь и хотите получить доступ к набору данных раньше, пожалуйста, свяжитесь с мной напрямую, и мы можем что-то придумать.

Первоначальная идея DS4 состояла в том, чтобы вычислять нейронные сети для каждого типа данных, используя плотные сети, в стиле LeCun.

Оказывается, сети LeCun настолько малы и просты в вычислении, что я могу вычислить их на моей рабочей станции за день или два, так что я не стал их рассылать. 50 000 из них были размещены локально на моей рабочей станции, как рабочие единицы BOINC. (также из-за того, что текущий клиент дает сбой при вычислении LeNet5 на некоторых платформах, и было быстрее вычислить его локально, чем отследить ошибку). Поскольку это спорно, что научная выгода от того, что AlexNet (еще один CNN) переносит сети LeCun, я, вероятно, уберу их из набора данных.

Спасибо

Даже если больше ничего не произойдет, MLC@Home добился большого успеха. Мы произвели научно интересные и уникальные наборы данных, представили совершенно новый тип науки (машинное обучение) в BOINC сообществе и показали, что исследования в области машинного обучения могут проводиться группой добровольцев в течение длительного времени.

Интернет.

Есть несколько групп и отдельных лиц, которым я хотел бы особо поблагодарить за то, что этот проект стал таким успешным.

К ним относятся, помимо прочего: разработчики BOINC, особенно Виталий Кошура и другие разработчики на сервере BOINC, Discord за помощь в разработке проекта с самого начала, Маркус (Delta на серверах BOINC Discord) за непосредственный вклад в MLC@Home.

Программное обеспечение для серверной обработки, и кто вместе с JRingo запускает подкаст BOINC Radio, который продвигал и поддерживал MLC@Home с самого начала. Майк из проекта PrimeGrid для предоставления некоторых важных ранних советов по запуску нового проекта. Я уверен, что забыл многих других, просто знайте, что мы, как сообщество, должны многих благодарить за успех этого проекта.

Я хотел бы выразить особую благодарность первым волонтерам проекта, которые помогли сделать форум полезным и гостеприимным местом.

Спасибо также CoRaL Labs и моему консультанту в UMBC за поддержку исследования и предоставление финансирования нового сервера после того, как мы быстро переросли наш оригинальный ноутбук ThinkPad эпохи 2015 года.

Наконец, спасибо нашим 4200+ волонтерам, которые выполнили более 12,5 миллионов рабочих единиц, используя более 17000 хостов. Я искренне польщен вашим вкладом и тем, чего мы достигли вместе. Ни чего из этого было бы невозможно без вас. Спасибо, что дали шанс маленькому неизвестному исследователю, и я призываю вас искать более мелкие проекты в будущем, так как их успех поможет определить продолжит ли BOINC расти и процветать.

Я оставляю вас с последним, удовлетворительным скриншотом веб-сайта: Еще раз спасибо всем.

Главный исследователь и администратор MLC@Home: https://www.mlcathome.org/, электронная почта: mlcathome2020@gmail.com

Интервью с командой Help Stop TB (Машинный перевод)

Уважаемые волонтеры, Команда Help Stop Tuberculosis сотрудничает с World Community Grid уже почти шесть лет и благодаря вам добилась жизненно важных результатов исследований. Мы надеемся, что вы найдете эту статью в стиле интервью информативной и ответите на все вопросы, которые могут у вас возникнуть об их исследованиях!

На что направлен ваш проект?

Наш проект направлен на изучение структурных и организационных свойств миколовых кислот: очень длинных жирных кислот, являющихся неотъемлемой частью лекарственной устойчивости туберкулеза. Миколиновые кислоты намного длиннее многих других липидов, что позволяет им складываться в сложные структуры, чего не может сделать обычная жирная кислота. Бактерии Mycobacterium tuberculosis используют эти сложные структуры для создания почти непроницаемой клеточной стенки, собирая миколовые кислоты вместе, как кусочки головоломки, не позволяя лекарствам и нашим иммунным клеткам эффективно выполнять свою работу.

Мы создаем симуляции складывания миколовых кислот с течением времени, чтобы наметить их поведение при складывании и понять, как формы, которые они принимают, изменяют свойства, которые они демонстрируют, однако для этого нам необходимо создать сотни потенциальных комбинаций различных кислот при различных температурах и растворителях. Именно здесь необходима World Community Grid, поскольку такие крупномасштабные симуляции и анализ были бы невозможны без помощи множества добровольцев, обеспечивающих вычислительную мощность.

Наша работа имеет ряд захватывающих потенциальных применений в будущем: во-первых, понимание того, как миколовые кислоты укрепляют клеточную стенку, позволит разработать более обоснованный дизайн лекарств. Если мы знаем, как это работает, мы можем узнать, как это сломать! Во-вторых, мы можем использовать знания, полученные о миколовых кислотах, для разработки наших собственных устойчивых клеточных стенок (например, в промышленных микробах, чтобы сделать их более устойчивыми) и, в более широком смысле, для исследования других очень гибких и «гибких» молекул.

Как на проект повлиял период простоя WCG?

Время простоя позволило нам консолидировать данные, рассчитанные WCG до сих пор, и позволило нам продолжить разработку идей для новых аспектов исследования, включая наш собственный «параметр покачивания» для описания гибкости молекул. У нас также был неотъемлемый и ценный член команды, Кристоф Ягер, который оставил проект ради новых пастбищ, поэтому мы тщательно планировали наши следующие шаги, чтобы справиться с этой потерей.

Чего достигли ваши исследования на данный момент?

Благодаря помощи волонтеров у нас есть один из самых больших гибких наборов данных молекулярной динамики, и мы добились быстрого прогресса в понимании очень сложных динамических систем. Это открывает новые возможности для машинного обучения и дает разные точки зрения на проблему кластеризации данных, которая в настоящее время является серьезной проблемой. Это предлагает нам потенциал для новых взглядов на другие интересные химические системы, которые до сих пор было трудно анализировать из-за их динамики, такие как внутренне неупорядоченные белки.

Что могут сделать волонтеры?

Мы ценим поддержку и энтузиазм волонтеров на форумах — моральная поддержка бесценна, когда наука становится сложной. Волонтеры всегда могут помочь, когда они повышают осведомленность сообщества о ценных проектах WCG и их более широком влиянии. Это особенно важно для нашего проекта, поскольку мы наблюдаем возрождение туберкулеза во всем мире на фоне пандемии COVID. Здесь ключевое значение имеет информирование о том, насколько опасной может быть болезнь, почему мы наблюдаем устойчивость к антибиотикам и важность глобальных программ вакцинации.

Планируются ли какие-либо расширения или новые проекты в ближайшем будущем?

На основе новых аналитических инструментов, которые мы разрабатываем с текущим набором данных, мы рассматриваем возможность расширения наших молекул до патогенетически важных факторов корда — важных с медицинской точки зрения производных миколовых кислот, которые мы уже рассматривали. Это даст дополнительное представление о том, как химическое соединение миколовых кислот меняет их поведение, и позволит нам дальше развивать наши идеи о моделях клеточных стенок для туберкулеза.

Спасибо доктору Анне К. Крофт за ваш вклад, а также всей команде HSTB за их участие в построении лучшего мира.

Оригинал статьи: https://www.worldcommunitygrid.org/about_us/article.s?articl...

UWP не разрешает загрузку и запуск сторонних исполняемых файлов.

Объясню немного подробнее: клиент BOINC при подключении проекта связывается с сервером проекта и запрашивает исполняемые файлы, а также файлы с данными задач для расчета. И на данный момент это прекрасно работает на linux, OSX и классических приложениях Windows.

UWP решили пойти по пути OSX (и с недавнего времени Android), запретив скачивать и запускать исполняемые файлы.

Само UWP приложение на данный момент может либо запускать стандартные приложения, поставляемые с Windows (грубо говоря, из папки C:\Windows), либо исполняемые файлы, которые идут с самим UWP приложением.

Если BOINC упаковать как UWP приложение, то тогда придется поставлять его со всеми исполняемыми файлами проектов, что увеличит размеры приложения в разы, кроме этого, каждый раз, как какой-либо проект обновит свои исполняемые файлы, пользователю потребуется переустановить полностью весь BOINC.

На данный момент доля компьютеров, которые позволяют запускать только UWP приложения (редакция Windows Starter, если я верно помню), достаточно мала, чтобы переориентировать BOINC на это.

Команда BOINC на данный момент занимается поиском решения, которые было бы более удобно как для пользователей, так и для проектов.

https://github.com/BOINC/boinc/releases/tag/client_release/7.20/7.20.0

https://github.com/BOINC/boinc/issues/new/choose

Прошло некоторое время с тех пор, как мы опубликовали обновление, но это не значит, что проект простаивает! Если вы следили за нашим сервером Discord, вы знаете, что мы продолжаем добиваться прогресса, и благодаря нашим волонтерам сегодня праздник!

Вот краткое изложение текущего состояния проекта:

Резюме

Вычисление DS2 завершено! По состоянию на 1 апреля 2022 года мы, наконец, преодолели порог в 10 000 обученных сетей для ParityModified, завершив наши вычисления для DS2. Это заняло много времени, и полный набор данных должен помочь исследователям понять, как нейронные сети кодируют данные.

Все архивы DS1/DS2 доступны для загрузки с https://www.mlcathome.org/mlds.html. Это ваша работа, и теперь вы или кто-либо другой можете изучать и развивать ее бесплатно!

Архивные файлы DS3 все еще находятся на рассмотрении. Расчеты для DS3 были завершены в прошлом году, но мы еще не загрузили полные наборы данных на веб-сайт для загрузки. Мы были сосредоточены на анализе, и сам размер набора данных может вызвать головную боль, делая объединение трудоемкой задачей. Мы опубликуем здесь, когда они будут доступны.

DS4 WU вышли! DS4 WU для нашего ЦП-клиента отсутствуют, и там уже начался прогресс. Серверная часть DS4 гораздо сложнее в управлении, потому что у нее есть несколько обучающих наборов с разными требованиями, но мы выпускаем новые WU так быстро, как только можем.

Мы приостанавливаем WU GPU: это нас огорчает, но нам не удалось обновить наши клиенты GPU для поддержки WU DS4. И по мере того, как мы переключаем наше внимание на анализ результатов, которые у нас есть, у нас остается все меньше и меньше времени, чтобы сосредоточиться на разработке клиента помимо клиента ЦП. Когда текущая очередь GPU иссякнет, мы не будем отправлять больше работы GPU, пока у нас не будет времени снова изменить приоритет переноса клиента GPU. Поддержка клиента GPU заняла гораздо больше времени и усилий, чем предполагалось, и, если мы не сможем получить помощь извне, в настоящее время она останется малоприоритетной. Мы искренне ценим наших волонтеров, работающих с графическими процессорами, но на данный момент у нас нет работы для отправки, и мы рекомендуем вам использовать ваше оборудование для поддержки других достойных проектов, которые могут поддерживать ваше оборудование!

Мы изучаем перенос клиента ЦП на Rust. Кроме того, наша зависимость от PyTorch стала скорее препятствием для переносимости, чем преимуществом. В то время как экосистема нейронной сети в Rust не так надежна, способность Rust компилировать статический двоичный файл, ориентированный на большое количество архитектур и операционных систем, очень привлекательна с точки зрения переносимости. Таким образом, мы хотим перенести наш клиент ЦП MLC на чистый ржавчину с возможностью поддержки графических процессоров из той же кодовой базы в будущем. Если вы знаете Rust и заинтересованы, пожалуйста, свяжитесь с администраторами MLC.

Обратите внимание, что в рабочей очереди все еще есть DS2 WU, мы просим вас продолжать работать над ними, так как всегда лучше иметь больше образцов в качестве запасных. Однако мы не планируем больше ставить в очередь WU DS1/2/3, и все новые добавленные WU будут DS4 или более поздней версии. Это относится и к очереди GPU.

Мы очень рады дальнейшему развитию WU DS4, и это должно помочь продемонстрировать нашу теорию о том, что похожие сети группируются в пространстве параметров как в сетях с прямой связью, так и в сетях на основе CNN, а также в RNN, используемых в DS1/2/3. Помимо DS4, у нас есть некоторые идеи, но пока нет ничего конкретного. Мы будем держать вас в курсе по мере продвижения вперед.

Еще раз спасибо всем нашим волонтерам за поддержку проекта и помощь науке.

The MLC@Home Admins(s)

Homepage: https://www.mlcathome.org/

Discord invite: https://discord.gg/BdE4PGpX2y

Twitter: @MLCHome2

https://boinc.ru