Proglib

• Гиганты уровня Netflix и Uber обрабатывают большие объемы данных в реальном времени.

• Ecommerce-платформы отслеживают действия пользователей, изменение заказов и состояние запасов.

• Финансовые организации анализируют данные о транзакциях и обнаруживают подозрительные операции.

• Трейдеры выявляют рыночные тренды и аномалии в торгах.

• Ритейлеры анализируют поведение клиентов и их предпочтения в режиме реального времени, чтобы рекомендовать товары и предлагать персонализированные акции.

Почему Kafka стал настолько популярным? Основные причины – надежность и масштабируемость: Kafka эффективно управляет потоками данных в самых крупномасштабных системах. Если вам еще не приходилось использовать Кафку, давайте разберемся, как он работает: возможно, его возможности выведут ваш проект на новый уровень.

Привет!

Мы запустили еженедельную email-рассылку, посвященную последним новостям и тенденциям в мире бэкенда. В еженедельных письмах ты найдешь:

• Языки программирования и фреймворки для бэкенда

• Архитектура и проектирование серверных приложений

• Базы данных и управление данными

• Безопасность и защита данных

• Облачные технологии и DevOps

• API и интеграции

• Тестирование и отладка

• Инструменты и утилиты для бэкенд-разработчиков

• Лучшие практики и паттерны проектирования

Сообщения и пакеты

В Kafka основной единицей данных является сообщение. Сообщение можно сравнить с записью в таблице базы данных, но фактически это просто байтовый массив. Структуру сообщения задают с помощью JSON, XML или системы сериализации Apache Avro.

Сообщения записываются пакетами. Пакет – это набор сообщений, относящихся к одной теме и одному разделу. Пакетная запись снижает нагрузку на систему и повышает эффективность передачи данных. Сжатие пакетов делает передачу данных и их хранение более эффективными – меньший объем данных быстрее передается по сети и экономит место на диске. Использование пакетов подразумевает компромисс между задержкой и пропускной способностью:

• Большие пакеты позволяют передавать больше сообщений за одно действие, что увеличивает пропускную способность системы – можно обработать больше данных за меньшее время.

• Однако это также приводит к увеличению задержки для отдельных сообщений. Пока пакет не будет полностью заполнен, отдельное сообщение может дольше ждать отправки.

Поэтому идеальный размер пакета зависит от конкретного сценария использования. Если важнее производительность обработки, лучше использовать большие пакеты. Если же важна низкая задержка (например, при обработке критически важных событий), пакеты должны быть меньше.

Темы и разделы

Тема в Kafka похожа на таблицу в базе данных или папку в файловой системе. Все сообщения распределены по темам. Темы делятся на разделы. Сообщения в теме добавляются в один из ее разделов, причем всегда в конец. Внутри одного раздела сообщения хранятся в порядке отправки, но между разделами порядок не гарантируется.

Разделы позволяют масштабировать систему, так как они могут находиться на разных серверах (брокерах). Это также повышает надежность: если один сервер выйдет из строя, данные можно будет получить с другого.

Производители и потребители

Основные пользователи Kafka – это производители и потребители, которые взаимодействуют в соответствии с известным паттерном «издатель – подписчик». Производители создают и отправляют сообщения в брокер Kafka, указывая, в какую тему их отправить:

Потребители считывают сообщения из тем, работая в составе групп потребителей. Каждая группа следит за тем, чтобы один раздел обрабатывался только одним участником группы. Если один потребитель выходит из строя, другие участники группы перенимают его задачи:

Брокеры и кластеры

Каждый сервер Kafka называется брокером. Со стороны производителей брокер выполняет три основные задачи:

• Получает сообщения от производителей.

• Назначает смещение (порядковый номер, индекс) для сообщений.

• Сохраняет сообщения на диске.

Со стороны потребителей брокер выполняет эти задачи:

• Обрабатывает запросы на получение данных из разделов.

• Отправляет опубликованные сообщения в ответ на эти запросы.

Один брокер может управлять тысячами разделов и миллионами сообщений в секунду. Брокеры обычно объединяются в кластер. В кластере один из брокеров выполняет роль контроллера, распределяя разделы и отслеживая сбои.

Репликация

Главное преимущество кластера Kafka – возможность репликации сообщений. Репликация обеспечивает резервирование хранящихся в разделе сообщений. В Kafka каждый раздел всегда принадлежит одному брокеру в кластере, который называется лидером этого раздела. Однако, когда раздел реплицируется, он также назначается дополнительным брокерам. Эти дополнительные брокеры являются последователями (фолловерами) раздела. Если у раздела есть несколько копий, взаимодействие производителей и потребителей выглядит так:

• Производители всегда подключаются к лидеру раздела, чтобы публиковать сообщения в этот раздел.

• Если лидер выходит из строя, один из последователей берет на себя роль лидера этого раздела. Это обеспечивает высокую доступность и устойчивость к сбоям.

• Потребители могут получать сообщения как от лидера, так и от одного из последователей. Это позволяет распределить нагрузку и улучшить производительность.

Преимущества Kafka

Kafka обладает рядом преимуществ, которые делают его уникальным инструментом для обработки больших потоков данных в реальном времени:

• Поддержка множества производителей. Kafka может легко работать с несколькими источниками данных одновременно. Например, если у вас есть веб-приложение со множеством микросервисов, каждый из которых отслеживает действия пользователей, Kafka может собирать данные о просмотрах страниц в единую тему. Это позволяет агрегировать данные из разных источников и приводить их к единому формату.

• Поддержка множества потребителей. Kafka позволяет нескольким потребителям одновременно читать один и тот же поток сообщений, не мешая друг другу. В отличие от других систем очередей, где сообщение удаляется после его обработки, в Kafka одно и то же сообщение может быть прочитано разными процессами. Кроме того, несколько потребителей могут объединяться в группы, и тогда каждое сообщение будет обрабатываться только одним участником группы.

• Гибкие правила сохранения на диске. Kafka дает возможность настроить правила хранения. Это позволяет потребителям не беспокоиться о том, что они могут отстать из-за медленной обработки, резкого увеличения нагрузки или временного выхода из строя. Сообщения не потеряются, и потребители смогут продолжить работу с того места, на котором остановились. Это также упрощает администрирование потребителей, так как их можно отключать и перезапускать без опасений потерять данные.

• Масштабируемость. Kafka способен обрабатывать любые объемы данных: на этапе разработки можно начать с одного брокера, а затем в продакшене постепенно увеличить количество до нескольких десятков или даже сотен брокеров. Расширение можно выполнять без остановки системы, что делает Кафку особенно удобным для использования в  высоконагруженных приложениях.

Недостатки Kafka

Как и любое другое ПО, Kafka не идеален:

• Сложность настройки. Правильная настройка системы требует глубокого понимания всех опций, что порой затрудняет оптимизацию работы, поскольку Кафка предлагает огромное количество конфигурационных параметров. Разобраться в них не так просто даже для опытных разработчиков, не говоря уже о начинающих.

• Встроенные инструменты управления Kafka оставляют желать лучшего. Например, названия аргументов командной строки отличаются непоследовательностью.

• Недостаток зрелых клиентских библиотек. Хотя Kafka отлично поддерживается в Java и C/C++, клиентские библиотеки для других языков программирования не всегда достигают нужного уровня качества. Впрочем, эта проблема скоро будет решена: сообщества нескольких ЯП интенсивно работают над улучшением качества библиотек.

• Отсутствие полноценной мультиарендности. Kafka не поддерживает настоящую мультиарендность – пока что нет возможности создавать полностью изолированные логические кластеры внутри физического кластера. Это ограничивает использование Kafka для раздельной работы нескольких команд или организаций в одном кластере.

📬 Чем заменить Postman: 5 отличных инструментов для разработки API

Postman долгое время был основным инструментом для разработки и тестирования API, но сейчас для большинства разработчиков его ограничения стали перевешивать преимущества. Рассмотрим альтернативные инструменты, которые могут предложить больше возможностей, чем Postman – даже в бесплатной версии.

Apidog – комплексная платформа для разработки API

Apidog – это многофункциональная платформа, которая сочетает в себе тестирование, проектирование, документацию и мокирование API. Предлагает щедрый бесплатный план.

Особенности и возможности:

• Неограниченные запуски коллекций в бесплатном плане.

• Интеграция проектирования и тестирования API в едином интерфейсе.

• Настраиваемые серверы мокирования без необходимости перехода на платные тарифы.

• Совместная работа в реальном времени с возможностью легко делиться коллекциями и документацией.

• Есть браузерный вариант.

Почему Apidog лучше Postman:

• Нет ограничений на запуски коллекций.

• Удобный интерфейс и низкий порог входа.

• Доступные платные тарифы.

Insomnia – простой и мощный инструмент для тестирования API

Insomnia – это простой в использовании инструмент с поддержкой REST, GraphQL, WebSockets, SSE и gRPC API. Он привлекает внимание разработчиков своей минималистичностью и быстрой работой.

Особенности и возможности:

• Поддержка GraphQL для выполнения запросов и мутаций в реальном времени.

• Удобное управление окружениями (разработка, тестирование, продакшн).

• Плагинная экосистема, позволяющая расширять функциональность.

• Настраиваемые рабочие процессы для упрощения тестирования API.

Почему Insomnia лучше Postman:

• Простота интерфейса и меньшее количество функций делает его более доступным.

• Открытый исходный код и активное сообщество разработчиков.

• Встроенная поддержка GraphQL, которая делает работу с ним более простой и естественной, чем в Postman.

Hoppscotch – легкий и быстрый инструмент для разработки API

Hoppscotch (ранее Postwoman) – это браузерный инструмент, разработанный в качестве быстрой, простой и опенсорсной альтернативы Postman.

Особенности и возможности:

• Полностью браузерное решение, не требующее установки.

• Совместная работа в реальном времени, аналогичная Postman, но бесплатно.

• Быстрая обработка запросов благодаря легковесной архитектуре.

• Открытый исходный код с возможностью кастомизации.

Почему Hoppscotch лучше Postman:

• Опенсорсный.

• Работает намного быстрее.

• Нет необходимости в установке – доступен с любого устройства.

Paw – инструмент, разработанный для macOS

Paw – это нативный API-инструмент для macOS, бесшовно интегрирующийся с экосистемой Apple, что делает его отличным выбором для разработчиков на этой платформе.

Особенности и возможности:

• Глубокая интеграция с macOS, включая поддержку Touch Bar и шорткатов.

• Использование динамических значений (например, временные метки, UUID) для гибкости тестирования.

• Расширенные инструменты отладки запросов.

• Большой выбор всевозможных расширений.

• Красивый и удобный интерфейс.

Почему Paw лучше Postman:

• Интеграция с macOS делает его более удобным для пользователей Apple.

• Более продвинутая отладка запросов.

• Нативный интерфейс, оптимизированный для macOS.

• Бесплатный.

SoapUI – расширенное тестирование API и веб-сервисов

SoapUI – это мощный инструмент, ориентированный на функциональное и нагрузочное тестирование API и веб-сервисов.

Особенности и возможности:

• Поддержка функционального, нагрузочного и тестирования безопасности API.

• Автоматизация тестов для упрощения сложных тестов.

• Продвинутые возможности мокирования API.

• Расширенные функции для крупных команд, включая интеграцию с CI/CD.

Почему SoapUI лучше Postman:

• Есть бесплатная опенсорсная версия.

• Расширенные возможности для тестирования нагрузки и безопасности, которых нет в Postman.

• Мощные функции автоматизации, снижающие необходимость ручного тестирования.

• Ориентирован на разработчиков крупных проектов, которым необходимы расширенные инструменты для работы с API.

Подведем итоги

Каждая из рассмотренных выше альтернатив предлагает уникальные преимущества, которые могут сделать работу с API проще, быстрее и дешевле. Выбирайте инструмент, исходя из своих предпочтений и особенностей проекта:

• Apidog – для комплексной разработки и тестирования API.

• Insomnia – для встроенной поддержки GraphQL и gRPC API.

• Hoppscotch – для скорости и работы в браузере.

• Paw – для пользователей macOS.

• SoapUI – для расширенного тестирования сложных веб-сервисов.

Автор рассылки: Наталья Кайда

Исследователи Оксфордского университета доказали, что ИИ-модели неизбежно деградируют, если их обучать на сгенерированном (а не созданном людьми) контенте. Качественные синтетические данные, создаваемые специально для обучения моделей, не приводят к деградации, но сгенерированные тексты в интернете обычно сильно уступают им по ценности. Между тем, на долю малоценного сгенерированного контента уже приходится 57% всех создаваемых текстов, а в 2025 году этот показатель достигнет 90% – ИИ медленно убивает и себя, и интернет.

Microsoft вошла в группу крупных инвесторов, которые собираются вложить $100 млрд в развитие ИИ-инфраструктуры в США.

Энтузиасты сравнили возможности ChatGPT-o1 и ChatGPT-4o. Выяснилось, что:

• GPT-o1 превосходит уровень знаний специалистов со степенью PhD (кандидат наук по стандартам РФ, доктор наук по международным стандартам) в области физики, биологии и химии.

• GPT-o1 лучше справляется с задачами, требующими сложных рассуждений и глубокой проработки ответов.

• GPT-4o лучше подходит для общих задач, связанных с написанием текстов, генерацией тестового контента и кратким изложением информации.

• GPT-o1 показывает лучшие результаты при работе с простыми и прямыми запросами, тогда как GPT-4o требует более детализированных и структурированных инструкций для достижения оптимальных результатов.

Runway заключила контракт с кинокомпанией Lionsgate, выпустившей немало блокбастеров, включая суперпопулярные франшизы «Сумерки», «Голодные игры» и «Джон Уик». Runway получит доступ ко всему каталогу Lionsgate и разработает кастомный видеогенератор для кинокомпании. Кроме того, Runway объявила о запуске API для доступа к Gen-3 Alpha Turbo – по примеру Luma, которая предоставила API для Dream Machine чуть раньше конкурента.

На YouTube в ближайшее время появятся несколько новых AI-инструментов. Среди них – продвинутый генератор для создания коротких видеоклипов Veo, разработанный Google DeepMind. А генератор инструментальной музыки для шортсов Dream Track и функция автоматического перевода и дубляжа станут доступными для более широкого круга пользователей платформы.

🚀 Внимание, джедаи кода!
Пришло время освоить силу шаблонов проектирования!

🎮 Обучайтесь, создавая легендарную игру «Звездные войны»!
С 18 по 25 сентября действует космическая акция: –30% на курс «Архитектуры и шаблоны проектирования» по промокоду MIDDLE.

🔥 Что вас ждет:

• Погружение в мир профессионального проектирования

• Практические навыки на реальном проекте

• Создание собственной игры по мотивам «Звездных войн»

🔮 Инструменты

FactBot – проверяет утверждения и новости на соответствие реальным и доказанным фактам.

Kick – ИИ-бухгалтер для управления личными финансами.

Tripo AI – создает 3D-модели на основе текстовых описаний или изображения в считанные секунды. С помощью Tripo AI можно с нуля создать 3D-игру или  визуализировать любой интерьер.

Fletzr – создает динамические сайты, используя данные из электронных таблиц Google Spreadsheets.

Resemble AI – делает редактирование аудио таким же простым процессом, как редактирование текстового документа.

Jsonify – автоматизирует процесс сбора, очистки, валидации и синхронизации данных из любых источников, от веб-сайтов до локальных документов.

Marblism – генератор фулстек-приложений.

SellerPic – превращает тапкофотки в профессиональные студийные снимки.

Death Clock AI – предсказывает дату смерти на основе ваших привычек и дает советы по отодвиганию этого трагичного момента на более поздний срок. Интересный опыт использования этого приложения описан в этой статье.

Hume AI – голосовой чат с несколькими персонажами, озвученными моделью EVI 2. Это первая модель, которая обладает эмоциональным интеллектом: она способна понимать все эмоции и интонации человека.

Superflex – ИИ-помощник фронтендера, выполняющий большую часть рутинной работы.

🍄 Сделай сам

Линейка моделей Qwen 2.5 от Alibaba Cloud пополнилась вариантами для генерации кода и решения математических задач – Qwen2.5-Coder и Qwen2.5-Math.

Void – опенсорсный ИИ-редактор кода, альтернатива Cursor.

Mentat – ИИ-агент для написания кода, полностью интегрирован с GitHub.

Aider – ИИ-напарник программиста. Подключается к любой LLM и работает в терминале.

CogVideo – модель для генерации реалистичных видеоклипов. Теперь может использовать нужное изображение в качестве фона. Демо-версия доступна на HuggingFace.

Microsoft выпустила мини-модель GRIN MoE, предназначенную для написания кода и решения математических задач. Демо-версия работает на HugginFace, код модели доступен на GitHub.

🥷 Путь ML-самурая: от школьной математики до передового машинного обучения

Машинное обучение (ML) находится на стыке компьютерных наук и математики; ML использует сложные математические концепции для создания алгоритмов, способных обучаться на данных и делать прогнозы. Насколько высокий уровень математических знаний нужно иметь, чтобы без труда разобраться в передовых методах машинного обучения? Посмотрите любую серьезную ML-статью на arxiv.org, например, эту: если формулы в ней не кажутся вам иероглифами, то с вашим уровнем математики все в порядке.

Изучение фундаментальной математики похоже на то, как мы учимся читать. Как только мы научимся читать, перед нами открывается целый мир новых знаний. Без этого навыка доступ к этим знаниям закрыт. Точно так же без понимания основ математики невозможно двигаться дальше в машинном обучении – все дальнейшие темы будут просто недоступны.

Математика для ML: что действительно нужно знать

Дорожная карта для перехода от школьной математики к передовому ML включает 4 основных этапа.

1. Базовая математика. Фундаментальная математика необходима для понимания того, как работают модели машинного обучения и как они обучаются на данных. Для большинства людей этот этап – самый сложный, переломный момент на пути к машинному обучению. Именно на этой ступени многие бросают обучение. В необходимую математическую базу входят:

• Алгебра – фундаментальный раздел математики, который формирует основу для большинства математических операций и вычислений в машинном обучении. Ключевые концепции:

  • Уравнения и неравенства – важно уметь решать линейные и нелинейные уравнения, так как они часто возникают при обучении моделей, например, в задачах оптимизации.

  • Полиномы – многие функции, которые используются в машинном обучении, могут быть приближены полиномами.

  • Логарифмы и экспоненты – широко используются в функциях активации нейронных сетей, расчетах вероятностей и задачах оптимизации.

• Математический анализ – дифференциальное и интегральное исчисление функций одной переменной. Помогает понимать поведение функций и их изменения. В машинном обучении эти понятия часто встречаются в задачах, связанных с настройкой гиперпараметров модели и минимизацией ошибок:

  • Пределы и непрерывность – важны для понимания функций потерь и того, как они зависят от параметров модели.

  • Производные – широко используются в задачах оптимизации, где необходимо минимизировать функции потерь с помощью методов градиентного спуска.

  • Интегралы – применяются для нахождения площадей под кривыми и в вероятностных расчетах, например, при вычислении функций распределения.

• Линейная алгебра – важнейший инструмент для работы с многомерными данными и построения сложных моделей. Лежит в основе многих алгоритмов машинного обучения, особенно тех, что работают с большими объемами данных. Основные темы:

  • Векторы и матрицы – применяются для представления данных (например, векторы признаков).

  • Операции над матрицами – знание операций сложения, умножения, транспонирования матриц необходимо для работы с алгоритмами машинного обучения.

  • Определители и обратные матрицы – используются в некоторых алгоритмах, таких как метод наименьших квадратов.

  • Собственные значения и собственные векторы – применяются в методах снижения размерности данных (например, PCA – метод главных компонент).

• Теория вероятностей и статистика. Играют ключевую роль в понимании того, как работают модели машинного обучения и как интерпретировать их результаты. Основные моменты:

  • Основы теории вероятностей – вероятность событий, условные вероятности, байесовская статистика – все это критично для создания вероятностных моделей.

  • Распределения вероятностей – нормальное распределение, распределение Пуассона и другие – часто используются для моделирования случайных процессов.

  • Оценка параметров и гипотез – необходимо понимать, как оценивать параметры моделей и проверять гипотезы, например, используя тестирование гипотез и доверительные интервалы.

  • Корреляция и ковариация – помогают выявить связи между переменными, что важно при выборе признаков для модели.

• Основы многомерного анализа – интегральное и дифференциальное исчисление для функций с несколькими переменными. Знание многомерного анализа важно для работы со сложными моделями машинного обучения, где требуется оптимизация в многомерных пространствах. Необходимые темы:

  • Частные производные – используются в многомерных задачах оптимизации для расчета градиентов в методе градиентного спуска.

  • Градиенты и гессианы – важны для определения направления и скорости изменения функций потерь в многомерном пространстве параметров.

  • Многомерные интегралы – применяются для расчета вероятностей в многомерных пространствах и в методах Монте-Карло.

2. Классическое машинное обучение. На этом этапе нужно научиться писать код для базовых моделей регрессии и классификации, чтобы самостоятельно реализовать, например, модель линейной регрессии (для предсказания числового значения) и логистической регрессии (для классификации данных на категории). Также надо разобраться в архитектуре небольших многослойных нейросетей.

3. Глубокое обучение. Надо научиться создавать многослойные нейронные сети с большим числом параметров. Архитектура сети будет подбираться под конкретные задачи: компьютерное зрение, обработка текста и так далее. Здесь уже нужно понимать, как оптимизировать сеть, выбирать правильные гиперпараметры и использовать мощные инструменты для работы с большими объемами данных.

4. Передовые технологии машинного обучения. Здесь изучаются самые современные и продвинутые модели: трансформеры, большие языковые модели (LLM), диффузионные модели и другие новейшие методы. Именно они вызывают у начинающих интерес к машинному обучению и привлекают внимание исследователей и разработчиков по всему миру.

Почему не стоить изучать математику для ML по обычным учебникам

В интернете достаточно бесплатных материалов, и при желании математику можно изучать самостоятельно. Следует, однако, отдавать предпочтение книгам и курсам, которые изначально создавались с учетом ML-специфики. Обычные учебники не подходят потому, что далеко не каждый раздел математики используется в ML полностью. Например, из раздела дифференциального исчисления для функций с несколькими переменными обязательно нужно знать, как вычислять градиенты. Градиенты постоянно используются в методах оптимизации, таких как градиентный спуск, который помогает обучать модели машинного обучения. Также важно хорошо понимать цепное правило дифференцирования сложных функций. Эти концепции лежат в основе алгоритма обратного распространения ошибки, который используется для обучения нейронных сетей.

В то же время дивергенция, ротор, сферические координаты и теорема Стокса вообще не встречаются в машинном обучении. Эти понятия важны в физике и многих других областях, но для работы с ML их знать не нужно. Вреда от лишних знаний, конечно же, не будет, но у такого широкоохватного подхода есть два серьезных минуса:

• Много времени будет потрачено на изучение аспектов, которые никогда не пригодятся в работе.

• Чем обширнее и сложнее программа подготовки, тем выше вероятность сдаться раньше времени и не дойти до цели вообще.

А специализированные книги и курсы, напротив, предлагают несколько весомых преимуществ (помимо сжатой программы):

• Практические примеры – работа с градиентным спуском, матрицами признаков или вероятностными моделями, которые помогают лучше понять, как математические концепции применяются в машинном обучении.

• Развитие интуитивного понимания специфических математических подходов, например, регуляризации для предотвращения переобучения или использования градиентных методов для минимизации функций потерь.

• Современные методы и алгоритмы. Машинное обучение – быстро развивающаяся область, и специализированные книги часто содержат новейшие подходы и методы, которые еще не вошли в общие учебники математики.

Как не потерять мотивацию

Человеку с математическим образованием эта дорожная карта вряд ли покажется сложной, но для большинства остальных людей объем математики, необходимый для ML, выглядит пугающим. Чтобы не потерять мотивацию, стоит иногда отвлекаться – на чтение статей о передовых исследованиях, тестирование новых моделей машинного обучения и эксперименты с библиотеками. Это поможет поддержать живой интерес и энтузиазм. Также важно помнить, что после того, как вы освоите фундаментальную математическую базу и классическое машинное обучение, дело пойдет гораздо проще: вам уже будет по силам процесс создания и дообучения моделей по описаниям в публикациях на arxiv.org, а это откроет вход в ML-нишу на джуниорскую позицию.

Автор рассылки: Наталья Кайда

Новая функциональность в React 19 направлена, прежде всего, на улучшение:

• Управления состоянием.

• Обработки ошибок.

• Работы с асинхронными операциями.

Рассмотрим ключевые улучшения подробнее.

Действия (Actions)

Действия предназначены для обработки асинхронных запросов и автоматизации управления отложенными состояниями, ошибками и оптимистичными обновлениями. Фронтендеры теперь могут работать с асинхронными операциями более интуитивно, сохраняя пользовательский интерфейс отзывчивым в любое время – даже когда запросы выполняются в реальном времени.

Мониторинг состояния с помощью переменных типа isPending или isLoading во время асинхронных операций теперь можно заменить новым хуком useTransition.

UseTransition позволяет обновлять состояние компонента без блокировки пользовательского интерфейса. Другими словами, приложение будет работать и откликаться на действия пользователя при выполнении асинхронных операций в фоновом режиме, например, сетевых запросов. Пример использования:

Важно отметить, что startTransition объединяет все изменения состояния. Это значит, что любые обновления состояния, которые происходят внутри startTransition, не приведут к перерисовке интерфейса до тех пор, пока весь код внутри этого блока не выполнится. Например, в приведенном выше примере вызывается только одна функция – setError. Но если бы их было больше, все изменения состояния произойдут за один раз в конце. Это делает useTransition очень полезным, потому что он вызывает только одно обновление пользовательского интерфейса вместо нескольких. Если у вас внутри функции handleSubmit происходит несколько изменений состояния, например, N изменений, то без startTransition интерфейс обновлялся бы N раз, а с ним – только один раз.

Ранее приходилось вручную отслеживать состояние загрузки. До появления useTransition для отслеживания завершения операции, как в примере с updateName, нужно было использовать переменную состояния, например, isPending. Это выглядело бы так:

Обратите внимание, что при использовании такого подхода может возникнуть ситуация, когда состояние isPending будет установлено в false, но ошибка еще не произошла.

Предположим, что между моментами, когда isPending сбрасывается в false и когда проверяется ошибка (через if(error)), в приложении выполняется несколько асинхронных операций. Раньше это могло бы привести к негативному пользовательскому опыту – интерфейс обновился бы раньше, чем закончилась вся работа с данными, и пользователь увидел бы неполную информацию. Но при использовании startTransition такой проблемы не возникнет, потому что он вызывает обновление состояния только один раз – после того, как завершатся все операции. Это делает работу с асинхронными действиями более предсказуемой и даже упрощает код, убирая лишнюю строчку.

Улучшенная работа с формами

В React 19 появился новый хук useActionState, который предоставляет разработчикам встроенную поддержку для обработки состояний и отправки формы. Этот хук позволяет автоматически управлять состояниями и результатами:

Несколько важных моментов в этом примере:

• Код внутри useActionState – это код действия. Все, что находится внутри хука useActionState, выполняется при отправке формы (или при каком-либо действии). Это, по сути, логика, которая выполняется при событии, например, при нажатии кнопки «Отправить».

• formData не является типобезопасным. При вызове formData.get(name) нет гарантии, что будет возвращен текст. Может вернуться что угодно, и данные могут быть некорректными. Чтобы избежать ошибок, можно создать свой кастомный хук, который использует useActionState вместе с валидатором данных. Это позволит проверить данные перед отправкой на сервер (API).

• submitAction передается напрямую в свойство action элемента.

• useActionState создан специально для действий, особенно для работы с формами. Этот хук полезен, когда нужно управлять состоянием действий (например, отправкой формы), делая код более чистым и организованным.

Кроме useActionState, появился еще один полезный хук – useFormStatus. Он упрощает работу с элементами формы в React 19. С его помощью разработчики могут получать информацию о состоянии формы в дочерних компонентах, не передавая вручную пропсы и не используя контексты – это делает работу с формами более простой и интуитивной:

useFormStatus предоставляет доступ к четырем свойствам формы (pending, data, method и action):

Важно отметить, что только дочерние компоненты элемента формы смогут получить доступ к этим свойствам, т. е. DesignButton является дочерним компонентом в приведенном выше примере.

Привет!

Мы запустили еженедельную email-рассылку, посвященную последним новостям и тенденциям в мире фронтенда. В наших еженедельных рассылках ты найдешь:

• Современные JavaScript-фреймворки и библиотеки

• HTML5 и CSS3: новые возможности и трюки

• Оптимизация производительности веб-приложений

• Тестирование и отладка кода

• UX/UI лучшие практики

• Новые веб-стандарты и браузерные технологии

• Тренды в веб-дизайне и интерфейсах

• Прогрессивные веб-приложения (PWA)

Оптимистические обновления

Оптимистические обновления – это способ мгновенно показать пользователю предполагаемый финальный результат в интерфейсе, даже если в фоновом режиме продолжается обработка данных. Это делает приложение более отзывчивым, особенно в случаях плохого соединения или долгих запросов. Если при выполнении возникает ошибка, интерфейс возвращается к исходному состоянию.

В React 19 можно реализовать оптимистические обновления с помощью нового хука useOptimistic:

Важные моменты:

• useOptimistic работает как useState – он принимает начальное значение (в данном случае это currentName) и позволяет его изменять.

• Если отправка данных завершится ошибкой, React автоматически вернет значение optimisticName обратно к currentName. Это обеспечивает безопасность данных – если что-то пойдет не так, пользователь увидит реальное состояние данных.

API use

В React 19 появилась новая возможность – использовать API use для работы с ресурсами, такими как промисы и контексты, прямо внутри функции рендеринга. Это новшество позволяет использовать use даже в условных конструкциях, что ранее было невозможно с хуками. Благодаря этому разработчики могут эффективнее управлять зависимостями данных и создавать более динамичные приложения. Пример работы с промисами:

Важные моменты:

• Когда используется промис, use приостановит выполнение компонента до тех пор, пока промис не завершится. Это удобно для сетевых запросов, где данные еще загружаются. Вместе с компонентом Suspense можно показывать фолбэк (например, сообщение о загрузке) до завершения запроса.

• Нельзя использовать промисы, созданные прямо в рендере. Если промис создается в процессе рендеринга, use не сможет его обработать. Промис должен быть заранее подготовлен и закэширован или должен использовать совместимые с Suspense библиотеки.

Пример работы с контекстом и условным рендерингом:

Важные моменты:

• В отличие от других хуков, use можно использовать в условных операторах (но не в блоке try-catch). Как в примере выше, для переключения тем оформления можно использовать use в зависимости от условий (темная или светлая тема).

• Нет необходимости в явных потребителях контекста. Вместо того чтобы использовать компоненты-контекстные потребители (Context.Consumer), теперь можно просто вызвать use для получения значения контекста прямо в компоненте, даже в условных выражениях. Так же, как и useContext, use находит ближайший провайдер контекста, который находится выше по дереву компонентов.

Серверные компоненты

Server Components в React 19 – новый способ рендеринга компонентов. Рендеринг происходит заранее: либо один раз во время сборки, либо при каждом запросе на сервере, который отделен от клиентской части приложения. Похожим образом реализован серверный рендеринг в Next.js.

С помощью серверных компонентов разработчики могут контролировать, когда создается HTML-страница: на сервере, во время сборки или в процессе выполнения запроса. Это дает больше гибкости и возможностей для оптимизации.

Раньше для получения статических данных, например, из CMS (системы управления контентом) часто использовали хук useEffect. Подобный код выполнялся после первого рендеринга страницы:

Проблема в том, что при этом:

• Клиент загружает лишние библиотеки (например, 75 Кб для работы с Markdown и его очистки).

• Данные загружаются после первого рендеринга страницы, что делает интерфейс медленнее.

Теперь все это можно загрузить сразу на сервере во время рендеринга, и клиенту не нужно ждать второй запрос или загружать лишние библиотеки:

Серверные действия

Server Actions – это новая функция в React, позволяющая компонентам на клиенте вызывать асинхронные функции, выполняемые на сервере. Она создает связь между клиентом и сервером с помощью директивы use server. Это своего рода туннель, через который клиент может отправлять данные серверу для обработки.

Server Actions создаются в Server Components и могут передаваться в компоненты клиента как свойства (пропсы) или импортироваться и использоваться напрямую в Client Components.

Директива use server не указывает, что это компонент сервера, а создает связь между сервером и клиентом. Подобно тому, как use client говорит React отправлять JavaScript-код на клиент, use server создает «туннель», через который клиент может отправлять данные на сервер для обработки.

Допустим, у нас есть серверный компонент для создания заметок в базе данных. Этот компонент передает действие на клиент для выполнения по нажатию кнопки:

Когда React рендерит компонент EmptyNote, он создает ссылку на функцию createNoteAction и передает ее в клиентский компонент Button. Когда пользователь нажимает кнопку, React отправляет запрос на сервер для выполнения этой функции. Клиентский компонент выглядит так:

Также можно вынести серверное действие в отдельный файл и импортировать его:

Клиентский код:

Преимущества Server Actions:

• Повышение производительности. Поскольку часть логики выполняется на сервере, это снижает нагрузку на клиент и ускоряет начальную загрузку страниц. Особенно это важно для крупных приложений, которым нужно обрабатывать много данных.

• Улучшение SEO. Данные могут быть подготовлены на сервере заранее, что делает содержимое доступным для поисковых систем.

• Повышение модульности и переиспользуемости. Возможность использовать как серверные, так и клиентские действия улучшает организацию кода и упрощает повторное использование логики в разных местах приложения.

🔌 15 суперполезных плагинов Chrome в помощь фронтендеру

Эти инструменты помогут значительно упростить и ускорить процесс разработки и тестирования фронтенда.

CSS Peeper для извлечения CSS-стилей

CSS Peeper упрощает процесс изучения и извлечения CSS-стилей с веб-сайтов, позволяя пользователям быстро получать доступ к стилям без необходимости разбираться в сложном многоуровневом коде.

Fake Filler для автоматического заполнения форм

Fake Filler пригодится и фронтендерам, и тестировщикам: расширение автоматически заполняет все поля формы вымышленными данными. Есть возможность кастомизации.

Мобильный симулятор для тестирования адаптивности

Mobile Simulator проверяет адаптивность фронтенда на различных устройствах. Расширение обеспечивает симуляцию множества устройств Android и iPhone и позволяет увидеть ваш сайт именно так, как он будет выглядеть на реальном гаджете.

Wappalyzer для анализа технологического стека

Wappalyzer показывает, с помощью каких инструментов и технологий созданы веб-сайты: он определяет CMS, фреймворки, платформы электронной коммерции и другие технологии, используемые под капотом приложения.

Font Tester для тестирования шрифтов

Расширение Font Tester позволяет тестировать и просматривать более 1000 шрифтов Google на любом веб-сайте, что упрощает эксперименты с разными вариантами типографики. Всего несколькими кликами можно настроить толщину шрифта, высоту строки, применить курсив и многое другое. Плагин даже позволяет копировать необходимый код для выбранных шрифтов. Исходный код расширения можно взять на Github.

Ultimate Color Picker для выбора цвета

Ultimate Color Picker – простое и удобное расширение для выбора цвета, которое позволяет скопировать цвета в формате HEX и RGB с любого элемента страницы.

WAVE Evaluation Tool для оценки доступности

WAVE проверяет веб-приложения на соответствие стандартам доступности (для пользователей с ограниченными возможностями). Плагин выделяет потенциальные проблемы прямо на странице и предоставляет обратную связь по всем аспектам доступности, включая контраст, отсутствие альтернативного текста и атрибуты ARIA.

Image Downloader для загрузки изображений одним кликом

Image Downloader поможет скачать несколько или все изображения с веб-страницы одновременно, не кликая на каждой картинке.

Ahrefs SEO Toolbar для SEO-оптимизации

Ahrefs SEO Toolbar – бесплатный набор мощных инструментов, специально разработанный для SEO-специалистов. Он предлагает все необходимое для эффективной оптимизации и вывода сайта в топ поисковой выдачи.

What Font для поиска шрифтов

What Font – самый простой способ узнать, как называется приглянувшийся вам шрифт и как его настроить так, чтобы он выглядел в точности как в приложении-источнике. Это расширение обеспечивает идентификацию шрифтов и всех их свойств – цвета, размера, насыщенности (веса) и т. д.

Tab Manager для управления вкладками

Tab Manager придет на помощь, если вы работаете одновременно над несколькими проектами, а время работы вам приходится держать открытыми множество вкладок и часто переключаться между ними.

Detailed SEO Extension для анализа SEO

Detailed SEO Extension предоставляет набор продвинутых инструментов и метрик для всестороннего анализа SEO-показателей. Помогает проверить и откорректировать все элементы разметки и описания страницы, которые влияют на результаты поисковой выдачи.

Redux DevTools для управления состоянием приложения

Redux DevTools – незаменимый инструмент для всех, кто использует Redux для управления состоянием сложных React-приложений. С помощью Redux DevTools можно «путешествовать во времени» через изменения состояния приложения, просматривать дерево состояний в удобном формате и даже вручную отправлять действия. Это расширение помогает более эффективно отслеживать проблемы, понимать, как развивается состояние, и гарантирует, что управление состоянием работает так, как ожидается.

Ember Inspector для отладки приложений

Ember Inspector предназначен для отладки приложений на основе Ember.js. Расширение предоставляет подробную информацию о структуре и состоянии приложения в реальном времени – с его помощью можно:

• Просматривать все маршруты, определенные в приложении.

• Ориентироваться в соглашениях по именованию для URL-адресов, включая правила наименования контроллеров, шаблонов, маршрутов и других компонентов.

• Показывать информацию о том, какие шаблоны, контроллеры и модели в данный момент отображаются.

• Инспектировать модели и контроллеры с помощью интерфейса, который полностью поддерживает привязки и вычисляемые свойства.

• Делать объекты приложения доступными в консоли через переменную $E.

• Показывать все загруженные записи, если вы используете Ember Data.

Scrnli для записи экрана

Scrnli предлагает множество опций для записи экрана и редактирования полученного видео. Расширение пригодится для записи рабочего процесса, демонстрации возможностей приложения, фиксирования ошибок, создания учебных материалов и документации.

Автор рассылки: Наталья Кайда

Сбой Stack Overflow

В 2016 году Stack Overflow испытал 34-минутный перебой в работе. Причиной стало регулярное выражение, используемое для обработки пользовательского ввода:

^[\s\u200c]+|[\s\u200c]+$

Это выражение должно было находить пробелы в начале и конце строки. Проблема возникла, когда какой-то пользователь запостил комментарий, содержащий около 20 000 последовательных пробелов. Механизм обработки регулярных выражений начал проверять каждый пробел. Когда после 20 000-го пробела встретился другой символ, движок начал откатываться назад, пытаясь найти соответствие, начиная со второго пробела, третьего и так далее.

Это привело к катастрофическому возврату (catastrophic backtracking) – ошибке, которая возникает, когда движок регулярных выражений тратит чрезмерное количество времени на попытки найти соответствие шаблону, перебирая различные комбинации. Количество проверок начало лавинообразно увеличиваться и быстро достигло 199 990 000 – это вызвало значительную задержку и в итоге сбой системы.

Для решения проблемы потребовалось 10 минут на обнаружение причины, 14 минут на написание исправления и еще 10 минут на развертывание решения. В результате регулярное выражение было заменено на функцию подстроки.

Сбой Cloudflare

2 июля 2019 года произошел крупный сбой в работе платформы Cloudflare. Один из инженеров написал регулярное выражение, которое привело к действительно катастрофическому возврату – вызвало экстремальную перегрузку всей инфраструктуры. Использование процессоров выросло до 100%, а большинство сайтов, подключенных к Cloudflare, замедлились до крайности или вовсе оказались недоступными.

Коварная регулярка выглядела так:

(?:(?:\"|'|\]|\}|\\|\d|(?:nan|infinity|true|false|null|undefined|symbol|math)|\`|\-|\+)+[)]*;?((?:\s|-|~|!|{}|\|\||\+)*.*(?:.*=.*)))

Самую большую опасность в этом выражении представляет

.*(?:.*=.*)

– группа без захвата, которая может привести к чрезмерному использованию процессора при обработке определенных шаблонов. Эта конструкция вызвала серьезные проблемы с производительностью и в конечном итоге привела к массовому сбою.

Глобальный сбой Windows/CrowdStrike

19 июля 2024 года произошел самый массовый сбой в истории – из строя вышли около 8,5 млн Windows-компьютеров с ПО CrowdStrike. Причиной сбоя стало несоответствие между ожидаемым количеством входных параметров (21) и фактическим количеством параметров (20), которые были переданы в интерпретатор контента (этот компонент отвечает за обработку содержимого с использованием регулярных выражений). Когда система получила ввод с 21 параметром, интерпретатор контента попытался считать данные за пределами выделенной памяти, что и привело к сбою системы.

Привет!

Мы запустили еженедельную email-рассылку, посвященную последним новостям и тенденциям в мире бэкенда. В еженедельных письмах ты найдешь:

• Языки программирования и фреймворки для бэкенда

• Архитектура и проектирование серверных приложений

• Базы данных и управление данными

• Безопасность и защита данных

• Облачные технологии и DevOps

• API и интеграции

• Тестирование и отладка

• Инструменты и утилиты для бэкенд-разработчиков

• Лучшие практики и паттерны проектирования

🤵 Как не завалить собеседование в крупной ИТ-компании

Разработчик с 10-летним коммерческим опытом поделился провальным опытом прохождения технического собеседования в одной из лидирующих компаний. Из этого провала он извлек три основных урока:

• Перед собеседованием нужно освежить знания о структурах данных – и не только о списках, массивах и словарях. Не стоит игнорировать и те структуры, с которыми вы в последний раз сталкивались в университете и никогда не используете на практике – очереди, кучи и деревья. Автору попался как раз вопрос о деревьях, с которыми он с университетских времен не встречался и которые, скорее всего, на новой работе ему бы тоже не понадобились. Однако на собеседовании зачастую проверяются не только практические навыки, но и общая ИТ-эрудиция.

• Для тренировки нужно использовать самый простой редактор кода и таймер. Хотя в реальной работе повсеместно используются IDE с автодополнением кода и прочей ИИ-функциональностью, крупные компании при проведении теста обычно настаивают на старомодном способе решения задач, без каких-либо подсказок со стороны IDE. Писать код надо быстро – поэтому во время подготовки к собеседованию обязательно нужно пользоваться таймером для самоконтроля.

• Не надо решать задания по порядку. Необходимо прочитать все вопросы сразу и начинать с ответов на те, что попроще. Автор надолго застрял на первом вопросе, хотя мог быстро ответить на второй и успел бы выполнить третье задание. Два решенных задания, несомненно, лучше, чем незаконченный ответ на первый вопрос.

🛠️ Инструменты

BullMQ – библиотека для Node.js, которая реализует быструю и надежную систему очередей, основанную на Redis и предназначенную для решения всех основных задач в современных микросервисных архитектурах (сглаживание пиков нагрузки, создание надежных каналов связи между сервисами, распределение ресурсоемких задач между несколькими обработчиками и тому подобное).

Основные возможности и преимущества BullMQ:

• Точная обработка сообщений – библиотека гарантирует доставку как минимум один раз.

• Горизонтальное масштабирование – можно добавить сколько угодно обработчиков для параллельной обработки заданий.

• Высокая производительность – благодаря эффективным Lua-скриптам и конвейерной обработке.

• Минимальное использование CPU.

• Распределенное выполнение заданий на основе Redis.

• Поддержка очередей LIFO и FIFO.

• Приоритезация и отсроченное выполнение заданий.

• Запланированные и повторяющиеся задачи по расписанию.

• Настройка параллельности для каждого обработчика.

• Многопоточные (изолированные) функции обработки.

• Автоматическое восстановление после сбоев процесса.

• Поддержка зависимостей между задачами (родительские и дочерние задачи).

SigNoz – опенсорсный инструмент для мониторинга и устранения неполадок в развернутых приложениях. Это отличная бесплатная альтернатива коммерческим решениям – DataDog и New Relic.

Основная функциональность:

• Единый интерфейс для метрик, трассировок и логов.

• Визуализация метрик производительности приложений (RPS, процентили задержек, частота ошибок).

• Распределенная трассировка для выявления проблем в сервисах.

• Управление логами с продвинутым построителем запросов.

• Мониторинг инфраструктуры.

• Отслеживание исключений в различных языках программирования.

• Настраиваемые оповещения.

• Поддержка OpenTelemetry для инструментирования приложений.

• Возможность агрегации данных трассировки для получения бизнес-метрик.

Infisical – опенсорсная платформа для удобного и безопасного управления секретами и конфигурационными данными. Основные возможности:

• Централизованное хранение секретов – позволяет безопасно хранить в одном месте все важные данные (API-ключи, пароли от баз данных и другие конфиденциальные настройки приложений).

• Синхронизация между командой и инфраструктурой – гарантирует, что все члены команды и все части инфраструктуры будут получать доступ к актуальным секретам и ключам.

• Предотвращение утечек – помогает предотвратить случайное раскрытие секретной информации, например, путем коммита в Git-репозиторий.

• Управление конфигурациями – позволяет управлять общими настройками приложений для разных сред (разработка, тестирование, продакшн).

• Безопасный доступ – предоставляет инструменты (SDK, CLI, API) для безопасного получения секретов в приложениях и инфраструктуре.

• Контроль доступа – позволяет настраивать права доступа к секретам для разных пользователей и систем.

• Аудит и версионирование – ведет лог всех действий с секретами и позволяет отслеживать их изменения во времени.

• Интеграция с инфраструктурой – легко интегрируется с популярными платформами и инструментами (GitHub, AWS, Kubernetes и т. п.).

• Управление внутренней PKI – позволяет создавать и управлять собственной инфраструктурой открытых ключей для выпуска цифровых сертификатов.

KubeAI – инструмент для развертывания и управления опенсорсными LLM-моделями в среде Kubernetes. Среди основных функций и особенностей:

• Совместимость с OpenAI. Предоставляет API, совместимый с OpenAI, что позволяет легко заменить сервисы OpenAI в любых ИИ-приложениях на локальные.

• Поддержка различных моделей. Может работать с различными моделями, включая языковые (LLMs), модели для преобразования речи в текст (например, Whisper) и другие.

• Мультиплатформенность. Может работать на разных аппаратных платформах, включая системы только с CPU, системы с GPU, а в будущем планируется поддержка TPU.

• Масштабирование. Обеспечивает автоматическое масштабирование в зависимости от нагрузки, включая возможность масштабирования до нуля (когда ресурсы не используются).

• Простота развертывания. Не требует никаких дополнительных зависимостей типа Istio или Knative.

• Встроенный пользовательский интерфейс. Предоставляет чат-интерфейс OpenWebUI для взаимодействия с моделями.

• Управление серверами vLLM, Ollama и FasterWhisper.

• Интеграция с системами обмена сообщениями. Поддерживает потоковую передачу и пакетную обработку через интеграции с Kafka и другими PubSub-системами обмена сообщениями.

Zed – опенсорсный многопользовательский редактор кода, предназначенный для совместной работы над проектом в реальном времени. Основные особенности и возможности:

• Написан на Rust и отличается высокой скоростью и минимальными требованиями к ресурсам.

• Предусматривает интеграцию с LLM для генерации, анализа и рефакторинга кода.

• Имеет встроенный терминал.

• Предоставляет несколько удобных функций для совместной работы – демонстрацию экрана, общие заметки и т. п.

• Разработан с учетом конфиденциальности пользователей и не собирает личные данные.

Warp – современный высокопроизводительный терминал с ИИ-функциональностью. Основные особенности и возможности:

• Производительность. Написан полностью на Rust и использует рендеринг на GPU через Metal API, что обеспечивает высокую скорость работы (60+ FPS даже на 4K- и 8K-мониторах).

• Поддержка совместной работы в реальном времени.

• Улучшенный ввод команд. Редактор ввода команд представляет собой полноценный текстовый редактор с поддержкой выделения текста, позиционирования курсора, привычных пользователям сочетаний клавиш и автодополнения.

• Встроенный чат-бот. Понимает указания на естественном языке, дает рекомендации и отвечает на вопросы.

• Блоки команд. Команды и их вывод визуально группируются в блоки, что улучшает организацию и читаемость информации в терминале.

• Совместимость с популярными оболочками. Работает с Bash, ZSH и Fish, сохраняя существующие привязки клавиш.

• Кроссплатформенность. Работает на macOS и Linux, вскоре будет поддерживать Windows и WASM.

• Продвинутый UI. В отличие от традиционных терминалов, может отображать различные элементы интерфейса (всплывающие уведомления, меню и т. д.).

Автор рассылки: Наталья Кайда

Исследователи Google представили модель GameNGen, способную симулировать прохождение DOOM в реальном времени.

Испанские исследователи создали модель AINU, способную определять онкологические и вирусные заболевания на самых ранних стадиях, до появления каких-либо видимых или ощущаемых симптомов. Этот ИИ замечает клеточные поражения на наноуровне, даже если их размер не превышает всего 20 нм (что в 5 000 раз меньше диаметра человеческого волоса).

Plaud представила новый носимый ИИ-гаджет, NotePin, стоимостью $169. Он предназначен для создания заметок и суммаризации всего, что происходит в жизни владельца.

В Gemini появились Gems – аналог кастомных GPT и Copilot Studio. Можно воспользоваться одним из преднастроенных Gem (среди них есть ассистент по программированию, редактор текста, карьерный консультант и т. п.) или создать нужного помощника с нуля.

Илон Маск недавно объявил, что Tesla теперь – в первую очередь компания по производству роботов, и электромобили она будет собирать только ради финансирования этой великой цели. Однако свежая модель Optimus совсем не впечатлила посетителей конференции в Пекине: роботы китайских производителей, например Unitree, выглядят очень продвинуто на фоне Tesla-бота.

Бывший исследователь OpenAI сообщил, что компания близка к созданию супер-ИИ, но его безопасностью буквально некому заниматься: за 2024 год из 30 специалистов по безопасности ИИ осталось всего 16.

Грядущий GPU от NVIDIA, Blackwell, демонстрирует 4-кратное увеличение скорости работы по сравнению со своим популярным предшественником, H100. Эта разработка подтверждает лидирующую позицию компании в нише, но потенциальные конкуренты тоже готовы сделать весомый вклад в развитие AI-инфраструктуры: стартапы Tenstorrent, Cerebras Systems, D-Matrix, Groq и SiMa.ai недавно представили чипы, которые во многом превосходят возможности существующих GPU от NVIDIA.

Привет!

Мы запустили еженедельную email-рассылку, посвященную последним новостям и тенденциям в мире искусственного интеллекта. Наша цель – держать подписчиков в курсе самых интересных открытий, исследований и приложений ИИ.

В еженедельных письмах ты найдешь:

• Новости о прорывных исследованиях в области машинного обучения и нейросетей.

• Материалы о применении ИИ в разных сферах – медицине, бизнесе, науке, производстве и образовании.

• Статьи об этических аспектах развития технологий.

• Подборки лучших онлайн-курсов и видеолекций по машинному обучению.

• Обзоры инструментов и библиотек для разработки нейронных сетей.

• Ссылки на репозитории с открытым исходным кодом ИИ-проектов.

• Фильмы, сериалы и книги, которые заслуживают внимания AI-энтузиастов.

🛠️ Инструменты

GPT Engineer – разрабатывает веб-приложения любой сложности.

Photoroom – продвинутый ИИ-редактор со множеством функций для модификации и улучшения качества изображений.

Documind – чат с PDF-документами.

Viggle – оживляет изображения, воспроизводя нужные движения из видеореференса.

Reddit Scout – ищет нужные обсуждения на Reddit и делает суммаризацию.

JobTailor – поможет найти работу вашей мечты.

MakeMyAnime – генерирует анимешные видео в любом стиле.

AI Ease – бесплатно создает профессиональные фотопортреты по селфи.

VoiceGen – гиперреалистичная озвучка и клонирование голоса.

Magicam – заменяет лицо на видео в реальном времени.

PackPack – браузерное расширение для сохранения, организации и суммаризации любого контента.

🤖 История случайного создания генеративного ИИ

Большинство ИИ-энтузиастов знает, что архитектура трансформера, которая стала основой нынешней технологии генеративных ИИ-моделей, была впервые представлена исследователями Google в 2017 году в публикации «Внимание – это все, что вам нужно». Однако мало кто знает, что генеративные способности трансформера возникли буквально сами собой. Это стало полной неожиданностью для разработчиков модели – изначально они ее создавали для продвинутого машинного перевода, а не для генерации текста.

«Я был шокирован, ошеломлен. Я думал, что мы придем к чему-то подобному через двадцать, двадцать пять лет, а оно просто появилось», – сказал Эйдан Гомес, один из разработчиков первого GPT, о своем революционном детище. Даже сейчас, спустя годы после создания, исследователи команды признают, что многие аспекты работы трансформеров остаются непонятными для них. Как именно было совершено одно из самых важных технологических открытий XXI века, разработчики рассказали журналисту The New Yorker.

Команда из восьми человек работала без устали в течение 12 недель, иногда даже ночуя в офисе. Их задачей было разработать более эффективную систему перевода, способную обрабатывать язык без строгой последовательности, которая замедляла все существующие системы.

Ключевой инновацией стало использование механизма самовнимания в качестве основного компонента модели. Этот подход позволял системе оценивать все слова в тексте одновременно, определяя их взаимосвязи и важность. Самовнимание было известно давно, но до тех пор исследователи всегда использовали его совместно с другими компонентами. Кроме того, самовнимание реализуется с помощью матричного умножения, и на современных GPU эту операцию можно выполнять очень эффектно.

Прорыв произошел, когда они обнаружили, что их модель достигла впечатляющего показателя по BLEU (метрика оценки качества машинного перевода) – более 26 баллов для перевода с английского на немецкий, превзойдя предыдущие системы за считанные часы обучения вместо дней.

Однако настоящий сюрприз ждал их впереди – оказалось, что трансформер способен не только переводить, но и генерировать текст. Исследователи обучили модель на статьях из Википедии (это заняло два дня, в течение которых было обработано чуть менее половины контента энциклопедии) и дали ей задание – написать несколько статей о несуществующем объекте под названием The Transformer. К их изумлению, система сгенерировала пять совершенно правдоподобных статей о вымышленных объектах, включая детальные описания несуществующей японской панк-группы и австралийского ситкома.

Эта неожиданная способность к генерации текста поразила создателей трансформера. Полного понимания того, как это стало возможным, у них нет и сейчас, хотя принцип работы модели в общих чертах стал очевиден сразу же:

• Механизм самовнимания позволяет системе находить релевантные связи между словами в большом объеме текста.

• Система учится на основе паттернов в данных, не ограничиваясь предписанными правилами грамматики или синтаксиса.

• Трансформер обучается продолжать текст, устанавливая отношения между токенами (группами букв, знаков препинания и пробелов).

• Увеличение размера модели и объема данных для обучения приводит к значительному улучшению производительности.

🎥 Лучшие AI-инструменты для редактирования видео

Adobe Premiere Pro, известный видеоредактор, теперь предлагает множество инструментов на основе искусственного интеллекта. Некоторые из самых интересных функций включают:

• Редактирование клипов с помощью текстовых промптов.

• Автоматическую категоризацию аудио – распознает тип звука (музыка, звуковые эффекты, диалоги и т. д.) и предлагает соответствующие инструменты.

• Преобразование речи в текст – автоматически создает транскрипты и субтитры на 18 языках.

Подходит для: проектов и специалистов среднего/профессионального уровня.

DaVinci Resolve также предлагает множество инструментов на основе ИИ. Одна из самых интересных функций – распознавание лиц. Она позволяет автоматически группировать клипы по лицам. Это особенно полезно при работе с видеозаписями мероприятий с большим количеством людей.

Подходит для: пользователей и проектов любого уровня.

CapCut – популярное приложение для редактирования видео, известное простотой в использовании. Оно предлагает множество инструментов на основе ИИ, включая автоматическое создание коротких клипов из длинных видео.

Подходит для: создания коротких видео формата TikTok, Instagram* Reels или YouTube Shorts.

Runway специализируется на ИИ-инструментах для генерации и редактирования видеоконтента. Предлагает очень широкую функциональность, но редактирование может быть сложным для начинающих пользователей (а вот генерацией пользоваться очень просто).

Подходит для: опытных специалистов.

InVideo – очень простой и в то же время достаточно мощный инструмент для генерации и редактирования коротких видео.

Подходит для: новичков без опыта редактирования.

ClipChamp – приложение для редактирования и озвучивания видео от Microsoft. Отличается огромным выбором и гибкостью настройки голосов.

Подходит для: начинающих, желающих создавать короткие видео.

Descript – предлагает разные инструменты для обработки видео, включая автоматическое создание транскриптов.

Подходит для: пользователей без опыта, которым нужно редактировать короткие видео и генерировать транскрипты.

Wondershare Filmora – кроссплатформенный видеоредактор, известный простотой и многофункциональностью. Предлагает множество инструментов на основе ИИ, включая интерполяцию кадров и удаление вокала.

Подходит для: пользователей и проектов начального/среднего уровня.

✊ Сделай сам

Генераторы изображений зачастую работают слишком медленно, а все существующие методы ускорения этих моделей требуют большого количества тренировочных изображений. Разработчики SwiftBrush представили новый метод обучения, который не требует реальных изображений. Этот метод вдохновлен технологией создания 3D-моделей по текстовым описаниям и позволяет быстро обучить модель для создания качественных изображений с одного раза.

Video Foundation Model Evaluation Framework – мощный инструмент для работы с видеоданными. Он позволяет анализировать видео, сравнивать их и извлекать из них полезную информацию. Основная функциональность:

• Оценивает качество эмбеддингов на разных наборах данных (Kinetics-400, Something-Something-v2, Moments-in-Time, Diving 48).

• Находит похожие видео на основе векторных представлений.

• Определяет начало и конец действий в видео.

• Разбивает видео на сегменты, соответствующие разным действиям.

• Визуализирует векторные представления.

LayerPano3D – генератор иммерсивных 3D-сцен, которым можно найти применение в AR/VR, геймдеве и интерактивном обучающем контенте.

* Instagram принадлежит компании Meta, деятельность которой признана экстремистской и запрещена на территории РФ.

Автор рассылки: Наталья Кайда