AndreyButakov

Недавно вышел новый бенчмарк HLE (Humanity's Last Exam) (https://lastexam.ai/), на котором лучшие ИИ набирают меньше 13%. Собирали всем человечеством: открытая форма, куда каждый мог прислать свой вопрос. Если топовые модели не могли ответить на вопрос, то его отправляли ЭКСПЕРТАМ, которые отсеивали некорректные вопросы.

В итоге отобрали 6000 вопросов: половину опубликовали, половину спрятали в приватный датасет. За лучшие вопросы заплатили: $5000 за топ-50 и $500 за следующие 500.

👁 Зачем?
- реальная(??) проверка уровня LLM
- проверяли уверенность ИИ в своих ответах (слишком самоуверенно)
- новые бенчмарки важны для оценки прогресса ИИ

🔫 Лидеры:
1. o3-mini (high) - 13%
2. o3-mini (medium) - 10.5%
3. deepseek-R1 - 9.4%

Авторы HLE ожидают, что к концу года новые модели смогут выдавать более 50% на таком бенчмарке.
Сам факт появления такого "экзамена" показывает, насколько мощно развился ИИ.

🎓 Пример задачи:
У колибри, относящихся к отряду Apodiformes, есть уникальная двусторонняя парная овальная кость - сесамоид, встроенный в каудолатеральную часть расширенного крестообразного апоневроза вставки m. depressor caudae. Сколько парных сухожилий поддерживается этой сесамовидной костью? Ответьте цифрой.

Раскрываю секреты ИИ: https://t.me/optifyhub

Новый БЕСПЛАТНЫЙ (пока что) генератор музыки (https://riffusion.com/?r=imblackmamba). Отличный звук и голоса. Хорошо работает на русском.
Конкурент SUNO.

💃 Создаём песню:
1. Нам нужен текст песни. Можете сочинить сами, но я использую Claude, Gemini и, внезапно, китайскую Qwen2.5-MAX. Qwen удивил - хорошие рифмы.

Промпт:
напиши текст песни про искусственный интеллект в стиле панк-рок.

2. Вставляем текст в Riffusion (вкладка compose). Надо указать стиль песни тэгами. Можно получить случайный набор, а можно указать самим.

Я указал:
rock, theatrical glam rock band-style

3. Получаем 2 варианта песни!

Думаю, что для тех, кто увлекается музыкой будет очень полезна возможность генерировать любые инструменталы. Полноценные песни - чистое развлечение.

Обсуждаем ИИ: https://t.me/optifyhub

🍏 IOS
Скачиваем приложение (https://fullmoon.app/) -> выбираем и скачиваем модель -> наслаждаемся мощью ИИ в своём телефоне

📱 Android
Скачиваем приложение (https://play.google.com/store/apps/details?id=com.danemadsen...) -> выбираем и скачиваем модель -> наслаждаемся мощью ИИ в своём телефоне

Модели небольшие, тупенькие, лучше работают на английском языке. Телефон может нагреваться...

Но каков прогресс! Удивительно!

Ещё про ИИ: https://t.me/optifyhub

Пока ИИ от deepseek прилег из-за ажиотажа 😣, предлагаю вам попробовать новую модель от Qwen в их обновленном чате!

🎁 Модель Qwen2.5-Max
Самая мощная языковая модель в серии Qwen. По тестам обходит нашумевшую deepseek v3, но стоит очень дорого! Бесплатно и без VPN! Подарок от китайцев на новый год (китайский).

👍 Обновленный чат (https://chat.qwenlm.ai/)
В чате стало еще больше моделей, кроме Qwen2.5-Max вы можете выбрать:
- Qwen2.5-VL-72B-Instruct для качественно работы с изображениями (одна из лучших опенсорсных моделей для изображений)
- QwQ-32B-Preview для рассуждений (как r1 и o1)
- QVQ-72B-Preview для рассуждений при работе с изображениями
- Qwen2.5-14B-Instruct-1M с контекстом до одного миллиона токенов

👀 Для чего?
Последние модели Qwen очень хороши, хоть и дороговаты. Но больше интереса вызывает то, что именно их небольшие модели отлично себя показывают в реальных бизнес кейсах (в том числе на русском языке). В работе с изображениями их модели могут потягаться с Gemini и GPT 🚬, и модели от Qwen можно запускать локально.

👀 Китайцы молодцы!
Истерика с китайскими моделями, даже если они не превзошли o1 от OpenAI и Claude от Anthropic, это сильный толчок для всего ИИ. Большинство моделей - опенсорс. Теперь любая лаборатория или корпорация может, используя наработки и алгоритмы китайцев, сделать своего "убийцу GPT" за небольшие (по меркам создания ИИ) деньги. Это уже нельзя откатить или запретить, это не надо изобретать заново.

В благодарность Китаю - куплю робот-пылесос от XIAOMI

ТОЛЬКО ПРАВДИВАЯ ИНФОРМАЦИЯ ПРО ИИ: https://t.me/optifyhub

Недавнее исследование "AI Empathy: Outperforming Human Compassion" (https://www.nature.com/articles/s44271-024-00182-6) от 22.01.2025 показывает, что люди считают ИИ более эмпатичным и сострадательным. В экспериментах участвовало более 500 человек.

🗣 Суть эксперимента:
Сравнили ответы, сгенерированные ChatGPT-4o, с ответами обычных людей и профессионалов с горячих линий. Были разные запросы - как позитивные, так и негативные личные истории. А потом люди оценивали, насколько ответы сострадательные, отзывчивые и вообще какой ответ им больше нравится.

🤌 Что выяснили:
- Во всех четырех исследованиях ответы от GPT-4o оценили выше, чем человеческие
- Даже когда знали, что это ИИ, он всё равно выигрывал по эмпатии
- ИИ лучше поддерживает человека в негативных ситуациях
- В некоторых аспектах ИИ обошел специалистов по реагированию на кризисные ситуации... 🤷‍♂️

🤓 Делаем выводы:
- ИИ-педагоги - не только умнее, но и терпеливее, эмпатичнее и т.д.
- ИИ-поддержка (техническая, психологическая или любая другая) - выслушают и поддержат
- ИИ-переговорщик - чувствует эмоциональный фон беседы и угадывает настроения людей, может подобрать нужные слова на переговорах
- ИИ-врачи - поставит диагноз не только на основании большого количества данных, но и выяснит всё у самого пациента (не травмируя его, наверное...)

Остается вопрос этики и безопасности, как быстро это всё будет внедрено в нашу жизнь. Тут снова рассчитываем на китайский братьев (они уже игрались с генами детей (https://ru.wikipedia.org/wiki/Лулу_и_Нана)).

Исследуем ИИ: https://t.me/optifyhub

Вышла в опенсорс и доступна по API DeepSeek R1 (https://github.com/deepseek-ai/DeepSeek-R1) - рассуждающая модель от китайцев (она уже была доступна на сайте, но то была preview версия).
Ближайшие аналоги: o1-mini и o1 от OpenAI.

🪙 Цены:
Deepseek R1 - 0.55/2.19 $ за 1М токенов
o1-mini - 3/12 $ за 1М токенов
o1 - 15/60 $ за 1М токенов

📈 Бенчмарки:
Везде сильнее чем o1-mini, а стоит почти в 6 раз дешевле!
Примерно на одном уровне с o1. Стоит дешевле в 30 раз...
Ну китайцы, ну молодцы, двигают ИИ вперед!

Но это все бенчмарки и надо ждать пока настоящие люди протестируют на своих задачах. Это можно сделать легко и самим - модель доступна, как и прежде, на сайте Deepseek (https://chat.deepseek.com/).

R1 основана на Deepseek 3, которая и так хороша в программировании. Ожидаю что она будет очень сильная, хоть и не на уровне o1.

🔫 И что?
А то, что:
- опенсорс нагоняет закрытые модели
- китайцы демпингуют и создают конкуренцию: разработчикам ИИ уже нельзя замедляться и тормозить, а то потеряют всё преимущество
- ИИ и дальше будет дешеветь, умнеть, и будет доступен даже без ВПН 🤣

👏 Всё? Нет!
Кроме того Deepseek выпустили дистиллированные из R1 модели! То есть их большая и умная R1 "обучала" маленькие модели (например Qwen-1,5B, Llama-8B) размышлять как она и o1 или o1-mini. Даже дистиллированная Qwen-1,5B сравнима с GPT-4o и Claude-3.5-Sonnet!!!
Буду тестить, ведь модели 1.5, 7, 8 легко можно запустить и на слабеньких ноутах без GPU.

Разбираем ИИ по полочкам: https://t.me/optifyhub