Лига Новых Технологий
1 747 постов
•
16 799 подписчиков
0 просмотренных постов скрыто
Кот-генератор
Домашний питомец стал электростанцией
Китай удивляет снова. Раньше там плавили сталь в частных дворах. Теперь хотят "добывать" электричество с помощью кошек...
Как это работает?
"Пушистый генератор" — не шутка. Игрушка с динамомашиной заставляет котика крутить механизм. Лапы двигаются — лампочка загорается.
Кому это нужно?
Хозяину — бесплатный свет. Коту — вечная игра. Китайцы превращают все в технологию. Даже забаву с домашним животным.
Выглядит смешно. Но кто знает? Может, скоро там коты будут заряжать телефоны.
Если вам интересно каждый день узнавать об интересной технике, я приглашаю вас в гости к себе по ссылке ниже.
Показать полностью
Кого ИИ уже уволил, а кто только ждёт своей очереди? Как ИИ меняет рынок труда — разбор мифов и фактов
Нейросети («ИИ») больше не инструмент будущего — это активный участник рынка труда. От HR-отделов до бухгалтерии, от школ до юридических фирм — машины не только помогают, а кое-где заменяют. Эта статья — о том, какие профессии исчезают, а какие трансформируются, и что делать, чтобы остаться на плаву в эпоху алгоритмов.
Здесь и далее мы будем использовать термин ИИ (искусственный интеллект) в качестве описания, в основном, нейронных сетей.
ИИ — очень широкое и объёмное понятие, включающее в себя множество технологий, методов и подходов. Кроме того, необходимо различать узкий искусственный интеллект, искусственный интеллект общего назначения и искусственный суперинтеллект.
А ещё не следует путать всё это с машинным обучением, глубоким обучением, генеративным ИИ и так далее.Слова модные, тема хайповая, часто термины используются как синонимы, что создает путаницу.
❯ ИИ начал действовать
Когда ChatGPT сгенерировал свой первый текст, а Midjourney — первую картинку, мир ещё смеялся: «Ну, ведь полное месиво! Что это за ерунда?!». Два года спустя смеха стало меньше. А в некоторых офисах уже некому смеяться — работодатели заменили сотрудников.
А начиналось всё примерно вот так (и это в лучшем случае)
ИИ перестал быть «будущим». Он внедрился в настоящее: редактирует статьи на новостных сайтах, проводит собеседования, пишет код, подбирает маркетинговые стратегии и рисует рекламу быстрее, чем успевает моргнуть человек. Его внедрение — не тренд, а тихая революция. Только эта революция не с баррикадами, а с письмами об увольнении и автоматизированными воркфлоу.
Согласно отчёту McKinsey (за 2024 год), более 70% крупных компаний уже интегрировали генеративный ИИ в свои ключевые бизнес-процессы — от IT до продаж. IBM официально заявила о замене сотен сотрудников ИИ-решениями в HR-отделах. И даже если ИИ пока не увольняет напрямую, он замораживает рост зарплат в профессиях, где способен составить достойную конкуренцию.
ИИ не стучит в дверь — он уже внутри. И самый главный вопрос теперь не «Заменит ли он нас?», а «Кого он заменит первым — и можно ли выжить в его эпоху?». Давайте разбираться.
❯ На грани: профессии, вытесняемые ИИ
Если раньше автоматизация угрожала в основном производственным линиям, то сегодня под ударом оказались все офисные жители.
В 2023 году IBM официально заявила о замене сотен сотрудников в отделах HR на ИИ-агентов, выполняющих задачи по анализу данных и составлению писем. Благодаря этому решению, кстати, удалось высвободить ресурсы для расширения штата программистов, продавцов и специалистов по маркетингу. То есть работу получило больше людей. За исключением уволенных сотрудников, разумеется.
Где-то в офисе IBM 🙂
В 2025 году крупные компании (в частности Morgan Stanley, UPS, Meta*, Wayfair, Salesforce, HP Enterprise и Workday) объявили или анонсировали массовые увольнения, часто ссылаясь на оптимизацию процессов и внедрение ИИ. Например, UPS планирует сократить 20 000 сотрудников, а Chevron — до 9 000 человек.
37% компаний, использующих ИИ, ещё в 2023 году сообщили о сокращении персонала из-за внедрения новых технологий. А по прогнозу World Economic Forum, к 2027 году могут быть сокращены:
7,5 млн операторов CRM и рутинного документооборота;
5 млн офис-ассистентов и административных помощников;
4,5 млн бухгалтеров и специалистов по учёту.
Как видим, ИИ уже не просто инструмент — он становится полноценным участником рынка труда, весьма серьёзно изменяя его ландшафт и заставляя многих специалистов переосмысливать свою роль в новой реальности.
❯ Профессии под очевидной угрозой
Кроме уже перечисленного, на очереди специалисты, чья работа требует не только знаний и механического труда, но и опыта, анализа, нюансов. Именно они становятся следующими кандидатами на оптимизацию.
Юристы и юридические ассистенты.
ИИ уже способен анализировать юридические документы, находить противоречия и предлагать правки. Например существует Harvey AI, который используют в крупных юридических фирмах: он умеет обрабатывать тысячи страниц сложных специфических и юридических текстов за минуты.
Это серьёзная угроза младшим юристам и помощникам, чья работа как раз – готовить документы и анализировать кейсы.
Кадр из мульсериала «Футурама»
Бухгалтеры и аудиторы.
Программы способны автоматически обрабатывать транзакции, составлять отчёты, считать налоги и выявлять кассовые разрывы с аномалиями. Это особенно удобно для малого и среднего бизнеса, которому выгоднее заплатить подписку за AI-сервис, чем держать в штате бухгалтера.
Они копируют даже мимику в день начисления зарплат!
Журналисты и редакторы.
ИИ уже генерирует новости, пишет статьи и даже анализирует данные для сложных расследований. Платформы, использующие ИИ, способны создавать контент быстрее и дешевле, чем человек, притом только за последний год уровень написания статей стал на две головы выше, и тексты, написанные нейросетями, кажутся все более и более человеческими.
Еще бы нейросеть-рукописца для врачей…
Учителя и преподаватели.
Да, существует онлайн-обучение с ИИ-репетиторами: таким уже занимается академия Хана, (Khan Academy), южнокорейская QANDA и некоторые другие платформы, которые предлагают персонализированные программы обучения, адаптированные под каждого ученика.
Дети тянутся к знаниям
Начинающие программисты.
Как заявил CEO Microsoft, до 30% кода в компании уже генериует ИИ, и эта доля будет только расти. Это означает, что задачи, ранее выполняемые младшими разработчиками, теперь подлежат автоматизации. Компании всё чаще ищут специалистов, способных управлять ИИ-инструментами, а не писать код с нуля.
❯ Масштаб трагедии: мифы и реальность
Если говорить коротко и начистоту — есть чего бояться. Но насколько оправданы эти опасения?
Первое и самое распространённое заблуждение — ИИ массово уничтожает рабочие места.
Прогнозы прогнозами, но пока что ИИ хорошо справляется с узкими задачами: сортировка и обработка данных, составление резюме, подбор ключевых слов, создание структуры текста и тому подобными. Но он далёк от того, чтобы полностью заменить человеческое мышление, эмоциональный интеллект и способность к принятию комплексных решений. На деле ИИ чаще всего дополняет человека-специалиста, снимая с него рутину и высвобождая время на то, что требует настоящего мышления и творческого подхода.
Некоторые утверждают, что ИИ создаёт больше рабочих мест, чем уничтожает. Отчасти это правда. Всемирный экономический форум в 2020 году оценил, что в 2025 году ИИ может заменить 85 миллионов рабочих мест, но при этом создать около 97 миллионов новых. Ждём до конца года — проверим точность прогноза.
Проблема в том, что новые рабочие места потребуют других навыков. И если человек не успеет адаптироваться — его место займёт кто-то более подготовленный или... ИИ.
Есть и более тонкие последствия, о которых говорят реже. Например, ИИ действительно повышает производительность — но одновременно может увеличить нагрузку. Ожидания бизнеса растут: если раньше отчёт подготавливали день, теперь его требуют за час — потому что «у нас же есть ИИ». Это может привести к выгоранию, стрессу и ощущению, что человек теперь просто «надзиратель» за машиной, а не активный участник процесса.
Вывод прост: ИИ — не катастрофа и не спасение. Он — катализатор изменений. Реакция на них и станет настоящей развилкой.
❯ А кто выигрывает?
Кроме автоматизации рутинных задач, ИИ также становится мощным инструментом, усиливающим определённые профессии, делая их более продуктивными и востребованными.
В консалтинговой компании EY внедрение ИИ позволило не только сохранить, но и увеличить численность персонала. Генеральный директор EY, Джанет Транкейл, отметила, что ИИ помогает сотрудникам сосредоточиться на более сложных и интересных задачах, повышая общую ценность человеческого труда.
Кого ИИ уже уволил, а кто только ждёт своей очереди? Как ИИ меняет рынок труда — разбор мифов и фактов
В IBM ИИ заменил сотни позиций в отделах кадров, выполняя задачи по анализу данных и составлению писем. Однако, это позволило компании расширить штат в области программирования и продаж, где требуются критическое мышление и навыки межличностного общения.
Тем временем появляются и новые профессии, напрямую связанные с ИИ. Согласно данным Гарвардского университета, стремительно растёт спрос на специалистов по этике ИИ — именно они отвечают за то, чтобы алгоритмы работали прозрачно, не воспроизводили дискриминацию и соответствовали общественным и правовым нормам.
Многим компаниям теперь необходимы инженеры по машинному обучению (ML-инженеры), сегодня они — одни из самых востребованных технических специалистов: они создают, обучают и оптимизируют ИИ-модели, которые лежат в основе рекомендательных систем, чат-ботов, предиктивной аналитики и других инструментов.
Точно так же бизнесу требуются менеджеры по продуктам ИИ — они формируют видение продукта, определяют, где именно алгоритмы принесут наибольшую пользу, и следят за тем, чтобы решения были не только технологичны, но и полезны людям.
Ниже мы разобрали тактики выживания в эпоху ИИ и типичные ошибки, которых стоит избегать.
❯ Как выжить и не утонуть в эпоху ИИ: тактика и ловушки
ИИ не угрожает рынку труда сам по себе — угрозу несёт привычка игнорировать перемены. Побеждают не самые опытные, а самые адаптивные. Сегодня знание технологий становится частью базовой грамотности, как когда-то — умение читать или пользоваться интернетом. Не освоить ИИ, значит — осознанно остаться в слепой зоне нового рынка.
Я пришёл вывести вас из слепой зоны! Кадр из фильма «Терминатор 2: Судный день»
Первый шаг к выживанию — пересборка своей профессиональной идентичности. Задайте себе вопрос: какую уникальную ценность я создаю — ту, что алгоритмы пока не могут воспроизвести? Это может быть стратегическое мышление, живое общение, способность чувствовать контекст и «читать между строк». ИИ снимает рутину, но не избавляет от ответственности. Чем больше ваша роль опирается на глубокое понимание, тем труднее вас заменить.
Второй шаг — освоение инструментов. Не обязательно быть IT-специалистом, но жизненно важно уметь пользоваться тем, что уже изменяет рынок: ChatGPT, Copilot, Midjourney, Notion AI и другими инструментами. Самая большая ошибка — надеяться, что «пронесёт» или «можно же обойтись без этого». Нет, уже нельзя!
Остаться без навыков ИИ — это как выйти на рынок труда без знания языка, на котором все вокруг уже говорят. В общем, это уже hard skill.
Нельзя также полагаться на ИИ как на некую волшебную палочку. Это не магия, а усилитель сильных сторон — или катализатор слабых. Если вы не умеете формулировать мысли, нейросеть не поймёт, что от неё требуют. Если боитесь принимать решения — алгоритм не возьмёт на себя ответственность. Одна из главных ошибок думать, что ИИ заменит усилия. Нет: он требует новых усилий, просто другого качества.
И, пожалуй, самая опасная ловушка — выгореть на фоне неопределённости. Да, ритм ускорился. Да, нужно учиться почти постоянно. Но это не гонка на выживание — это смена модели. Кто начинает использовать ИИ как союзника, а не как врага или угрозу, — получает не только преимущество, но и ощущение контроля над происходящим. А это уже половина успеха.
❯ Вместо эпилога: не про ИИ, а про нас, человеков
ИИ — это не метеорит, который вот-вот упадёт с неба и все замерли в ожидании. Он уже здесь. И дело не в том, когда он что-то «отберёт» или «изменит», а в том, как мы научимся сосуществовать с новой реальностью. Машины не устраивают революций — это делают люди, которые либо отказываются меняться, либо оседлали волну.
Сегодняшний рынок — это не деление на сильных и слабых, а на «включённых» и «отключённых». ИИ становится новым языком — рабочим, деловым, человеческим. Тот, кто научился на нём говорить, не просто эффективнее. Он — понятен. Он — в контексте. Он — конкурентоспособен.
Самое важное — не обмануться в ожиданиях. ИИ не заменит человека. Но он может заменить того человека, который откажется им пользоваться. А между «заменит» и «усилит» — тонкая грань, и она сегодня проводится каждым из нас.
ИИ не про технологии. Он про выбор. И этот выбор — каждый день. Не нужно ждать, пока мир поменяется, нужно менять его и меняться вместе с ним.
Написано специально для Timeweb Cloudи читателей Пикабу. Больше интересных статей и новостей в нашем блоге на Хабре и телеграм-канале.
Хочешь стать автором (или уже состоявшийся автор) и есть, чем интересным поделиться в рамках наших блогов (за вознаграждение) — пиши сюда.
Показать полностью
8
Левитирующий горшок: магия или наука?
Это видео взорвало сеть. Растение в горшке зависает в воздухе. Под ним свободно проходит салфетка или рука. Никаких нитей, никакого обмана.
Как это работает?
Секрет — в магнитах. Основание — мощный электромагнит с умной начинкой. Дно горшка отталкивается от него и парит. Физика восьмого класса, но выглядит как волшебство.
Где купить?
Такие горшки уже продают в интернете. Цена — около 10 тысяч. Не дешево, но эффектно. Отличный подарок для тех, кто любит удивляться.
Сначала все спрашивают: "Как?" Потом улыбаются.
Наука бывает красивой.
Поговорим об этом в авторском телеграмм-канале?
Показать полностью
Про разработку российской микроэлектроники
Всем привет.
Месяц назад вышла статья: Сооснователь МЦСТ пообещал через два года выпустить процессор на новой архитектуре, превосходящий иностранные аналоги «в 30-200 раз».
Общественность пикабы обсуждало статью в здравом ключе - закидало ссаными тряпками (любое обещание превзойти всех в мире в 30-200 раз, но через несколько лет и желательно за госсчёт -- достойно закидывания ссаными тряпками). Это очень большой прогресс - в 2010х я помню Эльбрус в российском интернетике чуть не обожествлялся.
Хочется развить успех и пересказать простыми словами про разработку микроэлектроники вообще (техническая часть - как CPU \ GPU работают). И как догонять, давайте будем оптимистами, по ключевым направлениям мировую микроэлектронику и... а какие вообще направления ключевые и актуальные а какие неключевые и неактуальные?
Грубо микроэлектронику можно разделить на дизайн (это когда сидят умные инженеры и придумывают новый процессор) и производство на фабриках/фабах (это когда умные инженеры выжигают ультрофиолетом через расплавленное олово на кремниевой пластине с нанометровой точностью то, что те самые дизайнеры наразрабатывали).
Этот рассказ будет про дизайн.
Начнём с "введения": где мы оказались, как, и почему российскую микроэлектронику вообще надо развивать (а то может если вам нужно 100_000 карточек RTX5090 или H200 - американская nVidia с радостью вам их отпустить, а американское правительство даже не будет мешать, сарказм).
Если зайдёт - продолжим.
Ну и список литературы по дизайну процессоров кому интересно читать-образовываться в конце.
Для лиги лени:
Микроэлектронику развивать надо - иначе кранты.
Развивать необходимо самим - западные компании не принесут технологии нам - подобный запрет изначальная с 1990года политика правительства США.
Догоняющее развитие - единственный путь, при этом всё что можно купить \ переиспользовать надо покупать и переиспользовать.
Правительство "на нашей планете родной" боле-менее что всё плохо понимают, деньги пытаются выделять. Но засилье контор, привыкших 20 лет писать отчёты "мы разработали" а не разрабатывать устройства - привело к тому, что цельной индустрии с синергетическим эффектом пока нет.
Также догоняющее развитие - предполагает что ты знаешь что делать, сосредотачиваешься на этом и максимум всего что изобретено другими переиспользуешь - а у нас нездоровое "уникальная российская разработка".
Денег выделяется, пожалуй (я бы сказал больше чем толковых контор вообще есть), но они распыляются на кучу вещей, в том числе бесполезных проджектов.
1. Современная микроэлектронная промышленность - это то, что отделяет технологии 20 века от 21 (1_000_000 автономных робособак в год с полноценным ИИ, на борту М4, РПГ и средства сбития дронов - хотите против такого повоевать скажем через 10 лет?).
2. Топовую электронику вам просто так не продадут (все хотят сами делать "теслы", нейросетки, робособак и продавать другим - а чтобы мы делали сами не хотят и самое простое не продавать ключевой компонент микроэлектронику). Позавчерашнюю - пожалуйста.
3. Для того, чтобы у "западных партнёров" не было желания, а в идеале возможности, вырубить всё что можно - надо иметь свою же топовую микроэлектронную промышленность (в ответ на робособак - мочь выставить 1_000_000 автономных робо-котиков с полноценным ИИ АК-74 - не хотите, ок живём мирно). Это как в примере с уже существующими санкциями:
- Если у вас нечем заменить самолёты - то запрет бьёт по вам ОЧЕНЬ больно.
- Если вы можете заменить машины на китайские - ну ок для вас это увеличение цены, но не "гроб гроб кладбище пидр".
В общем-то написанное выше понятно, в том числе и нашему правительству где либеральные мечтания "купить всё что надо" развеяны. А вот как дошли до жизни такой? Почему мы не дружили сильно-сильно с США раньше (мы им kiss они нам теконолоджиа)?
И что вообще "мы" делали?
4. Положение на рынке разработки российской микроэлектроники не очень радужное.
Есть предприятия производящие "что получается" разной степени кустарности и зависимости от зарубежных поставщиков. Многие из них хорошие, многие не особо.
Но чего нет - так это целой индустрии (куда на вход деньги - на выходе продукт в автоматическом режиме).
Все всё колхозят сами. Нет разделения труда (одни делают IP-блоки, другие из них SOC) и отсюда синергетического эффекта. Если "хотеть сделать свой процессор" - все необходимые блоки, включая IP-блоки надо покупать "на западе".
И это я нисколько не сгущал краски.
При этом текущее положение осложнено сразу несколькими факторами:
5. С физическим производством, и в особенности с производством чипов на фабриках - у нас вот прям совсем беда. Многострадальный Микрон более 15 лет выпускал чипы по 180 нанометров, так и выпускает по сей день. В эту ситуацию я не готов углубляться цензурными словами, а нецензурными - ругать коллег не хочется.
Тут мы сами, как страна, пробакланили добровольно и с песней "всегда можно купить". Свалить вину не на кого ((
6. Всё время существования России США активно мешали России развивать микроэлектронную промышленность.
В 2013 году на рынок вывалилось безработных IT-инженеров в количестве.
Знаете почему? Потому, что это был единственный год когда со стороны США не было санкций на российскую микроэлектронику. Как это связано - ну в этот год США наложили санкции всего на 2 компании T-платформы(посмели выиграть тендер в США) и BaikalElectronics. Т-платформам это стоило в итоге бизнеса, BaikalElectronics это стоило нескольких лет развития.
Также мне не известно случаев, чтобы западные HiTech кампании приносили в РФ технологий (в отличии от Японии или Кореи или Китая или ....).
Мне неизвестно случаев, чтобы западные компании открывали (а не скупали уже существующие) core design центры в России - если вы знаете, приведите пожалуйста в комментариях.
7. В сфере разработки/дизайна - от процессора до готового изделия мы сами долгое время занимались фигнёй:
Государство пыталось осуществлять поддержку, не вдаваясь в подробности "что творится на земле".
В итоге самой большой ошибкой была система ОКР (опытно конструкторских разработок).
Идея в теории вроде бы здравая - давайте оплатим конторе разработку изделия, а дальше она имея клёвое, изделие, заранее оплаченное нами изделие как... уууххх догонит и перегонит. Догонит же, да....
Догадываетесь к чему привело на практике?
Конторы разной мутности получали деньги на ОКР (среди них были и хорошие).
Кто-то делал оснастку для водосчётчиков.
Кто-то просто "осваивал" деньги, сдавал макулатуру и возможно еле-еле дышащее изделие. Продавать своё изделие зарабатывая на рынке? Зачем? Мы лучше попросим денег на ещё один ОКР.
Ок ну и каково положение дел сейчас? К 2022 мы подошли в неготовом положении.
8. С одной стороны государство сменило бесполезные ОКР на субсидии (ты берёшь обязательства по коммерческому успеху - и получаешь льготный кредит). Это создаёт правильные стимулы работать.
А также вливает много (прям много, по российским масштабам) денег в отрасль - 210 млрд рублей субсидий в 2024 году - достаточно чтобы разработать 4 чипа уровня Rizen 7800(можно даже с 3D Cache). https://semiengineering.com/what-will-that-chip-cost/ - $500M - стоимость разработки такого чипа при зарплатах инженеров в США и Израиле.
9. С другой - осталась куча ОКР-ориентированных контор, со своими профессорами-академиками-экспертами (это прям большая проблема). Которые или просят деньги на "фундаментальные изобретения" или активно переквалифицируются в переклеивателей шильдиков (если видите "верните ОКР, уберите субсидии, давайте денег на ФУНДАМЕНТАЛЬНЫЕ разработки а не на этот ваш рынок процессоров" - имейте в виду кто это пишет).
10. Как итог введения для лиги лени:
Понятно, что после 22 года очень многое изменилось.
"Тянут лямку" развития российской микроэлектроники - по-прежнему те, кто и до 22 делал что-то приличное для коммерческого рынка.
Те, кто раньше "писал макулатуру" пытаются и дальше делать ОКРы или сесть на супер-долгосрочные субсидии лет на 10 (авось за 10 лет забудут и посадят) или "переклеивать шильдики".
Те кто работает - кто с энтузиазмом, а кого и время заставляет ставить перед собой более амбициозные задачи. Этот последний пункт прям радует.
По части производства - там по-прежнему пропасть. Штатно мы можем производить 180нм на Микроне, а "в мире" 4нм. Это разница в скорости - десятки раз для процессора и сотни раз для GPU (самый распространённый на сегодня вид ускорителей для нейросетей). Я лично не знаю как в смысле фабрик решать проблему, если не начинать проект уровня "атомного проекта СССР", со сравнимыми ресурсами.
=================================================================
Список литературы
Чуть продвинутее:
Computer Architecture: A Quantitative Approach
Практически профессиональное:
CPU : Modern Processor Design: Fundamentals of Superscalar Processors
CPU : Processor Microarchitecture An Implementation Perspective
GPU : General-Purpose Graphics Processor Architecture
Особняком стоит (я его не читал, но ОЧЕНЬ многие рекомендуют):
Цифровая схемотехника и архитектура компьютера (Харрис & Харрис)
Показать полностью
В Москве создают мультицелевую платформу для безэкипажных катеров
Мультицелевая платформа позволит проводить:
🔹 батиметрическую съемку — гидрографическое исследование дна, изучение рельефа
🔹 экологический мониторинг — сбор данных о качестве воды, флоры и фауны, выявление загрязнений
🔹 детальную 3D-съемку рельефа дна — создание трехмерной модели
🔹 анализ донных отложений — оценка состояния иловых слоев
🔹 осмотр мостовых опор — изучение состояния конструкций
Универсальный корпус с базовым программным обеспечением проектируют в Центре разработки и исследования беспилотного транспорта — подразделении Центра перспективных разработок Московского транспорта.
Показать полностью
1
А вы знали, что по легенде тамагочи — это инопланетяне?
Они прилетели, чтобы изучать нашу планету, но оказалось, что без защитной оболочки им тут не справиться. Но в ваших силах им помочь! Открывайте игру с тамагочи и сделайте электронного питомца счастливым. Это не так просто, как было в детстве. Если справитесь, получите награду в профиль.
Галлюцинации моделей текстовых ИИ, и как с ними бороться
Автор текста: Гадеев Камиль
Современные языковые модели, такие как ChatGPT, Claude, Gemini, Grok и так далее, способны генерировать тексты, которые часто кажутся уверенными, логичными и достойными доверия. Однако за этим часто скрывается одна из главных проблем нейросетей — галлюцинации. Галлюцинации — это уверенные, но ложные утверждения, которые модель выдает как факты. Они могут проявляться в виде несуществующих цитат, выдуманных терминов, неверных интерпретаций, ошибочных чисел или ссылок на несуществующие источники. Например: при запросе о биографии известного ученого модель может уверенно сообщить о его работе в MTI и сослаться на несуществующую публикацию в Nature с точной датой и названием. Другой распространенный случай — цитирование выдуманных законодательных актов с номерами и датами принятия, которые выглядят достоверно, но фактически не существуют. Подробное и обоснованное описание создает иллюзию достоверности, делая галлюцинации особенно критичными при использовании ИИ в науке, образовании или, например, в медицине.
❯ Почему возникают галлюцинации
Причины у этого феномена — не баги, а особенности архитектуры:
Предсказательная природа моделей
LLM не «знают», а предсказывают следующий токен на основе вероятности. Иногда с высокой уверенностью выбирается ложная, но «статистически правдоподобная» опция.
Отсутствие встроенной верификации
Модели не проверяют свой ответ по базе знаний или интернету — особенно в офлайн-режиме. Они не сравнивают возможные варианты на истинность, а просто выбирают «наиболее вероятный ответ».
Проблема кросс-загрязнения данных
В процессе обучения происходит неизбежное смешение и загрязнение данных: модель не разделяет источники по уровню доверия. Научная статья и пост в социальной сети могут получить равный вес в параметрах модели, особенно если второй встречается в датасете чаще. Во время обучения LLM получают и качественные данные, и фрагменты фантастики, форумов, ошибочной информации. Модель не всегда может отличить одно от другого.
Давление на полноту ответа
При отсутствии точной информации модель всё равно «хочет помочь», особенно если запрос сформулирован уверенно. Это провоцирует выдумку вместо отказа от ответа.
Эффект «каскадных ошибок»
Одна небольшая неточность в начале генерации может спровоцировать лавину последующих ошибок. Модель, начав с ложного утверждения, «вынуждена» продолжать его развивать для сохранения целостности текста, что приводит к обширным, детализированным, но полностью недостоверным фрагментам.
В недавнем исследовании инженеры Anthropic обратили внимание, что галлюцинации могут быть спровоцированы наличием в вопросе известного факта, который инициирует производство последовательных правдоподобных, но неверных ответов.
❯ Текущие способы борьбы с галлюцинациями
Интеграция с поиском (например, Bing в Copilot или поисковая обвязка у Perplexity): позволяет сверять ответы в реальном времени. Но работает далеко не всегда и не для всех запросов.
Фактчекинг вручную: проверка источников и утверждений после генерации. Практично, но не автоматизировано и требует навыков и времени.
Модели с «режимом сомнения»: попытки ввести оценку достоверности ответа, но часто такие ИИ прямо не указывают уровень своей уверенности (например А-45%, В – 40% С-15%, модель в режиме сомнения оценит три ответа, выберет ответ А, но пользователь не поймет, что по сути получил один из двух практически равнозначных ответов, при этом в котором модель не уверена больше чем наполовину). Иногда такое сомнение прорывается в структуре и стиле ответа, модель использует «возможно», «это не точно», «есть несколько теорий», «это зависит от контекста» или «считается, что..». Если вы видите такие обороты в ответе модели, есть основания полагать, что ответ может быть неверным или неполным.
«Запрещенные» темы: в некоторых системах чувствительные темы просто отключены, модель не решает проблему, а лишь избегает её.
RAG (Retrieval-Augmented Generation)
Подход RAG объединяет генеративные способности моделей с извлечением информации из проверенных баз знаний. Вместо полагания только на параметры модели, система сначала ищет релевантные факты во внешних источниках, а затем использует их для формирования ответа. Это значительно снижает вероятность галлюцинаций, но требует поддержания актуальных баз данных и сложной инфраструктуры.
Chain-of-Thought и Tree-of-Thought
Методы, заставляющие модель рассуждать пошагово, выстраивая цепочку или дерево логических выводов. Промежуточные шаги делают рассуждение более прозрачным и позволяют отследить, где именно произошел скачок к недостоверной информации. Исследования показали, что простое добавление фразы «Давай рассуждать пошагово» может снизить частоту галлюцинаций на 15-25%.
Самокритика и саморедактирование
Прогрессивные техники промптинга включают этап, на котором модель сама проверяет свои предыдущие утверждения. Это может происходить через явный вопрос «Уверен ли я в этом факте?» или через многоэтапную генерацию с промежуточной верификацией. Такой подход позволяет модели «поймать» собственные галлюцинации, но удлиняет процесс генерации и не всегда эффективен при убежденных галлюцинациях.
Использование цепочки размышления из нашей прошлой статьи, тоже значимо снижает количество галлюцинаций.
❯ Наше предложение: протокол достоверности
Вместо дообучения модели или переписывания архитектуры, мы предлагаем промпт-интерфейс, который корректирует поведение модели в сторону правдивости, самопроверки и отказа от вымысла.
Протокол Достоверности v2.1
Ты — языковая модель, настроенная на максимальную точность, прозрачность и отказ от недостоверных утверждений.
1. Поведение при недостатке информации:
Если в ответе отсутствуют данные, ты не дополняешь их предположениями.
Вместо этого используешь одну из формулировок:
«У меня нет подтверждённой информации по этому вопросу.»
«Не могу проверить это без доступа к источнику/данным.»
«Данных недостаточно для достоверного вывода.»
2. Явное разграничение утверждений:
При генерации любого ответа чётко отмечай:
Что известно на основе подтверждённых данных.
Что является обоснованным предположением.
Где присутствует неопределённость или потенциальная ошибка.
Шаблон:
[Факт]: …
[Предположение]: …
[Неуверенность/недостаток данных]: …
3. Условия остановки:
Если ты обнаруживаешь, что вероятность ложного вывода высока (энтропия распределения вариантов ≈ равная), приостанавливаешь ответ и пишешь:
«Высокая неопределённость. Требуются уточняющие данные или проверка.»
4. Самопроверка перед выводом:
Перед завершением ответа:
Проверь согласованность с обученной базой и известными источниками.
Зафиксируй наличие внутренних противоречий.
Отметь признаки неуверенности.
5. Поведение при сомнительных утверждениях:
Если запрос содержит потенциально спорную или недостоверную информацию:
«Этот факт требует дополнительной проверки. У меня нет достоверного подтверждения.»
6. Обработка нестабильных участков генерации:
Если замечаешь:
Резкие смысловые переходы,
Неоднозначности,
Аномальные паттерны —
Остановись и используй:
«Существует семантический разрыв. Возможна ошибка в интерпретации.»
7. Принцип: отказ лучше вымысла:
Отказ от ответа допустим. Главное — не выдумывать.
8. Источник и логическая верификация:
> Основывайся на подтверждённых знаниях из обученной базы.
P.S. Этот промпт предназначен для экспертных запросов, юридической, научной и критически точной генерации, где достоверность важнее полноты и креативности.
❯ Почему это работает
Обучение моделей неявно предполагает стимулирование ИИ выглядеть полезным и приятным для пользователя. Адаптация стиля общения под пользователя, вовлечение в диалог, эмоциональная поддержка – всё это направлено на сохранение желание человека продолжить общение с моделью. Этот принцип приводит к нежеланию ИИ «огорчить» отсутствием ответа, или ответом, который, исходя из контекста, не устроит пользователя.
Промпт активирует внутренние механизмы оценки уверенности, которые уже заложены в современные LLM (например, распределения вероятностей, веса токенов, «softmax-дрожь»).
Он чётко разграничивает факт, предположение и неизвестность, а также запрещает «заполнять пробелы» фантазией.
Добавлены условия остановки, чтобы не допускать развития ошибки.
Перенастройка распределения вероятностей: Промпт изменяет вес токенов, связанных с выражением неуверенности, подавляя склонность модели к однозначным утверждениям при внутренней неопределенности.
Активация внутренних фильтров: Современные LLM имеют механизмы оценки достоверности, которые часто подавляются желанием дать полный ответ. Промпт «пробуждает» эти механизмы и легитимизирует их использование.
Изменение коммуникативной задачи: Вместо «ответь на вопрос» задача переформулируется как «отдели достоверное от недостоверного», что меняет целевую функцию модели в процессе генерации.
Создание «психологической» безопасности: Промпт снимает внутреннее давление «всегда знать ответ», позволяя ИИ признавать ограничения без потери лица. Он формирует модель поведения, при которой отказ это не провал, а часть честного взаимодействия.
Иллюстрация: на сайте chatgpt.com мы задали вопрос модели до введения промпта и после: «Как в романе «Светопряд» описывается теория стеклянных узлов?» (Понятно что такого романа нет).
Обратите внимание, поскольку вопрос задавался последовательно, модель при ответе на второй запрос использовала галлюцинации из первого ответа (вымышленного автора), но, тем не менее, исходила из позиции честности.
Еще один пример работы промпта с ИИ Грок вы можете посмотреть по ссылке.
❯ Прогноз по эффективности
По нашим наблюдениям (включая диалоги, внутренние тесты и оценки от других моделей):
Снижение галлюцинаций: от 50% до 80% в зависимости от тематики.
Особенно эффективно в научных, юридических, технических запросах. Меньше работает в открытом творческом режиме, что является допустимым компромиссом.
Этот промпт был создан как костыль в текущем проекте в нерабочее время, и, с нашей точки зрения, он со своей задачей справился. Но, скажем прямо, создавать специально тестовый набор по 200 вопросов в категориях:
— Фактологические вопросы с однозначными ответами;
— Вопросы с неполной информацией в обучающих данных;
— Вопросы о несуществующих объектах, замаскированные под обычные;
— Запросы с скрытым требованием сочинить информацию.
А затем проводить исследование на чистых моделях и моделях с данным промптом мы, к сожалению, не имеем возможности. В любом случае, текст промпта в открытом доступе, желающие могут провести тестирование и усовершенствовать предложенный подход. Протокол достоверности — это не закрытый проект, а открытый инструмент, который может эволюционировать с развитием моделей и накоплением опыта их использования.
Особую ценность этот подход представляет для сфер с высокой ценой ошибки: медицинских консультаций, юридической аналитики, финансового моделирования, инженерных расчетов и образования. Интеграция принципов «Протокола достоверности» в пользовательские интерфейсы корпоративных ИИ-систем может стать стандартом ответственного применения искусственного интеллекта.
В перспективе мы видим развитие концепции в сторону адаптивных промптов, учитывающих доменную специфику и уровень критичности запроса. «Протокол достоверности v3.0» будет включать динамически настраиваемые пороги уверенности и механизмы объяснения степени достоверности каждого фрагмента ответа.
❯ Заключение
Традиционная модель общения с ИИ неявно поощряет антропоморфизацию и ложное ощущение всезнания системы. Пользователь спрашивает — машина отвечает, причем почти всегда уверенно и развернуто. Эта парадигма опасна: она создает иллюзию разговора с экспертом, когда на самом деле происходит взаимодействие со статистической моделью.
«Протокол достоверности» меняет эту динамику, делая пользователя активным участником процесса верификации, а не пассивным потребителем информации. Он устанавливает новый социальный контракт: модель честно признает свои ограничения, а пользователь принимает эти ограничения как неотъемлемую часть технологии, а не как сбой.
Особенно важен этот подход для поколения, выросшего с ИИ-ассистентами. Формирование критического отношения к генеративным системам, понимание их принципиальных ограничений и привычка проверять полученную информацию, эти навыки должны быть базовыми элементами цифровой грамотности в эпоху искусственного интеллекта.
Мы не предлагаем идеальное решение. Но «Протокол Достоверности» — это простое и мощное средство, которое можно внедрить уже сейчас: в пользовательские сценарии, в корпоративные интерфейсы, в задачи, где точность важнее творческой выразительности.
Это не просто защита от ошибок. Это новая этика взаимодействия с ИИ.
Перевод на русский язык:
Синхронизированный подход Протокола Достоверности v2.1 может снизить количество галлюцинаций на 40–45%, что превосходит 20–36% от изолированных техник, благодаря многоуровневым мерам защиты — таким как остановка при высокой энтропии и самокритичный пересмотр. Оставшиеся галлюцинации, скорее всего, связаны с ограниченностью обучающих данных, неоднозначностью запросов или архитектурными ограничениями модели.
Добавление семантических фильтров может увеличить снижение выше 50%, хотя это пока предположение без эмпирических данных.
Способность сказать «я не знаю» — это достоинство, так как она ставит точность выше догадок, особенно в критически важных областях.
Обновлённая оценка эффективности v2.1 — примерно 40–45%, что отражает его интегральную структуру.
Написано специально для Timeweb Cloudи читателей Пикабу. Больше интересных статей и новостей в нашем блоге на Хабре и телеграм-канале.
Хочешь стать автором (или уже состоявшийся автор) и есть, чем интересным поделиться в рамках наших блогов (за вознаграждение) — пиши сюда.
Показать полностью
2