Размышления о нынешнем ИИ
Если говорить о последних трендах развития ИИ, то мое скромное мнение не специалиста, что сегодня развитие ИИ  находится в фазе «отрезвления после восторга». Если 2023–2024 годы прошли под знаком магического удивления перед ChatGPT и Gemini, то рубеж 2025–2026 годов — это время осознания глубоких философских вопросов и поиска новых архитектурных решений, так как текущие языковые модели, как я понимаю, начали упираться в потолок.

Вот мой субъективный и непрофессиональный взгляд на происходящее:

1. Ключевые идеи 

• LLM могут никогда не достигнуть общего интеллекта, потому что они не понимают физику реальности. Больше всего мне нравится мысль, что ИИ должен учиться на видео и сенсорных данных, как ребенок, а не только на текстах.
• Сегодня фокус смещается с того, насколько «умно» ИИ говорит, на то, насколько эффективно он действует. Обещают, что уже в этом 2026 году ИИ-агенты смогут выполнять сложные многошаговые задачи без участия человека.
• В прошлом  году появился очень интересный  вопрос: что будет, когда качественные тексты, написанные людьми, закончатся? Отсюда – риск «деградации моделей», если они будут обучаться на контенте, созданном другими ИИ.

2. После знакомства с последними книгами по ИИ:

• Из интересных вопросов мне нравится – А что мы будем делать, когда ИИ решит все наши проблемы?». 
• Из важных – как изменится само понятие «смысла жизни?
• Курцвейл ещё в 2024 году подтвердил свои прогнозы: 2029 год — достижение человеческого уровня интеллекта, 2045 — слияние с ним. И пока держит паузу.  А ещё мне нравится его мысль о расширении неокортекса человека через облачные вычисления. У нас его уже порядка 90% коры головного мозга. Куда дальше и как это будет выглядеть?
• Интересное предостережение рассматривать ИИ не только как «инструмент», а как «чужой интеллект», который может разрушить сегодняшнее представление о демократии. Вполне, на мой взгляд, реалистично. Достаточно просто манипулировать информационными потоками. Ведь сегодня ИИ — это реальная первая технология в истории, которая может принимать решения и создавать новые идеи сама по себе.
• Читая и обдумывая весь перечень современных мыслей и идей, считаю, что для нас самое важное понять как их использовать на практике, в каждодневной работе.  Думаю, самое полезное встроить ИИ в управление рисками и обеспечить человеческий контроль и проверки на каждом этапе жизненного цикла системы.
• Считаю очень полезной мысль, что систему лучше проектировать так, чтобы она была не уверена в человеческих целях и могла учиться им подчиняться. То есть, учить и подчинять ИИ через её неуверенность!
• Полагаю человеку, работая с ИИ, нужно привыкать  проверять, не ведет ли модель себя “правильно по метрике, но неправильно по смыслу”. Это особенно важно в вопросах по подбору кадров, кредитовании, рекомендациях и автоматизированной оценке людей.
• На будущее и даже на ближайшее будущее не лишним будет заранее выработать протокол поведения представив, что произойдет, если система станет намного сильнее ожидаемого, и где именно сломается контроль.

– Об ИИ, как о технологии с системным влиянием на институты, а значит и на политику и власть даже думать не хочется. Но есть, уверен, кто об этом только и думают. 

Вообще, если просто по жизни, то надо бы сегодня на холодную голову ещё раз подумать и определить:

1. Где ИИ реально нужен, а где достаточно более простой автоматизации. Это поможет снять риск “перепроектировать” систему и создать лишнюю сложность.

2. Для каждого важного для нас  вопроса/проблемы предлагаю завести карту рисков: данные, ошибки, дискриминация, утечки, зависимость от модели, репутационный и юридический ущерб.

3. Ещё давно перезревшая мысль определить владельца риска и правила эскалации. Без понятной ответственности даже хорошая модель быстро становится проблемой с непонятной ответственностью.

4. Прочитал про рекомендацию ввести регулярные тесты на «смещение, устойчивость, дрейф данных и “непредусмотренные режимы поведения”. Не очень в этом разбираюсь, но считаю, тесты всегда полезны. 

5. Очень правильной мне кажется мысль добавить человеческого участия в работу ИИ, где высока цена ошибки: финансы, медицина, кадровые решения, безопасность, регуляторные оценки.

6. А ещё хотелось бы сделать логику решения наблюдаемой: журналирование, объяснимые признаки, возможность расследовать инцидент задним числом.a

7. Не могу пропустить рекомендацию планировать “отключение” и fallback-сценарии. Мы точно должны знать заранее что делать, если модель деградировала, дала странный ответ или стала небезопасной.

Ещё несколько полезных мыслей: 

Для руководителя

1. Если вы внедряете ИИ в организации, полезно мыслить не как “внедрить модель”, а как “построить систему управления ИИ-риском”. Практичный минимум — политика использования, реестр кейсов, оценка риска перед запуском, мониторинг после запуска и регламент остановки системы. 

Для регулятора

Для надзорной работы особенно важны три вещи: 

• требования к прозрачности, 
• обязательная оценка рисков до ввода в эксплуатацию 
• последующий мониторинг. (По мне, это хорошо согласуется с логикой, что безопасность нельзя “добавить потом” поверх уже опасной архитектуры).

Минимальный чек-лист памятки может выглядеть так:

– Есть ли явная цель системы и запрещенные сценарии.

– Есть ли ответственный владелец риска. 

– Проверяются ли данные на качество и смещение.

– Есть ли человеческое утверждение для критических решений.

• Есть ли мониторинг после запуска и план отключения.

Заранее извиняюсь, если что напутал или нафантазировал. Но после того, как я узнал, что ИИ пока ещё тот фантазёр, считаю, что небольшие фантазии простому человеку простительны. А не специалисту уж точно. Пишите, если от моих рассуждений есть для вас хоть какая-то польза. Если нет, то тоже не молчите. Я пойму. 

Больше не хочу вас, коллеги, утомлять пусть и привлекательной,  но весьма сложной темой нынешнего ИИ. Тем более, что сегодня суббота и погода обещает быть солнечной. Приятного отдыха.