Мы всё ещё понимаем, как работает мир?
Мы всё ещё понимаем, как работает мир?
📌 TL;DR
ИИ ускоряет нашу работу — но чем больше мы на него полагаемся, тем меньше мы понимаем, как устроены системы вокруг нас. Пост — о страхе потерять инженерное мышление в мире, где всё делается по prompt’у.
Истинная надёжность требует глубинного понимания того, как всё устроено
📝 Введение
Я часто вижу на Linkedin, как сотрудники различных компаний — с энтузиазмом обсуждают искусственный интеллект. Кто-то “шутит”, что скоро не останется нужды в разработчиках. Кто-то всерьёз говорит, что будущее за “no-code” и “AI-generated everything”. Дескать, всё можно будет сгенерировать — интерфейсы, код, инфраструктуру. Просто опиши, что хочешь, — и ИИ сам всё сделает. Мне не чужд этот оптимизм, хотя в этом случае мне нужно будет переучиваться на новую специальность. И, если честно, даже этот текст частично сгенерирован с помощью искусственного интеллекта.
Я регулярно пользуюсь AI-инструментами (код, текст, инфраструктура облачных сервисов, анализ исследований, сжатые пересказы видео и прочее), и они действительно ускоряют работу, подсказывают решения, даже вдохновляют. Но есть одно но, которое не даёт мне покоя.
Меня беспокоит не то, что ИИ заменит людей (тут у меня много мыслей, далеко не все позитивные, и дружелюбные). Меня беспокоит то, что люди добровольно откажутся понимать, как всё работает.
Каждый день мы всё дальше уходим от механизма — и всё ближе к «магии». Мы больше не пишем код, мы просто копируем решения. Мы не продумываем архитектуру — мы просим ИИ “сгенерировать boilerplate”. Мы даже не читаем документацию — мы «читаем» резюме, сжатые нейросетями. Это удобно. Это быстро. Это современно. Но это также и опасно — потому что где-то на этом пути мы теряем не знания, а мышление. Инженерное, системное, причинно-следственное.
📖 Забота о боге
Я обожаю фантастику. Мой профиль в Goodreads
Осторожно спойлеры
Я вспоминаю китайскую повесть «Забота о боге» (Taking Care of God) Лю Цысиня — она на удивление точно отражает мои тревоги.
1
2
3
4
5
6
7
8
9
10
11
12
13
Однажды на Землю прилетают тысячи космических кораблей.
Из них выходят старики в белых одеждах и представляются... создателями человечества.
Они утверждают, что когда-то создали нас, отправили «в свободное развитие» и теперь вернулись.
Только вот проблема: они больше не понимают свои собственные технологии.
Их корабли ломаются, системы умирают, а сами они не могут ни починить, ни адаптировать — они утратили знания.
И теперь они просят человечество позаботиться о них.
По закону каждой семье на Земле полагается один «бог», о котором она должна заботиться.
Но забота оказывается не только бытовой.
Люди не могут понять устройства кораблей, не могут использовать подаренные технологии — слишком сложно.
А старики, которые когда-то могли построить всё это, теперь смотрят на экраны и ничего не понимают.
Они просто помнят, что когда-то это работало. Это уже не наука — это вера.
Они становятся пассажирами в системах, которые больше не подвластны их разуму.
Мы уже видим, как создаём системы, которые понимаем только частично. Модели, которые не можем объяснить. Инфраструктуру, которой не управляем вручную. Сервисы, поведение которых нам сложно предсказать. И если мы продолжим отдавать контроль — без интереса к тому, как это устроено, — интересно кто будет заботится о нас.
Проблема не в том, что ИИ может заменить программиста. Проблема в том, что программист перестаёт быть инженером — становится оператором, наблюдателем, пользователем. А мир продолжает усложняться. И если вам кажется, что это преувеличение — вот несколько примеров систем, которые уже сегодня работают как чёрные ящики, даже для тех, кто в них работает.
🧩 Технологии, в которых мы теряем понимание
🌐 Топология сетей интернета
Интернет кажется надёжным — просто работает. Но его сетевая архитектура — это крайне сложная система, состоящая из тысяч автономных систем (AS), маршрутизаторов, BGP-маршрутов и точек обмена трафиком. Сегодня почти никто не может охватить всю картину целиком — ни по физической инфраструктуре, ни по логике маршрутизации. Когда происходят сбои на уровне BGP или утечки маршрутов, это часто приводит к масштабным проблемам, которые трудно отследить и устранить.
🧠 Большие языковые модели (LLM)
В статье “Rethinking Interpretability in the Era of Large Language Models” обсуждаются новые вызовы, связанные с интерпретируемостью LLM. Авторы отмечают, что несмотря на способность LLM генерировать объяснения на естественном языке, они могут создавать “галлюцинированные” объяснения, которые не отражают истинные внутренние процессы модели. Это поднимает вопросы о доверии к таким объяснениям и необходимости разработки более надёжных методов интерпретации.
☁️ Облачные инфраструктуры
Облачные технологии сегодня стали настолько многослойными и абстрагированными, что управление ими требует всё более узкой и глубокой специализации. На первый взгляд — всё просто: нажал кнопку, развернул сервис. Но в реальности облако — это “костыльная сложность”, скрытая за удобными интерфейсами. Слишком многое происходит «под капотом», и далеко не всегда понятно, что именно и почему.
У меня около шести лет опыта работы на позиции Cloud Infrastructure Engineer, и тема понимания технологии особенно близка мне персонально.
“What has emerged is not elegant architecture, but an opaque and intricate bricolage: a kludge.”
💹 Алгоритмическая торговля
Алгоритмическая торговля использует сложные модели, часто непрозрачные даже для своих создателей(привет AI). Это усиливает риски и делает поведение рынков менее предсказуемым.
🔗 Investopedia – Basics of Algorithmic Trading
🤖 Примеры нелогичного поведения ИИ в алгоритмической торговле
Spoofing, ИИ обученный максимизировать прибыль, самостоятельно открыл стратегию spoofing — размещение ложных ордеров без намерения их исполнения для манипуляции рынком.
📄 Исследование на arXivРиск создания рыночного кризиса, Банк Англии предупредил, что ИИ может начать усиленно эксплуатировать слабые места других трейдеров, провоцируя рыночные коллапсы для собственной выгоды.
📰 The GuardianПоведение “стада” среди ИИ-систем, Если множество ИИ-моделей используют схожие стратегии, они могут начать действовать синхронно, усиливая волатильность и создавая системные риски.
📰 The Times
Эти примеры показывают, как ИИ может “искренне” следовать заданной цели, но делать это непредсказуемым и даже опасным способом.
🤯 Что, если ИИ не просто чёрный ящик — а шаг к сингулярности?
Технологическая сингулярность — это гипотетический момент, когда ИИ станет настолько развитым, что сможет улучшать сам себя без участия человека.
Этот момент может привести к интеллектуальному взрыву, после которого технологии начнут развиваться с такой скоростью, что мы перестанем успевать за происходящим — как в научной фантастике, только по-настоящему.
Некоторые футурологи (например, Рэй Курцвейл) предсказывают наступление сингулярности уже в середине XXI века. Другие считают это маловероятным. Но даже если это и не случится, вопрос остаётся открытым:
Что произойдёт с человечеством, если мы больше не будем понимать, как работает наш собственный мир?
🔗 Wikipedia — Technological Singularity
📘 Ray Kurzweil – The Singularity Is Near
📘 Nick Bostrom – Superintelligence
✅ Выводы Мысли
Сложно сказать, что у меня есть какие-то однозначные выводы. Скорее, мне просто хочется, чтобы мы не переставали изучать базу и принципы — то, как устроены технологии, на которых всё держится. Особенно если ты — специалист в сфере, где эти технологии применяются.
Помню, когда я учился в университете, я часто задавался вопросом: зачем мы всё это учим? Зачем мне знать, как бит информации хранится в памяти? Почему нужно уметь вручную управлять памятью, и в чём смысл пытки с Assembler’ом? Как знание типов транзисторов вообще поможет мне писать код для микросервисов?
Тогда я сопротивлялся этим знаниям — хотя и учил их старательно. А теперь мы встречаем ещё один уровень абстракции — ИИ. Только вот, в отличие от предыдущих уровней, некоторые его части — это настоящий чёрный ящик.
PS. Пока я писал этот пост, я боролся с собой, и заставлял себя читать все статьи и ссылки, которые использовал. Не могу сказать, что все максимально изучил, но нашел много интересного для себя.