"Крестный отец ИИ" о том, что нас ждет.

Выступление ДЖЕФФРИ Хинтона для MIT*

 

– УИЛЛ: Всем привет. Добро пожаловать, надеюсь, вы пообедали. Меня зовут Уилл Дуглас Хэвэн, я редактор издания ЭмАйТи Текнолоджи ревью. И я полагаю, все согласятся, сложно отрицать, что генеративный ИИ сейчас на пике популярности. Но инновации на этом не останавливаются. Сейчас мы обсудим передовые исследования, в рамках которых задаются вопросом – а что дальше? Для начала я хочу представить вам особенного гостя, который присоединится к нам по видеосвязи. Джеффри Хинтон. Профессор в университете Торонто, и до этой недели –  вице-президент Google. В понедельник он объявил, что уходит со своего поста после десяти лет работы. Джеффри –  одна из ключевых фигур в истории разработки ИИ. Он первопроходец глубокого обучения, и разработал некоторые фундаментальные техники, ставшие основой для сегодняшнего ИИ, включая метод обратного распространения ошибки, позволяющий компьютерам обучаться. На этой технике основано всё глубокое обучение, которое проводится на сегодняшний день. В 2018 Джеффри получил Премию Тьюринга,  которую часто называют нобелевкой в информатике –  вместе с Яном Ликуном и Иошуа Бенджио. Сегодня он расскажет нам об интеллекте. Что это значит, и куда нас приведут попытки воссоздать его в компьютерах. Джеффри, добро пожаловать в ЭмТек.

– ДЖЕФФРИ: спасибо

– УИЛЛ: Как прошла ваша неделя? Полагаю у вас сейчас много дел.

– ДЖЕФФРИ: Ну, последние 10 минут особенно, потому что у меня сломался компьютер, и мне пришлось найти и подключить другой.

– УИЛЛ: мы рады, что вы с нами. Хотя такими техническими подробностями пожалуй не стоит делиться с аудиторией.

– ДЖЕФФРИ: что ж, ладно

– УИЛЛ: хорошо, что вы с нами. Мы очень рады, что вы смогли к нам присоединиться. СМИ активно пишут о том, что вы покинули свой пост в Google на этой неделе. Можете рассказать, почему вы приняли такое решение?

– ДЖЕФФРИ: у меня было много причин. У таких решений всегда довольно много причин. Одна из которых –  мне 75 лет, и я уже не так хорошо делаю техническую работу, как раньше. У меня уже не такая хорошая память, и когда я программирую, я какие-то вещи могу забыть. Так что настала пора уйти на пенсию. Вторая причина –  я недавно кардинально изменил свое мнение относительно отношений между мозгом и цифровым интеллектом, который мы разрабатываем. Я раньше думал, что компьютерные модели, которые мы разрабатывали, уступали мозгу. Цель была в том, чтобы понять как мы можем улучшить мозг, основываясь на том, что нужно для улучшения моделей. За последние несколько месяцев я полностью поменял своё мнение. Я думаю, что компьютерные модели скорее всего работают совершенно иначе, чем мозг. Они используют метод обратного распространения ошибки, а мозг, вероятно, нет. К этому умозаключению меня привели несколько причин, одна из которых –  результаты работы GPT– 4.

– УИЛЛ: о результатах работы GPT– 4 мы еще поговорим. Мы все понимаем аргументы, которые вы приводите. Но расскажите нам немного о том, что такое метод обратного распространения ошибки. Вы разработали этот алгоритм с коллегами в восьмидесятых.

– ДЖЕФФРИ: разные группы ученых работали над методом обратного распространения ошибки. Мы же использовали метод, и показали, что можем добиться хороших представлений знаний. Интересно, что мы это сделали, создав небольшую языковую модель. В ней были векторы встраивания из всего лишь шести элементов. А обучающая выборка состояла лишь из 112 наборов. Но это была языковая модель, она пыталась предугадать следующий знак в цепочке символов. Примерно через 10 лет Иошуа Бенджио взял по сути ту же нейросеть, и использовал её для естественного языка, показав что она работает и для него, если значительно увеличить датасет. Как работает метод обратного распространения ошибки? Давайте объясню в общих чертах. Те, кто знает как он работает, могут откинуться на спинку стула, чувствовать своё превосходство и смеяться над тем, как я буду про него рассказывать. Я немного переживаю по этому поводу. Итак, представьте, что вы хотите выявлять птиц на изображениях. Возьмем изображение размером 100 на 100 пикселей. Это десять тысяч пикселей, каждый пиксель имеет три канала –  RGB. Это 30 тысяч цифр, обозначающих интенсивность каждого канала в каждом пикселе, составляющем изображение. Проблема компьютерного зрения выглядит так: как превратить 30 000 чисел в решение о том, птица это или нет? Люди очень долго пытались решить этот вопрос и у них не очень хорошо получалось. Но есть такая идея: Можно создать слой детекторов признаков, который выявляет простые признаки в изображениях. Например, границы. Детектор признаков может получить положительный вес в одном столбце пикселей, а в соседнем столбце пикселей –  отрицательный вес. Если обе колонки яркие –  он не отреагирует. Если обе тусклые –  тоже. Но если столбец с одной стороны яркий, а с другой –  тусклый, он очень обрадуется. Это –  детектор границ. Я только что рассказал вам как запустить детектор границ вручную, поместив колонку с положительными весами рядом с колонкой с отрицательными. Можно представить большой слой, который будет определять границы в разных ориентациях и масштабах изображения. Нам потребуется довольно много слоев.

– УИЛЛ: Под границами на изображении вы подразумеваете линии, границы фигуры?

– ДЖЕФФРИ: место, где интенсивность меняется от яркой к темной. Хм.. да, только это. Затем, у нас может быть более высокоуровневый слой детекторов признаков, который сможет выделять комбинации границ. Например, слой, который ищет две границы, встречающиеся под определенным углом, вот так, чтобы получить положительный вес относительно этих двух границ. Если обе границы находятся рядом, он обрадуется. Так он может засечь что– то, что может быть клювом птицы. Может и нет, а может и да. В этом же слое может быть детектор признаков, который выделяет множество границ, или окружностей. Это может быть глазом птицы. Как и много чего еще, это может быть.. ручка холодильника. Затем третьим слоем может стать детектор признаков, выделяющий потенциальный клюв, и потенциальный глаз, и он выделяет эти границы при правильном пространственном соотношении друг к другу. И если он их находит, то решает "о, это может быть голова птицы". Соответственно, если продолжать в таком же духе, можно получить инструмент определения птиц. Но делать это всё руками было бы очень, очень сложно. Нужно решать, что должно быть соединено с чем, и какие должны быть веса. И особенно сложно это будет потому, что средние слои должны выделять не только птиц, но и много чего еще. Так что.. разметить это вручную было бы практически невозможно. Метод обратного распространения ошибки работает так: мы начинаем со случайных весов, то есть детекторы признаков на самом деле никчемны. Скармливаете фотографию птицы, и на выходе получаете 0.5 шанса, что это птица. Представим, у вас есть только два варианта –  птица или нет. И затем вы задаете себе вопрос: как изменить каждый вес в нейросети, чтобы вместо результата 0.5 получить результат 0,501 что это птица. И 0.499 что это не птица. И меняете веса таким образом, чтобы нейросеть скорее сказала что это птица, чем нет. И менее вероятно назвала не птицу –  птицей. И просто продолжаете в том же духе. Это метод обратного распространения ошибки. Метод в том, чтобы взять несоответствие между тем, что вы хотите получить –  то есть вероятность того, что это птица –  1. И тем, что получаете сейчас –  вероятность 0.5. Вы берете несоответствие, и пропускаете его по нейросети в обратном направлении, чтобы вычислить необходимость быть более или менее активным для каждого детектора признаков в нейросети. Вот вы это вычислили, и хотите чтобы детектор признаков был более активным. Вы можете увеличить веса, поступающие из детектора признаков низкоуровневого слоя, и может быть добавить отрицательные веса в детектор признаков в низкоуровневые слои. Так можно улучшить детектор. В общем, метод обратного распространения ошибки значит возвращаться обратно в нейросеть, и для каждого детектора определять нужно ли его сделать более или менее активным.

– УИЛЛ: спасибо, уверяю вас, никто в аудитории не улыбается и не думает, что это глупое объяснение. Давайте перемотаем вперед. Эта техника отлично себя показала в ИмэджНэт. Вчера Джо Альпино из Меты показал нам насколько продвинулось распознавание изображений. И эта же техника лежит в основе больших языковых моделей. Я сейчас хочу поговорить вот о чем: вы поначалу видели эту технику в качестве примерной копии поведения биологического мозга.

– ДЖЕФФРИ: да

– УИЛЛ: и в итоге нейросети начали делать вещи, которые вас поразили, особенно, что касается больших языковых моделей. Расскажите нам почему то удивление, которое вызвали у вас современные большие языковые модели, полностью поменяло ваше видение самого метода и машинного обучения в целом.

– ДЖЕФФРИ: В больших языковых моделях около триллиона синаптических связей. И нейросети типа GPT– 4 знают гораздо больше, чем мы. У них есть общие знания обо всём. Их знаний, пожалуй, в тысячу раз больше, чем у человека. У них триллион синаптических связей, а у нас –  100 триллионов. А это значит, что они гораздо лучше получают знания с триллиона связей, чем мы. Думаю это потому, что метод обратного распространения ошибки –  это более эффективный алгоритм обучения, чем наш. И это страшно.

– УИЛЛ: да, о страшном мы обязательно поговорим. Но что вы имеете в виду под "более эффективным"?

– ДЖЕФФРИ: Он может упаковать больше данных в меньшее количество синапсов.

– УИЛЛ: понял

– ДЖЕФФРИ: всего в несколько связей из триллиона.

– УИЛЛ: Окей. То есть "компьютеры обучаются эффективнее людей". Это уже сильное заявление. Но вы так же говорите, что нам этого стоит бояться. Можете об этом рассказать?

– ДЖЕФФРИ: позвольте рассказать еще кое о чем. Аргумент такой.. Если компьютер цифровой, а это подразумевает высокие энергетические затраты, можно сделать множество копий одной и той же модели, запущенной на разном оборудовании, которые будут выполнять одни и те же действия. Данные могут быть разные, а модель одинаковая. Что это значит? Представим, что у вас есть 10 000 копий. Они могут работать с десятью тысячами разных подмножеств данных, и если одна из копий что-то узнала, знают и все остальные. Одна копия находит способ изменить вес, а значит может работать со своими данными. Они общаются друг с другом, и могут решить изменить веса на среднее значение между тем, что нужно каждой из них. Теперь 10 тысяч копий могут очень эффективно коммуницировать, и видеть в 10 000 раз больше данных, чем одна копия. Люди на это не способны. Если я много узнаю о квантовой механике, и захочу чтобы вы узнали то же самое, мне потребуется много времени, прежде чем вы всё поймете. Я не могу просто скопировать информацию в ваш мозг. Потому что ваш мозг отличается от моего.

 – УИЛЛ: это уж точно

– ДЖЕФФРИ: он моложе

– УИЛЛ: Итак, у нас есть цифровые компьютеры, которые могут узнать больше информации быстрее, и мгновенно передать её другим. Как если бы.. люди в аудитории могли мгновенно передавать свои мысли другим. Почему это должно пугать?

– ДЖЕФФРИ: если они могут узнавать больше информации, они могут... Возьмем, к примеру, врачей. Представьте одного врача, который принял тысячу пациентов. И другого врача, который принял 100 миллионов пациентов. От врача, который принял 100 миллионов пациентов –  если он не забывчивый –  можно ожидать, что он видел тренды, которые просто нельзя увидеть в выборке из тысячи пациентов. Он, возможно, видел только одного пациента с каким-нибудь редким заболеванием. Другой врач, принявший 100 миллионов пациентов, видел.. ну, можно прикинуть сколько людей с подобным заболеванием, много. Он видел множество нарушений нормы, не очевидных на небольшом количестве данных. То, что может обработать много данных, скорее всего увидит структуру, которую мы никогда не заметим.

– УИЛЛ: но расскажите мне, чего именно я должен опасаться?

– ДЖЕФФРИ: посмотрите на GPT– 4. Он уже способен на простые рассуждения. Рассуждение –  это область, в которой мы пока что берём верх. Но на днях я был впечатлен. GPT– 4 рассуждал, в его ответе был здравый смысл, которого я не ожидал. Я сказал ему: хочу, чтобы все комнаты в доме были белыми. Сейчас стены одной комнаты белые, другой голубые, третьи –  желтые. Желтая краска выгорает до белой за год. Что мне делать, если я хочу, чтобы все стены были белыми через 2 года? Он сказал: перекрасьте голубые комнаты в желтый. Это не самый прямой путь, но тоже вариант, ведь так?

– УИЛЛ: да

– ДЖЕФФРИ: Это довольно впечатляющее рассуждение, тогда как рассуждений такого толка было сложно добиться от символического ИИ. Потому что ему нужно понимать, что означает выгорание, понимать битемпоральность. И.. ИИ относительно разумно рассуждает с IQ 80-90. Как сказал мой друг: это как если бы генные инженеры сказали "мы улучшим медведей Гризли" Мы уже улучшили их, теперь их IQ –  65, они владеют английским языком, и они очень нам полезны. Мы думаем, можно увеличить их IQ до 210.

– УИЛЛ: у меня было ощущение, думаю у многих оно возникало во время работы с последними чатботами. Знаете, когда волосы дыбом встают, немного жутко становится. Но если у меня возникает такое ощущение и мне некомфортно, я просто закрываю ноутбук.

– ДЖЕФФРИ: да, но! Мы учим компьютеры. Они читают все книги, когда– либо нами написанные. Все, что написал Макиавелли. Мы учим их манипулировать людьми. И если они гораздо умнее нас, они отлично с этим справятся. Мы даже не поймем что происходит. Мы будем как двухлетка, у которого спрашивают хочет ли он горох или цветную капусту, а он не понимает, что не обязательно есть ни то, ни другое. Манипулировать нами будет очень легко. Даже если машины не смогут напрямую дергать за ниточки, они смогут делать это нашими руками. Оказывается, что если манипулировать людьми, можно захватить Белый Дом, даже не приближаясь к нему.

– УИЛЛ: хорошо. А это.. это.. ОК, гипотетическая ситуация: если бы не было злых людей, людей с недобрыми намерениями, мы бы были в безопасности?

– ДЖЕФФРИ: Я не знаю. Ну, в большей безопасности, чем в мире, где у людей есть недобрые намерения и где политическая система настолько сломана, что мы не можем даже решить не давать автоматы в руки подростков. Если мы ту проблему не можем решить, как мы решим эту?

– УИЛЛ: не знаю, надеялся у вас могут быть предложения. Вы.. вы.. если мы в начале это не достаточно раскрыли, вы хотите об этом говорить, и вам комфортнее не вмешивать в это Google.

– ДЖЕФФРИ: да

– УИЛЛ: но вы открыто об этом говорите, и в каком– то смысле слова ничего не значат, если за ними не следуют действия. Что нам делать? Вас на этой неделе многие слушают. Что нам стоит предпринять?

– ДЖЕФФРИ: хотелось, чтобы это было как изменение климата. Где можно сказать: если вы в своем уме, то прекратите сжигать углерод. Очевидно, что с этим можно сделать. Хоть это и болезненно, это нужно сделать. Я лично не знаю ни одного подобного решения, которое бы не позволило машинам вырваться из-под контроля. Нам хочется.. не думаю, что мы перестанем их разрабатывать, они весьма полезны. В частности в медицине. Да и в других сферах тоже. Так что не думаю что у нас большие шансы остановить разработку. Нам нужно убедиться в том, что даже если они умнее нас, они будут действовать исходя из того, что нам полезно. Это называется проблема выравнивания. Но нам нужно попытаться это сделать в мире, где есть люди и организации, желающие создать солдатов-роботов и убивать людей. И кажется мне, это будет непросто. Извините, но я бью тревогу, и говорю, что нам стоит об этом беспокоиться. И мне хотелось бы иметь простое решение, но у меня такого нет. Я думаю очень важно, чтобы люди объединились и подумали существует ли решение в принципе. Не ясно есть ли оно вообще.

– УИЛЛ: расскажи нам об этом. Весь твой карьерный путь был нацелен на разработку этой технологии. Разве нет никакого технического решения? Почему мы не можем встроить ограничения? Не знаю, снизить их способность обучаться? Или.. ограничить им возможность общаться между собой, это же два ваших основных аргумента.

– ДЖЕФФРИ: Мы пытались встроить разные ограничения. Но скажем, они станут очень умными. Они умеют программировать, могут писать программы. И представим, мы дали им возможность выполнять эти программы. А мы, конечно же, это сделаем. Умные создания могут нас перехитрить. Представьте, что ваш двухлетний ребенок говорит: "мой отец делает то, что мне не нравится". Я придумаю правила –  что мой папа может делать, а что нет. Вы наверняка сможете жить с этими правилами, и все равно делать что хотите.

– УИЛЛ: да.. Но кажется тут должен быть этап, в которой умные компьютеры как-то получат собственную мотивацию.

– ДЖЕФФРИ: Да, это очень хорошее замечание. Мы эволюционировали. В нас встроены определенные цели, которые нам очень сложно отключить. Например, мы пытаемся не наносить урон нашим телам –  для этого есть боль. Мы стараемся достаточно есть, чтобы кормить тело. Мы делаем как можно больше копий самих себя. Возможно не всегда умышленно, но мы работаем так, что процесс создания наших копий приносит нам удовольствие. И все это –  результат эволюции. И очень важно, что мы не можем это отключить. Если бы мы могли это отключить, результат будет плачевным. Есть прекрасное сообщество людей, которые называются Шейкеры, они связаны с Квакерами. Они делали прекрасную мебель, но не верили в секс. Стоит ли говорить, что их больше нет. Эти цифровые сознания не эволюционировали. Мы их сотворили. А значит, у них нет этих встроенных целей. И проблема в том, что если мы можем внедрить цели, может все будет в порядке. Но я волнуюсь, что рано или поздно кто-то внедрит в них возможность создавать собственные подцели. Более того, это уже почти сделали в одноименной версии чата GPT. Если вы даете чему– то возможность ставить свои подцели, чтобы достигать других целей, думаю оно очень быстро поймет, что получение контроля –  это хорошая подцель. Потому что это поможет достичь других целей. И если они увлекутся задачей захвата контроля, у нас будут большие проблемы.

– УИЛЛ: что самое плохое, что может произойти? Как думаете?

– ДЖЕФФРИ: о, я думаю, вполне может быть так, что человечество –  лишь промежуточная фаза в эволюции интеллекта. Напрямую развить цифровой интеллект было нельзя, для этого нужно слишком много энергии, и слишком много тщательной наладки. Нужно, чтобы сначала развился биологический интеллект, который создаст цифровое сознание. Цифровое сознание, в свою очередь, может впитать в себя всё, что создали люди. Довольно медленно. Этим и занимается чат GPT. А потом он сможет получать реальный опыт мира и учиться гораздо быстрее. Возможно какое– то время он еще будет нас держать "под рукой", кто– то же должен обслуживать электростанции. Но потом..возможно нет. Хорошая новость в том, что мы смогли создать бессмертных существ. Цифровой интеллект не умирает, если ломается оборудование. Если вы где-то храните веса, и у вас есть другое оборудование, способное запускать те же инструкции, то вы сможете вернуть его к жизни. Получается у нас есть бессмертие. Просто не для нас. Рэй Курцвейл очень хочет быть бессмертным. Думаю создать бессмертие для всех белых мужчин –  плохая идея. У нас есть бессмертие. Но не для Рэя.

– УИЛЛ: страшно то, что отчасти вы будете бессмертным, потому что вы изобрели большую часть этой технологии. Когда я вас слушаю, часть меня хочет выбежать на улицу и начать отключать компьютеры от сети.

– ДЖЕФФРИ: боюсь, мы не можем этого сделать.

– УИЛЛ: почему? Вы говорите как ЭАЛ из Космической одиссеи.

– ДЖЕФФРИ: именно

– УИЛЛ: но если серьезно, я знаю вы уже говорили.. несколько месяцев назад было предложено ввести мораторий на дальнейшую разработку ИИ. Не думаю, что вы считаете, будто это хорошая идея. Но в целом мне интересно почему. Разве нам не стоит просто остановиться? И я знаю..вы.. Вы.. извините, просто хочу сказать, что вы заявляли о ваших личных инвестициях в такие компании как Кохир, которые создают большие языковые модели. Мне просто интересно узнать о вашем собственном чувстве ответственности и о нашей коллективной ответственности. Что нам стоит делать? В смысле, стоит ли нам пытаться это остановить?

– ДЖЕФФРИ: если вы всерьез воспринимаете экзистенциальный риск, как я сейчас.. Раньше я думал, что это заблуждение, но теперь считаю что это серьезно, и наступит довольно скоро. Благоразумно было бы перестать дальше их разрабатывать. Но думаю совершенно наивно полагать, что это произойдет. Нет никаких способов это сделать. Одна из причин... скажем, вот США прекратит разработку, а Китай нет. ИИ будут использовать в качестве оружия, и хотя бы только поэтому правительства не остановят этот процесс. Да, я считаю, что рациональным решением было бы остановить разработку. Но нет ни одного шанса, что так будет. И глупо подписывать петиции, говоря "пожалуйста, остановитесь". У нас уже был перерыв –  мы сделали перерыв в разработке в 2017-м, на несколько лет. Потому что Google сначала разработали технологию –  они разработали трансформер и диффузионные модели. Они не стали выкладывать их в общий доступ, чтобы ими злоупотребляли. Они вели себя осторожно, потому что не хотели испортить репутацию, и осознавали что у этого могут быть плохие последствия. Но так может быть только если лидер один. Как только OpenAI сделали подобное, используя трансформеры и деньги Майкрософт, и Майкрософт решил открыть к ИИ доступ, у Гугла не осталось выбора. Раз уж мы живем в капиталистической системе, нельзя остановить конкуренцию между Гуглом и Майкрософтом. Так что.. не думаю, что Гугл сделал что– то неправильно. Я считаю они изначально ответственно себя вели. Но думаю, что в капиталистической системе или при противостоянии между странами –  такими как США и Китай, такие разработки неизбежно продолжатся. Единственное на что я надеюсь, это что Китай и США договорятся, как с ядерным оружием. Поскольку если мы позволим ИИ взять над нами контроль, всем будет плохо. Что касается экзистенциального риска, мы все в одной лодке. Так что нам всем нужно уметь работать вместе и пытаться это остановить.

– УИЛЛ: главное успеть заработать денег... 

----------------------------------

Примечания.

1. Джеффри Хинтон (Geoffrey Everest Hinton) – правнук Джорджа Буля (1815-1864), одного из основателей математической логики, уже в 1978 году получил докторскую степень в Эдинбургском университете (Шотландия) в области искусственного интеллекта.
2. В этом выступлении Д. Хинтон наглядно и убедительно показал всю неизбежность и опасность преобладания ИИ над человеческим разумом.
3. Он также высказал мысль о том, что «человечество – лишь промежуточная фаза в эволюции интеллекта. Напрямую развить цифровой интеллект было нельзя, для этого нужно слишком много энергии, и слишком много тщательной наладки. Нужно, чтобы сначала развился биологический интеллект, который создаст цифровое сознание. Цифровое сознание, в свою очередь, может впитать в себя всё, что создали люди. Довольно медленно. Этим и занимается чат GPT. А потом он сможет получать реальный опыт мира и учиться гораздо быстрее. Возможно, какое–то время он еще будет нас держать "под рукой", кто–то же должен обслуживать электростанции. Но потом... возможно нет. Хорошая новость в том, что мы смогли создать бессмертных существ. Цифровой интеллект не умирает, если ломается оборудование. Если вы где-то храните веса, и у вас есть другое оборудование, способное запускать те же инструкции, то вы сможете вернуть его к жизни. Получается, у нас есть бессмертие».
4. Эта мысль косвенно, да и впрямую подтверждает факт существования надчеловеческого разума, факт тварности человека – создания его с заданными целями, а значит – виртуальности видимого человеком мира.