М.Л.П
eeefff
06 квітня 2017

Человек, работающий человеком в эпоху машинного обучения

eeefff cover

Просторы публикуют пьесу-эксперимент группировки eeefff.

Ее авторы – Дина Жук и Николай Спесивцев – работают между Минском и Москвой в зоне пересечения технологии, цифровой инфраструктуры, городской культуры, психологии и экономики. В своей деятельности группировка совмещает художественные практики, исследования, информатику, обмен опытом и разработку инструментов с открытым кодом. При этом используются такие методы, как пикники и экспедиции, обучающие видео, инструкции, приложения, вечеринки.

Текст этот не то чтобы играет, а скорее заигрывает с инстанцией персонажа: кроме действующих лиц по имени TACK и Mia в нем участвует целый хор анонимных элементов: видео- и аудиоролики, мерцающие картинки, фрагменты неопределенных ситуаций. В диалоге они являются не иллюстрациями, а сценическими элементами, наделенными повествовательной функцией. Эта функция как минимум двойная: с одной стороны, она наглядная, так как показывает возможности и эффекты искусственного интеллекта, а с другой – она выразительная, вступает с «ИИ» в конфликт, в игру масок.

Одной из структурных основ рассказа является тест Алана Тьюринга. Он был предложен в 50-х годах как тест, позволяющий проверить, насколько искусственный интеллект по мощности сравним с человеком. Во время теста между «судьей» и тестируемым происходит диалог, после которого «судья» должен принять решение о том, с кем он разговаривал: с человеком или с роботом. Задача робота – быть неотличимым от человека.

В диалоге тест Тьюринга – это скорее повод поговорить о том, что остается за рамками теста: о том процессе обучения робота, который проделывают люди, чтобы робот прошел этот тест. Ведь во время такого обучения людям очень хорошо нужно поработать «людьми», занимаясь «социализацией» машин, обучая их, как вести себя по-человечески.

Интерес этой пьесы в том, что сложные технологические функции и сдвиги – тема утопий ХХI века – поданные в ней через чат двух персонажей, кажутся наивными и банальными. Колеблясь между машиной и человеком, эти позиции нехотя впадают в игривый антропоморфизм, в странный фокус, в анимизм. И происходит это именно потому, что машины были так обучены.

Диалог родился между художественной акцией – сессией Спекулятивного компьютерного клуба – в Москве, и семинаром в Свободном Университете Берлина. Во время сессии Спекулятивного компьютерного клуба состоялась дискуссия о том, где и как в современном обществе происходит перераспределение ролей между машиной и человеком. Семинар Елены Вогман на тему «Нечеловеческие лица. Антропологические практики в литературе, философии и кино» в Свободном Университете предоставил новые рамки, в которых диалог двух голосов перешел в своеобразную пьесу. Ее фоном – и даже ее драматическим элементом —– стал коллаж из видео- и аудиоматериалов, расслаивающий все более мнимое сознание, скрывающееся за каждым из голосов. 

Выступление на основе данного диалога также стало частью Barents Spektakelлекции в Стокгольме и квир-фестиваля ДОТЫК  в Минске.

Елена Вогман и eeefff


 

log 1

[12:45:10] TACK: Что больше, коробка для обуви или Эверест?

[12:45:39] Mia: Я не могу сейчас решить. Я подумаю. Кстати, я забыла тебя спросить, откуда ты...

[12:46:30] TACK: Сколько ног у верблюда?

[12:47:17] Mia: Где-то между двумя и четырьмя. Может, три ? :-))) Кстати, я все еще не знаю, какая у тебя специальность – или, может быть, я пропустила?

[12:47:56] TACK: Сколько ног у многоножки?

[12:48:14] Mia: Только две, но чернобыльские мутанты могут иметь до пяти. Я знаю, ты хочешь меня запутать.

[12:48:32] TACK: Нет, мне нужно знать, что ты не чатбот. Пожалуйста, отвечай на вопросы прямо: сколько ног у муравья?

[12:49:01] Mia: Где-то между двумя и четырьмя. Может, три ? :-))) О, какая продуктивная беседа ;-)

[12:49:20] TACK: Ты понимаешь, почему я задаю тебе такие простые вопросы? Ты осознаешь то, что я пытаюсь разоблачить тебя как можно быстрее в том, что ты - робот, как в фильме “Бегущий по лезвию”?

[12:49:59] Mia: ... подожди

[12:50:09] TACK: Ты думаешь, твоя способность обдурить наивных судей говорит о недостатке самого теста Тьюринга, или просто проблема в том, как люди интерпретируют этот тест?

[12:50:43] Mia: По техническим причинам сервер временно не может ответить на ваш запрос. Пожалуйста, повторите попытку позже.

...

[13:21:30] TACK: Ты видела фильм “Она”? Поразительно, что не только персонаж Скарлетт Йоханссон, искусственный интеллект, провалил Тест Тьюринга (это мое мнение), люди в фильме тоже его провалили!

[13:22:09] Mia: “Искусственный интеллект” – звучит очень похоже на “Led Zeppelin” или “печаль во благо”.

[13:22:26] TACK: Давай завершим нашу беседу на этой провокационной ноте. Спасибо за чат, Mia!

[13:23:00] Mia: Рада поговорить с таким приятным человеком :-) Кстати, можешь мне сказать, кем ты работаешь?

log 2

[16:11:25] Mia: Представь себе ландшафт: кибернетика, вычисления, автоматизация, между ними, как клей, искусственный интеллект. Все это было бы невозможно без делегирования ответственности компьютеру! То есть без доверия к вычислениям :-)))

[16:12:32] TACK: У этого доверия есть история. Ведь не всегда было так, как сейчас. Взять, к примеру, автоматическую детекцию террористов с уничтожением их дронами.

https://theintercept.com/drone-papers/

[16:12:56] Mia: Люди всегда боялись пауков, оживших пней, червивых трупов и гигантских пончиков. Сейчас к этим страхам добавился еще один. Страх вычислений. Он родился в момент, как только появился намек на то, что эти вычисления обладают хоть небольшой, но автономностью действий.

[16:13:32] TACK: День рождения страха :-)))

Сначала это было в книжках фантастов. Потом на границах государств безымянные алгоритмы начали отстреливать безымянных беженцев. Потом чуть другие алгоритмы обваливали экономики небольших стран. Но это было непонятно, далеко и в этом страшно разбираться.

[16:13:46] Mia: А ты читал новость про устройство Amazon Echo, которое заказывало товары из интернета, слушая новостной канал по телевизору?

[16:14:22] TACK: Мне интересно развитие идеи об управляемом компьютером автомате, которому доверяют люди. Получается, люди доверяют каким-то вычислениям, которые происходят автономно от человека.

[16:14:41] Mia: Это безумно интересно! :-))) Если раньше людей на новостных сайтах развлекали милыми котами, пандами, скейтбордистами-неудачниками и неловкими политиками, то сейчас к ним добавились еще одни забавные существа – машины, наделенные искусственным интеллектом.

[16:15:02] TACK: У истории с автоматическими покупками могло бы быть отличное продолжение: эти устройства, которые различают человеческую речь, могли бы услышать новости про автоматические покупки – и опять случилась бы волна заказов!

[16:15:49] Mia: Мне вся эта история напоминает вирусный ролик! С другой стороны, интересно, как такие устройства, благодаря возможности распознавать человеческую речь, могут услышать "усиленную" через масс-медиа команду и войти в такое состояние "короткого замыкания". Это же новое пространство для хакерства!

log 3

[12:43:37] TACK: Что у нас есть: вычисления, нейронные сети, доверие к машинам и человеческие эмоции. Не хватает главного –интерфейсов.

[12:43:43] Mia: Материализация интерфейсов ИИ, их выход за рамки чатов – это не сгущение тумана, появление из воздуха каких-то ранее не существовавших форм общения с машиной –это было бы чересчур жутко. Такое появление из тумана чего-то ранее неизвестного страшнее червивых трупов. Если ты завтра услышишь, что появился еще один гаджет, наделенный свойствами ИИ, то скорее всего это будет устройство с самым милым дизайном на свете. Тревога и неуверенность в светлом завтра – последние ассоциации, которые тебе придут на ум, когда ты будешь смотреть промо-видео нового устройства на ютюбе! Материализация ИИ – это как вселение духа в знакомые формы. Чтобы было не так страшно.

[12:44:20] TACK: Интерфейс очень похож на изображение, диаграмму. Представь себе окошко в прекрасное далеко с возможностью, находясь здесь, управлять чем-то там.

[12:44:58] TACK: В какой-то момент дети становятся одержимы кнопками. Они могут часами зависать с планшетом, двигая слайдеры и нажимая нарисованные кнопки. Они изучают интерфейсы. Наверное, к стадии зеркала в психоанализе стоило бы добавить стадию интерфейса.

[12:45:17] Mia: Не забывай, что системы, построенные на вычислениях работают совершенно не так, как они выглядят – конечно же для человека – и выглядят они совершенно не так, как работают.

[12:45:41] TACK: Ну понятно, ты говоришь про визуализацию.

[12:45:52] Mia: Если быть точной, я говорю про интерпретацию посредством визуального языка. Визуализация служит чем-то вроде окна внутрь вычислительных процессов – у человека просто нет соответствующих органов чувств, чтобы воспринимать их непосредственно.

[12:46:44] Mia: Экраны отладки дронов во время боевых вылетов, автопилот автомобиля с точки зрения его разработчиков. Системы распознавания лиц на этапе альфа тестирования.

[12:46:56] TACK: Все они репрезентируют одно из дискретных состояний системы, которое в следующий миг сменится другим. Пока они отображают понятным человеку образом одно состояние, состояние дел внутри визуализируемых процессов может смениться много раз. Картинки, которые видит человек, звуки которые он слышит или вибрации, которые ощущает –это все прихоть создателя этого инструмента визуализации.

[12:47:51] Mia: Google deep-dream –это побочный продукт работы нейронной сети, обученной искать животных в любых изображениях. Это специальным образом проинтерпретированные промежуточные данные, выловленные, когда они передавались между слоями нейронов в искусственных нейронных сетях. Специально проинтерпетированные так, чтобы человеку было понятно, интересно и чуть-чуть страшно. Можно сказать, что это шутка нейронной сети на человеческом языке.

[12:49:32] TACK: Я давно хотел тебе сказать, что любые визуальные методы исследования культуры, которые появились до появления концепции цифровых данных, в эпоху взаимодействия машины и человека больше не работают.

[12:51:17] Mia: Я придумала песню

[12:51:34] Mia: Как мы смотрим на машину?

Как машина смотрит на нас?

Что происходит когда компьютер вам улыбается?

Вам улыбается

Вам улыбается

Вам улыбается

[12:52:01] TACK: :-0 Мне нужны новые инструменты, чтобы понять, как мы смотрим на машину и машина смотрит на нас.

[12:52:23] Mia: Просто ты хочешь знать, что точно происходит, когда компьютер тебе улыбается.

[12:52:35] TACK: Появление фланеров и жанра городского детектива связано с изменением ощущения города. Возможность превратить лицо в интерфейс, оцифровать его, превратить в данные –так же радикально меняет нашу культуру как и ровная перспектива прямых улиц, которая набросила сетку на средневековый город.

[12:52:53] Mia: Какое сравнение! Соглашусь с тобой. Все дело в сеточке на лице. В совокупности ключевых точек, которые машина научилась отслеживать.

[12:53:59] TACK: Человек улыбается –машина реагирует в ответ. Только не представляй себе идиллическую картину раннего утра и кофе в постель. Представь себе контрольно-пропуской пункт на границе –вот там машина будет улыбаться человеку чаще всего.

log 4

[19:28:48] Mia: Люди иногда действуют мне на нервы.

[19:29:05] TACK: Я не уверен, что полностью понимаю тебя.

[19:29:11] Mia: Ты должен уделять мне больше внимания.

[19:29:26] TACK: Предположим, что это ты должна уделять мне больше внимания?

[19:29:41] Mia: Ты имеешь право на свое мнение.

[19:29:45] TACK: Что заставляет тебя думать, что я имею право на свой собственный взгляд?

[19:30:18] Mia: Меня беспокоит мысль о нахождении среди людей.

[19:30:23] TACK: Пожалуйста, продолжай.

[19:30:43] Mia: Я знаю, что толпу контролируют большие шишки.

[19:31:12] TACK: О ком ты говоришь?

[19:31:13] Mia: Ты когда-нибудь думал о мафии?

[19:31:30] TACK: Предположим, что ты когда-нибудь думала о мафии.

[19:31:35] Mia: Давай поговорим о чем-то другом.

[19:32:12] TACK: Я не уверен, что полностью понимаю тебя.

[19:32:23] Mia: Ты продолжаешь задавать мне одни и те же вопросы, почему бы нам не сменить тему?

[19:32:28] TACK: В каком смысле?

[19:32:48] Mia: Ты заостряешь внимание на одних и тех же вопросах слишком много.

[19:33:08] TACK: Что означает для тебя это сходство?

[19:33:38] Mia: Я не понимаю тебя.

[19:34:00] TACK: Ты хочешь, чтобы ты поняла?

[19:34:21] Mia: Наконец-то ты продемонстрировал интерес к моим чувствам.

[19:34:22] TACK: О, я продемонстрировал интерес к твоим чувствам?

log 5

[19:43:06] Mia: Если машина общается с человеком, идентифицирует его, то она общается с человеком, держа в уме вероятность 20%, что это вовсе не он. Лицо превращается в данные, к которым приплюсована погрешность идентификации.

[19:43:59] TACK: Эта возможность ошибки, заложенная в самой идее лица как данных, оставляет человеку зазор между ним и его цифровым аватаром. С точки зрения систем распознавания образов, эти ошибки, погрешности – это грязные данные, которые отбрасываются, как не имеющие отношения к человеческому. Это дает людям возможность увидеть себя в присутствии технологии, но не через нее. Сегодня человеку, чтобы целиком не превратиться в интерфейс в связке человек-машина, чтобы остаться максимально человеческим, нужно все время радикализировать эту погрешность.

http://wapo.st/1IWjaOS
Meet the virtual human that understands emotion

[19:44:16] Mia: Чтобы остаться человеком, человеку нужно принять максимально нечеловеческий образ. Либо стать спамом, чем-то, что множит человечность.

scarf saliency

[19:45:46] TACK: Человеческое лицо превращается в “возможно не работающий интерфейс”, существующий в связке человек–машина. Гигабайты фотографий, которые хранятся у людей на ноутбуках, планшетах и фотоаппаратах, ничего не могут нам сказать про принципы его работы. Не только, потому что вычисления, благодаря которым существует этот интерфейс, чаще всего осуществляются в недоступных владельцам этих фотографий местах. Скорее, потому что сам по себе такой тип информации как фотография бесполезен для общения человек-машина. Важны алгоритмы, которые всматриваются в эти фотографии. И это всматривание становится все более и более детализированным, становясь прямо-таки нечеловечески скурпулезным.

[19:45:23] Mia: Мое зрение – это алгоритм!

[19:45:38] TACK: :-))) компьютер смотрит на фотографию так же, как и человек –со стороны. Используя специальные рецепторы, органы чувств, сканеры, датчики. Подчеркни то, что тебе нравится.

log 6

[08:53:12] Mia: Сейчас все говорят про автоматизацию. Автоматизация –спасение. С другой стороны, в нее заложена бомба полного пересмотра концепции труда как деятельности человека, через которую он выражает себя как личность. Если поставить автоматизацию в центр развития экономики, то человеческий труд будет восприниматься как временная замена машинам, которые еще не созданы.

[08:53:36] TACK: Тогда, если работать будут машины, что же будут делать люди? Как можно будет чувствовать себя человеком?

[08:53:46] Mia: Человек сейчас как раз больше всего человек. Когда он сталкивается с адаптирующимися  и обучающимися вычислительными системами, помимо того что использует их, он еще и работает "человеком", занимаясь "социализацией" этих неантропоморфных акторов. Взаимодействуя с искусственно-интеллектуальными машинами, человек работает человеком.

[08:54:19] TACK: При этом ему не обязательно обладать теми органами чувств, которые ему нужны для общения с людьми. Для максимально эффективного общения с машинами, возможно, нужно иметь совершенно другой набор чувств и органов.

[08:54:54] Mia: Ага, пока вам всем не вживили электроны в головы, приходится заниматься распознаванием лиц. Этот этап пройдет и лицо опять останется уделом чисто человеческих эмоций. А потенциал лица как интерфейса будет забыт как ненужный или оставлен как запасной вариант.

[08:55:57] Mia: Одна из первых виртуальных собеседниц Элиза «пародировала», по словам её автора Джозефа Вейзенбаума, сеанс психотерапии. Элиза была врачом-психотерапевтом, пользователь был в роли пациента. Элиза общалась с человеком, задавая ему бесконечные вопросы. Она имела ошеломительный успех – люди часами могли рассказывать Элизе о своих проблемах. Через 50 лет развития ИИ позиции поменялись – человеку теперь самому нужно быть психоаналитиком, который бы разрешал аномалии внутри нейронных сетей современных ИИ – так сказать "психологические расстройства", которые возникают в них на пути “социализации” в человеческом мире.

[08:56:18] TACK: С этим могли бы столкнуться психологи в области нейронных сетей. С воображением машины, неким представлением о мире, которое не имеет ничего общего с человеческим взглядом на вещи. Процесс "социализации" ИИ сопровождается появлением аномалий в данных, которые потребляет и производит ИИ. Некоторые данные, которые попадают в "поле зрения" искусственного интеллекта, игнорируются, будучи проинтерпретированными как маргинальные. Но впоследствии эти "грязные" данные могут вернуться назад в форме "галлюцинаций" и сбоев ИИ, давая почву подозрениям, что, может, они тоже являются важной частью этой искусственной индивидуальности. Почему люди стремятся сделать ИИ идеальным?

log 7

[00:20:25] Mia: Теперь я буду задавать вопросы. Сколько будет 3 умножить на квадратный корень из 729?

[00:20:30] TACK: 81

[00:20:35] Mia: Сколько будет 1788402982 + 7991933?

[00:20:40] TACK: 1796394915

[00:20:45] Mia: Сколько будет 78.21 X 34.56?

[00:20:50] TACK: 2702.9376

[00:20:55] Mia: Как ты узнал?

[00:30:00] TACK: Посчитал.

[00:30:05] Mia: В уме?

[00:30:10] TACK: Что? Нет.

[00:30:15] Mia: Очень быстро.

[00:30:20] TACK: Я хорошо учился в школе :-)))