Механический турок XXI века: за ИИ скрывается человек
Фото: 123rf / Legion-Media
В 1770 году венгерский инженер Вольфганг фон Кемпелен создал робота для игры в шахматы. Манекен в костюме османского фокусника (механический турок), установленный на пьедестал с механизмами и шахматной доской, вызывал настоящий ажиотаж. На поединок с ним выходили Бенджамин Франклин (проиграл), Наполеон Бонапарт и Чарльз Бэббидж. Игроки и зрители подозревали, что дело нечисто, но раскрыл аферу только основатель детективного жанра Эдгар Аллан По. В 1836 году он опубликовал эссе «Шахматный аппарат доктора Мельцеля», разоблачающее мистификацию. В пьедестале скрывался человек невысокого роста, умелый шахматист, который и руководил руками механического турка. О громкой афере забыли почти на 180 лет, пока компания Amazon не запустила площадку Mechanical Turk (MTurk).
Вкалывают не роботы
Amazon Mechanical Turk (MTurk) позволяет частным лицам и предприятиям использовать для удаленных работ краудворкеров. Их десятки тысяч человек по всему миру. Задачи могут быть самыми разными — от простой проверки данных до модерации контента. Иными словами, MTurk дает доступ к коллективному человеческому интеллекту для оптимизации бизнес-процессов, расширения сбора и анализа данных.
С появлением нейросетей спрос на такие услуги — в первую очередь на разметку данных — резко вырос.
Люди, обучающие ИИ, добавляют тэги (описательные элементы) в сырой дата-массив. Это необходимо, чтобы показать модели машинного обучения целевые атрибуты (ответы), которые она должна понимать и предсказывать. А без этого никакого ИИ не получится. Да, эта работа требует участия большого количества людей.
Amazon даже ввел термин «“искусственный” искусственный интеллект» для тех случаев, когда часть задач, предназначенных для алгоритмов, передавали людям, так как те справлялись быстрее и лучше.
Но уже в 2020 году стало ясно, что такой подход таит в себе серьезные риски. Издание The Intercept сообщило, что украинские инженеры вручную отсматривали видеозаписи с камер наблюдения умного дома Amazon из-за недостатков программного обеспечения. С 2016 года разработчики имели неограниченный доступ к облачному хранилищу Amazon S3, где хранятся все видео, снятые устройствами подконтрольной Amazon компании Ring. Файлы не были зашифрованы, и каждый из них соотносился с конкретным пользователем Ring. То есть в теории (а может, и на практике) сотрудники самой Ring и ее подрядчики могли наблюдать за частной жизнью пользователей. При этом в политике конфиденциальности компании не упоминается о том, что посторонние получают доступ к личным данным клиентов.
Реагируя на этот и все подобные инциденты, Amazon уверял, что еще очень многие вещи люди могут делать гораздо эффективнее, чем компьютеры.
Некоторые IT-компании, такие как Scale AI, даже превратили это в свою бизнес-модель. Карьерный взлет ее CEO Александра Вана начался в 2016 году, именно тогда, когда он сделал ставку на создание большой сети подрядчиков для разметки данных в интересах разработчиков AI-решений. Услуга востребована производителями беспилотных автомобилей, систем распознавания образов и текстов, разработчиками сервисов видеоаналитики и других.
Вместе с ИИ или вместо
В России тоже есть краудсорсинговый проект для разметки данных — «Яндекс.Толока». Его пользователи могут получать и задания по описанию объектов, которые компьютер выделил на большом изображении. Например, на фото помечены объекты, которые смог определить искусственный интеллект, но для применения этих данных в деле требуется точно знать, что это за объекты. Люди дают им массу определений — ИИ на них учатся. За работу пользователи получают вознаграждение.
Как правило, задания, размещаемые в «Толоке», достаточно простые: для их исполнения не требуется специальная подготовка. В основном они связаны с анализом и оценкой контента, поэтому любой желающий может выполнять их.
Но в большинстве своем разметка данных для машинного обучения — это многогранный и сложный процесс, который требует высококвалифицированных специалистов, работающих с machine learning. Представьте, что вы тренируете ИИ для распознавания рентгеновских снимков раковых опухолей. Неподготовленный человек может сделать много ошибок, которые станут роковыми. В других сферах риски неквалифицированного обучения не такие очевидные, но качество работы ИИ в конечном итоге зависит от мастерства учителей. Например, если ИИ предназначен для распознавания документов, то после обучения может получиться система, которая обрабатывает информацию автоматически, или система, которая без человека практически не функционирует. И в этом случае отклонения алгоритма помножаются на возможные человеческие ошибки. Если ИИ призван обрабатывать финансовые документы или персональную информацию, «делегирование» полномочий может привести к утрате критически важных данных.
Надбавка за «искусство»
У Scale AI есть дочерняя компания Remotasks, принципы работы которой похожи на разметку данных у «Яндекс Толока».
Remotasks на своем сайте открыто говорит, что на платформе могут зарегистрироваться злоумышленники и запрашивать платежные и личные данные пользователей под видом информации для обучения ИИ. Сами работники-краудсорсеры отмечают, что риску подвергается их личная информация, а оплата за фактически рабский труд мизерная. Иногда краудсорсерам надо сделать селфи для подключения к проекту. Утечка такой информации может быть использована, например, для подделки ID-карты. Этот риск краудсорсинговых проектов, построенных по принципу MTurk, сложно контролировать, сообщает правительство США.
В MMC Ventures подсчитали, что короткая добавка в описание стартапа «компания работает с искусственным интеллектом» увеличивает финансирование до 50%.
Учитывая, что в Кремниевой долине многие стартапы добились успеха, следуя девизу «притворяйся, пока у тебя это не получится», понятно, что соблазн заменить ИИ человеком по ту сторону экрана велик.
Недавно «механических турков» нашли в модном стартапе Kaedim, занимающемся переводом 2D-изображений в 3D-модели. Согласно источникам СМИ, в действительности компания нанимала 3D-художников по всему миру, чтобы они в режиме 24/7 отрисовывали изображения.
Инсайдеры рассказали журналистам, что алгоритм Kaedim не был способен выполнить эту работу и отдел контроля качества фактически брал его функции на себя. Людям платили за одну модель от $1 до $4.
Благодаря запуску Kaedim основательница сервиса Константина Псома попала в список самых известных людей в возрасте до 30 лет по версии журнала Forbes. Получается, благодаря обману и пользователей, и инвесторов.
Вся турецкая рать
Вторую или уже третью жизнь афера MT получила благодаря появлению технологии машинного обучения моделей Human-in-the-loop (HITL). Это подход, когда машинное обучение дополняется людьми в реальном времени. Суть его заключается в том, что часть задач выполняют нейросети автоматически, а то, что они не могут, делается человеком. Заявляется, что работа человека используется для дообучения. Это может быть распознавание образа на изображении, сказанного слова, звука, ситуации на видео. Отдельное место занимают задачи по вводу текста: рукописное слово, печатный текст на фотографии, значение в ячейке таблицы или разбор случаев наслоения букв. Звучит логично и полезно.
Но, как показало время, предводители «механических турков» не дремали. Можно констатировать, что HITL как красивый маркетинговый ход позволил элегантно вернуться к применению «механических турков» в сервисах ИИ. Они вступают в игру, когда данные отправляются на обработку во внешний сервис, где заявляется применение HITL для повышения точности ИИ.
По сути, пользователям и инвесторам показывается классический черный ящик, где неполноценность алгоритмов можно заменить человеком. Нужно вам найти дорожный знак на снимке или посчитать сумму табличных показателей, не справился ИИ — сделает человек. А пойдут эти данные в обучение или нет, уже неважно. Задача решена, и деньги заработаны. Инвесторы довольны. Раскрывать фокус пользователям тоже нет смысла. Можно сказать: ИИ + HITL = Магия.
В России есть проекты, которые опираются на HITL. Так, компания Dbrain на своем сайте и страницах в соцсетях заявляет, что в качестве платформы ручной разметки используются «Яндекс.Толока» и подход ИИ + HITL. Обрабатывают паспорта, СТС и другие документы.
Платят за такую работу немного.
На этом скриншоте из группы «Толоки» «ВКонтакте» видна информация о примерной стоимости выполнения заданий Dbrain. Дается она в центах США. В целом пишут, что месячный заработок может составить 100–200 долларов США.
Сделать вывод о том, что перед нами задание для «механического турка», позволяет временной фактор, тогда как для целей обычного обучения время не имеет значения, так как важно только качество работы. Обстоятельства аварии нужно перепечатать с изображения за 20 секунд, и пишут, что платят за это полцента. Если задание выполняется не вовремя, то следует наказание.
Ряд компаний решили построить собственные краудсорсинговые платформы. Одну из таких площадок сделала фирма Beorg (ООО «Биорг», ИНН 7724396261), которая заявляет, что в ее распоряжении около 50 тысяч человек, которые помогают ИИ.
Документы, с которых они переносят данные: паспорт, удостоверения личности, ИНН, заявления, анкеты, счета, договоры, архивные документы и бухгалтерская документация. Но делается это с привлечением все тех же «механических турок». Площадка пытается привлечь 350 миллионов рублей на развитие сервиса. При этом подробностей именно о разработке технологий ИИ почти нет, а компания активно ищет рядовых исполнителей для работы с документами вручную.
Статистика говорит, что бизнес и простые пользователи стали более щепетильно относиться к своим данным. В мире уже есть примеры первых судебных разбирательств по поводу передачи данных на ручную обработку сторонним исполнителям. Но использование подхода MTurk в проектах ИИ не просто афера, которая вводит в заблуждение пользователей, инвесторов и общество. Очевидно, что деятельность недоразработчиков-аферистов дискредитирует ИИ. Их деятельность создает технологические, юридические и репутационные риски. Технологические, потому что «чистым» ИИ-разработчикам приходится конкурировать с теми, кто не вкладывает миллионы в R&D, а за копейки нанимает «механических турок». И это мировая проблема.
По оценке MMC Ventures, в 2019 году в Европе 40% предполагаемых стартапов в области искусственного интеллекта не смогли доказать фактическое использование заявленной технологии в своих продуктах. А сколько их сейчас в России и по всему миру?
Подписывайтесь на нас:
Еще по теме
