ИИ – не магия: бизнесу не стоит строить завышенные ожидания
Фото: Юлия Егорова / Росконгресс
Сегодня искусственный интеллект (ИИ) выступает драйвером роста бизнеса. Его внедряют для повышения эффективности бизнес-процессов, автоматизации, сокращения издержек и роста прибыли. Но несмотря на растущую популярность ИИ и открывающиеся возможности и перспективы, некоторые компании допускают ошибки, которые приводят к разочарованию от использования технологии. Эксперты ООО «Сбер Бизнес Софт» рассказали, почему ИИ может не оправдать ожиданий, какие ошибки дорого обходятся и как их избежать.
Все больше компаний по всему миру из разных отраслей экономики используют ИИ: в 2023 году технологии применяли 55 % организаций, в 2024 — уже 78 %. Такие данные приведены в отчете AI Index Стэнфордского университета. Ежегодно рынок ИИ демонстрирует рост. Согласно прогнозам ООН, мировой объем рынка искусственного интеллекта к 2033 году достигнет $4,8 трлн.
При внедрении искусственного интеллекта компаниям важно понимать, что никакие системы или технологии, кроме алгоритмов, описанных строгой последовательностью действий, безошибочно работать не могут. ML-модели (Machine Learning –– модель машинного обучения) тоже допускают ошибки, пусть и в меньшей степени, чем человек, и к этому нужно быть готовыми. Соответственно, одним из главных вопросов, которые встают перед бизнесом –– как минимизировать стоимость этих ошибок. Задача заказчика и разработчика решения — максимально снизить возможный ущерб для компании от таких ошибок.
Ошибка №1: неправильные KPI
Перед тем как внедрять ИИ компании необходимо определить цель такого внедрения. На данном этапе важно правильно задать KPI для ML-модели. От этого и будет зависеть стоимость ошибки.
Определение метрик
На практике любой бизнес имеет свою специфику. И модель ИИ должна ее учитывать. При этом изначально разработчику необходимо получить от заказчика подробные вводные, чтобы выбрать правильный способ измерения ошибки, те самые KPI.
Как это выглядит на практике:
Компания хочет спрогнозировать продажи риса на день. Прогноз –– 100 кг, фактические продажи –– 80 кг. Ошиблись на 20%. На первый взгляд, метрика хорошая. Но что если в этот день не продали риса совсем? Тогда возникает ошибка бесконечности. Метрика в таком случае требует коррекции. Можно производить измерения не в %, а за единицу измерения взять кг. Тогда ошибка составит 20 кг.
Но если товаров много и все они в разных единицах измерения? Для каждой категории продуктов необходимо подобрать правильную метрику. Если же компания решила измерять ошибки в %, то нужно учитывать, что все товары стоят по-разному. Ошибиться на 1% с дорогостоящим товаром хуже, чем сделать это на 1% с недорогим продуктом. Задача –– в дорогих категориях ошибаться меньше.
Эту ошибку можно решить, например, если единицы измерения товара (литры, кг и пр.) умножить на стоимость данного товара. Тогда будет учтена выручка от продукта.
Корректное формулирование задач
Важно не просто определиться, как и в чем измерять ошибки, необходимо научиться правильно ставить задачи. По факту, можно минимизировать «дешевые» ошибки ИИ, а дорогостоящие не затронуть.
Например, обращается заказчик с просьбой разработать Ml-модель, которая будет минимально ошибаться, распознавая продукцию с браком. Что это значит на практике? Модель игнорирует пограничные случаи и при этом выбирает только те, в которых она уверена. В таком случае процент брака самой модели будет минимальным и стремиться к нулю. Но при этом количество товара с реальным браком, который не был идентифицирован, будет расти.
Например, компания занимается производством зонтов с 10 спицами. За реальный брак модель принимает зонты с отсутствием какой-либо детали у товара. На деле же модель пропустила партию зонтов, у которых одна спица не была закреплена надлежащим образом. ИИ же посчитал, что все элементы присутствуют. Формально задача выполнена — модель ошибается редко. Но на практике продукция с реальным браком оказалась у клиента — последовали возвраты. Цена ошибки, когда модель пропускает бракованный товар — 1000 рублей, когда ИИ обнаруживает действительно бракованную продукцию и она не попадает в продажу — 100 рублей.
Здесь важно учитывать не только стоимость продукции, но и контекст. Если компания изготавливает конфеты, то попадание единицы с бракованной оберткой потребителю вряд ли приведет к серьезным последствиям для производителя (если это не противоречит санитарным правилам и нормам). Если же компания изготавливает детали для стиральных машин, и бракованная оказалась у потребителя, то это может обернуться серьезными репутационными и финансовыми рисками: от поломки техники у конечного потребителя до возвратов, гарантийных ремонтов и даже судебных претензий.
Во всех примерах получается, что заказчик хочет снизить издержки собственного бизнеса. Но чтобы действительно достичь этого, необходимо изначально правильно задать KPI для модели. Для этого заказчику следует определить какие ошибки возможны на производстве, какие критичны и какие из них должен детектировать ИИ.
Как правильно описывать задачу:
Чтобы максимально снизить издержки на устранение ошибок компании необходимо привести подробное описание сущности и стоимости каждой из ошибок. Важно ставить несколько задач одновременно. Количество неидентифицированного брака должно стремиться к нулю, как и ошибка по товарам, которые были восприняты как брак, но таковым не являются. В таком случае получится снизить издержки.
Ошибка №2: пренебрежение сбором исторических данных
Для корректной работы ИИ необходимы исторические данные. Их отсутствие почти всегда приводит к тому, что решить задачу без существенных допущений возможным не представляется.
Например, компания открыла новый магазин и хочет спрогнозировать продажи. Исторических данных еще нет. И естественно, на данном этапе без них вряд ли получится сделать корректный прогноз. За основу можно взять историю похожего магазина и построить начальный прогноз, а при появлении реальных продаж корректировать его. Но важно понимать, что точь-в-точь одинаковых магазинов не бывает: даже если они находятся в одном доме и продают один и тот же товар. Тем не менее, это может стать основой, на которой можно пытаться построить работу.
Или, допустим, на производстве только недавно внедрили цифровизацию. В таком случае нужно накопить необходимую информацию и только после этого возвращаться к разработке и внедрению модели ИИ.
Ошибка №3: слабая комбинация заказчик-разработчик
Диалог заказчика с разработчиком –– один из важнейших этапов. Часто компании стремятся снизить издержки. Но обсуждение задачи по внедрению ИИ начинают с общих формулировок: «нам нужно на производстве разработать модель для контроля качества, которая будет минимально ошибаться». И если разработчик опытный, в ходе диалога он обязательно задаст наводящие вопросы и объяснит про разные типы ошибок, которые стоят по-разному. В результате получится правильно сформулировать задачи и определить метрики.
Заказчик и разработчик вместе обсуждают цели и находят решение, как действовать в дальнейшем, что принимать за KPI.
Например, есть магазин со складом для хранения товара в тысячу кубометров. Разработчик сразу выясняет нюансы: что за продукция, портится или нет, сколько этой продукции может поместиться на складе... Ведь если объем продукции превышает объем склада, заказчику придется арендовать для хранения другое помещение и вносить арендную плату за каждый кубометр.
В диалоге заказчик и разработчик приходят к пониманию, что задачу нужно сформулировать так, чтобы на складе было отсутствие как дефицита, так и избытка.
Ошибка №4: ожидания VS возможности
Иногда компании предъявляют завышенные ожидания к ИИ, при этом сами неправильно формулируют конечную задачу. В результате оказывается, что KPI не совпадает с тем, что нужно. Пример: в магазине есть 500 товаров. Заказчик хочет минимизировать ошибку в килограммах при прогнозировании продаж. На выходе модель ИИ выбирает самый объемный товар, продающийся в больших количествах, учится хорошо прогнозировать его, а остальные продукты уходят на второй план. KPI модели выполнен, а заказчик разочарован.
Кроме того, часто для решения задач компании существуют более простые способы, чем ИИ. Иногда достаточно описать какие-то правила и заложить в программу. Например, требуется решение, которое будет проверять цифровые документы на соответствие каким-либо критериям: в поле рентабельности цифра не меньше определенного значения в процентах, в поле суммы –– не меньше такого-то значения в рублях и т.д. Для этого не нужна модель ИИ. Достаточно описать правила и программа будет работать с точностью 100%.
Помните, что при внедрении ИИ нужно быть готовым к постоянным донастройкам системы и внесению изменений для идеальной работы в будущем.
Всегда думайте о том, сколько стоит ошибка в денежном эквиваленте и на основе этого формулируйте задачи для ИИ. Модели можно научить хорошо минимизировать любую метрику. Вопрос в том, чтобы эта метрика отражала реальные ожидания заказчика. Поэтому компаниям стоит, прежде всего, подумать над целями, которые на первый взгляд далеко не очевидны.
Еще по теме
