Предприятия, исследователи и правительства продолжают вместе думать о том, что значит создавать ответственный и заслуживающий доверия ИИ. Технологические инновации имеют глубокие последствия для алгоритмического принятия решений, прав на данные, конфиденциальности и передового опыта.
Кэти Бакстер — главный архитектор, ответственный за искусственный интеллект и технологии в Salesforce. Его опыт улучшения пользовательского опыта в самолетах, автомобилях и программном обеспечении формирует ответственные усилия облачного гиганта в области искусственного интеллекта. Сегодня она размышляет об уроках, которые компании могут извлечь из повышения прозрачности, внедрения более эффективных мер защиты и улучшения надзора совета директоров за услугами ИИ.
Опыт Бакстера сформировался благодаря его исследованиям в области человеческого фактора в Технологическом институте Джорджии, в том числе попыткам стандартизировать средства управления самолетами, чтобы упростить управление различными самолетами. Она также начала искать пробелы в тестировании критически важных для безопасности систем. Например, женщины, дети и младенцы по-прежнему чаще умирают в автомобильных авариях, поскольку производители автомобилей часто используют меньшие по размеру, но не анатомически правильные манекены для выявления проблем.
Прислушиваясь к уязвимым группам населения
Подобные пробелы могут возникнуть и в сфере ИИ, когда исследователи в области безопасности пренебрегают учетом потребностей различных групп населения. Во время учебы в аспирантуре Бакстер была ошеломлена, обнаружив, что они проводят психологические исследования программ чтения для заключенных, которым не разрешалось давать согласие, что было краеугольным камнем принципа Американской психологической ассоциации. Она объясняет:
Мы говорили об уязвимых группах населения в течение многих лет, но речь шла больше о людях с психическими расстройствами, инвалидностью, пожилых людях и детях. Заключенные никогда не считались частью этого населения. Для меня это было настоящим пробуждением к необходимости полностью понять всех людей, на которых влияют наши технологии, и я продолжал делать это на протяжении всей своей двадцатилетней карьеры.
Бакстер присоединился к Salesforce в 2016 году, когда компания готовилась к запуску своих первых чат-ботов, что возбудило его любопытство. Она объясняет:
Это был тот же год, что и Microsoft Tay, расистский и нацистский чат-бот, которого вы, возможно, помните. И я тут же спросил себя: «Боже мой, как я могу этого не сделать?» Итак, я начал работать с командой чат-ботов, а затем начал обращаться к другим командам Einstein и другим облакам и спрашивать: «Чем вы занимаетесь?» Как мы планируем поставить людей в центр и какова должна быть для них роль ИИ? «И с самого начала мы обнаружили, что доверие является серьезной проблемой в продажах.
Одним из первых инструментов искусственного интеллекта стал инструмент оценки лидерских возможностей. Однако он столкнулся с проблемами, когда давал рекомендации, которые показались бизнес-пользователям нелогичными, и они их отклонили. Итак, команда Salesforce по искусственному интеллекту поняла, что им нужно продемонстрировать, почему ИИ считает тот или иной потенциальный клиент хорошим. Эти усилия по созданию пояснительного дискуссионного трека открыли пользователям глаза на закономерности, которые они раньше не замечали. После этого она применила те же принципы для поддержки других должностей, например системных администраторов.
Еще одной ключевой идеей была важность вовлечения и контроля людей. Бакстер заявляет:
Мы считаем, что очень важно, чтобы люди контролировали ситуацию и чтобы искусственный интеллект помогал им и расширял их возможности. В некоторых случаях использование только ИИ имеет смысл, поскольку это очень рутинная задача с четкими правилами, большой историей и не связанный с высоким риском процесс принятия решений. Вы по-прежнему хотите, чтобы человек проверял, что ИИ делает то, что вы от него хотите.
Как Salesforce подходит к мониторингу
Salesforce учредила три совета для надзора и руководства усилиями в области ИИ во всей компании: Совет по ИИ для использования ИИ с сотрудниками; Совет AI Trust по надзору за продуктами, ориентированными на клиентов; и Совет по этическому и гуманному использованию, в который входят внешние эксперты в данной области, которые дают консультации по основным вопросам. В каждый совет входят эксперты по продуктам, кадрам, праву и безопасности, которые помогают анализировать последствия новых процессов, продуктов или политик на основе ИИ.
Хорошим примером является разработка Политика приемлемого использования ИИ (AI AUP) Это выходит за рамки стандартной политики допустимого использования. Бакстер сказал, что одной из целей было создание чего-то достаточно широкого, чтобы помочь компаниям соблюдать текущие и новые правила в области искусственного интеллекта. Например, как только они начали создавать чат-ботов, они добавили политику, согласно которой клиенты должны идентифицировать их как чат-ботов, что теперь является юридическим требованием в Калифорнии.
Недавние достижения в области генеративного искусственного интеллекта также заставили задуматься о новых рисках. Бакстер отмечает:
Мы признали, что генеративный ИИ несет в себе повышенные риски, выходящие за рамки того, что наблюдается при прогнозирующем ИИ. Поэтому нам нужно было убедиться, что мы очень четко задокументировали все красные линии, все способы, которыми мы не хотели, чтобы клиенты использовали нашу технологию искусственного интеллекта. Но у нас также была проблема: поскольку мы собирались размещать сторонние модели, такие как OpenAI и Anthropic, мы хотели убедиться, что у нас есть достаточно детализированный набор правил для клиентов. Мы могли бы сказать: «Какую бы модель вы ни использовали, вот набор правил, которым, если вы будете следовать, вы, вероятно, будете в полной безопасности с условиями обслуживания». »
Это потребовало значительной работы, чтобы определить, в какой степени условия необходимо упростить, гармонизировать с другими лицензиями и обеспечить соответствие новым правилам. Именно здесь эксперты в данной области могли бы помочь оценить политику приемлемого использования ИИ, чтобы определить, является ли она логичной и простой для понимания. Бакстер утверждает, что подобное мышление также будет необходимо для гармонизации разнородной нормативной базы:
Нам нужно, чтобы законодатели и политики по всему миру сделали что-то подобное и сказали: «Пока вы следуете этим рекомендациям, вы, вероятно, сможете соблюдать от 80 до 90 процентов правил в мире». » Затем вы думаете о каждом регионе, чтобы увидеть, что в нем уникально.
В Salesforce команда по связям с правительством работает с юридическим отделом и Управлением по этике и человеческому использованию, чтобы организовать электронные таблицы, в которых сравниваются и сопоставляются различные нормативные требования в разных регионах и версиях. Сегодня это очень ручной и иногда непрозрачный процесс. Со своей стороны, Бакстер работал волонтером в НИСТ США, Сингапурском консультативном совете по этическому использованию ИИ и данных и AI Verify Foundation. Она считает, что важно привнести технический опыт в стандарты, рамки и правила, которые влияют на каждого, и призывает других делать то же самое.
Например, иногда она просматривала документы, написанные группами по связям с правительством, хотя понятия не имела, что означает юридическая фраза с практической точки зрения. Понимание технологии, законодательных и нормативных требований, а также языка требует времени, терпения и множества вопросов.
Принесите доски
Все более важно, чтобы советы директоров находили время для понимания и оценки возникающих рисков, связанных с ИИ. Этот процесс может быть трудным, поскольку членам совета директоров может не хватать опыта в области искусственного интеллекта и данных. Поэтому важно создать процесс, который поможет им понять текущую ситуацию в компании и задать более правильные вопросы.
Salesforce дала четыре рекомендации о том, что советам директоров следует просить компании сделать, чтобы обеспечить правильное управление ИИ. Первый — потребовать создания межфункциональной группы, ответственной за использование ИИ в организации. Эта группа может консультировать по вопросам этики, безопасности, конфиденциальности, исследований пользователей или клиентов, а также инженерных разработок. Бакстер объясняет:
Очень важно иметь межфункциональную группу профильных экспертов, которые смогут ответить на вопросы совета директоров, поскольку не все члены совета обладают глубокими знаниями в области искусственного интеллекта. У них может быть очень поверхностное представление об ИИ. Поэтому очень важно иметь доступ к этой межфункциональной группе для консультирования.
Вторая рекомендация заключается в том, чтобы эта группа регулярно отчитывалась перед советом директоров и публиковала регулярные отчеты. Они могут быть основаны на структурах управления рисками ИИ NIST, таблицах моделей или отчетах об оценке воздействия. Бакстер отмечает, что разные компании используют разные форматы, и это не имеет значения, если они включают информацию о том, как модели обучались, оценки доверия и безопасности, анализ предвзятости и безопасности.
В-третьих, советы директоров должны понимать все способы использования ИИ в организации. В частности, они должны быть в состоянии идентифицировать сценарии использования с высоким уровнем риска или случаи, требующие принятия важных решений. Это важно, особенно в контексте нового европейского закона об искусственном интеллекте, который вводит новые обязательства.
Наконец, советы директоров должны по-настоящему понимать данные, которые являются жизненной силой ИИ. Среди факторов, которые они должны принять во внимание, — откуда они пришли, как они получили к ним доступ, согласие, репрезентативность заинтересованных людей и наличие предвзятого, токсичного или вредного контента. Оказывается, это непрерывный процесс. Например, многие разработчики ИИ использовали открытый набор данных LAION-5B более года, прежде чем обратились к исследователям из Стэнфорда. сообщил Он содержал материалы о сексуальном насилии над детьми. Бакстер говорит:
Очень важно понимать, какие данные вы используете для обучения или уточнения своих моделей.
Мое мнение
Чтобы создать заслуживающий доверия ИИ, необходимо будет внедрить процессы, учитывающие новые инструменты из разных областей и ролей. Кажется важным подумать о том, как реализовать это как тип дизайна пользовательского опыта, который учитывает пользователей, разработчиков и людей, на которых влияет сервис. Работа Бакстера в рамках более широких усилий Salesforce иллюстрирует важные уроки для всех компаний, стремящихся выйти за рамки содержательных заявлений и перейти к более надежному ИИ в качестве практики.
.jpg)
