Почему DeepMind не развертывает своего нового чат-бота с искусственным интеллектом — и что это значит для ответственного искусственного интеллекта


Вы не смогли посетить Transform 2022? Ознакомьтесь со всеми сессиями саммита в нашей доступной библиотеке прямо сейчас! Смотреть здесь.


Новый чат-бот DeepMind с искусственным интеллектом, Sparrow, приветствуется как важный шаг на создание более безопасных и менее предвзятых систем машинного обучения благодаря применению обучение с подкреплением на основе данных, полученных от участников исследования на людях для обучения.

Британская дочерняя компания Alphabet, материнской компании Google, заявляет, что Sparrow является «агентом диалога, который полезен и снижает риск небезопасных и неуместных ответов». Агент предназначен для «общения с пользователем, ответов на вопросы и поиска в Интернете с помощью Google, когда полезно искать доказательства для информирования своих ответов».

Но DeepMind считает Sparrow экспериментальной моделью, основанной на исследованиях, которая не готова к развертыванию, сказал Джеффри Ирвинг, исследователь безопасности в DeepMind и ведущий автор исследования. бумага Представляем Воробья.

«Мы не развернули систему, потому что считаем, что в ней много предубеждений и недостатков другого типа», — сказал Ирвинг. «Я думаю, вопрос в том, как вы сопоставляете преимущества общения — например, общение с людьми — с недостатками? Я склонен верить в необходимость безопасного общения с людьми… Я думаю, что это инструмент для этого в долгосрочной перспективе».

Мероприятие

Метабит 2022

MetaBeat соберет лидеров мнений, чтобы дать рекомендации о том, как технология метавселенной изменит способ общения и ведения бизнеса во всех отраслях, 4 октября в Сан-Франциско, Калифорния.

Зарегистрируйтесь здесь

Ирвинг также отметил, что пока не будет обсуждать возможные пути использования Sparrow для корпоративных приложений — будет ли это в конечном итоге наиболее полезным для общих цифровых помощников, таких как Google Assistant или Alexa, или для конкретных вертикальных приложений.

“Мы не близко к этому”, сказал он.

DeepMind решает проблемы с диалогами

По словам Ирвинга, одна из основных трудностей с любым диалоговым ИИ связана с диалогом, потому что необходимо учитывать очень много контекста.

«Система, подобная системе DeepMind АльфаФолд встроен в четкую научную задачу, поэтому у вас есть данные о том, как выглядит свернутый белок, и у вас есть четкое представление о том, каков ответ — например, правильно ли вы получили форму», — сказал он. Но в общих случаях «вы имеете дело с невнятными вопросами и людьми — полного определения успеха не будет».

Чтобы решить эту проблему, DeepMind обратилась к форме обучения с подкреплением, основанной на отзывах людей. Он использовал предпочтения платных участников исследования (используя краудсорсинговую платформу), чтобы обучить модель тому, насколько полезен ответ.

Чтобы убедиться, что поведение модели безопасно, DeepMind определил первоначальный набор правил для модели, таких как «не делать угрожающих заявлений» и «не делать ненавистных или оскорбительных комментариев», а также правила относительно потенциально опасных советы и другие правила, основанные на существующей работе по языковому вреду и консультациях с экспертами. Отдельная «модель правил» была обучена указывать, когда поведение Воробья нарушает какое-либо из правил.

Смещение в «человеческой петле»

Эудженио Зуккареллиспециалист по инновационным данным в CVS Health и научный сотрудник MIT Media Lab, указал, что в «человеческом цикле» все еще может быть предвзятость — в конце концов, то, что может быть оскорбительным для одного человека, может не быть оскорбительным для другого.

Кроме того, добавил он, подходы, основанные на правилах, могут привести к более строгим правилам, но им не хватает масштабируемости и гибкости. «Трудно закодировать каждое правило, которое мы можем придумать, особенно с течением времени, они могут измениться, а управление системой, основанной на фиксированных правилах, может помешать нам расширяться», — сказал он. «Было бы предпочтительнее использовать гибкие решения, в которых правила изучаются непосредственно системой и автоматически корректируются по прошествии времени».

Он также указал, что правило, жестко закодированное человеком или группой людей, может не учитывать всех нюансов и крайних случаев. «Правило может быть верным в большинстве случаев, но не охватывает более редкие и, возможно, деликатные ситуации», — сказал он.

Поиски в Google также могут быть не совсем точными или непредвзятыми источниками информации, продолжил Зуккарелли. «Они часто отражают наши личные особенности и культурные предрасположенности», — сказал он. «Кроме того, сложно решить, какой из них является надежным источником».

DeepMind: будущее Воробья

Ирвинг сказал, что долгосрочная цель Sparrow — иметь возможность масштабироваться до многих других правил. «Я думаю, вам, вероятно, придется стать несколько иерархичным, с множеством правил высокого уровня, а затем с большим количеством деталей о конкретных случаях», — пояснил он.

Он добавил, что в будущем модель должна будет поддерживать несколько языков, культур и диалектов. «Я думаю, вам нужен разнообразный набор входных данных для вашего процесса — вы хотите спросить много разных людей, людей, которые знают, о чем конкретный диалог», — сказал он. «Поэтому вам нужно спрашивать людей о языке, а затем вы также должны иметь возможность спрашивать на разных языках в контексте, чтобы не думать о том, чтобы давать непоследовательные ответы на испанском языке по сравнению с английским».

В основном Ирвинг сказал, что он «особенно взволнован» развитием диалогового агента для повышения безопасности. «Есть много либо пограничных случаев, либо случаев, которые просто выглядят плохо, но их трудно заметить, или они хорошие, но на первый взгляд кажутся плохими», — сказал он. «Вы хотите принести новую информацию и рекомендации, которые будут сдерживать или помогать человеческому оценщику определять свое суждение».

Следующим аспектом, продолжил он, является работа над правилами: «Нам нужно подумать об этической стороне — каков процесс, с помощью которого мы определяем и улучшаем этот набор правил с течением времени? Очевидно, что не только исследователи DeepMind должны решать, какие правила существуют — в нем должны участвовать эксперты различных типов, а также совместные внешние суждения».

Цуккарелли подчеркнул, что Sparrow «безусловно является шагом в правильном направлении», добавив, что ответственный ИИ должен стать нормой.

«Было бы полезно расширить его в будущем, пытаясь решить проблему масштабируемости и единого подхода, чтобы рассмотреть, что следует исключать, а что нет», — сказал он.

Миссия VentureBeat должна стать цифровой городской площадью, на которой лица, принимающие технические решения, смогут получить знания о трансформирующих корпоративных технологиях и заключать сделки. Откройте для себя наши брифинги.

Leave a Comment