С хорошим машинным обучением приходит большая ответственность: 5 ключевых вопросов о разработке модели


Вы не смогли посетить Transform 2022? Ознакомьтесь со всеми сессиями саммита в нашей доступной библиотеке прямо сейчас! Смотреть здесь.


Быстрый рост в машинное обучение (ML) привело к взрывному росту его использования. Модели обработки естественного языка и компьютерного зрения, которые десять лет назад казались надуманными, теперь широко используются во многих отраслях. Мы можем создавать модели, которые генерируют качественные сложные изображения из невиданных ранее подсказокдоставлять связные текстовые ответы с простым начальным семенемили даже вести полностью связную беседу. И вполне вероятно, что мы просто царапаем поверхность.

Тем не менее, поскольку возможности этих моделей расширяются, а их использование становится все более распространенным, мы должны помнить об их непреднамеренных и потенциально вредных последствиях. Например, модель, предсказывающая кредитоспособность, должна гарантировать, что она не дискриминирует определенные демографические данные. Поисковая система на основе машинного обучения также не должна возвращать результаты изображений только одной демографической группы при поиске изображений лидеров и генеральных директоров.

Ответственное ML — это серия практик чтобы избежать этих ловушек и гарантировать, что системы на основе машинного обучения реализуют свои намерения, одновременно смягчая непреднамеренные или вредные последствия. По своей сути, ответственный ИИ требует размышлений и бдительности на протяжении всего процесса разработки модели, чтобы гарантировать, что вы достигнете правильного результата.

Для начала мы составили список ключевых вопросов, которые следует задать себе в процессе разработки модели. Обдумывание этих подсказок и решение проблем, которые они вызывают, является основой для создания ответственного ИИ.

1. Подходит ли выбранная мной система машинного обучения для этой задачи?

Несмотря на искушение выбрать самое мощное сквозное автоматизированное решение, иногда оно может не подходить для поставленной задачи. Есть компромиссы, которые необходимо учитывать. Например, в то время как модели глубокого обучения с огромным количеством параметров обладают высокой способностью к обучению сложным задачам, их гораздо сложнее объяснить и понять по сравнению с простой линейной моделью, в которой легче сопоставить влияние входных данных на выходные. Следовательно, при измерении предвзятости модели или при работе над тем, чтобы сделать модель более прозрачной для пользователей, линейная модель может отлично подойти, если она имеет достаточную мощность для вашей задачи.

Кроме того, в случае, если ваша модель имеет некоторый уровень неопределенности в своих выходных данных, вероятно, будет лучше держать человека в курсе, чем переходить к полной автоматизации. В этой структуре вместо того, чтобы производить один вывод/прогноз, модель будет давать менее бинарный результат (например, множественные варианты или оценки достоверности), а затем откладывать окончательное решение на человека. Это защищает от посторонних или непредсказуемых результатов, что может быть важно для деликатных задач (например, диагностики пациента).

2. Собираю ли я репрезентативные данные (и ответственно ли я их собираю)?

Чтобы избежать ситуаций, когда ваша модель несправедливо относится к определенным демографическим группам, важно начать с данных для обучения, которые не являются предвзятыми. Например, модель, обученная улучшать качество изображения, должна использовать набор обучающих данных, отражающий пользователей со всеми оттенками кожи, чтобы гарантировать, что она хорошо работает со всей пользовательской базой. Анализ необработанных данных может быть полезным способом найти и исправить эти предубеждения на раннем этапе.

Помимо самих данных, важен и их источник. Данные, используемые для обучения модели, должны собираться с согласия пользователя, чтобы пользователи понимали, что их информация собирается и как она используется. Маркировка данных также должна быть выполнена с соблюдением этических норм. Часто наборы данных помечаются ручными оценщиками, которым платят предельные суммы, а затем данные используются для обучения модели, которая приносит значительную прибыль по сравнению с тем, что оценщикам платили в первую очередь. Ответственная практика обеспечивает более справедливую заработную плату для оценщиков.

3. Понимаю ли я (и мои пользователи) принцип работы системы машинного обучения?

В сложных системах машинного обучения, содержащих миллионы параметров, становится значительно труднее понять, как конкретный ввод сопоставляется с выводами модели. Это увеличивает вероятность непредсказуемого и потенциально опасного поведения.
Идеальное смягчение — выбрать самую простую возможную модель, которая решает задачу. Если модель по-прежнему сложна, важно провести надежный набор тестов на чувствительность, чтобы подготовиться к непредвиденным ситуациям в полевых условиях. Затем, чтобы убедиться, что ваши пользователи действительно понимают последствия системы, которую они используют, крайне важно внедрить объяснимый ИИ, чтобы проиллюстрировать, как генерируются прогнозы модели таким образом, который не требует технических знаний. Если объяснение невозможно (например, раскрывает коммерческую тайну), предложите другие способы обратной связи, чтобы пользователи могли, по крайней мере, оспорить или внести свой вклад в будущие решения, если они не согласны с результатами.

4. Правильно ли я протестировал свою модель?

Чтобы убедиться, что ваша модель работает так, как ожидалось, ничто не заменит тестирование. Что касается вопросов справедливости, ключевым фактором для проверки является то, хорошо ли работает ваша модель во всех группах в вашей пользовательской базе, гарантируя отсутствие перекрестной несправедливости в выходных данных модели. Это означает сбор (и постоянное обновление) набора тестов золотого стандарта, точно отражающего вашу базу, а также регулярное проведение исследований и получение отзывов от всех типов пользователей.

5. Есть ли у меня нужный мониторинг в продакшене?

Разработка модели не заканчивается развертыванием. Модели машинного обучения требуют постоянного мониторинга и переобучения модели на протяжении всего их жизненного цикла. Это защищает от таких рисков, как дрейф данных, когда распределение данных в рабочей среде начинает отличаться от набора данных, на котором была первоначально обучена модель, что приводит к неожиданным и потенциально опасным прогнозам. Передовой практикой является использование платформы управления производительностью модели для установки автоматических предупреждений о производительности модели в производственной среде, что поможет вам упреждающе реагировать на первые признаки отклонения и выполнять анализ основных причин, чтобы понять причину дрейфа модели. Крайне важно, чтобы ваш мониторинг был сегментирован по разным группам в вашей пользовательской базе, чтобы гарантировать, что производительность сохраняется для всех пользователей.

Задав себе эти вопросы, вы сможете лучше внедрить ответственные методы ИИ в свой жизненный цикл MLOps. Машинное обучение все еще находится на ранних стадиях, поэтому важно продолжать искать и узнавать больше; перечисленные здесь пункты — лишь отправная точка на пути к ответственному ИИ.

Кришнарам Кентапади — главный научный сотрудник Fiddler AI..

DataDecisionMakers

Добро пожаловать в сообщество VentureBeat!

DataDecisionMakers — это место, где эксперты, в том числе технические специалисты, работающие с данными, могут делиться знаниями и инновациями, связанными с данными.

Если вы хотите читать о передовых идеях и актуальной информации, передовых методах и будущем данных и технологий обработки данных, присоединяйтесь к нам на DataDecisionMakers.

Вы могли бы даже рассмотреть добавление статьи вашего собственного!

Узнайте больше от DataDecisionMakers

Leave a Comment