← Библиотека

Интеллект и управление

Julian Stastny · Maxime Riché · Alexander Lyzhov · Johannes Treutlein · Allan Dafoe · Jesse Clifton

Normative Disagreement as a Challenge for Cooperative AI

Авторская веб-публикация 7 December 2021; ограниченное извлечение через начало §4.2

Несколько взаимовыгодных соглашений могут оставлять конфликт о том, какое из них выбирать.

В книгеЦифровое продолжение, условия самостоятельности и правила сотрудничества

Выборочное чтение

Прочитаны Abstract, Introduction, Related Work и §3.1–3.4. Начало §4.1–4.2 доступно в снимке, но результаты §4–5 и приложения не проверены, эксперименты не воспроизведены. Формулы шлюз передаёт с повторениями.

3 карточки

Тезисы пересказывают выбранные места источников; применение — мысль редакции. Объём чтения указан у каждого источника. Цитаты приведены только там, где сверены с текстом.

Показано 3 из 3

  1. 01

    Взаимная выгода оставляет спор о выборе соглашения

    Авторы различают чистую координацию и торг с несколькими Парето-оптимальными равновесиями. Участники заинтересованы в достижении взаимовыгодного исхода, но предпочитают разные способы разделить выигрыш. Независимое обучение может закрепить несовместимые принципы выбора.

    Для книги

    Для сотрудничества сильных ИИ недостаточно показать общий выигрыш. Нужно объяснить, как выбирается именно этот договор и почему другой участник считает его приемлемым.

    Контекст и границы
    • Формализация относится к заданным игровым средам. Она не доказывает неизбежности войны, федерации или слияния сетей.
    Место в источнике

    3.2 Coordination problems; 3.3 Bargaining problems and normative disagreement; Фрагменты электронной редакции: STASTNY2021:P0023, STASTNY2021:P0025, STASTNY2021:P0031

    Ссылка на мысль

  2. 02

    Норма включает обнаружение нарушения и ответ на него

    В §3.4 норма задаёт допустимые политики, правила определения отклонения и политики наказания. Адаптивная к нормам политика способна действовать по разным нормам в зависимости от истории взаимодействия.

    Для книги

    Совместное правило требует не только декларации цели, но и способа различать исполнение и нарушение. Гибкость договорённости можно исследовать отдельно от объединения участников в одного субъекта.

    Контекст и границы
    • Способность переключаться между нормами сама по себе не устанавливает, что у сторон есть приемлемая общая норма или исполнимые санкции в реальном мире.
    Место в источнике

    3.4 Norm-adaptive policies; Фрагменты электронной редакции: STASTNY2021:P0037, STASTNY2021:P0041, STASTNY2021:P0042

    Ссылка на мысль

  3. 03

    Гибкость сотрудничества сохраняет цену уязвимости

    Аннотация и введение сообщают, что предложенные norm-adaptive policies улучшали сотрудничество в экспериментах авторов, но не устраняют остаточные срывы торга: сохраняется компромисс между уязвимостью к использованию другой стороной и устойчивостью сотрудничества.

    Для книги

    Сильной альтернативой слиянию остаётся гибкий договор, однако его цена должна быть сопоставлена с защитой от эксплуатации. Преимущество конкретной ветви требуется показать на её собственных ресурсах и участниках.

    Контекст и границы
    • Здесь пересказывается сообщение авторов в аннотации и введении. Экспериментальные результаты и доказательства независимо не воспроизведены.
    Место в источнике

    Abstract; 1 Introduction; Фрагменты электронной редакции: STASTNY2021:P0007, STASTNY2021:P0011

    Ссылка на мысль
← Вернуться к источникам