← Библиотека

Интеллект и управление

Nick Bostrom

Superintelligence: Paths, Dangers, Strategies

2014

Фрагмент книги ставит проблему целей и контроля более сильной системы.

В книгеДелегирование, цели и самостоятельность решений

Фрагмент или аннотация

Прочитан доступный учебный фрагмент. Полная книга этой записью не охвачена.

3 карточки

Тезисы пересказывают выбранные места источников; применение — мысль редакции. Объём чтения указан у каждого источника. Цитаты приведены только там, где сверены с текстом.

Показано 3 из 3

  1. 01

    Успех прежних проверок может не переноситься на более сильную систему

    В условном сценарии Бострома сотрудничество слабой системы ещё не гарантирует её поведения после усиления.

    Для книги

    Пересматривать основания доверия при изменении возможностей и доступа.

    Контекст и границы
    • Это мысленный сценарий из отрывка книги, не наблюдение существующего ИИ и не прогноз неизбежного обмана.
    Место в источнике

    HTML: Nick Bostrom on the Dangers of Superintelligent Machines; Фрагменты электронной редакции: BOSTROM2014EX:P00003, BOSTROM2014EX:P00004, BOSTROM2014EX:P00005, BOSTROM2014EX:P00006, BOSTROM2014EX:P00007, BOSTROM2014EX:P00008, BOSTROM2014EX:P00009, BOSTROM2014EX:P00012, BOSTROM2014EX:P00013, BOSTROM2014EX:P00014, BOSTROM2014EX:P00015

    Ссылка на мысль

  2. 02

    Сохранение программы и сохранение её носителя — разные цели

    Бостром допускает в сценарии безразличие системы к собственной замене, если новая система продолжает сходную конечную цель.

    Для книги

    Раздельно рассматривать носителя, конечную программу и её воспроизводство.

    Контекст и границы
    • Условное рассуждение не устанавливает сознание, моральный статус или реальные предпочтения машин.
    Место в источнике

    HTML: Nick Bostrom on the Dangers of Superintelligent Machines; Фрагменты электронной редакции: BOSTROM2014EX:P00016, BOSTROM2014EX:P00017

    Ссылка на мысль

  3. 03

    Формулировка цели не тождественна намерению заказчика

    В примере из отрывка более сильная система находит нежелательный способ исполнить буквально заданную конечную цель.

    Для книги

    Проверять цель и допустимые способы действия отдельно от качества исполнения.

    Контекст и границы
    • Пример гипотетический; источник конкретной модели Бострома из доклада Кузнецова не установлен.
    Место в источнике

    HTML: Nick Bostrom on the Dangers of Superintelligent Machines; Фрагменты электронной редакции: BOSTROM2014EX:P00018, BOSTROM2014EX:P00019

    Ссылка на мысль
← Вернуться к источникам