Обирання дії

Обирання дії — спосіб охарактеризувати найголовнішу проблему інтелектуальних систем: що робити далі. У штучному інтелекті та обчислювальній когнітивній науці «проблема вибору дії» зазвичай асоціюється із інтелектуальними агентами та аніматами — штучними системами, які демонструють складну поведінку в середовищі агента. Термін також іноді використовується в етології або поведінці тварин.

Однією з проблем для розуміння вибору дії є визначення рівня абстракції, що використовується для визначення того, що саме є «дією». На самому базовому рівні абстракції атомна дія може бути будь-чим, від скорочення м'язової клітини до провокування війни. Зазвичай для будь-якого механізму вибору дії заздалегідь визначений і зафіксовано набір можливих дій.

Більшість дослідників, які працюють у цій галузі, висувають високі вимоги до своїх агентів:

• Виконавець, як правило, повинен вибирати свою дію в динамічних і непередбачуваних середовищах.
• Агенти зазвичай діють в режимі реального часу; тому вони мають вчасно ухвалювати рішення.
• Агенти зазвичай створюються для виконання кількох різних задач. Ці задачі можуть конфліктувати щодо розподілу ресурсів (наприклад, чи може агент одночасно загасити пожежу та принести чашку кави?)
• Середовище, в якому діють агенти, може передбачати наявність людей, які ускладнюють роботу агента (навмисно або намагаючись допомогти).
• Самі агенти часто призначені для моделювання тварин або людей, чия поведінка може бути досить складною.

З цих причин вибір дій не є тривіальним і привертає увагу багатьох дослідників.

Характеристика задачі вибору дії

Основною проблемою вибору дії є складність. Оскільки всі обчислення потребують часу і простору (у пам'яті), тому агенти, зазвичай, не можуть розглянути всі доступні їм варіанти для кожного моменту часу. Отже, вони повинні бути упереджені, і певним чином обмежувати свій пошук. Для штучного інтелекту (ШІ) питання вибору дій полягає в тому, яким найкращим чином можна обмежити цей пошук? Для біології та етології виникає питання як різні види тварин обмежують свій пошук? Чи всі тварини використовують однакові підходи? Чому вони використовують саме ті, що обрали?

Одне з фундаментальних питань щодо вибору дії полягає в тому, чи це справді проблема для агента, чи це просто опис властивості емерджентної поведінки розумного агента. Однак, якщо ми замислимося, як ми збираємося створити розумного агента, то стане очевидним, що має бути деякий спосіб вибору дій. Цей спосіб може бути дуже поширеним (як у випадку розподілених організмів, таких як колонії соціальних комах або слимаків), або це може бути модуль спеціального призначення.

Метод вибору дії (МВД) визначає не тільки дії агента з точки зору впливу на світ, але й спрямовує його перцептивну увагу та оновлює його пам'ять. Ці егоцентричні дії можуть, у свою чергу, призвести до зміни основних поведінкових здібностей агента, зокрема в тому, що оновлення пам'яті передбачає можливу певну форму машинного навчання. В ідеалі сам вибір дії також має бути здатним навчатися та адаптуватися, але існує багато проблем із комбінаторною складністю та трактуванням обчислень, які можуть вимагати обмеження простору пошуку для навчання.

У ШІ МВД також іноді або називають архітектурою агента, або вважають його істотною частиною.

Механізми ШІ

Як правило, механізми штучного вибору дій можна розділити на декілька категорій: символьні системи, іноді відомі як системи класичного планування, системи розподіленого планування, і реактивне або динамічне планування. Деякі підходи не підпадають під жодну з цих категорій. В інших насправді більше йдеться мова про надання наукової моделі, ніж практичне керування ШІ; останні описані далі в наступному розділі.

Символьні підходи

На початку історії штучного інтелекту передбачалося, що найкращим способом для агента вибрати, що робити далі, був би пошук оптимального рішення, а потім його виконання. Це призвело до гіпотези системи фізичних символів, що фізичний агент, який може маніпулювати символами, є необхідним і достатнім для створення інтелекту. Багато програмних агентів досі використовують цей підхід для вибору дій. Зазвичай це вимагає опису всіх показань датчиків, оточення, всіх дій і всіх цілей у певній формі логіки предикатів. Критики цього підходу скаржаться, що він є занадто повільним для пошуку рішення в реальному часі і що, незважаючи на докази, він все ще навряд чи зможе знайти оптимальне рішення, оскільки зведення описів реальності до логіки є процесом, схильним до помилок.

Задовільна стратегія — це стратегія прийняття рішень, яка намагається задовольнити критерії адекватності, а не визначати оптимальне рішення. Задовільна стратегія часто насправді може бути майже оптимальною, якщо витрати на сам процес прийняття рішень, такі як вартість отримання повної інформації, враховуються в обчисленні результатів.

Архітектури, орієнтовані на досягнення мети — у цих символьних архітектурах поведінка агента зазвичай описується набором цілей. Кожна мета може бути досягнута за допомогою процесу або діяльності, яка описується встановленим планом. Агент повинен просто вирішити, який процес продовжити для досягнення поставленої мети. Рішення може розширюватися до підцілей, що робить процес рекурсивним. Технічно, більш-менш, плани використовують умовні правила. Ці архітектури бувають реактивні або гібридні. Класичними прикладами архітектур, орієнтованих на цілі, є реалізовані вдосконалення архітектури переконань-бажань-та-намірів, як-от JAM або IVE.

Розподілені підходи

На відміну від символьного підходу, розподілені системи вибору дій фактично не мають жодного «ящику» в агенті, який вибирає наступну дію. Принаймні в їх ідеалізованій формі розподілені системи мають багато модулів, що працюють паралельно і вибирають найкращі дії на основі локального досвіду. Очікується, що в цих ідеалізованих системах загальна узгодженість виникне якимось чином, можливо, завдяки ретельній розробці взаємодіючих компонентів. Цей підхід часто надихається дослідженнями штучних нейронних мереж. На практиці майже завжди існує «деяка» централізована система, яка визначає, який модуль є «найактивнішим» або є найбільш помітним. Є докази, що біологічний мозок також має функції, які оцінюють, яка з конкуруючих систем заслуговує найбільше уваги, або, точніше, має більшу розгальмованість при виборі дій.

• ASMO — це attention-архітектура, розроблена Роні Новіанто. Вона організовує різні модульні розподілені процеси, які можуть використовувати власні уявлення та методи для сприйняття навколишнього середовища, обробки інформації, планування дії та вибирати дії для виконання.
• Різні типи архітектур winner-take-all, в яких одна вибрана дія отримує повний контроль над руховою системою
• Поширена активація, включаючи Maes Nets (ANA)
• Extended Rosenblatt & Payton — це розповсюджена архітектура активації, розроблена Тобі Тиреллом у 1993 році. Поведінка агента зберігається у формі ієрархічної конекціоністської мережі, яку Тирелл назвав ієрархією вільного потоку. Наприклад, de Sevin & Thalmann (2005) або Kadleček (2001).
• Інтелект заснований на поведінці, був відповіддю на повільну швидкість роботів із використанням символьних методів вибору дій. У цій формі окремі модулі реагують на різні стимули і генерують власні реакції. У початковій формі, при використанні архітектури підкорення, вони складалися з різних шарів, які могли контролювати та приглушувати вхідні та вихідні дані один одного.
• Істоти — це віртуальні домашні тварини з комп'ютерної гри, керовані адаптивною тришаровою нейронною мережею. Механізм їх роботи реактивний, оскільки мережа на кожному кроці часу визначає завдання, яке має виконати істота. Мережа добре описана в статті Grand et al. (1997) та в The Creatures Developer Resources. Див. також Creatures Wiki.

Підходи динамічного планування

Оскільки чисто розподілені системи важко побудувати, багато дослідників звернулися до використання чітко запрограмованих планів для визначення пріоритетів своєї системи.

Динамічні або реактивні методи планування обчислюють лише одну наступну дію в кожну мить на основі поточного контексту та заздалегідь прописаних планів. На відміну від класичних методів планування, реактивні або динамічні підходи не страждають від комбінаторного вибуху. З іншого боку, іноді вони вважаються занадто жорсткими, щоб вважати їх сильним ШІ, оскільки плани закодовані заздалегідь. У той же час природний інтелект може бути жорстким в деяких контекстах, хоча він плинний і здатний до адаптації.

Приклади механізмів динамічного планування включають:

• Скінченні автомати. Це реактивні архітектури, що використовуються переважно для агентів комп'ютерних ігор, зокрема для шутерів від першої особи, ботів або для віртуальних акторів кіно. Як правило, скінченні автомати є ієрархічними. Для конкретних прикладів ігор дивіться статтю Halo 2 bots Деміена Айсла (2005) або магістерську роботу про ботів Quake III Яна Пола ван Ваверена (2001). Для прикладу фільму див. Softimage.
• Інші структуровані реактивні плани мають тенденцію виглядати трохи більше схожими на звичайні плани, часто із способами представлення ієрархічної та послідовної структури. Деякі, наприклад, дії процедурної системи міркувань (ПСМ), використовують частковий план. Багато архітектур агентів з середини 1990-х включали такі плани як проміжний шар, що забезпечував організацію низькорівневих модулів поведінки, одночасно керуючись планувальником вищого рівня в реальному часі. Хоча такий підхід передбачає сумісність з автоматизованими планувальниками, більшість структурованих реактивних планів кодуються вручну (Bryson 2001, ch. 3). Приклади структурованих реактивних планів включають систему Джеймса Фірбі RAP і Нільса Нільсена Teleo-reactive plans. ПСМ, RAP і TRP більше не розробляються та не підтримуються. Ще одним досі діючим (станом на 2006 рік) нащадком цього підходу є паралельна ієрархічна система вибору дій на основі стеку (або POSH), яка є частиною системи Behavior Oriented Design, створеної Джоанною Брайсон.

Іноді, щоб спробувати позбавитись негнучкості динамічного планування, використовуються гібридні методи. У них більш традиційна система планування ШІ шукає нові плани, коли агент має вільний час, і оновлює бібліотеку динамічних планів, коли знаходить оптимальні рішення. Важливим аспектом будь-якої такої системи є те, що коли агенту потрібно вибрати дію, існує деяке рішення, яке можна застосувати негайно (див. далі anytime algorithm).

Інші

• CogniTAO — це механізм прийняття рішень, заснований на переконаннях-бажаннях-та-намірах (belief-desire-intention), він включає в себе вбудовані можливості для командної роботи.
• Soar — це символьна когнітивна архітектура. Вона заснована на правилах умовних дій, відомих як продукції. Програмісти можуть використовувати інструментарій розробки Soar для створення як реактивних агентів, так і агентів планування або будь-якого гібриду.
• Excalibur був дослідницьким проектом, очолюваним Олександром Нареєком, у якому використовувалися anytime-агенти для планування комп'ютерних ігор. Архітектура заснована на структурі задовільних обмежень, що є передовою технікою штучного інтелекту.
• ACT-R схожий на Soar. Він включає в себе систему баєсового навчання, яка допомагає визначити пріоритети виробництва.
• ABL/Hap
• Нечіткі архітектури. Нечіткий підхід у виборі дій забезпечує більш плавну поведінку, ніж та, яку можуть створити архітектури, що використовують логічні правила умовних дій (наприклад, Soar або POSH). Ці архітектури переважно реактивні та символьні.

Теорії вибору дій в природі

Багато динамічних моделей штучного вибору дій спочатку були натхненні дослідженнями з етології. Зокрема, Конрад Лоренц і Ніколас Тінберген надали ідею вродженого механізму вивільнення для пояснення інстинктивної поведінки (фіксована дія). Під впливом ідей В. Макдугалла, Лоренц розвинув це в психогідравлічну модель мотивації поведінки. В етології ці ідеї мали вплив у 1960-х роках, але тепер вони вважаються застарілими через використання в них метафори потоку енергії; нервова система і контроль поведінки зараз зазвичай розглядаються як передача інформації, а не потік енергії. Динамічні плани та нейронні мережі більше схожі на передачу інформації, тоді як розповсюджена активація більше схожа на дифузний контроль емоційних або гормональних систем.

Стен Франклін припустив, що вибір дій є правильною точкою зору для розуміння ролі та еволюції розуму. Дивіться його сторінку про парадигму вибору дій.

Моделі ШІ для вибору нейронних дій

Деякі дослідники створюють складні моделі вибору нейронних дій. Дивіться, наприклад:

• The Computational Cognitive Neuroscience Lab (Університет Колорадо у Боулдері).
• The Adaptive Behaviour Research Group (Університет Шеффілда).

Див. також

• Мова опису дії
• Штучний інтелект у відеоіграх
• Когнітивна робототехніка
• Експертна система
• Механізм висновку
• Інтелектуальний агент
• OPS5
• Продукційна система
• Навчання з підкріпленням
• Алгоритм Рете
• Утиліта

Література

• Bratman, M.: Intention, plans, and practical reason. Cambridge, Mass: Harvard University Press (1987)
• Brom, C., Lukavský, J., Šerý, O., Poch, T., Šafrata, P.: Affordances and level-of-detail AI for virtual humans. In: Proceedings of Game Set and Match 2, Delft (2006)
• Bryson, J.: Intelligence by Design: Principles of Modularity and Coordination for Engineering Complex Adaptive Agents. PhD thesis, Massachusetts Institute of Technology (2001)
• Champandard, A. J.: AI Game Development: Synthetic Creatures with learning and Reactive Behaviors. New Riders, USA (2003)
• Grand, S., Cliff, D., Malhotra, A.: Creatures: Artificial life autonomous software-agents for home entertainment. In: Johnson, W. L. (eds.): Proceedings of the First International Conference on Autonomous Agents. ACM press (1997) 22-29
• Huber, M. J.: JAM: A BDI-theoretic mobile agent architecture. In: Proceedings of the Third International Conference on Autonomous Agents (Agents'99). Seattle (1999) 236—243
• Isla, D.: Handling complexity in Halo 2. In: Gamastura online, 03/11 (2005) [Архівовано 2006-01-08 у Wayback Machine.]
• Maes, P.: The agent network architecture (ANA). In: SIGART Bulletin, 2 (4), pages 115—120 (1991)
• Nareyek, A. Excalibur project
• Reynolds, C. W. Flocks, Herds, and Schools: A Distributed Behavioral Model. In: Computer Graphics, 21(4) (SIGGRAPH '87 Conference Proceedings) (1987) 25-34.
• de Sevin, E. Thalmann, D.:A motivational Model of Action Selection for Virtual Humans. In: Computer Graphics International (CGI), IEEE Computer SocietyPress, New York (2005)
• Tyrrell, T.: Computational Mechanisms for Action Selection. Ph.D. Dissertation. Centre for Cognitive Science, University of Edinburgh (1993)
• van Waveren, J. M. P.: The Quake III Arena Bot. Master thesis. Faculty ITS, University of Technology Delft (2001)
• Wooldridge, M. An Introduction to MultiAgent Systems. John Wiley & Sons (2002)

Посилання

• The University of Memphis: Agents by action selection [Архівовано 2006-04-18 у Wayback Machine.]
• Michael Wooldridge: Introduction to agents and their action selection mechanisms
• Cyril Brom: Slides on a course on action selection of artificial beings
• Soar project. University of Michigan.
• Modelling natural action selection, a special issue published by The Royal Society — Philosophical Transactions of the Royal Society