|
早稲田大学
菅原 俊治
教授
機関別共同研究
Discovery Saga
論文分野別Discovery Saga
研究テーマDiscovery Saga
協賛企業
共同研究先:Shimizu Corporation
Corporate
共同研究数 3
Open Access
2020
Springer
Analysis of coordinated behavior structures with multi-agent deep reinforcement learning
(Last author)
マルチエージェント深層強化学習による協調行動構造の解析
Yuki Miyashita, Toshiharu Sugawara
Applied Intelligence
Conference Paper
2019
Springer
Coordination in Collaborative Work by Deep Reinforcement Learning with Various State Descriptions
(Last author)
多様な状態記述による深層強化学習による共同作業での調整
Yuki Miyashita, Toshiharu Sugawara
Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics)
【抄録】
Cooperation and coordination are sophisticated behaviors and are still major issues in studies on multi-agent systems because how to cooperate and coordinate depends on not only environmental characteristics but also the behaviors/strategies that closely affect each other. On the other hand, recently using the multi-agent deep reinforcement learning (MADRL) has received much attention because of the possibility of learning and facilitating their coordinated behaviors. However, the characteristics of socially learned coordination structures have been not sufficiently clarified. In this paper, by focusing on the MADRL in which each agent has its own deep Q-networks (DQNs), we show that the different types of input to the network lead to various coordination structures, using the pickup and floor laying problem, which is an abstract form related to our target problem. We also indicate that the generated coordination structures affect the entire performance of multi-agent systems. © 2019, Springer Nature Switzerland AG.
【抄録日本語訳】
協力や協調は高度な行動であり、どのように協力・協調するかは環境特性だけでなく、互いに密接に影響し合う行動/戦略に依存するため、マルチエージェントシステムの研究において依然として大きな課題である。一方、近年、マルチエージェント深層強化学習(MADRL)を用いることで、協調行動を学習・促進できる可能性があるため、注目されています。しかし、社会的に学習された協調構造の特性は十分に明らかにされていない。本論文では、各エージェントが独自の深層Qネットワーク(DQN)を持つMADRLに着目し、我々の対象問題に関連する抽象的な形式であるピックアップと床敷き問題を用いて、ネットワークへの入力の種類が異なると様々な協調構造が導かれることを示す。また、生成された協調構造がマルチエージェントシステム全体の性能に影響を与えることを示す。© 2019, Springer Nature Switzerland AG.
Conference Paper
2019 1 1
Springer
Cooperation and Coordination Regimes by Deep Q-Learning in Multi-agent Task Executions
(Last author)
マルチエージェントタスク実行における深層Q学習による協調・調整レジーム
Yuki Miyashita, Toshiharu Sugawara
Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics)
【抄録】
We investigate the coordination structures generated by deep Q-network (DQN) with various types of input by using a distributed task execution game. Although cooperation and coordination are mandatory for efficiency in multi-agent systems (MAS), they require sophisticated structures or regimes for effective behaviors. Recently, deep Q-learning has been applied to multi-agent systems to facilitate their coordinated behavior. However, the characteristics of the learned results have not yet been fully clarified. We investigate how information input to DQNs affect the resultant coordination and cooperation structures. We examine the inputs generated from local observations with and without the estimated location in the environment. Experimental results show that they form two types of coordination structures—the division of labor and the targeting of near tasks while avoiding conflicts—and that the latter is more efficient in our game. We clarify the mechanism behind and the characteristics of the generated coordination behaviors. © 2019, Springer Nature Switzerland AG.
【抄録日本語訳】
我々は、様々な種類の入力を持つ深層Q-network(DQN)が生成する協調構造を、分散タスク実行ゲームを用いて調査する。マルチエージェントシステム(MAS)において、効率的に行動するためには協力や協調が必須であるが、効果的に行動するためには高度な構造または体制が必要である。近年、マルチエージェントシステムの協調行動を促進するために、深層Q学習が適用されている。しかし、学習結果の特性はまだ十分に明らかにされていない。我々は、DQNに入力される情報が、結果として得られる協調・協力構造にどのような影響を与えるかを調査する。我々は、局所観測から生成される入力に、環境中の推定位置がある場合とない場合について検討する。実験の結果、2種類の協調構造(分業と衝突を避けながら近いタスクを狙う)が形成され、後者が我々のゲームにおいてより効率的であることが示された。また、生成された協調行動のメカニズムや特徴を明らかにする。© 2019, Springer Nature Switzerland AG.