协作多智能体强化学习：从分布式优化视角的理解
华东师范大学【多智体人工智能实验室】系列文章
数字技术、智能技术、通信技术与感知技术的飞速发展促使了网络化系统的形成及其智能化改造。网络化系统被广泛应用且不局限于电力系统、传感器网络、智慧建筑以及智慧工厂等。网络化系统包含大量相互连接的子系统（智能体），且这些智能子系统需要相互协作来完成一个全局目标。由于网络化系统的分布式特性，传统的中心化算法并不适用于解决这类问题。需要强调的是，中心化计算架构还会受到诸多限制，例如单点故障，高通信要求，海量计算负担以及可扩展局限性。由于上述原因，我们需要使用分布式优化的方法来解决这些优化问题。
分布式优化通常指的是以分布式方法（即通过局部的运算及通信）来求解最优化问题，其中以一致性最优化问题最为典型，即优化一个全局目标函数。对于一个拥有 m 个智能体（子系统）的系统，每个智能体都有一个属于自己的局部目标函数 f_i({\mathbf{x}})，其中 {\mathbf{x}}\in {\mathbb{R}}^m 表示优化变量， 而一致性最优化问题可以定义为：
\begin{equation} \min _{{\mathbf{x}}} \left\{ f({\mathbf{x}}):= \sum_{i=1}^{m} f_{i}({\mathbf{x}})\right\}. \end{equation}
协作多智能体强化学习
强化学习属于机器学习的一个重要分支，其核心是智能体通过与环境进行动态交互（如采取行动）来主动学习。经典强化学习和传统机器学习一样，有效获取数据的高质量表征是其主要挑战之一，而近年来发展迅速的深度学习可实现高效的表征学习。因而，强化学习与深度学 习结合而产生的新领域，即深度强化学习，能够有效解决具有高维状态空间以及动作空间的现实世界复杂问题 [1-2]。
深度强化学习被认为是构成通用人工智能的重要组成部分，并且已经成功地与搜索算法、规划算法相结合 [3-4]。深度强化学习与多智能体系统相结合，引出了最近热门的多智能体强化学习研究方向。在多智能体强化学习中，一般会选取某单智能体强化学习算法作为基本算法架构。多智能体强化学习问题在数学上可以被定义为一个部分观测随机博弈问题（Partially Observable Stochastic Game，POSG），具体表示为
\left\langle \mathcal{M},\mathcal{S},\{\mathcal{A}^{i}\}_{i=1}^{m},\{\mathcal{O}^{i}\}_{i=1}^{m}, \mathcal{P}, \mathcal{E},\{\mathcal{C}^{i}\}_{i=1}^{m}\right\rangle,
其中 \mathcal{M} 代表智能体（agent）集合， \mathcal{S} 代表有限状态（state）集合； 表示智能体 i 的有限动作（action）集合； \mathcal{A}=\mathcal{A}^{1} \times \mathcal{A}^{2} \times \cdots \times \mathcal{A}^{n} 表示有限联合动作集合； \mathcal{O}^i 表示智能体 i 的有限观测（observation）集合； \mathcal{O}=\mathcal{O}^{1} \times \mathcal{O}^{2} \times \cdots \times \mathcal{O}^{n} 表示有限联合观测集合； \mathcal{P}\left(s^{\prime} | s, \boldsymbol{a}\right) 代表马尔可夫状态转移概率函数； \mathcal{E}(\boldsymbol{o} | s) 代表马尔可夫观测发射概率函数； \mathcal{C}^{i}: \mathcal{S} \times \mathcal{A} \times \mathcal{S} \rightarrow \mathcal{R} 则表示智能体 i 的代价函数（cost）， \mathcal{R} 是联合动作的及时奖赏（reward）。一个协作多智能体强化学习问题，通常在智能体的代价函数上增加更多约束，即
\forall i \in \mathcal{M}, \forall j \in \mathcal{M} \backslash\{i\}, \forall \pi_{i} \in \Pi_{i}, \forall \pi_{j} \in \Pi_{j}, \frac{\partial \mathcal{C}^{j}}{\partial \mathcal{C}^{i}} \ge 0,
其中 i,j 代表智能体空间 \mathcal{M} 中的两个智能体； \pi_{i} 以及分别代表 \pi_{j} 两个智能体在策略空间 \Pi_i 以及 \Pi_{j} 中对应的策略（policy）。简单来说，上述约束指的是多智能体系统中任意两个智能体都不存在利益冲突。协作多智能体强化学习问题中最常见是完全协作问题（也称为去中心化部分观测马尔可夫决策过程，Dec-POMDP），其中所有智能体共享相同的全局代价函数，即 \mathcal{C}^1 = \mathcal{C}^2 = \cdots = \mathcal{C}^{m} 。整个系统的目标是最小化多智能体系统的期望累积代价之和（极大化期望累计奖赏之和），即
\begin{equation} \min_{\boldsymbol{\theta}}\ \left\{ f(\boldsymbol{\theta}) := \sum_{i=1}^{m} f_{i}(\boldsymbol{\theta}) \right\},\qquad f_i(\boldsymbol{\theta}) := \sum_{t=0}^{T-1} {\mathbb{E}}_{s \sim d, \boldsymbol{o} \sim \mathcal{E}, \boldsymbol{a} \sim \boldsymbol{\pi}_{\boldsymbol{\theta}}}\left[\gamma^{t} c_{t+1}^{i} \big| \boldsymbol{\pi}(\cdot \big| s;\boldsymbol{\theta})\right], \end{equation}
其中 \boldsymbol{\theta}:=(\theta_1,\cdots,\theta_i,\cdots,\theta_m) 代表所有智能体策略函数对应的参数总体， \theta_i 代表智能体 i 的策略函数参数，而 \boldsymbol{\pi}_{\boldsymbol{\theta}}:=\pi_{\theta_1}\times\cdots\times \pi_{\theta_i}\times\cdots\times \pi_{\theta_m} 代表所有智能体策略函数整体， \pi_{\theta_i} 代表智能体$i$的策略函数。该问题具备与一致性最优化问题相同的形式，所以协作多智能体强化学习问题本质上可以看作为一个分布式优化问题。
下面，我们将从分布式优化的角度来理解多智能体强化学习，并从“通信学习”、“协作学习”和“奖励塑造”三个方面进行简要概述。
- 通信学习
基于通信学习的这一类多智能体强化学习方法，通常直接假设智能体之间存在信息的交互，并在训练过程中自主学习：i）来是否需要通信；ii）与哪些智能体通信；iii）如何根据自身的局部观察来生成信息；等等。而在训练完毕后的运行过程中，可以利用其他智能体通信的抽象信息来进行决策。基于通信学习的协作多智能体强化学习问题可以进一步建模为：
\begin{equation}\label{eq:communication-framework} \min_{\boldsymbol{\theta},\theta_c}\ \left\{ f(\boldsymbol{\theta},\theta_c):= \sum_{i=1}^{m} f_{i} (\boldsymbol{\theta},\theta_c) \right\}, \ f_i(\boldsymbol{\theta},\theta_c) := \sum_{t=0}^{T-1} \, \mathbb{E}_{s \sim d_{}, \boldsymbol{o} \sim \mathcal{E}, \boldsymbol{a} \sim \boldsymbol{\pi}_{\boldsymbol{\theta}}}\left[\gamma^{t} c_{t+1}^{i} \big| \boldsymbol{\pi}(\cdot \big| s,\mathcal{C}; \theta)\right], \end{equation}
\boldsymbol{\theta}:=(\theta_1,\cdots,\theta_i,\cdots,\theta_m) 代表所有智能体策略函数对应的参数总体， \theta_i 代表智能体 i 的策略函数参数， \theta_c 代表所有智能体共享的通信学习函数对应的参数， {\mathcal{C}}:=(c_1,\cdots,c_i,\cdots,c_m) 代表每个智能体所通信的信息， c_i 代表智能体 i 的通信信息。通过下面四个具体的算法，可以更深入地了解基于通信学习的协作多智能体强化学习问题。
- DIAL算法[5]是最早引入通信学习模块的多智能体强化学习算法，每个智能体需要接收所有其他智能体的信息并将自身学习的信息通信给其他智能体。通过两个 Q -网络，分别学习动作策略以及离散的通信信息，并利用互相之间的通信信息来加强动作策略的学习；
- 为了提高通信效率，CommNet算法[6]通过虚拟化中心智能体的方式进行通信，并学习连续的通信信息（具备更强的表征能力）。CommNet所假设的虚拟中心智能体，可以接受所有智能体的通信信息，并将其聚合为一个全局信息并广播通信给其他智能体。每个智能体利用自身通信信息以及中心智能体传通信的聚合消息进行下一步决策；
- CommNet所假设的虚拟中心智能体限制了算法的分布式部署，因此[7]进一步提出了更加高效的BiCNet算法。BiCNet基于DDPG算[8]，并采用双向 LSTM网络来生成通信信息。整个多智能体系统中的通信消息会以点到点的顺序传播，直到覆盖所有智能体；
- ATOC[9]进一步在BiCNet算法的基础上提出了组的概念，通过循环注意力二分类网络进行自主分组，组内根据双向 LSTM 网络进行聚合，组间互相通信。基于组结构的通信机制有效提高了通信质量和效率。
- 协作学习
基于协作学习的协作多智能体强化学习算法，并不显式学习智能体之间的通信信息，而是通过一种隐式通信的方式来实现全局协作，即每个智能体在决策时考虑其余智能体的局部观测以及策略。这类方法可以从基于“分解值函数”和“共享（中心化）值函数”两个角度来分类，具体介绍如下。
- 基于分解值函数的协作学习
值函数是强化学习算法经常利用的函数，所以基于值函数的多智能体强化学习算法早已被提出，如Independent Q-Learning(IQL)算法，且已经在多智能体问题上取得比较好的效果。但是面对越来越复杂的环境，IQL无法处理非平衡环境带来的问题。如果将所有智能体当作一个整体智能体考虑，即合并所有智能体的状态空间以及动作空间并且中心化训练，虽然一定程度上能处理环境非平稳性问题，但是依然存在以下缺陷：
- 智能体联合训练时，进度较慢的智能体会阻碍更好的智能体学习策略；
- 面向大规模多智能体环境时，算法具有较差的可扩展性。
为了有效解决上述问题，[10]提出基于分解值函数的方法，其基本思想是：训练一个联合 Q-network，但是这个联合 Q -network是由每个智能体的单独网络通过聚合得到。这样不仅可以解决非平稳环境问题，而且可以通过每个智能体独立学习局部模型解耦智能体之间复杂关系。训练完毕后，每个智能体拥有基于独立局部环境观测的$Q$-network，从而可以实现去中心化执行。基于分解值函数的协作多智能体强化学习方同样可以被建模为一个分布式优化问题，具体形式如下：
\begin{eqnarray}\label{eq:decomposition-value-framework} \min_{\boldsymbol{\theta}_{Q},\theta_{joint}} \!\!\!\!&&\!\! \left\{ f(\boldsymbol{\theta}_{Q},\theta_{joint}):= \sum_{i=1}^{m} f_{i} (\boldsymbol{\theta}_{Q},\theta_{joint}) \right\}, \\ \!\!\!\!&&\!\! f_i(\boldsymbol{\theta}_{Q},\theta_{joint}) := \sum_{t=0}^{T-1} \, \mathbb{E}_{s \sim d_{}, \boldsymbol{o} \sim \mathcal{E}, \boldsymbol{a} \sim \boldsymbol{\pi}_{\boldsymbol{\theta}_{Q}}}\left[\gamma^{t} c_{t+1} \big| Q_i (o_i,a_i;\theta_{Q}^i), Q_{\text{joint}}(Q_1,\cdots,Q_{m};\theta_{joint})\right],\nonumber \end{eqnarray}
其中 \boldsymbol{\theta}_{Q}:= (\theta_Q^1,\cdots,\theta_Q^i,\cdots,\theta_Q^{m}) 代表分解值函数对应的参数， \theta_{Q}^i 代表智能体 i 的独立值函数的参数， \theta_{joint} 代表联合值函数的参数。Q_i 和 Q_{joint} 分别代表智能体 i 值函数和联合值函数。基于值函数的方法其最终策略通过对值函数采取贪心策略得到，即 \boldsymbol{\pi}_{\boldsymbol{\theta}_{Q}}:=\{\arg\max_{a_i} Q_i(o_i, a_i;\theta_{Q}^{i})\} ；同时，基于分解值函数的方法一般假定所有智能体共享一个总体回报，因而 c_{t+1}:=\sum_{i=1}^n c^i_{t+1} 。不同基于分解值函数的方法的主要区别在于如何构造联合值函数 Q_{joint} ，下面我们以三个代表性工作为例来展开讨论：
- VDN[11]是一种早期基于分解值函数的方法，其使用LSTM作为 Q -network，并且将联合值函数 Q_{joint} 近似估计为所有分解值函数 Q_{i} 之和；
- QMIX[12]可以看作是VDN的扩展工作，解决VDN由于简单加和带来的表达能力局限问题，解决不能捕捉智能体间复杂关系的问题。QMIX通过非线性网络Mixing network代替简单的加和，并在其中引入Hypernetworks架构提高表达能力；
- QTRAN[13]是对VDN和QMIX两种算法的进一步改进，其将困难的联合值函数逼近分解为两步：i）采用独立值函数$Q_i$的加和作为联合值函数 Q_{joint} 的近似；ii）拟合独立值函数与联合值函数的差值。
2. 基于共享（中心化）值函数的协作学习
基于共享值函数的协作多智能体强化学习算法，通常采用演员-评论家（Actor-Critic）算法作为基础算法。利用演员-评论家算法的特殊结构，我们可以学习共享的评论家（Critic），且基于此中心评论家学习每个智能体独立的演员（Actor），从而同步处理可扩展性问题和非平稳环境问题。基于共享值函数的协作多智能体强化学习算法也可以概括为一个分布式优化问题，具体形式如下：
\begin{eqnarray}\label{eq:centralized-value-framework} \min_{\boldsymbol{\theta},\theta_{central}} \!\!\!\!&&\!\! \left\{ f(\boldsymbol{\theta},\theta_{central}):= \sum_{i=1}^{m} f_{i} (\boldsymbol{\theta},\theta_{central}) \right\}, \\ \!\!\!\!&&\!\! f_i(\boldsymbol{\theta},\theta_{central}) := \sum_{t=0}^{T-1} \, \mathbb{E}_{s \sim d_{}, \boldsymbol{o} \sim \mathcal{E}, \boldsymbol{a} \sim \boldsymbol{\pi}_{\boldsymbol{\theta}}}\left[\gamma^{t} c_{t+1}^{i} \big| \boldsymbol{\pi} (\cdot \big| s; \boldsymbol{\theta}), Q_{\text{central}}(o_1,a_1,\cdots,o_n,a_n;\theta_{central})\right],\nonumber \end{eqnarray}
其中 \boldsymbol{\theta}:=(\theta_1,\cdots,\theta_i,\cdots,\theta_m) 代表所有智能体演员策略函数对应的参数总体， \theta_i 代表智能体 i 的演员策略函数参数， \theta_{central} 代表中心化评论家函数的参数。通过下面三个代表性工作，我们可以对这一类算法有更好的理解：
- MADDPG[14]算法将单智能体强化学习算法中的DDPG算法扩展到多智能体环境中。其中，每个智能体的评论家策略是基于全局信息学习的，因而可以有效解决环境非平稳问题，这也是该类方法的核心思想；
- COMA[15]旨在解决Dec-POMDP问题中的多智能体信用分配问题，即因为所有智能体共享同一个全局回报导致的智能体不知道各自行为对全局回报产生的影响程度；COMA与MADDPG在演员策略学习上存在不同，相比于MADDPG使用的一般DNN，COMA利用GRU网络[16]来优化局部环境观测的处理。进一步，COMA基于单智能体策略梯度算法REINFORCE，其核心是引入反事实基准函数计算共享值函数（优势函数），这一思路也是受Difference Rewards方法的启发[17-18]。通过比较智能体遵循当前演员策略与某默认策略进行决策得到的全局回报，来解决多智能体信用分配问题。然而，这类技术依然存在问题：i）为了获取遵循某默认策略得到的全局回报，需要重复访问仿真环境；ii）默认策略得到的全局回报不在仿真器建模中，因而需要进行估计；iii）默认策略的选取是完全主观的。COMA通过使用共享的评论家策略计算智能体独自的值函数（优势函数），该值函数即为智能体遵循当前演员策略得到的期望累积回报与反事实基准函数之差。
- MAAC[19]算法是在MADDPG基础上的扩展，将MADDPG中采用的DDPG算法替换为SAC（soft actor-critic）算法，同时将COMA提出的反事实基准引入进来。MAAC算法还将注意力机制引入到值函数的构建之中，给与智能体不同的关注度，从而充分利用智能体的局部观察以及动作。
- 奖励塑造
此类方法的切入点和以上方法均不相同，其通过设计更加精巧的智能体代价函数（奖励函数）来促进智能体更密切合作。由于没有引入额外的模块，因而基于奖励塑造的协作多智能体强化学习算法所对应的分布式优化问题为
\begin{equation}\label{eq:cooperative-marl-reward} \min_{\boldsymbol{\theta}}\ \left\{ f(\boldsymbol{\theta}) := \sum_{i=1}^{m} f_{i}(\boldsymbol{\theta}) \right\},\ f_i(\boldsymbol{\theta}) := \sum_{t=0}^{T-1} {\mathbb{E}}_{s \sim d, \boldsymbol{o} \sim \mathcal{E}, \boldsymbol{a} \sim \boldsymbol{\pi}_{\boldsymbol{\theta}}}\left[\gamma^{t} c_{t+1}^{i} \big| \boldsymbol{\pi}(\cdot \big| s;\boldsymbol{\theta})\right]. \end{equation}
其中社会困境问题（Social Dilemma），指的是智能体会追求自身短期利益而做出损害集体长期利益的行为，这一问题是困扰多智能体系统进行高效协作的关键。基于奖励塑造的协作多智能体强化学习算法试图解决这一关键问题，从而实现更优的协作。本部分主要介绍下面三个典型工作：
- [20]属于比较早期的工作，其解决的是简单的双智能体问题。一种亲社会智能体的概念被提出来，且通过一个亲社会的智能体代价函数（奖励函数）来体现，其具体表达形式如下： C_{i}\left(a_{i}, a_{j}\right)=(1-\alpha) C_{i}\left(a_{i}, a_{j}\right)+\alpha C_{j}\left(a_{i}, a_{j}\right), 其中（ C_{i},C_{j} 指的是智能体 i,j 原始的代价函数） \alpha 代表的是智能体的亲社会水平。 \alpha=0 表示智能体是完全自私的， \alpha=0.5 表示智能体是完全亲社会的， \alpha=1 表示智能体是完全无私的。[20]表明即使多智能体系统中只存在一个亲社会的智能体，依然可以促进智能体合作；
- [21]引入不公平厌恶理论（Inequity Aversion）来解决社会困境问题。基于此的强化学习算法能够解决复杂的视频游戏。许多在很多研究领域中，如经济学、进化生物学、社会学、心理学和政治哲学等，研究结果表明公平规范（fairness norm）能够有效解决社会困境问题。 假定一个智能体具有不公平厌恶偏好，那么其会在学习过程中寻求一个平衡，既保持自身对独立奖励的渴望，也保证自己与他人的奖励偏差尽可能小。 具有上述偏好的智能体可以抵制超越其他智能体的诱惑，或者进一步通过引入惩罚和劝阻搭便车（free-riding）行为，有效解决社会困境难题。此时，代价函数可以被建模为： \begin{aligned} C_{i}\left(o_{i}^{t}, a_{i}^{t}\right)=C_{i}\left(o_{i}^{t}, a_{i}^{t}\right) &-\frac{\alpha_{i}}{N-1} \sum_{j \neq i} \max \left(e_{j}^{t}\left(o_{j}^{t}, a_{j}^{t}\right)-e_{i}^{t}\left(o_{i}^{t}, a_{i}^{t}\right), 0\right) \\ &-\frac{\beta_{i}}{N-1} \sum_{j \neq i} \max \left(e_{j}^{t}\left(o_{i}^{t}, a_{i}^{t}\right)-e_{j}^{t}\left(o_{j}^{t}, a_{j}^{t}\right), 0\right), \end{aligned} 其中 e_{j}^{t}\left(o_{j}^{t}, a_{j}^{t}\right)=\gamma \lambda e_{j}^{t-1}\left(o_{j}^{t-1}, a_{j}^{t-1}\right)+C_{j}^{t}\left(s_{j}^{t}, a_{j}^{t}\right) ； \gamma 代表折扣因子， \lambda 为可调节的超参数；
- [22]通过引入能够反映智能体自身动作对其余智能体的因果影响程度的固有回报，来鼓励智能体协作，并把这种固有回报称之为社会影响固有回报（Social Influence Intrinsic Reward）。这种固有回报还能促进前面介绍的通信学习算法学习到更有意义的通信信息。因果影响程度通过反事实推断来评估。智能体通过模拟选择不同的、反事实的动作，并评估其对其余智能体动作的影响。其中能够使得其余智能体动作产生较大改变的动作，被认为具有较大的影响力并会获得奖励。这种社会影响固有回报的构建方式，也可以理解为最大化智能体动作之间的互信息。
- 总结
多智能体强化学习是解决多智能体系统问题的一种有效方法，而协作多智能体强化学习专注于解决协作问题。协作多智能体强化学习与分布式优化有非常密切的联系，因此求解分布式优化的高效最优化方法可以被引入求解协作多智能体强化学习问题。更重要的是目前协作多智能强化学习中的问题，可以通过分布式优化的计算技巧来解决，如去中心化训练、异步训练、通讯学习等。深入融合多智能体强化学习与分布式优化会为人工智能、智能系统等领域带来更丰富的研究成果与技术积累。
- 参考文献
[1] YANG Y, HAO J, SUN M, et al. Recurrent deep multiagent q-learning for autonomous brokers in smart grid. IJCAI, 2018.
[2] ZHAO J, QIU G, GUAN Z, et al. Deep reinforcement learning for sponsored search real-time bidding. SIGKDD, 2018.
[3] SILVER D, HUANG A, MADDISON C J, et al. Mastering the game of GO with deep neural networks and tree search. Nature, 2016, 529(7587):484.
[4] TAMAR A, WU Y, THOMAS G, et al. Value iteration networks. NeurIPS, 2016.
[5] FOERSTER J N, ASSAEL Y M, DE FREITAS N, et al. Learning to communicate with deep multi-agent reinforcementlearning. NeurIPS, 2016.
[6] SUKHBAATAR S, SZLAM A, FERGUS R. Learning multiagent communication with backpropagation. NeurIPS, 2016.
[7] PENG P, YUAN Q, WEN Y, et al. Multiagent bidirectionally-coordinated nets for learning to play starcraft combat games. CoRR, 2017.
[8] LILLICRAP T P, HUNT J J, PRITZEL A, et al. Continuous control with deep reinforcement learning. arXiv, 2015.
[9] JIANG J, LU Z. Learning attentional communication for multi-agent cooperation. NeurIPS, 2018:7265-7275.
[10] SUNEHAG P, LEVER G, GRUSLYS A, et al. Value-decomposition networks for cooperative multi-agent learning. arXiv, 2017.
[11] SUNEHAG P, LEVER G, GRUSLYS A, et al. Value-decomposition networks for cooperative multi-agent learning based on team reward. AAMAS, 2018.
[12] RASHID T, SAMVELYAN M, DE WITT C S, et al. QMIX: monotonic value function factorisation for deep multi-agentreinforcement learning. ICML, 2018.
[13] SON K, KIM D, KANG W J, et al. QTRAN: learning to factorize with transformation for cooperative multi-agentreinforcement learning. ICML, 2019.
[14] LOWE R, WU Y, TAMAR A, et al. Multi-agent actor-critic for mixed cooperative-competitive environments. NeurIPS, 2017.
[15] FOERSTER J N, FARQUHAR G, AFOURAS T, et al. Counterfactual multi-agent policy gradients. AAAI, 2018.
[16] CHO K, VAN MERRIËNBOER B, BAHDANAU D, et al. On the properties of neural machine translation: Encoder-decoder approaches. arXiv, 2014.
[17] WOLPERT D H, TUMER K. Optimal payoff functions for members of collectives. Advances in Complex Systems,2001, 4(2-3):265-280.
[18] TUMER K, AGOGINO A K. Distributed agent-based air traffic flow management. AAMAS, 2007.
[19] IQBAL S, SHA F. Actor-attention-critic for multi-agent reinforcement learning. ICML, 2019.
[20] PEYSAKHOVICH A, LERER A. Prosocial learning agents solve generalized stag hunts better than selfish ones. AAMAS, 2018.
[21] HUGHES E, LEIBO J Z, PHILLIPS M, et al. Inequity aversion improves cooperation in intertemporal social dilemmas. NeurIPS, 2018.
[22] JAQUES N, LAZARIDOU A, HUGHES E, et al. Social influence as intrinsic motivation for multi-agent deep reinforce-ment learning. ICML, 2019.备注：本文曾发于“柚子优化”公众号。
作者：王祥丰、金博、李文浩
华东师范大学-计算机科学与技术学院-多智体人工智能实验室
文章被以下专栏收录
