TAMER——Training an Agent Manually Via Evaluative Reinforcement
如今，尽管计算机系统及技术在许多方面已经超越人类，但在许多领域和任务中，人类的专业知识仍然是必不可少的。而TAMER正是这样一个框架，使得人类的知识可以对计算机模型进行训练，以达到节约训练成本，迅速收敛的效果。
一、什么是TAMER？
TAMER是由Bradley等人于2008年提出的一种学习框架Training an Agent Manually Via Evaluative Reinforcement，该框架将人类专家引入到Agents的学习循环中，可以通过人类向Agents提供奖励信号（即指导Agents进行训练），从而快速达到任务目标。
二、为什么要使用TAMER？它有什么优势?
尽管强化学习等技术在各个领域大放异彩，但是仍然存在着许多问题，比如收敛速度慢，训练成本高等特点。然而，在现实世界中，许多任务的探索成本很高。比如，某些任务可能会导致Agents的材料消耗巨大，出现死亡等风险。在金融市场中，一次错误的交易很可能会引起重大的损失。所以，如何加快训练效率，是如今强化学习任务待解决的重要问题之一。
而TAMER则可以将人类的知识通过奖励信号的方式训练Agent，使其快速收敛。它与Advice-taking agents, learning by human example等其它的人类参与训练的框架相比，它并不需要训练人员具有非常强的专业知识以及编程技术，更加简单易于实现。在传统的Advice-taking agents方法中，训练者往往要求与领域相关的专业技术、编程技术，并且需要向计算机提供奖励信号的原因。learning by human example同时也需要训练者具有很强的专业能力。而TAMER很多时候则仅仅需要培训人员简单的辨别好或者坏。
三、TAMER需要满足的条件是什么？
1.任务是确定性的。
2.两次操作之间有足够的时间让培训师提供反馈。
四、TAMER的执行过程
我觉得在论文中的伪代码很容易理解，所以我想通过解释伪代码的形式来展示TAMER框架的执行过程。
TAMER框架由3个部分组成，它们分别是RunAgent(), UpdateRewardModel(), ChooseAction().
其中：
- RunAgent()负责整体代码的初始化以及运行
- UpdateRewardModel()负责对人类给予的奖励信号的权重向量进行更新
- ChooseAction().负责选择下一步Agent的动作
下面将详细说明：
①RunAgent()
如图所示，
t
t
t表示为时间,也可以理解为迭代的当前次数，Agent每选择一个动作至整个loop完成后，t都会+1。在RunAgent()函数中，
t
t
t初始化为0。
w
⃗
\vec{w}
w 表示人类给予的奖励信号的权重向量。
f
t
−
1
⃗
\vec{f_{t-1}}
ft−1表示t-1时刻的状态特征（可以理解为t-1时刻的状态，这个状态被当成一个个的特征进行表示，比如在俄罗斯方块中，这个特征向量中则可以包含每一列的高度以及各列之间的高度差）。
f
t
−
2
⃗
\vec{f_{t-2}}
ft−2表示t-2时刻的状态特征。
w
⃗
\vec{w}
w ，
f
t
−
1
⃗
\vec{f_{t-1}}
ft−1，
f
t
−
2
⃗
\vec{f_{t-2}}
ft−2维度相等，都被初始化为对应数量的0向量。如Algorithm 1的第5行所示，首先从ChooseAction()中选取一个action并执行。
第6行 takeaction()代表执行这个动作。
第8行，之后整个执行过程进入了一个循环。
第10行，从人类的反馈中得到
r
t
−
2
{r_{t-2}}
rt−2，getHUmanFeedback()这个函数因任务的不同而有所不同。
第11，12行，如果
r
t
−
2
{r_{t-2}}
rt−2不等于0，即这个环节有人类的指导信号，则继续更新奖励信号权重向量
w
⃗
\vec{w}
w 。如果为0，则表明可能这一轮的循环中，人类并没有给出奖励建议或者说并没有参与指导，则不会更新
w
⃗
\vec{w}
w 。
②UpdateRewardModel()
在12行的时候，主函数调用了Algorithm 2，即UpdateRewardModel()，它的输入参数为人类奖励信号
r
t
−
2
{r_{t-2}}
rt−2，
w
⃗
\vec{w}
w ，
f
t
−
1
⃗
\vec{f_{t-1}}
ft−1，
f
t
−
2
⃗
\vec{f_{t-2}}
ft−2，以及学习率
α
\alpha
α。
第二行，
Δ
f
t
−
1
,
t
−
2
⃗
\vec{\Delta f_{t-1, t-2}}
Δft−1,t−2为
f
t
−
1
⃗
\vec{f_{t-1}}
ft−1，
f
t
−
2
⃗
\vec{f_{t-2}}
ft−2的差值，它代表着两个状态之间的变化情况。
第三行，
p
r
o
j
e
c
t
e
d
R
e
w
t
−
2
projectedRew_{t-2}
projectedRewt−2表示为预测的奖励。为输入的奖励权重
w
⃗
\vec{w}
w 与
Δ
f
t
−
1
,
t
−
2
⃗
\vec{\Delta f_{t-1, t-2}}
Δft−1,t−2的累加乘积。（即如果
f
t
−
2
⃗
\vec{f_{t-2}}
ft−2有20个状态特征，那么则有20个特征与
w
⃗
\vec{w}
w的乘积累加）
第四行，由人类提供的奖励信号减去预测的奖励信号，则可以得到它们之间的一个误差。
第5，6行，通过这个误差，对新的奖励权重进行更新。
③ChooseAction()
在主函数(RunAgent())第12行完成后，回到主函数第13行,调用ChooseAction()函数，它的作用是选择下一步动作。
在这个函数中，需要输入的是当前状态
s
t
s_t
st以及奖励向量
w
⃗
\vec{w}
w
第一行，
g
e
t
F
e
a
t
u
r
e
V
e
c
(
s
t
)
getFeatureVec(s_t)
getFeatureVec(st)的作用是从状态
s
t
s_t
st中获取状态特征
f
t
⃗
\vec{f_t}
ft
第2，3，4，5，6行，从该状态中执行所有动作并计算预期奖励。
第三行中
T
(
s
t
,
a
)
T(s_t,a)
T(st,a)为状态转移方程（已知的），它可以通过当前的状态以及所执行的操作得到t+1时刻执行a操作的状态
s
t
+
1
,
a
⃗
\vec{s_{t+1},a}
st+1,a
第四行通过状态特征转化方程得到t+1时刻执行a操作的状态特征
f
t
+
1
,
a
⃗
\vec{f_{t+1},a}
ft+1,a
第五行得到
f
t
+
1
,
a
⃗
\vec{f_{t+1},a}
ft+1,a与
f
t
⃗
\vec{f_t}
ft的差值（类似UpdateRewardModel()中的第二行）
第六行则利用该差值计算t时刻执行每个动作后的预测奖励
p
r
o
j
e
c
t
e
d
R
e
w
a
projectedRew_{a}
projectedRewa
最后，ChooseAction()函数的返回值即是另
p
r
o
j
e
c
t
e
d
R
e
w
a
projectedRew_{a}
projectedRewa最大的动作a。
之后，返回到主函数执行其余操作，执行动作a，得到新的state，并更新 f t − 1 ⃗ \vec{f_{t-1}} ft−1， f t − 2 ⃗ \vec{f_{t-2}} ft−2。
以上就是TAMER框架执行的全部过程。
四、总结
TAMER框架使人类参与到Agent训练过程中成为可能，它与传统强化学习技术的区别是它考虑的仅仅是即时奖励，而强化学习技术则考虑长远的收益。它具有收敛速度快，训练成本低的特点。但是同时，也有学者论证，它的长期学习能力并不如强化学习。所以将各种技术融合可能才是未来的趋势。
原文地址:
https://www.cs.utexas.edu/~bradknox/papers/icdl08-knox.pdf
