CartPole：小车怎样学会保持平衡

1. 先看看：训练前与训练后

观看策略

未训练 · 权重固定

蓝：正权重红：负权重 |w| = 0 0.25 1

粗细始终使用同一尺度。默认跟踪变化最大的连接；点击或轻触连线可固定查看，键盘 ← → 切换、Esc 恢复自动。输入先缩放，节点明暗表示当前数值大小。

网络先尝试不同动作。每 8 回合汇总一次经验，让带来更多后续奖励的动作更容易被选中。

每轮自动训练 400 回合，可随时暂停

尚未训练。也可以先选择“已训练示例”，观察学会后的表现。

● 训练：按概率尝试动作，8 回合均分。
● 评估：选概率最大的动作，10 回合均分。
保留评估表现最好的权重；训练曲线有波动是正常的。

想再了解一点训练方法？

这里使用 REINFORCE 策略梯度：一回合结束后，从后往前累计未来奖励，再更新动作概率。汇总多回合、缩放输入和奖励、限制过大的更新，以及 Adam 自适应步长，让这个小网络更容易学会。没有额外的价值网络。

评估使用独立环境，不参与更新；内置示例与浏览器采用同一套训练代码。为方便复现，本页从固定随机种子开始。成功率仍取决于初始状态。

横向看角度、纵深看角速度，高度看向右推的概率。位置和速度先固定，再用滑块查看其他切片。

当前曲面：未训练

固定小车位置 0.0 m

固定小车速度 0.0 m/s

训练前 · 随机初始化

当前选中的策略

角度 0.0°，角速度 0.00 rad/s 向右推概率：训练前 — → 当前 —

点击或轻触曲面上的点可读数；键盘 ← → 调角度、↑ ↓ 调角速度。白点是你选的测试状态。两图共用坐标和颜色，概率由网络逐点计算，网格之间用平面连接；它展示固定位置、速度时的一张切片。