AI学习记录 - PPO算法草稿

returns

下面是两种方式生成returns的值，第一种好一点








delta计算方式不一样

通过一些计算方式，将未来的一些计算值，赋予到前面去，从而影响将前面的token和后面的token绑定到一起，从而实现每当生成一个tokend的时候，都会考虑到未来的token。