关于退休返聘人员剩余加班时间如何计算报酬的问题，这主要依赖于双方签订的劳务合同中的具体约定。以下是对此问题的详细解答：

一、劳务合同有约定的情况

首先，应查阅双方签订的劳务合同，看其中是否明确规定了加班报酬的计算方式。劳务合同是双方自愿达成的协议，如果合同中已经明确约定了加班报酬的计算标准（如按小时计算、按工作量的一定比例确定等），那么就必须严格按照此约定来执行。这意味着，如果退休返聘人员有剩余的加班时间，其报酬应按照合同约定的计算方式进行结算。

二、劳务合同无约定的情况

如果劳务合同中未对加班报酬作出具体约定，那么双方可以依据口头约定或者所在行业的惯例来确定加班报酬的计算方式。在这种情况下，由于劳务关系具有较大的灵活性，不像劳动关系那样有法定的加班工资计算标准（如劳动法中规定的平日1.5倍、周末2倍、法定节假日3倍工资等），因此双方需要协商达成一致。

三、争议解决途径

如果在加班报酬的计算上出现争议，双方应首先尝试通过友好协商解决。如果协商不成，可以通过民事法律途径来解决争议，比如向法院提起诉讼或者申请仲裁等。在解决争议时，法院或仲裁机构会根据双方提供的证据以及相关法律法规来作出裁决。

四、总结与建议

1. 查阅劳务合同：首先查看劳务合同中是否有关于加班报酬的约定，并按照约定执行。
2. 协商确定：如果合同无约定，双方应协商确定加班报酬的计算方式，可以参考行业惯例或双方之前的口头约定。
3. 保留证据：在协商或解决争议过程中，双方应保留好相关证据，以便在必要时提供证明。
4. 法律途径：如果争议无法协商解决，可以通过民事法律途径来维护自己的权益。

综上所述，退休返聘人员剩余加班时间的报酬计算主要依赖于双方劳务合同中的约定。在签订劳务合同时，建议双方明确约定加班报酬的计算方式，以避免后续可能出现的争议。