结论：退休人员被聘请上班四五年后无故辞退且没有签订劳务合同，对方是否应该赔偿需分情况讨论，但通常情况下，退休人员与用人单位之间形成的是劳务关系，用人单位无故辞退可能需承担一定的赔偿责任，但具体赔偿方式和金额与劳动关系下的赔偿有所不同。
分析说明：
法律关系认定：
- 退休人员已经享受养老保险待遇或领取退休金，再与用人单位建立用工关系时，双方之间形成的是劳务关系，而非劳动关系。这一点是处理此类纠纷的基础，因为劳动关系的处理与劳务关系的处理在法律上有显著差异。
劳务合同的重要性：
- 虽然劳务关系下不强制要求签订书面合同，但签订劳务合同可以明确双方的权利和义务，包括工作内容、报酬、工作时间、辞退条件等。在没有签订劳务合同的情况下，双方的权利和义务可能难以明确，一旦发生纠纷，处理起来会相对复杂。
无故辞退的赔偿责任：
- 在劳务关系中，如果用人单位无故辞退退休人员，虽然不像劳动关系那样有明确的经济补偿金或赔偿金规定，但用人单位仍可能需承担一定的赔偿责任。这种赔偿可能基于实际损失，如退休人员因被辞退而失去的报酬、可能获得的福利等。
- 具体赔偿金额和方式可能需要根据双方的实际约定、退休人员的实际损失以及用人单位的过错程度等因素来综合确定。如果双方无法协商一致，退休人员可以通过法律途径来维护自己的权益。
举证责任：
- 在没有签订劳务合同的情况下，退休人员需要承担一定的举证责任，以证明自己与用人单位之间存在劳务关系、自己被无故辞退以及因此遭受的损失等。因此，退休人员在平时工作中应注意保留相关证据，如工作证、工资单、工作记录等。
特殊场景：
- 如果退休人员与用人单位之间的用工关系被错误地认定为劳动关系（尽管这种情况较为少见），那么用人单位无故辞退退休人员就可能构成违法解除劳动合同，需要按照《劳动合同法》的规定支付经济补偿金或赔偿金。但这种情况需要具体的法律分析和证据支持。
行动建议：
- 协商解决：首先尝试与用人单位协商解决纠纷，明确双方的权利和义务，争取达成合理的赔偿协议。
- 法律途径：如果协商无果，退休人员可以向当地劳动争议调解委员会申请调解，或者向人民法院提起诉讼，通过法律途径来维护自己的权益。
- 证据保留：在整个过程中，退休人员应注意保留相关证据，以证明自己的主张和损失。
最终意见：退休人员被聘请上班四五年后无故辞退且没有签订劳务合同的情况下，对方是否应该赔偿需根据具体情况来判断。但无论如何，退休人员都应积极维护自己的权益，通过协商或法律途径来寻求合理的赔偿。如果有任何疑问或需要进一步的法律帮助，请直接向我咨询。