退休返聘人员可以正常上下班，但具体安排需根据返聘协议及单位规章制度确定。以下从不同角度展开说明：

1. 法律关系角度
   退休返聘人员与用人单位属于劳务关系，而非劳动关系。根据《民法典》及相关司法解释，双方权利义务由返聘协议约定。若协议中明确规定了工作时间、地点及考勤制度，返聘人员需遵守；若未约定，则双方可协商确定灵活的工作安排（如弹性工作时间、远程办公等）。

2. 单位管理角度
   用人单位有权根据实际需求制定规章制度，但需满足以下条件：

   • 规章制度内容合法（如不违反《民法典》中关于劳务合同的规定）；
     
   • 已向返聘人员明确告知（如通过书面协议、培训等方式）；
     
   • 制度执行合理（如不强制要求与在职员工完全一致的考勤标准）。
     示例：若单位要求返聘人员每日到岗但未支付相应报酬，可能涉及显失公平，返聘人员可主张调整。

3. 特殊情形处理

   • 健康因素：若返聘人员因年龄或健康原因无法适应固定上下班时间，可与单位协商调整（如缩短工时、分阶段工作）；
     
   • 协议约定优先：若返聘协议中已明确“无需坐班”或“自主安排工作时间”，单位不得单方面强制要求考勤；
     
   • 工伤风险：虽退休返聘人员不适用《工伤保险条例》，但单位可通过购买商业保险（如雇主责任险）降低意外风险。

建议：返聘前务必签订书面协议，明确工作时间、地点、报酬及违约责任等条款；若单位要求严格考勤，可要求补充说明考勤目的及与报酬的关联性。如有争议，可依据协议内容主张权利。