行政单位收到对方退还的押金，应当开具收据给对方。以下是具体分析：

1. 从法律义务角度：根据《中华人民共和国民法典》及相关财务制度规定，行政单位作为民事活动主体，在收到对方退还的押金时，有义务出具收款凭证。这既是履行合同义务的体现，也是保障对方合法权益的必要措施。若未开具收据，可能引发对方对款项是否实际收到的质疑，甚至引发不必要的纠纷。

2. 从财务管理角度：行政单位需严格遵守财务管理制度，对每一笔收支进行规范记录。开具收据是财务入账的重要依据，有助于确保账目清晰、资金流向透明。若未开具收据，可能导致财务记录缺失，影响单位内部审计和外部监管的合规性。

3. 从风险防范角度：开具收据可以明确双方的权利义务关系，避免因款项退还问题产生争议。例如，若对方后续主张未收到退款，行政单位可通过收据证明款项已实际退还，从而降低法律风险。

建议：行政单位在收到退还押金时，应使用统一制式的收据，注明收款单位、收款日期、金额、款项性质（如“押金退还”）等信息，并加盖单位公章或财务专用章。若对方要求提供发票，需根据具体性质判断是否属于应税范围，再决定是否开具。

如有其他财务或法律问题，欢迎随时向我咨询。