退保证金和暂扣款的责任单位，需根据具体合同类型、合同条款以及相关法律法规来确定，无法一概而论。但通常情况下，责任单位可能是合同中的甲方、乙方，或是特定的监管机构或政府部门。以下从不同角度进行详细分析：
一、合同类型与条款的影响
建设工程合同：
- 在建设工程合同中，保证金通常作为履约保证，由承包方（乙方）支付给发包方（甲方）。若合同顺利履行，保证金应予以退还。此时，退保证金的责任单位通常是发包方（甲方）。
- 暂扣款可能涉及工程质量保证金、安全文明施工费等，其退还也通常由发包方（甲方）负责，但需根据合同具体条款和工程完成情况来确定。
租赁合同：
- 在租赁合同中，保证金可能作为租金支付保证或房屋设施完好保证。合同终止时，若承租方（乙方）无违约行为，出租方（甲方）应退还保证金。
- 暂扣款的情况较少见，但若存在，如因承租方损坏房屋设施而需扣除的维修费用，则退还责任（或扣除后的余额退还）通常由出租方（甲方）承担。
其他合同类型：
- 对于其他类型的合同，如买卖合同、服务合同等，保证金和暂扣款的退还责任也需根据合同具体条款来确定。通常，合同中会明确约定保证金和暂扣款的支付、退还条件及责任单位。
二、法律法规的约束
- 无论合同类型如何，退保证金和暂扣款的行为都需遵守相关法律法规。例如，《中华人民共和国民法典》中关于合同履行、违约责任等条款，可能对保证金和暂扣款的退还产生影响。
- 若合同未明确约定退还责任单位，或约定违反法律法规，则可能需根据法律规定来确定责任单位。例如，若因发包方（甲方）原因导致合同无法履行，且合同未约定保证金退还责任，则发包方（甲方）可能需承担退还责任。
三、特定情境下的责任单位
- 政府监管或行政许可涉及的合同：在某些情况下，如政府采购合同、特许经营合同等，保证金和暂扣款的退还可能涉及政府监管机构或行政许可部门。此时，退还责任单位可能是这些机构或部门。
- 第三方担保或保险涉及的合同：若合同中涉及第三方担保或保险，如银行保函、保险公司保证保险等，则保证金和暂扣款的退还可能涉及这些第三方机构。此时，退还责任单位可能是担保方或保险公司。
法律建议
- 审查合同条款：在签订合同时，务必仔细审查合同中关于保证金和暂扣款的条款，明确退还条件、责任单位及违约责任。
- 保留相关证据：在合同履行过程中，保留与保证金和暂扣款相关的所有证据，如支付凭证、退还申请、沟通记录等。
- 及时咨询律师：若对退保证金和暂扣款的责任单位有疑问，或遇到退还纠纷，应及时咨询专业律师，以便维护自身合法权益。
若您有具体的合同或案例，可以直接向我咨询，我会根据您提供的情况，给出更具体的法律建议。