作为中间人，若不归还保证金，对方是否有责任需视具体情况而定。以下从不同角度进行分析：

一、中间人的法律地位与责任

1. 中间人的定义：

   • 中间人通常指的是在交易或合同中，为双方提供信息、协助沟通或促成交易，但并不直接参与交易本身的第三方。

2. 中间人的责任：

   • 中间人一般不对交易双方的债务或义务承担直接责任，除非其明确承诺了担保责任或存在其他法定责任情形。
   • 若中间人仅作为信息传递者或协助者，未收取保证金或未对保证金进行管理，则通常不承担归还保证金的义务。

二、保证金的处理与责任

1. 保证金的性质：

   • 保证金是交易双方为确保合同履行而约定的一方或双方交付的款项。
   • 保证金的归属和返还通常依据合同约定或法律规定进行。

2. 中间人保管保证金的情况：

   • 若中间人受交易一方或双方委托，代为保管保证金，则中间人负有妥善保管并按照约定或法律规定返还保证金的义务。
   • 若中间人未按照约定或法律规定返还保证金，可能构成违约或侵权，需承担相应的法律责任。

3. 中间人未保管保证金的情况：

   • 若中间人未收取或未管理保证金，则其对保证金的返还无直接责任。
   • 在此情况下，若对方要求中间人归还保证金，中间人可拒绝，并建议对方直接向保证金的实际收取方或管理方主张权利。

三、法律建议与后果

1. 对中间人的建议：

   • 中间人在涉及保证金的问题上应谨慎行事，明确自己的法律地位和责任。
   • 若受托保管保证金，应严格按照约定或法律规定进行管理和返还。
   • 若未受托保管保证金，应避免卷入保证金纠纷，必要时可提供相关证据以证明自己的无责。

2. 对交易对方的建议：

   • 交易对方在要求中间人归还保证金前，应先确认中间人是否实际收取或管理了保证金。
   • 若中间人未收取或未管理保证金，交易对方应直接向保证金的实际收取方或管理方主张权利。
   • 若中间人存在违约或侵权行为，交易对方可依法追究其法律责任。

3. 可能的法律后果：

   • 若中间人未按照约定或法律规定返还保证金，可能面临民事赔偿、行政处罚甚至刑事责任（如构成诈骗等犯罪）。
   • 交易对方若错误主张权利，可能面临诉讼风险或承担不必要的法律费用。