您好，非常理解您在遇到交通事故后对方不让离开的困扰。首先，根据《道路交通安全法》的相关规定，在道路上发生交通事故后，车辆驾驶人应当立即停车并保护现场。但如果事故并未造成人身伤亡，且当事人对事实及成因无争议，是可以即行撤离现场，恢复交通，并自行协商处理损害赔偿事宜的。
对于您当前的情况，如果事故属于轻微财产损失，并且基本事实清楚，我建议您按照以下步骤处理：
放置警示标志：为了保障安全，请先打开车辆的双闪警示灯，并在事故车辆正后方放置三角警示牌。在常规道路上，警示牌应设置在车后50米至100米处；在高速公路上，则需在车后150米外设置，雨雾天气还需适当增加距离。
拍照固定证据：为了还原事故现场，请拍摄事故现场的整体情况、侧前方、侧后方、本车全貌、事故车全貌、现场痕迹（如刹车印）以及撞击部位和两车受损情况。
判断是否符合快处快撤条件：如果双方车辆受损不严重、可自行移动，且驾驶员和乘客都未受伤或伤势轻微，无公共设施受损，那么您完全有权利在拍照固定证据后，将车辆移至不妨碍交通的安全区域。
使用“交管12123”APP处理：您可以通过“交管12123”手机APP进行自行协商处理，或者如需保险报案，可拨打保险公司电话。如果需要出具交通事故认定书，可以拨打报警电话110或122等候交警来处理。但请注意，在等待交警到来的过程中，如果符合快处快撤条件，您仍应先将车辆移至安全区域，以避免交通拥堵和可能的二次事故。
关于对方不让离开的问题：如果对方坚持不让您离开，您可以明确告知对方根据法律规定，在符合快处快撤条件的情况下，您有权撤离现场。如果对方仍然阻挠，您可以拨打报警电话110或122，向交警说明情况，并请求他们前来处理。
最后，我想强调的是，道路交通属于公共资源，发生轻微财产损失的交通事故后，应快速拍照后撤离现场，切勿在现场斗气、争执，以免引发拥堵甚至造成二次事故。希望这些建议能对您有所帮助，如果您还有其他问题或需要进一步的帮助，请随时告诉我。