结论：交警在您未在现场的情况下，认定您在现场并拒绝立即驶离，这一做法不合理且可能违法。以下从多个角度进行分析：
一、法律角度
违停处罚的法定程序：
- 根据《中华人民共和国道路交通安全法》及相关实施条例，对于违停行为，交警有权进行处罚，但处罚应当遵循法定程序。这通常包括现场发现违停、确认违停事实、告知车主或驾驶人、听取陈述申辩（如适用）以及开具罚单等步骤。
- 在您未在现场的情况下，交警应当通过其他方式（如贴罚单、拍照取证并上传至交通管理系统等）来记录违停事实，并通知您前来处理，而非直接认定您在现场并拒绝驶离。
“拒绝立即驶离”的认定：
- “拒绝立即驶离”通常指的是车主或驾驶人在现场，且交警要求其立即驶离违停地点时，车主或驾驶人拒绝执行。这一行为是违停处罚的一个加重情节。
- 在您未在现场的情况下，交警无法直接认定您“拒绝立即驶离”，因为这一认定需要您在现场并明确表示拒绝。
二、实际操作角度
交警的执法权限：
- 交警在执法时应当遵循法定权限和程序，不得超越职权或滥用职权。在您未在现场的情况下，交警无权直接认定您在现场并拒绝驶离，因为这超出了其法定权限。
- 如果交警确实需要对您进行处罚，应当通过合法途径通知您，并给您提供陈述申辩的机会。
证据的收集与保存：
- 交警在处罚违停行为时，应当收集并保存足够的证据来证明违停事实的存在以及处罚的合法性。这通常包括违停现场的照片、视频、交警的执法记录等。
- 在您未在现场的情况下，交警应当确保所收集的证据能够充分证明违停事实，并且这些证据应当符合法定要求，能够作为处罚的依据。
三、您的权利与救济途径
陈述申辩权：
- 如果您对交警的处罚决定有异议，您有权在收到处罚决定书后的一定期限内（通常为60日）向作出处罚决定的机关提出陈述申辩。
- 在陈述申辩时，您可以提供相关证据来证明自己的清白或减轻处罚的理由。
行政复议与行政诉讼：
- 如果您对交警的处罚决定仍然不服，您还可以在法定期限内（通常为60日）向上一级行政机关申请行政复议，或者向人民法院提起行政诉讼。
- 在行政复议或行政诉讼过程中，您将有机会进一步阐述自己的观点和理由，并请求撤销或变更原处罚决定。
建议：如果您遇到了类似的情况，首先应当保持冷静，不要与交警发生冲突。然后，您可以收集相关证据（如违停现场的照片、视频、交警的执法记录等）来证明自己的清白或减轻处罚的理由。最后，如果您对处罚决定有异议，可以按照上述途径进行陈述申辩、申请行政复议或提起行政诉讼。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。