不按规定停车且驾驶人虽在现场但拒绝立即驶离的，通常不会扣分，但会面临罚款。以下是对此问题的详细分析：

一、法律依据

根据《中华人民共和国道路交通安全法》第九十三条的规定，对违反道路交通安全法律、法规关于机动车停放、临时停车规定的，交通管理部门可以指出违法行为，并予以口头警告，令其立即驶离。若机动车驾驶人虽在现场但拒绝立即驶离，且妨碍其他车辆、行人通行的，处二十元以上二百元以下罚款，并可以将该机动车拖移至不妨碍交通的地点或者公安机关交通管理部门指定的地点停放。该条款并未提及扣分。

二、具体情形分析

1. 一般城市道路违法停车

   • 若驾驶人在场且拒绝立即驶离，通常不会扣分，但会面临二十元以上二百元以下的罚款。
   • 交警有权将车辆拖移至不妨碍交通的地点或公安机关交通管理部门指定的地点停放，且拖车不得向当事人收取费用。

2. 特定情形下的违法停车

   • 在设有禁止停车标志、标线的地点停车，处一百元罚款，并记3分。但此情形与驾驶人是否在场及是否拒绝驶离无直接关联，而是基于停车地点的违法性。
   • 在高速公路、桥上、标有黄色实线的路段、高速导流线区域、公交站等特定地点停车，处罚和扣分情况因具体地点和情形而异，但同样与驾驶人是否在场及是否拒绝驶离无直接关联。

三、注意事项与建议

• 遵守交通法规：驾驶人应时刻注意遵守交通法规，避免违规停放车辆，以确保道路畅通和安全。
• 立即响应警告：在收到违停警告后，应立即采取行动驶离，以避免不必要的法律后果。
• 了解当地规定：不同地区对违停的处理方式和时间限制可能有所不同，驾驶人应了解并遵守当地的具体规定。
• 维护自身权益：如果对处罚有异议，驾驶人可以依法申请行政复议或提起行政诉讼来维护自己的合法权益。

总结：不按规定停车且驾驶人虽在现场但拒绝立即驶离的，通常不会扣分，但会面临二十元以上二百元以下的罚款。驾驶人应严格遵守交通法规，避免违规停放车辆，以确保道路畅通和安全。如有任何法律问题，可以直接向我咨询。