针对您提出的“违规停车驾驶人不在场且拒绝驶离是否扣分”的问题，结论前置如下：
详细分析如下：
一、一般情况下的处罚
根据《中华人民共和国道路交通安全法》第九十三条的规定，对于违反机动车停放、临时停车规定的行为，若机动车驾驶人不在现场或拒绝立即驶离，且未妨碍其他车辆、行人通行，通常处以二十元以上二百元以下罚款，并不予扣分。此类情况多见于市区内的一般违章停车，如未造成交通拥堵或安全隐患的轻微违规。
举例说明：若您将车辆停放在路边，未影响其他车辆和行人通行，且您不在现场或拒绝驶离，交警部门将依法对您处以罚款，但不会直接扣分。
二、特定路段或情形下的处罚
然而，若违规停车行为发生在特定路段或情形下，如消防通道、应急车道、公交专用道等，则可能同时面临罚款与扣分的双重处罚。
消防通道：依据《中华人民共和国消防法》第六十条，单位或个人在消防通道违规停车的，单位可处五千元以上五万元以下罚款，个人可处警告或五百元以下罚款。若同时违反交通法规，还可能面临交通管理部门的罚款与扣分处罚。
应急车道：在应急车道违规停车，通常处以200元罚款，并依据《道路交通安全违法行为记分管理办法》一次记9分。
其他特定路段：如设有禁止停车标志、标线的地点停车，可能一次记1分；在交叉路口、铁路道口、急弯路、宽度不足4米的窄路、桥梁、陡坡、隧道以及距离上述地点50米以内的路段停车等，也可能面临罚款与扣分的处罚，具体根据地方规定而定。
举例说明：若您将车辆停放在应急车道上，且您不在现场或拒绝驶离，交警部门将依法对您处以200元罚款，并一次记9分。
三、处理流程与建议
接收违法通知：交警会在现场出具违法停车告知单，粘贴在车辆显眼位置，包含违章详情、地点、时间及处理方式，并上传至交管部门违章管理系统。
查询与处理违章：您需通过交通管理部门官方网站、手机APP或客服电话查询违章信息，并在规定时间内携带行驶证、驾驶证及身份证前往指定交管部门进行违章处理。
缴纳罚款：缴纳方式多样，包括交管部门现场缴纳、网上银行或手机银行电子支付等。具体方式和金额根据违章情况和当地交管部门规定而定。缴纳后，您应保留缴费凭证和单据以备日后查询或作为证明。
异议申诉：如对违章停车有异议，您可向交管部门提出申诉，并提供相关证据进行辩解。
建议：为避免不必要的麻烦和损失，建议您在停车时严格遵守交通规则，选择合法停车位，并确保不影响其他车辆和行人的通行。同时，及时处理违章信息，以免产生滞纳金或其他不良后果。
如有任何疑问或需要进一步的法律帮助，请随时向我咨询。