对于不按站点上下乘客的处罚，主要依据的是《道路旅客运输及客运站管理规定》以及《中华人民共和国道路运输条例》的相关规定。

具体来说，客运班车应当按照许可的起讫地、日发班次下限和备案的途经路线运行，在起讫地客运站点和中途停靠地客运站点（统称配客站点）上下客。如果客运班车不按照批准的配客站点停靠，或者不按照规定的线路、日发班次下限行驶，那么由交通运输主管部门责令改正，并会处以1000元以上3000元以下的罚款。这是一种明确的行政处罚，旨在维护道路运输市场秩序和乘客的安全。

此外，这种行为不仅扰乱了正常的客运市场秩序，还存在严重的安全隐患。因为不在规定的配客站点上下客，往往意味着乘客和行李没有经过正规的安全检查，这可能会给道路交通安全带来极大的风险。例如，如果有易燃易爆等危险物品被带上车，后果将难以想象。

因此，为了自身安全和合法权益，乘客应该选择正规的车站购票上车，避免乘坐那些违法违规经营的车辆。同时，如果发现客运车辆有不在配客站点停靠、私自揽客等行为，也应该及时拨打举报热线进行投诉，以维护正常的客运市场秩序和自身的出行安全。