小交通事故不去处理，交警是否可以直接扣分罚款，这主要取决于事故的具体情况和相关法律规定。

首先，如果交通事故未造成人身伤亡，且当事人对事实及成因无争议，那么根据《中华人民共和国道路交通安全法》第七十条的规定，当事人可以即行撤离现场，恢复交通，并自行协商处理损害赔偿事宜。在这种情况下，交警可能不会直接介入，也就不会有扣分罚款的处理。

然而，如果交通事故涉及到交通违法行为，或者当事人对事故的事实及成因存在争议，那么根据《中华人民共和国道路交通安全法》的相关规定，交警部门会进行事故调查，并根据调查结果出具交通事故认定书。在此过程中，如果交警认为驾驶人有违反道路交通安全法律、法规的行为，那么根据《中华人民共和国道路交通安全法》第八十八条和第九十条的规定，交警是有权对驾驶人进行罚款、扣分甚至暂扣或吊销机动车驾驶证等处罚的。

此外，即使事故当事人不去交警队处理，交警部门仍然会依法进行事故调查和责任认定。如果当事人不配合处理，交警可能会采取强制措施，如扣留事故车辆，并依法追究其法律责任。

综上所述，小交通事故不去处理，交警是否可以直接扣分罚款，取决于事故的具体情况和相关法律规定。如果事故涉及到交通违法行为或当事人对事故有争议，那么交警是有权进行扣分罚款等处罚的。因此，建议当事人在发生交通事故后，无论事故大小，都应积极配合交警的处理，以避免可能的法律后果和纠纷。