驾驶证被别人拿去扣4分是有影响的，且这种行为是违法的。
首先，从法律角度来看，将驾驶证分数借给他人扣分是违反《中华人民共和国治安管理处罚法》的行为。根据该法，提供虚假证言、谎报案情，影响行政执法机关依法办案的，将面临五日以上十日以下拘留，并处二百元以上五百元以下罚款的行政处罚。因此，如果你的驾驶证被别人拿去扣分，你可能会因此承担法律责任。
其次，对于驾驶证所有人来说，替他人扣分还可能导致以下后果：
驾驶证吊销或暂扣风险：驾驶证被查出存在替人扣分的情况时，交通管理部门有权对驾驶证进行吊销或暂扣处理，这将严重影响你的日常出行和驾驶活动。
个人信用记录受损：随着社会信用体系的完善，交通违法行为与个人信用挂钩。替人扣分将被记录在个人信用档案中，进而影响你的金融信贷、社会服务等诸多领域的权益。
保险费用增加：保险公司在确定保险费率时会参考车主的交通违法记录。频繁为他人扣分将导致你名下交通违法记录增多，保险公司可能因此认为你的驾驶风险较高，从而提高保险费率。
自身分数不足风险：驾驶证一个记分周期内只有12分，若为他人大量扣分，当你自己发生交通违法行为时，可能面临剩余分数不足以处理自己违章的情况，进而需要参加道路交通安全法律、法规和相关知识学习及考试。
因此，我强烈建议你不要将驾驶证借给他人扣分，以免给自己带来不必要的法律风险和麻烦。如果你的驾驶证已经被他人拿去扣分，建议你及时向交通管理部门反映情况，并咨询专业的法律意见。
如果你还有其他关于交通法律方面的问题，或者需要进一步的法律帮助，请随时向我咨询。