结论：老板以“不是正常时间走的”为由扣工资，这一做法通常是不合法的，但具体还需根据实际情况和公司规章制度来判断。
分析如下：
从法律规定角度：
- 根据《中华人民共和国劳动法》及相关规定，劳动者享有获得劳动报酬的权利，用人单位应当按照劳动合同约定和国家规定，向劳动者及时足额支付劳动报酬。
- 除非劳动者存在严重违反公司规章制度、旷工、迟到早退等情形，且这些情形在劳动合同或公司规章制度中有明确规定作为扣减工资的依据，否则用人单位不得随意扣减劳动者工资。
从公司规章制度角度：
- 如果公司规章制度中明确规定了上下班时间，以及违反上下班时间规定的处罚措施（包括扣减工资），并且这些规章制度已经经过民主程序制定、公示或告知劳动者，那么劳动者违反这些规定时，公司可能有权按照规章制度进行扣减工资。
- 但即便如此，扣减工资的幅度和方式也应当合理，不能违反法律法规的强制性规定，也不能侵犯劳动者的合法权益。
从实际操作角度：
- 如果老板仅仅以“不是正常时间走的”为由扣工资，而没有明确的规章制度作为依据，或者规章制度本身不合法、不合理，那么这一做法就是不合法的。
- 劳动者有权要求老板说明扣减工资的具体原因和依据，如果老板无法提供合理的解释和依据，劳动者可以向劳动监察部门投诉或申请劳动仲裁来维护自己的合法权益。
建议：
- 如果你遇到了这种情况，首先应当查看自己的劳动合同和公司规章制度，了解是否有关于上下班时间和扣减工资的相关规定。
- 如果公司规章制度不合法或不合理，或者老板无法提供合理的扣减工资依据，你可以与老板进行沟通协商，要求其停止不合法行为并补发被扣减的工资。
- 如果沟通协商无果，你可以向当地的劳动监察部门投诉或申请劳动仲裁来维护自己的合法权益。
可能后果：
- 如果老板的行为被认定为违法，他可能需要承担补发工资、支付赔偿金等法律责任。
- 同时，这一行为也可能对公司的声誉和形象造成负面影响，影响公司的长期发展。
如有更多疑问或需要进一步的法律帮助，请直接向我咨询，我会根据你的具体情况提供详细的法律建议。