若单位上班回来后干扰选举，可能涉及违法，具体处理方式需根据干扰选举的具体行为和情节严重程度来判断。以下从不同角度进行分析：
一、干扰选举行为的性质认定
- 违法行为：根据《中华人民共和国治安管理处罚法》第二十三条的规定，对扰乱机关、团体、企业、事业单位秩序，致使工作、生产、营业、医疗、教学、科研不能正常进行，尚未造成严重损失的行为，处警告或者二百元以下罚款；情节较重的，处五日以上十日以下拘留，可以并处五百元以下罚款。若干扰选举的行为符合这一规定，即构成违法行为。
- 犯罪行为：如果干扰选举的行为情节严重，如使用暴力、威胁、欺骗、贿赂、伪造选票、虚报选举票数等手段破坏选举或者妨害选民和代表自由行使选举权和被选举权，则可能构成破坏选举罪。根据《中华人民共和国刑法》第二百五十六条的规定，犯破坏选举罪的，处三年以下有期徒刑、拘役或者剥夺政治权利。
二、应对措施
收集证据：
- 现场证据：如照片、视频、录音等，能够直观展示干扰选举的行为和现场情况。
- 证人证言：寻找目击者，获取他们的证言，以证明干扰选举行为的存在。
- 书面材料：如选举公告、选票、选举结果报告等，这些材料能够反映选举的正常流程和结果，以及干扰选举行为对选举的影响。
向相关部门举报：
- 选举委员会：向负责组织选举的选举委员会报告干扰选举的行为，选举委员会有权对干扰选举的行为进行调查和处理。
- 公安机关：如果干扰选举的行为涉嫌违法或犯罪，应立即向公安机关报案，由公安机关依法进行调查和处理。
- 纪检监察机关：如果干扰选举的行为涉及公职人员或党员干部，还可以向纪检监察机关举报，由纪检监察机关依法依规进行调查和处理。
寻求法律援助：
- 咨询律师：在举报和维权过程中，可以咨询专业律师，了解自己的权利和义务，以及如何收集证据、如何举报和维权等。
- 提起诉讼：如果干扰选举的行为给自己造成了损失，如选举权被剥夺、名誉受损等，还可以考虑向法院提起诉讼，要求侵权人承担相应的法律责任。
三、注意事项
- 保持冷静：在面对干扰选举的行为时，要保持冷静和理智，不要采取过激行为或报复行为，以免加重事态或触犯法律。
- 依法维权：在维权过程中，要依法进行，不要采取非法手段或途径来维护自己的权益，以免给自己带来不必要的麻烦和损失。
- 及时举报：一旦发现干扰选举的行为，要及时向相关部门举报，以便相关部门能够及时介入调查和处理，维护选举的公正性和合法性。