结论：对方恐吓你不给你关门下班的行为，可能构成违法，具体是否违法以及违法性质需结合实际情况判断。以下从不同角度为你详细分析：

一、从治安管理处罚的角度

如果对方的恐吓行为情节较轻，尚未达到刑事犯罪的程度，但足以造成你心理上的恐惧或不安，影响你的正常工作和生活秩序，那么这种行为可能违反了《中华人民共和国治安管理处罚法》的相关规定。根据该法，对于威胁他人人身安全或者干扰他人正常生活的行为，公安机关可以给予警告、罚款或者拘留等行政处罚。

举例：假设对方只是口头威胁，没有实际行动，但这种威胁已经让你感到害怕，影响了你的下班心情和后续的生活安排，那么你可以向公安机关报案，公安机关会根据具体情况进行调查处理。

二、从刑事犯罪的角度

如果对方的恐吓行为情节严重，达到了刑事犯罪的程度，比如对方不仅口头威胁，还采取了实际行动，如持凶器威胁、多次恐吓等，且这种行为已经对你的人身安全构成了严重威胁，那么这种行为可能构成寻衅滋事罪、敲诈勒索罪或者其他相关罪名。

举例：如果对方不仅口头威胁不让你关门下班，还手持凶器在门口守候，或者多次到你工作场所进行恐吓，导致你无法正常工作，甚至产生了严重的心理阴影，那么这种行为就可能构成刑事犯罪，你需要及时向公安机关报案，并配合调查。

三、从民事侵权的角度

除了上述两种情况外，如果对方的恐吓行为给你造成了精神损害，比如导致你精神恍惚、失眠、焦虑等，那么你还可以考虑从民事侵权的角度追究对方的责任。根据《中华人民共和国民法典》的相关规定，侵害他人人身权益造成严重精神损害的，被侵权人有权请求精神损害赔偿。

建议：

1. 保留证据：无论对方的行为是否构成违法或犯罪，你都应该尽量保留相关证据，如录音、录像、聊天记录等，以便在需要时向公安机关或法院提供。
2. 及时报案：如果你认为对方的行为已经构成了违法或犯罪，那么你应该及时向公安机关报案，并配合调查。
3. 寻求法律帮助：如果你在处理此事过程中遇到任何法律问题或困惑，可以直接向我咨询，我会根据你的具体情况为你提供专业的法律建议和帮助。

总之，对方恐吓你不给你关门下班的行为可能构成违法或犯罪，具体取决于行为的情节和后果。你应该根据自己的实际情况采取相应的措施来维护自己的合法权益。