结论：跟对方曾是男女关系，敲门找人这一行为本身通常不犯法，但具体是否违法需结合敲门时的行为方式、目的以及是否造成不良后果等因素综合判断。
分析说明：
正常敲门找人：
- 如果敲门行为是出于正常的社交目的，比如想要与对方沟通、解决感情问题或归还物品等，且敲门方式温和、礼貌，没有造成对方或他人的困扰或损害，那么这种行为通常是不违法的。
敲门行为不当：
- 如果敲门时伴随有威胁、恐吓、辱骂等不当行为，或者敲门频率过高、时间过长，干扰了对方的正常生活秩序，那么这种行为可能构成对对方生活安宁的侵犯，根据《中华人民共和国治安管理处罚法》的相关规定，可能会受到警告、罚款等行政处罚。
- 在极端情况下，如果敲门行为升级为强行闯入、破坏财物或实施其他暴力行为，那么可能构成非法侵入住宅罪、故意毁坏财物罪或故意伤害罪等刑事犯罪，将面临更严重的法律后果。
敲门目的非法：
- 如果敲门是为了实施其他非法行为，如盗窃、诈骗、敲诈勒索等，那么敲门行为本身可能成为这些非法行为的一部分，将受到相应的刑事处罚。
特殊场景：
- 在某些特殊情况下，如对方明确表示不愿意见面或沟通，且敲门行为持续不断，可能构成对对方隐私权的侵犯。虽然我国法律对隐私权的保护较为原则性，但在实际案例中，如果敲门行为严重干扰了对方的正常生活，法院可能会根据具体情况判决侵权方承担相应的民事责任。
行动建议：
- 尊重对方意愿：在敲门找人之前，最好先通过电话、短信等方式与对方沟通，确认对方是否愿意见面或沟通。
- 保持礼貌和克制：即使对方拒绝见面或沟通，也应保持礼貌和克制，避免采取过激行为。
- 寻求合法途径解决：如果与对方之间存在纠纷或矛盾，应通过合法途径解决，如协商、调解、诉讼等，而不是采取非法手段。
法律后果：
- 如果敲门行为构成违法或犯罪，将可能面临行政处罚或刑事处罚，包括但不限于警告、罚款、拘留、有期徒刑等。同时，还可能承担民事赔偿责任，如赔偿对方因敲门行为造成的损失等。
如有任何进一步的法律疑问或需要具体的法律帮助，请直接向我咨询。