结论：不还钱的情况下，对方若对你进行骚扰，其行为的违法性取决于骚扰的具体方式和程度。一般来说，若骚扰行为违反了相关法律法规，那么就是犯法的。
详细分析：
违反治安管理处罚法的情形：
- 如果对方通过多次发送侮辱、恐吓信息，或者对你进行公然侮辱、殴打、威胁、限制人身自由等行为，根据《中华人民共和国治安管理处罚法》的相关规定，这些行为都可能面临五日以下拘留或五百元以下罚款的处罚；情节较重的，还可能处五日以上十日以下拘留，并可并处五百元以下罚款。
- 实例：比如，对方频繁给你打电话辱骂，或者到你家门口进行骚扰，导致你精神受刺激，这些行为都属于违反治安管理处罚法的范畴。
侵犯民事权利的情形：
- 对方的骚扰行为还可能侵犯你的名誉权、隐私权等民事权利。如果对方公开散布不实信息诋毁你，导致你的社会评价降低，你有权要求对方承担民事责任，包括停止侵害、恢复名誉、消除影响、赔礼道歉及赔偿损失。
- 实例：比如，对方在你的居住小区张贴大字报污蔑你，这就侵犯了你的名誉权。
可能涉及的犯罪情形：
- 非法拘禁罪：如果对方暴力限制你的人身自由达到一定时间和严重程度，根据《中华人民共和国刑法》的相关规定，可能构成非法拘禁罪，将面临三年以下有期徒刑、拘役、管制或剥夺政治权利的处罚，具有殴打、侮辱情节的还会从重处罚。
- 故意伤害罪：在骚扰过程中，如果对方实施暴力并造成你轻伤以上后果，将构成故意伤害罪，根据刑法规定，将面临三年以下有期徒刑、拘役或者管制的处罚；致人重伤的，处三年以上十年以下有期徒刑。
- 侵犯公民个人信息罪：如果对方非法获取或使用你的个人信息进行骚扰，情节严重的，也可能构成侵犯公民个人信息罪。
建议：
- 面对债务纠纷，建议通过协商、调解、仲裁或向人民法院提起诉讼等合法途径解决，避免采取骚扰等违法手段。
- 如果对方确实存在骚扰行为，你可以收集相关证据，如通话记录、短信、视频等，并向公安机关报案，维护自己的合法权益。
如果你在债务债权方面有任何疑问或需要进一步的法律帮助，请直接向我咨询，我会根据你的具体情况提供详细的法律建议。