结论：对方的行为是否犯法，需根据具体情况判断，可能涉及侵犯隐私权、非法侵入住宅罪或敲诈勒索罪等。

详细分析：

1. 侵犯隐私权：

   • 如果对方以公开你们过去的情人关系或相关隐私信息为威胁，要求你给钱，这可能构成侵犯隐私权的行为。根据《中华人民共和国民法典》的相关规定，自然人享有隐私权，任何组织或者个人不得以刺探、侵扰、泄露、公开等方式侵害他人的隐私权。若对方的行为符合这一描述，你有权要求其停止侵害、赔礼道歉，并可以寻求法律途径维护自己的权益。

2. 非法侵入住宅罪：

   • 如果对方威胁说不给钱就到家里来，并且实际上有进入你住宅的行为，且这种进入是没有合法依据的（如未经你同意或无法律授权），那么这可能构成非法侵入住宅罪。根据《中华人民共和国刑法》的相关规定，非法侵入他人住宅的，处三年以下有期徒刑或者拘役。若对方的行为符合这一描述，你可以立即报警，并寻求法律保护。

3. 敲诈勒索罪：

   • 如果对方以非法占有为目的，通过威胁或要挟的方式，强行索取你的财物，且数额较大或多次敲诈勒索的，这可能构成敲诈勒索罪。根据《中华人民共和国刑法》的相关规定，敲诈勒索公私财物，数额较大或者多次敲诈勒索的，处三年以下有期徒刑、拘役或者管制，并处或者单处罚金。若对方的行为符合这一描述，你同样可以报警，并配合警方调查取证。

建议：

• 保留证据：无论对方的行为是否构成犯罪，你都应该尽可能保留相关证据，如聊天记录、录音、视频等，以便在需要时向警方或法院提供。
• 及时报警：如果对方的行为已经对你造成了实质性的威胁或侵害，你应该立即报警，并配合警方的调查取证工作。
• 寻求法律帮助：如果你对对方的行为是否犯法存在疑问，或者需要进一步的法律帮助来维护自己的权益，你可以直接向我咨询，我会根据你的具体情况提供专业的法律意见。

后续行动：

• 在处理此类问题时，请务必保持冷静和理智，不要因为情绪激动而做出过激的行为或言论。
• 同时，也要注意保护自己的个人信息和隐私安全，避免因为泄露过多信息而给自己带来不必要的麻烦。

希望以上分析能对你有所帮助。如果你有任何其他问题或需要进一步的法律帮助，请随时向我咨询。