结论：是否犯法需根据具体情况判断，若对方能证明这4000元是借款，则你需偿还，否则不构成违法；若对方以不正当手段追讨，可能涉及违法。以下为详细分析：
一、若4000元被认定为借款
法律关系：
- 如果对方能够提供证据（如转账记录、聊天记录、借条等）证明这4000元是借款，那么你们之间就形成了借贷法律关系。
- 根据《中华人民共和国民法典》的相关规定，借款人应当按照约定的期限返还借款。如果未约定还款期限，借款人可以随时返还，贷款人可以催告借款人在合理期限内返还。
法律后果：
- 在这种情况下，如果你拒绝偿还，对方有权通过法律途径追讨，包括向法院提起诉讼。
- 如果法院判决你偿还借款，而你仍不履行，对方可以申请强制执行，你的财产可能会被查封、扣押或拍卖以偿还债务。
二、若4000元不被认定为借款
法律关系：
- 如果对方无法提供充分证据证明这4000元是借款，或者你们之间有其他约定（如赠与、共同消费等），则这4000元可能不被认定为借款。
- 在这种情况下，你没有法律义务偿还这笔钱。
法律后果：
- 如果对方仍然坚持要求你偿还，并采取不正当手段（如骚扰、威胁、恐吓等）进行追讨，这些行为可能构成违法。
- 你可以向公安机关报案，要求对方停止侵害并承担相应的法律责任。
三、特殊情况考虑
是否存在欺诈或胁迫：
- 如果对方在借款过程中存在欺诈或胁迫行为，导致你被迫借款或无法拒绝借款，那么这笔借款可能无效。
- 在这种情况下，你可以向法院提起诉讼，要求确认借款无效并拒绝偿还。
借款用途的合法性：
- 如果借款用于非法活动（如赌博、贩毒等），那么这笔借款可能不受法律保护。
- 在这种情况下，你也有权拒绝偿还，并可以向相关部门举报对方的违法行为。
建议：
- 如果你认为这4000元不是借款，或者对方在追讨过程中存在不正当行为，建议你保留相关证据（如聊天记录、转账记录、证人证言等），以便在需要时维护自己的合法权益。
- 如果你对法律问题存在疑问或需要进一步的法律帮助，可以直接向我咨询，我会根据你的具体情况提供专业的法律意见。