结论：对方到处说你借了他的钱，这一行为是否违法，需根据具体情况来判断，一般可能涉及侵犯名誉权或隐私权，但不一定构成违法犯罪。
分析说明：
若对方散布的是虚假信息：
- 如果对方在未经证实或明知不实的情况下，到处散布你借了他的钱且未归还的虚假信息，这可能构成对你名誉权的侵犯。根据《中华人民共和国民法典》的相关规定，名誉权是公民依法享有的对自己所获得的客观社会评价、排除他人侵害的权利。对方的行为导致你的社会评价降低，你可以依法要求对方停止侵害、恢复名誉、消除影响、赔礼道歉，并可以要求赔偿损失。
若对方散布的是真实信息，但方式不当或侵犯隐私：
- 如果对方散布的信息是真实的，即你确实借了他的钱，但他在散布过程中采用了不当方式，如公开你的个人信息、家庭住址等，或者将此事作为谈资在不适宜的场合大肆宣扬，这可能构成对你隐私权的侵犯。隐私权是公民依法享有私人生活安宁和私人信息保密的权利。对方的行为干扰了你的私人生活安宁，你可以依法要求对方停止侵害、赔礼道歉，并可以要求赔偿损失。
若对方的行为未造成严重后果：
- 如果对方的行为虽然让你感到不适或困扰，但并未对你的名誉、隐私等造成实质性损害，或者损害后果较轻，那么这种行为可能不构成违法犯罪，但仍然是不道德和不恰当的。在这种情况下，你可以通过沟通、协商等方式要求对方停止不当行为。
行动建议：
- 收集证据：如果对方的行为让你感到困扰或损害了你的权益，首先应当收集相关证据，如聊天记录、录音、视频等，以证明对方的行为和你的损失。
- 沟通协商：在收集到足够证据后，可以尝试与对方进行沟通协商，要求对方停止不当行为并道歉赔偿。
- 寻求法律帮助：如果沟通协商无果，或者对方的行为已经构成了违法犯罪，你可以及时向我咨询，我会根据你的具体情况提供专业的法律建议和帮助，包括但不限于提起民事诉讼、报警等。
后续思考：
- 在处理此类纠纷时，保持冷静和理性至关重要。避免因为情绪激动而采取过激行为，导致事态进一步恶化。
- 了解并维护自己的合法权益是每个公民的责任。在面对侵权行为时，不要害怕或退缩，要勇敢地站出来维护自己的权益。
- 在日常生活中，我们也应当尊重他人的权益和隐私，避免因为自己的不当行为而给他人带来困扰或损害。