结论：差别人的钱被对方叫人一直跟着，这种行为是否违法需分情况讨论，一般来说可能涉及侵犯人身自由权，甚至可能构成非法拘禁罪。

详细分析：

1. 侵犯人身自由权：

   • 根据《中华人民共和国民法典》的相关规定，自然人享有身体自由权，即自然人有权按照自己的意志和利益，在法律规定的范围内作为和不作为，不受非法限制、剥夺、妨碍。对方叫人一直跟着你，限制了你的行动自由，可能构成对你人身自由权的侵犯。
   • 在这种情况下，你可以要求对方停止这种行为，并有权向公安机关报案，要求公安机关依法处理。

2. 可能构成非法拘禁罪：

   • 如果对方叫人一直跟着你，且持续时间较长，或者采取了捆绑、关押等手段，严重限制了你的行动自由，甚至剥夺了你的人身自由，那么这种行为可能构成非法拘禁罪。
   • 根据《中华人民共和国刑法》第二百三十八条的规定，非法拘禁他人或者以其他方法非法剥夺他人人身自由的，处三年以下有期徒刑、拘役、管制或者剥夺政治权利。具有殴打、侮辱情节的，从重处罚。
   • 在这种情况下，你应立即向公安机关报案，并提供相关证据，以便公安机关依法立案侦查，追究对方的刑事责任。

法律建议：

• 保留证据：如果对方叫人一直跟着你，你应尽量保留相关证据，如录音、录像、证人证言等，以便在需要时向公安机关提供。
• 及时报案：一旦发现对方的行为可能构成违法或犯罪，你应立即向公安机关报案，要求公安机关依法处理。
• 寻求法律帮助：如果你对法律程序或相关法律规定不了解，可以寻求专业律师的帮助，以便更好地维护自己的合法权益。

后续行动：

• 在处理此类事件时，你应保持冷静，不要与对方发生冲突或激化矛盾。
• 积极配合公安机关的调查工作，提供真实、准确的证言和证据。
• 如果对方的行为给你造成了损失或伤害，你可以在法律框架内要求对方承担相应的民事赔偿责任。

总之，差别人的钱被对方叫人一直跟着，这种行为是否违法需根据具体情况判断。如果你遇到此类情况，建议及时保留证据、报案并寻求法律帮助。如有任何疑问或需要进一步的法律咨询，请直接向我提问。