结论：没签合同让别人撤场是否违法，不能一概而论，需要分情况讨论。
如果双方存在事实上的劳务或劳动关系：
- 即使没有签订书面合同，双方之间也可能已经形成了事实上的劳务或劳动关系。在这种情况下，如果一方（通常是雇主或发包方）无正当理由要求另一方（雇员或承包方）撤场，可能构成违法解除劳动关系或违法终止劳务合同，需要承担相应的法律责任。
- 法律依据：根据《中华人民共和国劳动合同法》的相关规定，用人单位与劳动者建立劳动关系，应当订立书面劳动合同。但即使未订立书面劳动合同，劳动关系依然可能成立。用人单位违法解除或者终止劳动合同的，应当依照法律规定的经济补偿标准的二倍向劳动者支付赔偿金。
如果双方只是存在一般的民事合同关系（非劳务或劳动关系）：
- 在这种情况下，如果双方没有签订书面合同，但一方已经实际履行了合同义务（如提供了劳务或服务），而另一方却无正当理由要求撤场，可能构成违约行为。受损方有权要求违约方承担违约责任，包括赔偿损失等。
- 法律依据：根据《中华人民共和国民法典》中关于合同的规定，当事人之间虽然没有签订书面合同，但一方已经履行主要义务，对方接受的，该合同成立。一方不履行合同义务或者履行合同义务不符合约定的，应当承担继续履行、采取补救措施或者赔偿损失等违约责任。
如果双方之间没有任何合同关系或事实上的劳务/劳动关系：
- 在这种情况下，如果一方要求另一方撤场，而另一方并没有任何合同或法律上的义务必须撤场，那么要求撤场的一方并不构成违法行为。但需要注意的是，如果撤场行为给另一方造成了实际损失（如破坏了其财产或影响了其正常经营），那么要求撤场的一方可能需要承担侵权责任。
建议：
- 在处理此类问题时，建议首先明确双方之间的法律关系（是劳务/劳动关系还是一般的民事合同关系）。
- 如果双方之间存在合同关系（无论是书面的还是事实上的），建议通过协商、调解或诉讼等方式解决争议，避免采取过激行为导致法律纠纷升级。
- 如果对法律关系或法律责任存在疑问，建议及时咨询专业律师以获取准确的法律意见。
如有任何进一步的问题或需要更详细的法律建议，请直接向我咨询。