结论：违规设摊的市民，其他市民一般不可以直接阻止其离开。

分析角度一：市民的权利与义务

作为普通市民，我们享有在公共场所自由活动的权利，同时也应遵守公共秩序和法律法规。当遇到违规设摊的情况时，市民有义务向相关部门（如城管、市场监管等）进行举报，由这些部门依法进行处理。但直接阻止违规设摊者离开，可能涉及侵犯他人的人身自由权，这是不被法律所允许的。

分析角度二：法律后果与责任

如果市民未经授权，擅自采取强制措施阻止违规设摊者离开，可能会引发一系列法律后果。例如，如果因此造成对方人身伤害或财产损失，阻止者可能需要承担民事赔偿责任；如果情节严重，还可能构成犯罪，如非法拘禁罪等，需要承担刑事责任。

分析角度三：正确的处理方式

面对违规设摊的情况，市民应该采取合法、合理的途径来解决问题。具体来说，可以：

1. 向相关部门举报：将违规设摊的情况及时告知城管、市场监管等部门，由他们依法进行处理。
2. 保留证据：如果可能的话，可以拍摄照片或视频作为证据，以便相关部门进行调查和处理。
3. 避免直接冲突：在处理过程中，应保持冷静和理性，避免与违规设摊者发生直接冲突，以免引发不必要的麻烦和法律后果。

特殊情况说明：

当然，也存在一些特殊情况。比如，如果违规设摊者正在实施违法行为，且情况紧急，市民在来不及向相关部门报告的情况下，为了阻止违法行为的继续发生，可以采取一些必要的、合理的措施进行制止。但这种情况下，市民的行为必须严格限制在必要的限度内，且事后应及时向相关部门报告，并接受调查和处理。

总结与建议：

综上所述，违规设摊的市民，其他市民一般不可以直接阻止其离开。面对这种情况，我们应该采取合法、合理的途径来解决问题，如向相关部门举报、保留证据等。同时，也要增强法律意识，避免因为一时冲动而引发不必要的法律后果。如果你在处理此类问题时遇到任何疑问或困惑，可以直接向我咨询，我会为你提供专业的法律建议。