面对与工人有纠纷且工人赖着不走的情况，首先明确结论：您应当通过合法途径解决纠纷，并妥善处理工人滞留问题，避免自身行为触犯法律。 以下是从不同角度为您提供的详细分析和建议：
一、法律背景与纠纷解决途径
劳动纠纷的解决：
- 根据《中华人民共和国劳动争议调解仲裁法》，劳动纠纷应当通过协商、调解、仲裁或诉讼等合法途径解决。您应当首先尝试与工人进行协商，寻求双方都能接受的解决方案。
- 如果协商无果，您可以考虑向当地的劳动争议调解组织申请调解，或者向劳动争议仲裁委员会申请仲裁。仲裁裁决具有法律效力，如果工人不履行，您可以向人民法院申请强制执行。
工人滞留问题的处理：
- 工人滞留可能涉及非法侵入住宅或扰乱单位秩序等违法行为。但在此之前，您应当确保自身行为合法，避免采取过激手段驱赶工人，如断水断电、锁门等，这些行为可能构成违法。
- 如果工人滞留行为已经影响到您的正常生活或工作秩序，您可以向公安机关报案，请求公安机关依法处理。公安机关会根据具体情况，对工人进行警告、罚款或拘留等处罚。
二、具体建议与操作步骤
与工人协商：
- 尝试与工人进行友好沟通，了解其诉求和困难，寻求双方都能接受的解决方案。例如，可以协商支付一定的补偿金或提供其他形式的帮助，以促使工人主动离开。
申请调解或仲裁：
- 如果协商无果，您可以向当地的劳动争议调解组织申请调解，或者向劳动争议仲裁委员会申请仲裁。在申请时，您需要提供相关证据材料，如劳动合同、工资单、纠纷发生经过等。
向公安机关报案：
- 如果工人滞留行为已经构成违法，且协商、调解、仲裁等途径均无法解决问题，您可以向公安机关报案。在报案时，您需要提供工人滞留的相关证据，如照片、视频、证人证言等。
寻求法律援助：
- 如果您在处理纠纷过程中遇到法律难题或需要专业法律帮助，可以向我咨询。作为专业律师，我将根据您的具体情况提供有针对性的法律建议和帮助。
三、可能面临的法律后果
- 如果采取非法手段驱赶工人：您可能面临行政处罚或民事赔偿等法律责任。例如，如果因驱赶行为导致工人受伤或财产损失，您可能需要承担相应的赔偿责任。
- 如果工人滞留行为构成违法：工人可能面临警告、罚款或拘留等处罚。但请注意，这并不意味着您可以自行采取非法手段处理工人滞留问题，否则您也可能面临法律责任。
综上所述，面对与工人有纠纷且工人赖着不走的情况，您应当保持冷静和理性，通过合法途径解决纠纷，并妥善处理工人滞留问题。如果您在处理过程中遇到任何法律难题或需要专业帮助，请随时向我咨询。