扣押工人护照是明确的违法行为，您完全有权要求用人单位归还，并可以通过多种法律途径来维护自己的合法权益。以下是我为您详细梳理的处理流程和建议：

一、明确法律依据

根据《中华人民共和国护照法》第二条，中华人民共和国护照是中华人民共和国公民出入国境和在国外证明国籍和身份的证件，任何组织或者个人不得非法扣押护照。这一规定为处理此类纠纷提供了明确的法律依据。

二、初步应对措施

1. 与用人单位沟通协商：
   • 首先，建议您尝试与扣押护照的用人单位进行友好沟通。
   • 明确指出其行为违法，并要求立即归还护照。
   • 通过解释相关法律规定和扣押护照可能带来的不便及法律后果，争取通过协商和平解决问题。

三、向相关部门投诉

若沟通无果，您可以向以下部门投诉：

1. 劳动监察部门：

   • 如果护照扣押与劳动纠纷有关，您可以依据《中华人民共和国劳动合同法》第八十四条向劳动监察部门投诉。
   • 劳动监察部门有权查处用人单位的违法行为，责令其限期退还护照，并可依法给予处罚。

2. 公安机关：

   • 无论扣押方是单位还是个人，其行为都违反了治安管理相关规定。
   • 您可以向当地公安机关报案，公安机关将依法展开调查，对违法扣押护照的行为进行处理，并帮助您追回护照。

四、法律救济途径

若上述措施仍无法解决问题，您可以考虑以下法律救济途径：

1. 行政复议或行政诉讼：

   • 如果您认为行政机关（如劳动监察部门或公安机关）的处理行为不当，您可以向上一级行政机关申请行政复议，要求撤销扣押行为并返还护照。
   • 您也可以直接向人民法院提起行政诉讼，通过司法途径维护自己的合法权益。

2. 民事诉讼：

   • 对于非行政机关的扣押行为，如果给您造成了经济损失等损害后果，您可以向人民法院提起民事诉讼。
   • 要求扣押方返还护照并赔偿相应损失。

五、注意事项

在整个处理过程中，您应特别注意收集和保留能证明护照被扣押的证据，如书面通知、聊天记录、证人证言等。这些证据在后续的法律程序中将起到至关重要的作用。

总结：扣押工人护照是违法行为，您有权通过多种法律途径要求用人单位归还护照并维护自身权益。同时，我也建议您在处理此类问题时保持冷静和理性，通过合法途径解决问题，共同营造一个公平、公正的社会环境。