结论：便衣来家里把人带走并扣押手机是否合法，需分情况讨论，关键在于执法人员身份合法性、执法程序合规性以及扣押行为的法律依据。以下从不同角度展开分析：

1. 执法人员身份合法性

• 合法情形：若便衣人员是公安机关工作人员（如刑警、治安警等），且持有有效证件（如警察证、工作证）及法律文书（如传唤证、拘留证、搜查证等），则其执法行为具有合法性。根据《刑事诉讼法》第82条、第138条，公安机关有权依法对犯罪嫌疑人采取强制措施或进行搜查、扣押。
• 非法情形：若便衣人员无法出示证件或法律文书，或冒充警察执法，则属于违法行为。根据《人民警察法》第9条，警察执行职务时应当出示证件，否则公民有权拒绝配合。

2. 执法程序合规性

• 合法程序：
  • 传唤或拘留：若便衣人员持《传唤证》或《拘留证》，需向被传唤人或其家属说明理由，并在24小时内送至看守所（刑事拘留）或询问查证（行政传唤）。
  • 搜查与扣押：若需搜查住所或扣押物品，需出示《搜查证》或《扣押决定书》，并制作扣押清单，由被扣押人签字确认。
• 违法程序：
  • 无证搜查：未出示搜查证擅自进入住宅搜查，违反《刑事诉讼法》第138条（搜查需经县级以上公安机关负责人批准）。
  • 超期扣押：扣押手机后未在法定期限内处理（如刑事案件中一般不超过30日），可能构成程序违法。

3. 扣押手机的法律依据

• 合法扣押：若手机是涉案工具（如用于犯罪通信、存储犯罪证据等），公安机关可依法扣押。根据《刑事诉讼法》第141条，与案件有关的财物可予以扣押。
• 非法扣押：若手机与案件无关，或未依法制作扣押清单、未告知权利义务，则扣押行为违法。被扣押人有权要求返还或申请行政复议、提起行政诉讼。

4. 公民权利救济途径

• 核实身份：要求便衣人员出示证件及法律文书，记录其姓名、单位、警号等信息。
• 拒绝非法要求：若对方无法出示合法手续，可拒绝配合并立即报警。
• 事后维权：若认为执法行为违法，可向公安机关督察部门投诉，或依法申请行政复议、提起行政诉讼。

建议：若您或家人遭遇此类情况，请务必保持冷静，核实对方身份及法律手续，并保留相关证据（如录音、录像、证人证言等）。如有疑问，可直接向我咨询具体法律程序及维权方式。