结论：被留置人员的家被搜查后，家人能否要回钥匙，需视搜查程序是否合法终结及钥匙是否属于涉案物品而定。以下从不同角度详细分析：
一、搜查程序合法终结后，钥匙非涉案物品的情况
法律背景：
- 根据《中华人民共和国刑事诉讼法》及相关司法解释，搜查是侦查机关为了收集犯罪证据、查获犯罪人，对犯罪嫌疑人以及可能隐藏罪犯或者犯罪证据的人的身体、物品、住处和其他有关的地方进行搜索、检查的强制措施。
- 搜查应当出示搜查证，并由被搜查人或者其家属、邻居或者其他见证人签名或者盖章。搜查结束后，侦查机关应当制作搜查笔录，并由侦查人员、被搜查人或者其家属、邻居或者其他见证人签名或者盖章。
分析说明：
- 若搜查程序合法终结，且钥匙并非作为涉案物品被扣押，那么家人有权要求返还钥匙。因为钥匙是家庭日常生活的必需品，不属于犯罪证据或犯罪工具，不应被长期扣押。
- 家人可以向侦查机关提出书面申请，要求返还钥匙。侦查机关在核实钥匙非涉案物品且搜查程序已合法终结后，应当予以返还。
二、搜查程序合法终结后，钥匙被认定为涉案物品的情况
法律背景：
- 涉案物品是指与犯罪有关的物品，包括犯罪工具、犯罪所得、犯罪证据等。侦查机关在搜查过程中，有权扣押涉案物品，以作为后续侦查、起诉、审判的证据。
分析说明：
- 若钥匙在搜查过程中被认定为涉案物品，例如钥匙被用于实施犯罪行为或作为犯罪所得的一部分，那么侦查机关有权依法扣押钥匙，并作为证据提交给检察机关或法院。
- 在这种情况下，家人无权要求返还钥匙，因为钥匙已经属于法律意义上的涉案物品，其返还需遵循刑事诉讼法的相关规定，通常在案件终结后，由侦查机关依法处理。
三、搜查程序未合法终结或存在瑕疵的情况
法律背景：
- 搜查程序必须严格遵守法律规定，包括出示搜查证、制作搜查笔录、由见证人签名或盖章等。若搜查程序存在瑕疵或未合法终结，可能影响搜查结果的合法性。
分析说明：
- 若家人认为搜查程序存在瑕疵或未合法终结，可以向侦查机关提出异议，并要求重新审查搜查程序。若侦查机关拒绝重新审查或家人对审查结果不满，可以向检察机关提出申诉或控告。
- 在搜查程序未合法终结或存在瑕疵的情况下，家人要求返还钥匙的请求可能因程序问题而得到支持，但具体需根据案件情况和法律规定来判断。
建议：
- 家人应首先了解搜查程序是否合法终结，并确认钥匙是否被认定为涉案物品。
- 若钥匙非涉案物品且搜查程序已合法终结，家人可以向侦查机关提出书面申请要求返还钥匙。
- 若钥匙被认定为涉案物品或搜查程序存在瑕疵，家人应咨询专业律师，了解自身权益和可能的法律途径。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。