被留置人员解除留置后，并不一定是直接自行回家的，这取决于具体的解除留置情形以及后续的法律程序。

首先，我们需要明确留置措施的解除通常发生在以下几种情况：

1. 移送审查起诉：当被留置人员涉嫌职务犯罪，且案件已经移送至人民检察院进行审查起诉时，根据《刑事诉讼法》的相关规定，人民检察院会对犯罪嫌疑人先行拘留，此时留置措施自动解除。在这种情况下，被留置人员会被移交给司法机关，后续将按照刑事诉讼程序进行处理，包括可能的逮捕、取保候审或监视居住等决定，因此他们不会直接自行回家。

2. 留置期限届满：如果留置期限已经届满，且没有继续留置的必要，监察机关会及时办理解除留置手续。在这种情况下，被留置人员理论上可以自行回家，但具体是否能够立即离开，还需根据监察机关的具体安排和后续可能需要的配合调查情况来确定。

3. 职务犯罪行为情节轻微或不构成职务犯罪：如果被留置人员的职务犯罪行为情节轻微，或者经调查不构成职务犯罪，监察机关认为不需要继续采取留置措施时，也会解除留置。此时，被留置人员同样有可能自行回家，但同样需要遵循监察机关的相关指示和安排。

4. 其他应当解除留置措施的情形：这包括了一些特殊情况，如被留置人员健康状况严重恶化等，需要立即解除留置措施。在这种情况下，被留置人员的去向将根据具体情况和监察机关的决定来确定。

总结来说，被留置人员解除留置后是否自行回家，并不是绝对的。它取决于解除留置的具体原因、后续的法律程序以及监察机关的具体安排。在大多数情况下，特别是当案件移送审查起诉时，被留置人员会被移交给司法机关，并按照刑事诉讼程序进行处理，因此不会直接自行回家。而在其他情况下，如留置期限届满或职务犯罪行为情节轻微等，被留置人员则有可能在解除留置后自行回家，但同样需要遵循相关的法律程序和监察机关的安排。