结论：在家里被抓时，手机是否可以不被带走需分情况讨论，主要取决于手机是否与案件相关以及执法机关的具体要求。
若手机与案件无关：
- 根据《中华人民共和国刑事诉讼法》及相关规定，执法机关在搜查、扣押时，应当限于与案件有关的物品。因此，如果手机与正在调查的案件没有直接关联，理论上执法机关不应强行带走。但实践中，执法人员可能会出于全面调查的考虑，暂时保管手机以检查其中是否存储有与案件相关的信息，如聊天记录、照片、视频等。若检查后确认无关，手机应当及时返还。
若手机与案件有关：
- 如果手机被认定为证据或可能含有与案件相关的信息，执法机关有权依法扣押。这是为了确保案件的顺利调查和证据的完整性。在此情况下，您有权要求执法人员出示扣押手续，并了解扣押的理由和期限。
执法程序与权利保障：
- 无论手机是否被扣押，您都有权要求执法人员出示搜查证或扣押决定书，并了解自己的权利和义务。如果执法人员未依法履行程序，您有权提出异议，并可以在事后通过法律途径维护自己的合法权益。
- 如果您对执法人员的行为有疑问或不满，可以在确保自身安全的前提下，记录下执法人员的身份信息、执法时间、地点及具体行为，以便后续维权。
建议：面对此类情况，保持冷静配合执法是首要原则，但同时也要注意保护自己的合法权益。如果对执法过程有疑问或手机被不当扣押，建议及时咨询并寻求法律帮助。我是您身边的法律顾问，有任何法律问题都可以直接向我咨询。