跟着他人到工作单位要回手机，这种行为本身并不直接构成违法，但需要注意行为方式和可能引发的后果。

首先，从法律角度来看，你作为手机的合法所有者，有权要求他人归还你的手机。然而，在行使这一权利时，你应当采取合法、合理且不会侵犯他人合法权益的方式。

1. 行为方式：

   • 建议方式：你可以尝试与对方进行协商，或者通过第三方（如警方、调解机构等）进行调解，以和平、理性的方式解决纠纷。
   • 避免方式：避免采取暴力、威胁、恐吓等不法手段，这些行为可能构成违法，甚至犯罪。

2. 可能引发的后果：

   • 如果你的行为方式不当，例如在公司内大声喧哗、扰乱秩序，或者对对方进行人身攻击，那么你可能面临被公司安保人员制止、被警方处罚等后果。
   • 如果对方拒不归还手机，并且你的行为方式合法合理，你可以考虑通过法律途径（如起诉）来维护自己的权益。

3. 法律建议：

   • 在采取行动之前，建议你先收集证据，证明手机是你的，以及对方拒不归还的事实。
   • 如果协商无果，你可以考虑向警方报案，或者咨询律师寻求法律帮助。

总之，虽然跟着他人到工作单位要回手机本身并不直接构成违法，但你在行使权利时应当注意行为方式和可能引发的后果。如果遇到任何法律问题或需要进一步的法律建议，你可以直接向我咨询。