员工不服从出差安排，继续回公司打卡上班，公司不可以直接以违反规章制度为由解除劳动合同。对此，我们需要从以下几个方面进行深入分析：

1. 劳动合同的约定：

   • 劳动合同中是否明确约定了员工需要服从出差安排。
   • 若合同中明确约定，员工拒绝出差可能构成违约；但若合同未明确约定，或约定不明确，则员工有权基于个人原因拒绝出差。

2. 公司规章制度的合法性：

   • 公司规章制度中是否规定了员工必须服从出差安排，以及违反该规定的后果。
   • 规章制度必须经过民主程序制定，且内容不违反法律法规，否则不能作为解除劳动合同的依据。

3. 员工行为的性质：

   • 员工拒绝出差后，是否继续履行了其他工作职责，如正常回公司打卡上班。
   • 若员工仅拒绝出差，但继续履行了其他合同义务，则其行为可能不构成严重违反规章制度。

4. 解除劳动合同的合法性：

   • 根据《劳动合同法》规定，员工严重违反用人单位规章制度时，用人单位可以解除劳动合同。
   • 但“严重违反”的标准需由用人单位根据具体情况进行界定，并应确保该界定合理、合法。
   • 若员工拒绝出差的行为并未达到“严重违反”的程度，或公司规章制度本身存在问题，则公司不能以此为由解除劳动合同。

5. 法律后果与建议：

   • 若公司违法解除劳动合同，员工有权要求继续履行合同或支付经济补偿金。
   • 建议公司在处理员工拒绝出差的问题时，应首先与员工进行沟通，了解拒绝的原因，并尝试通过协商解决问题。
   • 若确需解除劳动合同，应确保公司规章制度合法、有效，且员工的行为确实构成了严重违反规章制度。

综上所述，员工不服从出差安排并继续回公司打卡上班时，公司不能直接以违反规章制度为由解除劳动合同。公司应综合考虑劳动合同的约定、规章制度的合法性、员工行为的性质以及解除劳动合同的合法性等因素，作出合理、合法的决策。如有任何疑问或需要进一步的法律建议，请直接向我咨询。