出差期间，公司一般不可以单方面用假期时间让员工回来，除非双方有特别约定或符合特定法定情形。以下从不同角度为你详细分析：

一、从劳动合同和公司规章制度的角度

劳动合同是员工与公司之间确立劳动关系、明确双方权利和义务的协议。如果劳动合同中没有明确规定公司在员工出差期间可以单方面调整其假期安排，那么公司通常不能随意这样做。同样，公司的规章制度也需要经过合法程序制定，并且告知员工，才能对员工产生约束力。如果规章制度中没有相关条款，或者条款本身不合法、不合理，那么公司也不能依据这些条款来要求员工在出差期间用假期时间回来。

举例：假设小张与公司签订的劳动合同中明确规定了年假的享受方式和时间，且公司规章制度中也没有关于出差期间可以调整假期安排的条款。那么，在小张出差期间，公司就不能单方面要求小张用年假时间回来。

二、从法定情形的角度

虽然一般情况下公司不能单方面调整员工的假期安排，但在某些特定法定情形下，公司可能有权要求员工提前结束出差或调整假期。例如，如果员工在出差期间严重违反公司规章制度或国家法律法规，给公司造成重大损失或不良影响，公司可能有权根据相关规定对员工进行处理，包括要求员工提前结束出差或调整假期。不过，这种情况需要公司有充分的证据来证明员工的违规行为，并且处理程序需要符合法律法规和公司规章制度的规定。

另外，如果因不可抗力因素（如自然灾害、疫情等）导致出差无法继续进行或需要提前结束，公司也可以根据实际情况与员工协商调整假期安排。但这种情况下，公司也需要与员工进行充分沟通，并尽量保障员工的合法权益。

三、从员工权益保护的角度

作为员工，你有权享受劳动合同和公司规章制度中规定的假期。如果公司单方面要求你用假期时间回来，且没有合理的理由和充分的证据，你可以拒绝公司的要求，并可以向公司提出异议或投诉。如果公司因此对你进行不当处理（如扣发工资、解除劳动合同等），你可以依法维护自己的合法权益，包括向劳动监察部门投诉、申请劳动仲裁或提起诉讼等。

建议：如果公司提出这样的要求，你可以先与公司进行沟通协商，了解公司的具体理由和依据。如果认为公司的要求不合理或侵犯了自己的合法权益，可以及时向公司提出异议，并保留好相关证据（如劳动合同、公司规章制度、沟通记录等）。如果无法协商解决，可以向劳动监察部门投诉或申请劳动仲裁来维护自己的权益。

总之，出差期间公司是否可以单方面用假期时间让员工回来，需要根据具体情况来判断。如果你对此有疑问或遇到相关问题，可以直接向我咨询，我会根据你的具体情况为你提供更详细的法律建议。