公司怕员工出差不按时回来，这一行为本身并不直接构成违法。但公司如何处理这一问题，可能会涉及到劳动法律法规的遵守与否。以下是对此问题的详细分析：

一. 劳动合同及规章制度的约束

1. 劳动合同约定：根据《中华人民共和国劳动合同法》第三条，劳动合同具有约束力，用人单位与劳动者应履行约定的义务。若劳动合同中明确规定了出差及相关的回程安排，用人单位应遵循此约定。员工原则上应服从合同中关于出差及回程的条款。

2. 公司规章制度：若公司规章制度中有关于出差及回程的明确规定，员工也应遵守。但规章制度的制定和执行需符合法律法规，且应经过合法程序（如民主程序制定、公示或告知员工）。

二. 劳动者的权利

1. 休息休假权：根据《中华人民共和国劳动法》第三条，劳动者享有休息、休假的权利。若用人单位无理由拒绝员工按约定或合理请求返回，可能侵犯了员工的休息权。

2. 解除劳动合同权：根据《中华人民共和国劳动法》第三十二条，若用人单位以暴力、威胁或非法限制人身自由的手段强迫劳动，或未按照劳动合同约定提供劳动条件，劳动者有权随时通知用人单位解除劳动合同，并可通过法律途径维护自己的权益。

三. 公司管理的合法性

1. 合理管理：用人单位对劳动者具有管理权，可以制定合理的规章制度来规范员工的行为，包括出差及回程安排。但管理权的行使应遵循可预期、合理、适度等原则。

2. 避免侵犯权益：公司在管理员工出差及回程事宜时，应确保不侵犯员工的合法权益，如休息权、人身自由权等。

我的观点：公司怕员工出差不按时回来，可以通过合法途径进行管理，如与员工沟通、明确劳动合同及规章制度中的相关条款、合理安排出差及回程时间等。但公司应避免采取违法手段来限制员工的自由或侵犯其合法权益。如员工确实存在不按时回公司的情况，公司也应根据具体情况进行合法处理，如与员工协商、依据劳动合同或规章制度进行惩戒等。如有进一步需要，您可以继续咨询我。