一般情况下，如果公司派你去外市当天来回，且该安排属于合理的工作安排，你通常不能直接拒绝；但如果该安排存在不合理之处或侵犯了你的合法权益，你可以依法拒绝或提出异议。以下从不同角度为你详细分析：

从劳动合同和公司规章制度的角度

1. 若劳动合同或公司规章制度中有明确规定：如果劳动合同中明确约定了公司有权根据工作需要安排员工出差，且出差地点、时间等符合合同约定，或者公司规章制度中对此有明确规定，员工应当遵守。在这种情况下，公司派你去外市当天来回属于合理的工作安排，你一般不能拒绝。若你拒绝，可能构成违反劳动合同或公司规章制度的行为，公司有权依据相关规定对你进行处理，如警告、扣发工资等。
2. 若劳动合同或公司规章制度中无明确规定：如果劳动合同和公司规章制度中均未对出差安排作出明确规定，那么公司派你出差需要与你进行协商。在这种情况下，你有权与公司就出差的时间、地点、费用等事项进行协商，并根据协商结果决定是否接受出差安排。如果公司未经协商直接安排你出差，且该安排对你造成了不合理的影响（如影响你的休息、家庭生活等），你可以与公司沟通并提出异议。

从合理性的角度

1. 工作安排的合理性：公司安排你出差应当基于合理的工作需要，且出差的时间、地点等应当合理。如果公司派你去外市当天来回，但该安排明显不合理（如频繁出差、出差时间过长等），导致你无法正常休息或影响你的身体健康，你可以向公司提出异议，并要求公司调整出差安排。
2. 个人情况的合理性：在考虑是否接受出差安排时，你还需要考虑自己的个人情况。例如，如果你有特殊的家庭情况（如需要照顾年迈的父母、年幼的孩子等），或者你存在健康问题（如患有慢性疾病、需要定期治疗等），导致你无法承受频繁的出差安排，你可以向公司说明情况，并请求公司给予照顾。在这种情况下，公司通常会考虑你的实际情况，并作出合理的安排。

从法律保护的角度

1. 劳动法的保护：根据《中华人民共和国劳动法》的相关规定，劳动者有休息休假的权利。如果公司安排你出差导致你无法正常休息或加班时间过长，侵犯了你的休息休假权利，你可以依法向公司提出异议，并要求公司支付加班费或安排补休。
2. 特殊保护：对于女职工和未成年工等特殊群体，劳动法还规定了特殊的保护措施。例如，女职工在孕期、产期、哺乳期等特殊时期，公司不得安排其从事国家规定的第三级体力劳动强度的劳动和孕期禁忌从事的劳动。如果你属于这些特殊群体，且公司安排你出差违反了相关法律规定，你可以依法维护自己的合法权益。

建议：

• 在面对公司派你出差的安排时，建议你首先查看劳动合同和公司规章制度中是否有相关规定，并了解出差的具体安排和要求。
• 如果认为出差安排不合理或侵犯了你的合法权益，你可以与公司进行沟通协商，并提出合理的异议和请求。
• 如果沟通协商无果，你可以向当地的劳动监察部门投诉或申请劳动仲裁，以维护自己的合法权益。

如有更多疑问或需要进一步的法律帮助，请直接向我咨询。