结论：公司仅开除你一人是否合法，需结合具体情况判断，主要看公司的规章制度、劳动合同约定以及事件的具体情节。以下从不同角度为你详细分析：
从公司规章制度和劳动合同角度
- 若公司规章制度或劳动合同中有明确规定：如果公司的规章制度或者你与公司签订的劳动合同中明确规定，误拿客人财物（无论是否已归还）属于严重违反公司规章制度的行为，且公司有权据此解除劳动合同，同时该规章制度或合同条款的制定程序合法（如经过民主程序制定、已向你公示等），那么公司仅开除你一人，在形式上可能是合法的。但即便如此，公司也应当对开除你的决定提供充分的证据，证明你的行为确实符合规章制度或合同中规定的解除条件。
- 若公司规章制度或劳动合同中无明确规定：如果公司的规章制度或劳动合同中没有对误拿客人财物这一行为作出明确规定，或者规定不够明确具体，那么公司仅以此为由开除你，可能缺乏合法依据。在这种情况下，公司的行为可能构成违法解除劳动合同。
从事件具体情节角度
- 情节轻微且已归还：你和同事误拿客人衣服，但已及时归还，且没有造成客人或公司任何损失。如果公司仅因此就开除你，而未对同事进行任何处理，这种处理方式可能显得不公平合理。从常理判断，这种轻微的过失行为通常不足以构成公司解除劳动合同的合法理由。
- 存在其他严重情节：如果误拿衣服的行为背后存在其他严重情节，比如你或同事有故意侵占客人财物的意图（尽管最终归还），或者该行为给公司造成了重大损失或恶劣影响，那么公司开除你的决定可能更具合理性。但即便如此，公司也应当对存在的严重情节提供充分证据，并且应当对同事也进行相应处理，如果仅处理你一人，仍然可能面临不公平合理的质疑。
法律后果与建议
- 若公司行为违法：如果公司开除你的行为被认定为违法解除劳动合同，你有权要求公司继续履行劳动合同（即恢复劳动关系）或者要求公司支付赔偿金。赔偿金的计算标准通常为你在公司工作每满一年支付两个月工资（具体根据当地法律法规和司法实践确定）。
- 建议行动：
- 收集证据：收集能够证明你误拿衣服、已归还以及公司规章制度或劳动合同中相关条款的证据。
- 与公司沟通：尝试与公司进行沟通，了解公司开除你的具体原因和依据，并表达你的异议和诉求。
- 申请劳动仲裁：如果与公司沟通无果，你可以向当地劳动仲裁委员会申请劳动仲裁，维护自己的合法权益。
最后，劳动纠纷的处理往往比较复杂，需要综合考虑多种因素。如果你对此事仍有疑问或需要进一步的法律帮助，可以直接向我咨询，我会根据你的具体情况为你提供更详细的法律建议。