结论：公司安排你出差后不让你回去，这种做法可能涉及违法，你可以根据具体情况采取相应的法律措施来维护自己的权益。以下是从不同角度为你详细分析的情况及建议：
一、公司行为的合法性分析
劳动合同约定：
- 首先，需要查看你与公司签订的劳动合同中是否有关于工作地点、出差安排以及工作调动等方面的具体约定。如果合同中明确规定了公司有权根据工作需要安排你出差，并且出差结束后应返回原工作地点，那么公司不让你回去的行为可能构成违约。
- 法律依据：根据《中华人民共和国劳动合同法》的相关规定，用人单位与劳动者应当按照劳动合同的约定，全面履行各自的义务。如果公司违反合同约定，劳动者有权要求公司继续履行合同或者承担违约责任。
公司规章制度：
- 其次，需要了解公司的规章制度中是否有关于出差和返回原工作地点的相关规定。如果公司规章制度中有明确规定，并且你已知晓并同意，那么公司应按照规章制度执行。如果公司未按照规章制度执行，同样可能构成违约或违法。
- 建议：你可以要求公司出示相关的规章制度，并仔细阅读其中的条款，以确定公司行为是否合规。
二、你的权益保护措施
与公司协商：
- 在发现公司不让你回去后，首先可以尝试与公司进行协商，了解公司不让你回去的具体原因，并表达你的诉求和期望。通过协商，可能能够达成双方都能接受的解决方案。
- 技巧：在协商过程中，保持冷静和理性，避免情绪化的表达，以便更好地沟通。
向劳动监察部门投诉：
- 如果协商无果，你可以向当地的劳动监察部门投诉公司的违法行为。劳动监察部门有权对公司的违法行为进行调查和处理，并保护你的合法权益。
- 流程：你需要准备相关的证据材料，如劳动合同、公司规章制度、出差通知等，以便劳动监察部门进行调查。
申请劳动仲裁或提起诉讼：
- 如果劳动监察部门的处理结果未能满足你的诉求，你可以向劳动争议仲裁委员会申请劳动仲裁，或者向人民法院提起诉讼。通过法律途径来维护自己的权益。
- 法律依据：根据《中华人民共和国劳动争议调解仲裁法》和《中华人民共和国民事诉讼法》的相关规定，劳动者有权通过劳动仲裁或诉讼的方式解决劳动争议。
三、可能面临的法律后果
公司承担违约责任：
- 如果公司确实存在违约行为，根据劳动合同的约定和法律规定，公司可能需要承担违约责任，如支付违约金、赔偿损失等。
公司被行政处罚：
- 如果公司的行为违反了劳动法律法规的规定，劳动监察部门有权对公司进行行政处罚，如罚款、责令改正等。
最后建议：在处理此类问题时，建议你保持冷静和理性，不要采取过激的行为。同时，及时收集和保存相关证据材料，以便在需要时提供证明。如果你对具体的法律程序或权益保护措施有疑问，可以直接向我咨询，我会根据你的具体情况为你提供更详细的法律建议。