可以不同意行政单位交流工作的安排，但具体是否能够拒绝以及拒绝后的法律后果，需根据交流工作的性质、相关法律法规以及具体情况来综合判断。以下从不同角度为你详细分析：
一、从法律法规的角度
公务员交流制度：
- 如果你是公务员，根据《中华人民共和国公务员法》的相关规定，公务员可以在公务员队伍内部交流，也可以与国有企业事业单位、人民团体和群众团体中从事公务的人员交流。这种交流通常是为了促进公务员队伍的整体发展，提高公务员的综合素质和能力。
- 在这种情况下，虽然公务员有义务服从组织的安排，但如果交流工作存在不合理之处，如与个人职业规划严重不符、对个人生活造成极大困扰等，你可以通过正当途径向组织反映情况，提出异议。然而，最终是否能够拒绝交流，还需根据组织的决定和具体情况来判断。
其他行政单位工作人员交流：
- 对于非公务员的行政单位工作人员，交流工作的安排可能受到单位内部规章制度、劳动合同或相关法律法规的约束。
- 如果交流工作违反了劳动合同中的约定或相关法律法规的规定，你有权拒绝并可以寻求法律援助或向相关部门投诉。
二、从实际情况的角度
交流工作的性质：
- 如果交流工作是临时性的、短期的，且对你的个人生活和工作影响不大，那么从团队合作和单位发展的角度出发，建议尽量配合组织的安排。
- 如果交流工作是长期的、对个人生活和工作造成较大影响的，你可以与组织进行沟通，说明自己的困难和顾虑，寻求合理的解决方案。
个人职业规划：
- 如果交流工作与你的个人职业规划严重不符，且无法通过沟通协商解决，你可以考虑拒绝交流。但在此之前，建议仔细评估拒绝交流可能带来的后果，如是否会影响你的职业发展、是否会与组织产生矛盾等。
三、法律建议
沟通协商：
- 在拒绝交流工作之前，建议先与组织进行充分的沟通协商，说明自己的情况和顾虑，寻求合理的解决方案。
了解法律法规：
- 仔细研究相关法律法规和单位内部规章制度，了解自己的权利和义务，以及拒绝交流可能带来的法律后果。
寻求法律援助：
- 如果交流工作存在不合理之处且无法通过沟通协商解决，你可以寻求法律援助或向相关部门投诉，维护自己的合法权益。
总结来说，虽然你有权对行政单位交流工作的安排提出异议，但具体是否能够拒绝以及拒绝后的法律后果需根据具体情况来判断。在处理此类问题时，建议保持冷静、理性，通过正当途径维护自己的合法权益。如果你有任何法律疑问或需要进一步的法律帮助，可以直接向我咨询。