退役军人被安置到单位后，若出现违纪违规行为，单位一般不能直接将其退回安置办公室，但存在特定情形时，单位可依法依规进行处理，甚至可能解除劳动关系，进而影响其安置状态。以下从不同角度进行分析：
一、单位无权直接退回安置办公室的一般情形
退役军人被安置到单位后，即与该单位建立了劳动关系（或人事关系，视单位性质而定）。在劳动关系存续期间，单位应依据《中华人民共和国劳动法》、《中华人民共和国劳动合同法》等相关法律法规，以及单位内部的规章制度对员工进行管理。若退役军人出现违纪违规行为，单位通常不能直接将其退回安置办公室，因为这并非法律规定的处理方式。单位应按照内部规章制度进行纪律处分，如警告、记过、降职、解雇等。
二、单位可依法解除劳动关系的特定情形
尽管单位不能直接退回安置办公室，但在某些特定情形下，单位可依法解除与退役军人的劳动关系，这可能导致其失去安置岗位。这些情形包括但不限于：
严重违反单位规章制度：若退役军人的违纪违规行为严重违反了单位的规章制度，且该规章制度经过合法程序制定并公示，单位有权依据规章制度解除劳动关系。
严重失职、营私舞弊，给单位造成重大损害：若退役军人在工作中严重失职或营私舞弊，导致单位遭受重大经济损失或其他严重后果，单位有权解除劳动关系。
被依法追究刑事责任：若退役军人因违纪违规行为被依法追究刑事责任，单位有权依据《中华人民共和国劳动合同法》的相关规定解除劳动关系。
三、退役军人权益保障与救济途径
权益保障：退役军人在安置过程中享有相应的权益保障，包括但不限于就业安置、社会保障等。若单位违法解除劳动关系或侵犯退役军人其他合法权益，退役军人可依法维护自身权益。
救济途径：
四、实际操作中的注意事项
单位应依法依规处理：单位在处理退役军人违纪违规行为时，应严格遵守相关法律法规和单位规章制度，确保处理程序的合法性和公正性。
退役军人应了解自身权益：退役军人在安置过程中应了解自身权益和义务，积极维护自身合法权益。
及时沟通与咨询：若遇到问题或争议，退役军人应及时与单位沟通，并咨询专业律师或相关部门的意见。
建议：若退役军人遇到被单位退回安置办公室或解除劳动关系的情况，应首先了解单位的具体处理依据和程序，然后依据相关法律法规和自身实际情况，选择合适的救济途径维护自身权益。如果有任何疑问或需要进一步的法律帮助，可以直接向我咨询。