退役军人拒认劳动关系是否违法，需结合具体情况判断，但单位若拒绝履行安置义务或违法解除劳动关系，则构成违法。以下从不同角度为您详细分析：
一、单位拒绝履行安置义务，违法！
根据《中华人民共和国退役军人保障法》第七十七条，单位若拒绝或无故拖延执行人民政府下达的安排退役士兵工作任务，包括未依法签订劳动合同或聘用合同，将由安置地人民政府退役军人工作主管部门责令限期改正；逾期不改正的，予以通报批评，并对单位主要负责人和直接责任人员依法给予处分。
举例说明：若某企业收到政府安置退役士兵的通知后，以各种理由拒绝接收或拖延签订劳动合同，该行为即违反上述法律规定，需承担相应法律责任。
二、单位违法解除劳动关系，违法！
若单位已与退役士兵建立劳动关系，但后续违法解除（如无正当理由单方面解除与残疾退役士兵的劳动关系），同样构成违法。根据《中华人民共和国退役军人保障法》及相关规定，单位需承担法律责任，包括但不限于继续履行合同、支付赔偿金等。
举例说明：某单位与一名残疾退役士兵签订了劳动合同，但后续因该士兵身体原因（非因工致残且不影响工作）单方面解除合同，该行为即违法，需承担相应法律后果。
三、特殊情形下的劳动关系认定
军龄与工龄的衔接：退役士兵的军龄应视同为接收单位的工龄，享受与单位正式员工同工龄、同工种、同岗位、同级别待遇。若单位未落实此待遇，可能构成对退役士兵权益的侵害。
无固定期限劳动合同的签订：军龄10年以上的退役士兵，接收的企业应当与其签订无固定期限劳动合同。若企业未签订，则违反法律规定。
四、法律建议与维权途径
协商解决：若单位存在拒认劳动关系或违法解除等行为，退役士兵可先与单位协商，要求单位履行义务或纠正违法行为。
投诉举报：若协商无果，退役士兵可向当地退役军人事务部门投诉举报，由相关部门责令单位限期改正。
法律诉讼：若单位仍不改正，退役士兵可依法向劳动争议仲裁机构申请仲裁或向人民法院提起诉讼，维护自身合法权益。
温馨提示：退役军人是国家的宝贵财富，其合法权益受法律保护。若您或您身边的退役军人遇到劳动关系方面的法律问题，欢迎直接向我咨询，我将为您提供专业、全面的法律服务。