结论前置：关于没有与单位签订返聘合同是否违法的问题，这主要取决于返聘人员的身份以及返聘的具体情况，不能一概而论。以下我将从不同角度进行分析。
返聘人员为已退休人员的情况：
- 法律分析：根据相关法律法规，已退休人员与用人单位之间的关系通常被视为劳务关系，而非劳动关系。因此，对于这类返聘人员，单位不签订书面合同并不构成违法。但为了保障双方权益，建议双方还是签订一份明确的劳务合同，约定好工作内容、报酬、工作时间等关键条款。
- 建议：尽管不违法，但签订书面合同可以明确双方的权利和义务，减少纠纷的发生。
返聘人员为未退休但达到法定退休年龄或享受养老保险待遇的人员（特殊情况）：
- 法律分析：这类人员的情况可能较为复杂，如果其并未正式办理退休手续或未享受养老保险待遇，且返聘后继续从事原工作或类似工作，那么其与用人单位之间的关系可能仍被视为劳动关系。在这种情况下，单位未签订书面劳动合同可能构成违法，需要承担相应的法律责任，如支付双倍工资等。
- 建议：对于这类特殊情况，建议双方明确身份关系，并根据实际情况签订书面合同，以保障双方权益。
返聘合同与一般劳动合同的异同：
- 相同点：无论是返聘合同还是一般劳动合同，都是明确双方权利和义务的重要文件，有助于减少纠纷的发生。
- 不同点：返聘合同通常针对的是已退休或达到特定条件的人员，其合同内容、条款可能更加灵活，且不受《中华人民共和国劳动合同法》中关于劳动合同期限、试用期等条款的严格限制。但即便如此，返聘合同也应明确双方的基本权利和义务，如工作内容、报酬、工作时间、保密义务等。
未签订返聘合同的潜在风险：
- 对于单位：未签订书面合同可能导致单位在纠纷发生时难以证明双方的权利和义务，从而面临法律风险。例如，如果返聘人员在工作过程中受伤或发生其他纠纷，单位可能因无法证明双方关系而承担不必要的赔偿责任。
- 对于返聘人员：未签订书面合同也可能使返聘人员在权益受到侵害时难以维权。例如，如果单位拖欠报酬或违反约定解除返聘关系，返聘人员可能因缺乏证据而难以通过法律途径维护自己的权益。
总结与建议：综上所述，没有与单位签订返聘合同是否违法取决于返聘人员的身份以及返聘的具体情况。为了保障双方权益，减少纠纷的发生，建议无论何种情况都尽量签订书面合同。如果面临相关纠纷或需要更详细的法律咨询，可以直接向我提问，我会根据你的具体情况提供针对性的法律建议。