要成功证明单位违法辞退，你必须提供充分证据证明以下三点：1）与单位存在劳动关系；2）单位确实进行了辞退；3）该辞退行为违反了法律或劳动合同约定。只有这三方面都得到充分证实，你的主张才有可能被法律认可。下面我将从这三个方面详细阐述如何证明单位违法辞退。

一、证明劳动关系的存在

这是基础也是前提，只有确立了劳动关系，后续的主张才能站得住脚。你可以通过以下证据证明：

1. 劳动合同：这是最直接且有力的证据，详细记录了双方的权利义务，包括工作内容、工作地点、工作时间、薪资待遇等关键条款。
2. 工资支付记录：包括银行流水明细和工资条，显示单位定期支付工资的情况，证明你为公司提供了劳动并获得了相应的报酬。
3. 社保缴纳记录：反映劳动关系的存续状态，是官方认可的证明，可以通过社保局或相关APP查询并打印。
4. 工作证、工牌及考勤记录：这些直观证明你是单位的员工以及出勤情况，如打卡记录、签到表、电子考勤系统等。
5. 同事证言：作为旁证，可以辅助证明你在单位的工作情况，但需注意证言的真实性和可信度，最好能提供同事的联系方式以便核实。

二、证明单位辞退行为

接下来，你需要有证据表明单位确实作出了辞退你的决定。这可以通过以下方式证明：

1. 辞退通知：书面通知或电子邮件等，应明确辞退原因和生效日期，并盖有单位公章或由相关负责人发送。这是最直接的证据，务必妥善保存。
2. 沟通记录：邮件、短信、聊天记录等，任何关于辞退的暗示或直接通知都可作为证据。这些记录应清晰显示发送方和接收方的身份，以及辞退的具体内容。
3. 录音录像：在不违反法律规定的前提下，对与辞退相关的谈话进行录音或录像。这可以是在面谈时偷偷录制，但需确保不侵犯他人隐私权，且录音录像内容真实、完整。
4. 工作交接记录：单位安排的工作交接清单或会议记录，证明单位已在实际行动上做出辞退安排。这可以显示单位已经认为你不再需要继续工作。
5. 证人证言：寻找目睹辞退过程或了解公司决策过程的同事或其他相关人员作证。他们的证言可以辅助证明单位确实进行了辞退行为。

三、证明辞退行为违法

这是核心部分，你需要证明单位的辞退行为不符合法律规定或劳动合同约定。具体可从以下几个角度入手：

1. 不符合法定辞退情形：收集能证明自己不存在《劳动合同法》规定的用人单位可以解除劳动合同的情形的证据，如工作表现良好的记录、奖励证书等。如果单位以你违纪为由辞退你，但你实际上并未违纪或违纪程度不足以构成辞退理由，那么你可以提供相关证据来反驳。
2. 违反法定程序：确认单位是否遵循了提前通知工会、提前以书面形式通知劳动者等法律程序。未遵循则构成违法，可通过工会说明、沟通记录等证据证明。例如，单位未提前30天以书面形式通知你解除劳动合同，或者未通知工会就擅自辞退你，这些都是违法的行为。
3. 与劳动合同约定不符：仔细查看劳动合同中关于解除合同的条款，若单位辞退行为不符合这些约定，则可将劳动合同作为证据。例如，合同规定只有在特定条件下才能辞退，而实际情况并不符合这些条件，那么单位的辞退行为就是违法的。
4. 公司规章制度：如果公司的规章制度中存在违法或不合理之处，或者辞退行为未遵循规章制度，也可以作为证明违法辞退的依据。例如，公司的规章制度中规定了辞退员工的程序，但单位在辞退你时并未遵循这些程序，那么你可以提供相关证据来证明单位的辞退行为是违法的。

四、其他建议

1. 及时收集证据：在被辞退后，应尽快收集相关证据，以免时间过长导致证据丢失或难以获取。
2. 咨询专业律师：虽然我在这里为你提供了详细的解答，但每个案件的具体情况都有所不同。如果你在收集证据或证明违法辞退过程中遇到困难，可以随时向我咨询，我会根据你的具体情况为你提供更具体的法律建议。
3. 申请劳动仲裁：如果你认为单位的辞退行为是违法的，并且你已经收集到了充分的证据来证明这一点，那么你可以向劳动争议仲裁委员会申请仲裁，以维护自己的合法权益。

总之，要证明单位违法辞退你，你需要从多个角度收集证据，并确保这些证据能够充分证明上述三点。只有这样，你的主张才有可能被法律认可，并获得相应的法律救济措施。