结论：退伍军人缓刑出狱后正常回单位工作，单位只恢复五险没有恢复一金的行为是否合法，需分情况讨论。
分析：
从劳动合同和单位规章制度的角度：
- 根据《中华人民共和国劳动合同法》及相关规定，用人单位与劳动者建立劳动关系后，应当依法为劳动者缴纳社会保险费，这包括养老保险、医疗保险、失业保险、工伤保险和生育保险（五险），以及住房公积金（一金，虽非严格意义上的社会保险，但通常与五险一同提及，且部分地区有强制性缴纳要求）。
- 如果劳动合同或单位规章制度中明确规定了单位需为劳动者缴纳五险一金，那么单位只恢复五险而不恢复一金的行为就违反了劳动合同或规章制度，是不合法的。
从地方性法规和政策的角度：
- 住房公积金的缴纳在不同地区可能有不同的规定和执行力度。有些地区可能将住房公积金的缴纳视为单位的法定义务，而有些地区则可能将其视为单位的福利，非强制缴纳。
- 因此，如果所在地区的地方性法规或政策未明确规定单位必须为劳动者缴纳住房公积金，那么单位只恢复五险而不恢复一金的行为可能不构成违法，但可能违反了劳动合同或单位内部的规章制度（如果规章制度中有此规定）。
从缓刑人员的特殊身份角度：
- 缓刑人员出狱后，其法律地位和权利应与其他劳动者相同，除非法律有特别规定。
- 因此，除非有特别法律规定缓刑人员不能享受住房公积金等福利待遇，否则单位应一视同仁，为缓刑人员恢复五险一金的缴纳。
建议：
- 与单位沟通：首先，建议退伍军人与单位进行沟通，了解单位为何只恢复五险而不恢复一金，并要求单位按照劳动合同或规章制度的规定恢复五险一金的缴纳。
- 咨询当地劳动部门：如果与单位沟通无果，可以咨询当地劳动部门或住房公积金管理中心，了解所在地区关于住房公积金缴纳的具体规定和政策，以及单位是否违反了相关规定。
- 寻求法律援助：如果认为单位的做法侵犯了自己的合法权益，可以寻求法律援助或咨询专业律师，了解自己的维权途径和方式。
后续行动：
- 在采取任何行动之前，建议退伍军人先收集好相关证据，如劳动合同、单位规章制度、工资单、社保缴纳记录等，以便在需要时证明自己的权益。
- 如果决定通过法律途径维权，应尽快行动，以免错过诉讼时效或其他法律救济期限。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。