关于廉洁证明的开具部门，这主要取决于您的具体需求和开具证明的用途，但通常来说，廉洁证明并非由劳动或工伤相关部门直接开具，而是与您的个人行为记录、工作表现或政治面貌等相关的部门出具。不过，针对您从单位出来已经待业好几年的情况，我可以从几个可能的角度来分析：
原工作单位：
- 如果您需要证明在原工作单位期间没有违反廉洁纪律的行为，理论上可以尝试联系原工作单位的人事部门或纪检监察部门。他们可能根据您的在职表现和单位记录，为您出具一份相关的证明。但需要注意的是，由于您已经离职多年，单位可能不再保留完整的个人记录，或者出具证明的意愿可能不高。
居住地社区或居委会：
- 对于待业期间的廉洁表现，您可以考虑联系居住地的社区或居委会。他们可能根据您在社区内的表现、参与的活动以及邻居的反馈，为您出具一份关于个人品德和廉洁方面的证明。这种证明虽然不直接涉及工作，但能反映您在社会生活中的表现。
公安机关：
- 如果您需要证明自己没有违法犯罪记录，包括与廉洁相关的违法犯罪行为，您可以向当地的公安机关申请出具无犯罪记录证明。这份证明将明确列出您是否有犯罪记录，是证明个人廉洁的一种重要方式。
其他相关机构：
- 根据您的具体需求，还可能存在其他可以开具廉洁证明的机构。例如，如果您是党员，您的党组织可能能够出具关于您党性修养和廉洁自律方面的证明；如果您曾参与过某些社会公益活动或组织，这些组织也可能根据您的表现出具相关证明。
针对您的情况，我建议：
- 首先明确您需要廉洁证明的具体用途和要求，以便确定需要向哪个部门申请。
- 如果可能的话，先尝试联系原工作单位，了解他们是否愿意并能够出具相关证明。
- 如果原工作单位无法出具或您需要证明待业期间的廉洁表现，可以考虑联系居住地社区、居委会或公安机关。
- 根据您的具体情况，可能还需要咨询其他相关机构或部门。
最后，需要注意的是，廉洁证明的具体内容和格式可能因部门而异，且不同部门对出具证明的要求和流程也可能不同。因此，在申请前最好先了解清楚相关部门的具体要求和流程，以便顺利获得所需的证明。如果您在申请过程中遇到任何问题或需要进一步的法律帮助，请随时向我咨询。