当初劳务给办理的失业金两年后让退回，劳务是否有责任，需具体情况具体分析。以下是根据不同情况给出的分析：

1. 如果劳务公司存在欺诈或误导行为：

   • 劳务公司在办理失业金过程中，如果故意提供虚假信息、隐瞒真相或误导劳动者，导致劳动者错误地领取了失业金，并在两年后被告知需要退回，那么劳务公司应当承担相应的责任。这种情况下，劳动者可以依法向劳务公司主张赔偿或追偿。

2. 如果劳务公司按照正规程序办理：

   • 劳务公司在办理失业金时，如果严格按照相关法律法规和政策要求，提供了真实的劳动关系和失业情况证明，且没有故意或过失导致劳动者错误领取失业金，那么劳务公司在两年后要求退回失业金的情况下，通常不需要承担责任。此时，劳动者应当自行承担退回失业金的责任。

3. 如果劳务公司存在管理不善或疏忽：

   • 劳务公司在管理劳动者资料、办理失业金手续等方面存在疏忽或管理不善，导致劳动者在不知情或误解的情况下领取了失业金，并在两年后被告知需要退回，那么劳务公司可能需要根据其过错程度承担相应的责任。这种情况下，劳动者可以与劳务公司协商解决赔偿或追偿问题。

总之，劳务公司是否有责任取决于其在办理失业金过程中的行为是否合法、合规以及是否存在过错。如果劳务公司存在欺诈、误导或管理不善等行为，那么其应当承担相应的责任。如果劳务公司按照正规程序办理且没有过错，那么其通常不需要承担责任。如有具体疑问或需要进一步的法律帮助，请直接向我咨询。