关于“联系不上行贿人很久才退回是否违法”的问题，结论是：是否违法不能一概而论，需结合具体情形判断，主要取决于行贿行为本身的性质、退回款项的时间节点以及是否存在其他违法情节等因素。以下从不同角度进行分析：
一、行贿行为本身的性质
若行贿行为已构成犯罪：
- 根据《中华人民共和国刑法》第三百八十九条，为谋取不正当利益，给予国家工作人员以财物的，是行贿罪。在此情形下，无论是否联系上行贿人，也无论何时退回款项，行贿行为本身已经违法，且可能面临刑事处罚。
- 退回款项的行为，可能被视为悔罪表现，在量刑时可能作为从轻或减轻处罚的情节考虑，但并不能改变行贿行为本身的违法性。
若行贿行为未构成犯罪：
- 如果行贿的财物数额较小，或者未达到行贿罪的立案标准，那么行贿行为可能仅构成一般违法行为，受到行政处罚，如罚款、没收财物等。
- 在此情形下，如果及时退回款项，且没有其他违法情节，可能不会受到进一步的法律追究。但若长时间未退回，且无法合理解释原因，可能被视为对违法所得的占有，从而面临更严重的法律后果。
二、退回款项的时间节点
及时退回：
- 如果在发现行贿行为后，立即采取措施退回款项，且没有造成任何损失或不良影响，那么这种行为可能被视为悔罪表现，有助于减轻或免除法律责任。
长时间未退回：
- 如果长时间无法联系上行贿人，且未采取积极措施退回款项，如通过法律途径寻求帮助、向相关部门报告等，那么这种行为可能被视为对违法所得的放任或占有，从而面临更严重的法律后果。
- 特别是当行贿行为已经构成犯罪时，长时间未退回款项可能被视为对犯罪所得的继续持有，从而加重刑事处罚。
三、是否存在其他违法情节
- 除了行贿行为本身和退回款项的时间节点外，是否存在其他违法情节也是判断是否违法的重要因素。例如，是否利用行贿行为谋取了不正当利益、是否对行贿对象进行了威胁或恐吓等。
- 如果存在其他违法情节，那么即使最终退回了款项，也可能面临更严重的法律后果。
法律建议
- 立即采取措施：如果发现自己涉及行贿行为，应立即采取措施退回款项，并尽可能收集相关证据证明自己的悔罪表现。
- 咨询专业律师：由于行贿行为涉及复杂的法律问题，建议咨询专业律师以获取更具体的法律建议。律师可以根据具体情况分析行为性质、法律后果及应对策略。
- 配合调查：如果相关部门已经介入调查，应积极配合调查工作，如实陈述事实，提供相关证据。
如有任何法律疑问或需要进一步的法律帮助，请直接向我咨询。我将根据您的具体情况，提供专业、全面的法律建议。