结论：受贿借款退还是否违纪，需根据具体情况判断，若借款行为本身构成受贿，则退还并不改变违纪性质；若借款行为不构成受贿，但存在其他违纪情形，则退还可能减轻或消除部分违纪责任。以下从不同角度详细分析：
一、若借款行为本身构成受贿
受贿的认定：
- 受贿通常指国家工作人员利用职务上的便利，索取他人财物，或者非法收受他人财物，为他人谋取利益的行为。
- 若借款行为实质上是国家工作人员利用职务之便，以借款为名收受他人财物，且未打算归还或实际上未归还，则可能构成受贿。
退还的影响：
- 即使国家工作人员在事后退还了借款，但如果借款行为本身已经构成了受贿，那么退还并不改变其违纪的性质。
- 退还可能作为量刑时的考虑因素，但不影响受贿行为的定性。
法律后果：
- 根据《中华人民共和国刑法》的相关规定，受贿罪可处三年以下有期徒刑或者拘役，并处罚金；数额巨大或者有其他严重情节的，处三年以上十年以下有期徒刑，并处罚金或者没收财产；数额特别巨大或者有其他特别严重情节的，处十年以上有期徒刑或者无期徒刑，并处罚金或者没收财产。
二、若借款行为不构成受贿，但存在其他违纪情形
其他违纪情形的认定：
- 即使借款行为不构成受贿，但如果国家工作人员在借款过程中存在利用职务之便为他人谋取利益、违反廉洁纪律等行为，仍可能构成违纪。
- 例如，国家工作人员以明显低于市场的价格向管理服务对象借款，或者借款后长期不还且无正当理由，可能构成违反廉洁纪律的行为。
退还的影响：
- 在这种情况下，退还借款可能表明国家工作人员有改正错误的意愿，有助于减轻或消除部分违纪责任。
- 但具体是否减轻或消除责任，还需根据违纪情节的严重程度、退还的及时性等因素综合判断。
法律后果：
- 根据《中国共产党纪律处分条例》等相关规定，违反廉洁纪律的行为可能受到警告、严重警告、撤销党内职务、留党察看或开除党籍等处分。
- 退还借款可能作为量纪时的考虑因素，有助于减轻处分。
三、特殊情况分析
借款与受贿的界限：
- 借款与受贿的界限在于是否存在利用职务之便为他人谋取利益的行为，以及借款是否打算归还或实际上是否归还。
- 如果借款行为纯粹是基于个人关系，且没有利用职务之便为他人谋取利益，同时借款人有归还的意愿和实际行动，则通常不构成受贿。
退还的及时性：
- 退还的及时性也是判断违纪性质的重要因素之一。如果国家工作人员在发现借款行为可能构成违纪后，立即退还了借款，且没有造成不良后果，那么其违纪性质可能相对较轻。
建议：
- 对于国家工作人员而言，应严格遵守廉洁纪律，避免利用职务之便进行借款等可能构成违纪的行为。
- 如果确实需要借款，应确保借款行为合法合规，避免与职务行为产生关联，并及时归还借款。
- 如果发现自己的借款行为可能构成违纪或受贿，应立即向相关部门报告并退还借款，以减轻或消除可能的法律后果。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。