纪委有权向你追款，但具体情形需结合实际情况判断。以下从不同角度为你详细分析：
一、从赃款性质角度分析
贪官所持有的款项若被认定为赃款，即其来源非法，如通过贪污、受贿等违法手段获取，那么这笔款项本身就不受法律保护。根据相关法律规定，赃款应当予以追缴，并返还给受害者或上缴国库。因此，如果纪委能够证明你手中的款项确实是贪官的赃款，那么他们有权要求你返还。
二、从借款合同效力角度分析
合同无效情形：
- 如果借款合同是在贪官利用职权或影响力，以非法手段迫使你签订，或者你明知是赃款而故意接受，那么这份借款合同可能被视为无效。在合同无效的情况下，你应当返还因合同取得的财产，即赃款。
合同有效情形：
- 如果你在不知情的情况下，与贪官签订了借款合同，并且合同内容合法、双方意思表示真实，那么这份借款合同在形式上可能是有效的。然而，由于款项来源非法，纪委仍可能要求你返还赃款部分。此时，你虽然可以主张借款合同的效力，但难以对抗赃款追缴的法律规定。
三、从实际操作角度分析
纪委的调查权：
- 纪委在调查贪官违法违纪行为时，有权对涉案财物进行查封、扣押、冻结等措施。如果纪委认为你手中的款项与贪官案件有关，他们可能会要求你配合调查，并返还相关款项。
你的配合义务：
- 作为公民，你有义务配合纪委的调查工作。如果纪委要求你返还赃款，你应当积极配合，避免因拒不配合而面临更严重的法律后果。
四、法律建议
主动说明情况：
- 如果你发现自己手中的款项可能是贪官的赃款，建议你主动向纪委或相关执法机关说明情况，并配合调查。这样可以减轻你的法律责任，并避免不必要的麻烦。
咨询专业律师：
- 在处理此类复杂法律问题时，建议你咨询专业律师的意见。律师可以根据你的具体情况，为你提供更详细、更专业的法律建议。不过，现在你就可以直接向我咨询，我会尽我所能为你提供帮助。
保留相关证据：
- 如果你认为借款合同是有效的，并且你确实不知情款项来源非法，那么建议你保留好相关证据，如借款合同、转账记录等。这些证据在后续的法律程序中可能起到关键作用。
案例参考：在实际操作中，曾有类似案例发生。某贪官将赃款借给亲友，后被纪委查实。纪委要求亲友返还赃款，并得到了法院的支持。因此，在处理此类问题时，务必谨慎对待。