针对您提出的问题“借款人仅凭付给利息凭证，可以起诉我吗”，以下是我的详细解答：
首先，我们需要明确一个前提：当借款本金已经还清，但利息尚未支付时，贷款人（即您所提到的“借款人”的对应方，这里为表述清晰，我们沿用“贷款人”这一称谓）是有权依法向法院提起诉讼，要求借款人支付未付的利息的。但这一权利的行使，需要满足一定的条件，并且利息的约定也必须在法律保护的范围内。
一、起诉的基本条件
原告与本案有直接利害关系：贷款人必须是享有该利息债权的人，这通常基于借款合同或其他合法依据产生。如果贷款人能够证明这一点，那么他就具备了起诉的主体资格。
有明确的被告：贷款人需要清楚地向谁主张利息，即需要明确被告的身份，并提供其准确的个人信息，以便法院能够找到被告并送达相关法律文书。
有具体的诉讼请求和事实、理由：贷款人应明确提出要求借款人支付多少利息，以及这些利息是如何产生的，即需要提供具体的事实和法律依据，如借款合同的利率条款、借款期限等。
属于人民法院受理民事诉讼的范围和受诉人民法院管辖：民间借贷利息纠纷通常属于民事诉讼范围，贷款人应向有管辖权的法院提起诉讼，这通常根据被告住所地或合同履行地来确定。
二、利息的法律保护范围
在提起诉讼时，贷款人还需特别注意，双方约定的利息必须在法律保护的范围之内。根据相关法律规定，借贷双方约定的利息不得超过合同成立时一年期贷款市场报价利率的四倍。如果约定的利息超出了这个范围，那么超出部分的利息将不受法律保护，借款人可以拒绝支付。
三、关于您提到的“付给利息凭证”
如果借款人仅凭付给利息的凭证（如转账记录、收据等）来起诉您，这并不足以构成完整的证据链。因为这些凭证只能证明您曾经支付过利息，但不能证明您是否已经支付了全部利息，或者是否还存在未支付的利息。因此，贷款人（即起诉方）还需要提供其他证据来支持其主张，如借款合同、借据等，以证明双方之间存在借贷关系以及具体的利息约定。
四、您的应对策略
如果您被起诉，并且认为贷款人的主张不成立（例如，您认为已经支付了全部利息，或者约定的利息超出了法律保护范围），那么您应该积极准备证据来反驳贷款人的主张。这可能包括提供您自己的转账记录、收据、聊天记录等，以证明您已经支付了利息或者双方之间的利息约定是合法的。
五、法律后果
如果法院最终判决您需要支付未付的利息，并且您未按照判决履行支付义务，那么贷款人可以申请法院强制执行，以确保其合法权益得到保障。
综上所述，借款人（在这里更准确地应称为“贷款人”）仅凭付给利息的凭证是不足以起诉您的，他还需要提供其他证据来支持其主张。同时，您也应该了解自己的权利和义务，并在必要时积极准备证据来反驳不实的主张。