结论：在您描述的情况下，发票在您手里且对方有付款人签名，付款人通常应认定为签名方，但具体还需结合交易背景、合同约定及实际付款情况综合判断。以下从不同角度为您详细分析：

1. 从发票与付款的关系角度：

   • 发票是交易活动的直接证据，通常由收款方开具给付款方，作为交易和付款的凭证。在您持有发票的情况下，这初步表明您可能是收款方或至少与收款行为有关联。
   • 付款人签名则直接指向了谁实际承担了付款责任。如果签名是对方（即您所称的“对方”）在发票或相关付款凭证上的，那么在没有其他相反证据的情况下，可以合理推断该对方为付款人。

2. 从合同约定的角度：

   • 如果交易双方有签订书面合同，合同中通常会明确约定付款方和收款方的身份，以及付款的具体方式和时间等。在这种情况下，付款人的身份应首先以合同约定为准。
   • 如果合同中没有明确约定，或者约定不明确，那么就需要结合交易习惯、行业惯例以及双方的实际行为来综合判断。

3. 从实际付款情况的角度：

   • 除了发票和签名外，实际付款情况也是判断付款人的重要依据。例如，如果款项是从某个银行账户转出的，那么该账户的所有者或使用者就很可能是付款人。
   • 如果存在多笔交易或多次付款，还需要考虑每次付款的具体情况，以及是否存在代付、共付等特殊情形。

4. 特殊情况考虑：

   • 如果签名是伪造的或存在其他欺诈行为，那么付款人的身份就需要通过法律程序来进一步查明和确认。
   • 如果交易涉及第三方（如代理人、担保人等），那么还需要考虑第三方的角色和责任，以及他们与付款人之间的关系。

法律建议：

• 在处理此类问题时，建议您首先收集并整理所有相关证据，包括发票、付款凭证、合同、银行转账记录等。
• 如果可能的话，尝试与对方进行沟通协商，以明确付款人的身份和付款责任。
• 如果协商无果或存在争议，您可以考虑通过法律途径来解决，如向法院提起诉讼或申请仲裁等。

可能后果：

• 如果最终确认对方为付款人但对方拒不付款，您有权要求对方履行付款义务，并可能要求对方承担违约责任（如支付违约金、赔偿损失等）。
• 如果对方否认自己是付款人或存在其他争议，那么案件可能会进入法律程序进行审理和判决。在这种情况下，您需要积极配合法院或仲裁机构的调查和审理工作，并提供充分的证据来支持自己的主张。