结论：是否需要归还发票不能一概而论，需分情况讨论，具体如下：
若发票涉及的是您与付款方之间的交易或服务
根据《发票管理办法》及《民法典》合同编规定，发票是交易凭证，其开具对象应与实际交易主体一致。若发票以您的名义开具，但实际交易方（如购买方、服务接受方）是付款人，此时发票的归属需结合交易性质判断：
- 若您是名义上的交易方（如代持、挂名）：法律上您可能被认定为交易主体，需承担与发票相关的权利义务（如报税、抵扣等）。若付款人要求归还发票，您需配合；若拒绝，可能引发税务或合同纠纷。
- 若您与交易无关（如被冒用身份）：您无义务保留发票，且有权要求付款人停止使用您的名义开具发票。若因此产生税务风险（如被认定为虚开发票），您可向税务机关申诉或通过法律途径追究付款人责任。
若发票涉及的是付款方与第三方的交易，仅借用您的名义开具
根据《发票管理办法》第19条，开具发票应当按照规定的时限、顺序、栏目，全部联次一次性如实开具，并加盖发票专用章。任何单位和个人不得为他人、为自己开具与实际经营业务情况不符的发票。若发票内容与您的实际业务无关，属于“虚开发票”行为，可能面临税务处罚（如罚款、没收违法所得）。此时：
- 您应立即要求付款方收回发票并作废或红冲，避免被牵连；
- 若付款方拒绝，您可向税务机关举报，并保留证据（如聊天记录、交易记录）证明您未参与实际交易，以规避法律风险。
若发票涉及的是赠与、借款等非交易行为
- 赠与：若付款方将发票对应的财产（如商品、服务）赠与您，发票作为财产转移的凭证，通常归您所有，无需归还。
- 借款：若发票是借款的担保或凭证（如借款购买商品后将发票交给出借人），需根据借款合同约定处理。若无约定，发票的归属可能引发争议，建议通过协商或诉讼解决。
建议：
- 核实发票内容与您的实际业务是否一致，若不一致，立即联系付款方更正；
- 保留所有与发票相关的交易记录、沟通记录，以备后续维权；
- 若涉及税务风险或纠纷，及时咨询专业律师或税务机关。
如有进一步疑问，可直接向我咨询，我会结合具体细节为您分析。