结论：逾期还款完成后是否可以开发票，需根据还款性质及合同约定分情况判断。以下是具体分析：

1. 若逾期还款属于借款本金或利息偿还
   根据《发票管理办法》第十九条，销售商品、提供服务或从事其他经营活动的单位/个人，对外发生经营业务收取款项时，应向付款方开具发票。但借款行为（如个人间借贷、银行贷款）本身不属于增值税应税范围，即使逾期还款，出借方通常无需开具发票。
   例外情形：若出借方为金融机构（如银行），其收取的利息可能涉及增值税，需按“金融服务”税目开具发票；但逾期产生的罚息是否属于应税范围，需结合具体税法规定及合同条款判断。

2. 若逾期还款涉及商品或服务交易的对价支付
   例如，买卖合同中买方逾期支付货款，或服务合同中客户逾期支付服务费，此时还款属于原合同价款的组成部分。根据《增值税暂行条例》第六条，销售方在收到款项时有义务开具发票，无论是否逾期，均应按实际交易内容开具。
   注意：若合同明确约定逾期付款需支付违约金或滞纳金，该部分金额若属于价外费用（如与商品/服务直接相关），销售方也需一并开具发票；若属于惩罚性赔偿（如单纯因违约产生的罚款），则通常无需开具发票。

3. 合同约定优先原则
   若双方在合同中明确约定“逾期还款不开发票”或“逾期部分需额外开具发票”，该条款在不违反法律强制性规定的前提下有效。但需注意：

   • 约定不得规避纳税义务（如以“违约金”名义逃避增值税）；
     
   • 若约定模糊，可能引发纠纷，此时需结合交易实质判断。

建议行动：

• 若您是付款方，可要求对方根据还款性质提供发票或书面说明无法开具的原因；
  
• 若您是收款方，建议根据税法规定及合同约定判断是否需开具发票，避免税务风险；
  
• 如有争议，可整理合同、还款记录等证据，进一步向我咨询具体解决方案。