结论：对方应当就收取的诉讼费和执行费开具发票，但需分情况讨论诉讼费和执行费的性质及支付对象。以下是具体分析：

1. 诉讼费部分
   根据《诉讼费用交纳办法》第二十九条，诉讼费用由败诉方负担，胜诉方自愿承担的除外。若法院裁定由您承担对方已预交的诉讼费，该费用本质属于国家财政收入，由法院收取并开具财政票据（如《诉讼费专用票据》），而非由对方直接开具发票。但若对方已实际垫付诉讼费且法院未直接退还，而是由您向对方支付补偿款，此时对方需就其实际垫付的款项向您开具普通发票（因该款项属于其财产损失补偿，非财政收入）。

2. 执行费部分
   执行费是法院强制执行过程中产生的费用，由被执行人（即败诉方）承担。根据《诉讼费用交纳办法》第十条，执行费属于诉讼费用范畴，应由法院收取并开具财政票据。若对方通过法院执行程序从您处获得执行款，法院会直接从执行款中扣划执行费并开具票据，对方无需另行开具发票。但若对方未通过法院执行，而是与您私下达成执行和解并收取款项（如分期付款），此时对方需就其收到的款项开具普通发票（因该款项属于其财产权益的实现，需纳入税务管理）。

实务建议：

• 要求对方提供法院出具的诉讼费、执行费财政票据作为支付依据；
  
• 若对方无法提供财政票据且要求您直接支付，需签订书面协议明确款项性质，并要求对方开具普通发票；
  
• 若对方拒绝开具发票，可向税务机关举报或通过诉讼主张对方履行开票义务。
  

如有进一步疑问，欢迎继续向我咨询。