结论：

1. 造谣诽谤的刑罚：根据具体情节和所触犯罪名，造谣诽谤可能面临三年以下有期徒刑、拘役、管制或剥夺政治权利的刑事处罚；若构成编造、故意传播虚假信息罪，且造成严重后果的，刑罚可能更重，达到三年以上七年以下有期徒刑。
2. 对方称开玩笑的应对：若对方声称只是开玩笑，这并不构成免责理由。你可以收集证据，如聊天记录、录音、视频等，证明对方确实实施了造谣诽谤行为，并向公安机关报案或向法院提起诉讼。

详细分析：

1. 造谣诽谤的刑罚

   • 诽谤罪：

     • 根据《中华人民共和国刑法》第二百四十六条，以暴力或者其他方法公然侮辱他人或者捏造事实诽谤他人，情节严重的，处三年以下有期徒刑、拘役、管制或者剥夺政治权利。此罪名通常需被害人告诉才处理，但严重危害社会秩序和国家利益的除外。通过网络实施的，若被害人提供证据困难，法院可要求公安机关协助。
     • 情节考量：法院在确定是否构成诽谤罪及具体刑罚时，会综合考虑诽谤手段、情节恶劣程度、造成的危害后果及行为人主观恶性等因素。例如，通过信息网络公然侮辱或捏造事实诽谤，且被转发次数达五百次以上或被点击、浏览次数达五千次以上，可能被视为“情节严重”。

   • 编造、故意传播虚假信息罪：

     • 根据《中华人民共和国刑法》第二百九十一条之一，编造虚假的险情、疫情、灾情、警情，在信息网络或者其他媒体上传播，或者明知是上述虚假信息，故意在信息网络或者其他媒体上传播，严重扰乱社会秩序的，处三年以下有期徒刑、拘役或者管制；造成严重后果的，处三年以上七年以下有期徒刑。

2. 对方称开玩笑的应对

   • 法律不认可开玩笑作为免责理由：即使对方声称只是开玩笑，这并不构成免责的理由。法律关注的是行为本身是否构成违法或犯罪，而不是行为人的主观意图或辩解。
   • 收集证据：为了证明对方确实实施了造谣诽谤行为，你需要收集相关证据。这些证据可以包括聊天记录、录音、视频、证人证言等，能够证明对方散布了虚假信息，且该信息对你造成了损害。
   • 报案或起诉：在收集到足够证据后，你可以向公安机关报案，要求追究对方的刑事责任；或者向法院提起诉讼，要求对方承担民事责任，如停止侵害、恢复名誉、消除影响、赔礼道歉及赔偿损失等。

总结与建议：

造谣诽谤行为可能面临严重的法律后果，包括刑事处罚、行政处罚及民事责任。若你遇到类似情况，不要轻信对方的辩解，如“只是开玩笑”等，而应积极收集证据，维护自己的合法权益。如果你有任何疑问或需要进一步的法律帮助，请随时向我咨询，我会根据你的具体情况提供详细的法律建议。