针对你提出的问题，我们首先明确一点：无论前任最初是否表示这4万元不用还，他后来要求偿还并上门讨债的行为，都涉及到了你们之间的债权债务关系以及可能存在的骚扰问题。下面我将从两个角度为你提供建议：
债权债务关系：
- 法律认定：即使前任最初表示这笔钱不用还，但如果他后来改变了主意并要求偿还，且你们之间没有明确的书面协议表明这笔钱是无需偿还的，那么从法律上来看，这仍然是一笔债务。你需要根据双方的约定或者法律规定来履行还款义务。
- 还款协商：如果你确实欠付这笔钱，建议与前任进行协商，明确还款金额、方式和期限。如果双方能够达成一致，可以签订书面协议，以避免后续的纠纷。
- 法律救济：如果前任的讨债行为过于激烈或不合理，你可以考虑通过法律途径来维护自己的权益，比如报警或寻求法律援助。
骚扰问题：
- 定义骚扰：如果前任的上门讨债行为涉及到了言语威胁、恐吓、侮辱或者频繁打扰你的正常生活，那么这可能构成骚扰。
- 应对措施：首先，你可以尝试与前任进行沟通，明确表达你的不满和拒绝骚扰的立场。如果沟通无果，你可以考虑报警或者向法院提起诉讼，要求前任停止骚扰行为。
- 证据收集：在应对骚扰问题的过程中，务必注意收集证据，比如聊天记录、录音、视频等，以便在需要时提供证明。
综上所述，你需要根据具体情况来判断和处理这个问题。如果前任的讨债行为合理且你确实欠付债务，那么建议协商还款；如果前任的行为构成了骚扰或者不合理讨债，那么你可以采取法律措施来维护自己的权益。在任何情况下，都建议保持冷静和理性，避免冲突和不必要的麻烦。如果你有任何进一步的法律问题或需要更详细的建议，可以直接向我咨询。