结论：在已经偿还24万利息的情况下，是否还需要偿还那20万本金，需视具体情况而定，但上门骚扰和恐吓的行为是违法的，你可以采取法律手段维护自己的权益。
详细分析：
关于本金偿还问题：
- 利息合法性：首先，需要确认你偿还的24万利息是否合法。根据《最高人民法院关于审理民间借贷案件适用法律若干问题的规定》，民间借贷的利率有上限，即合同成立时一年期贷款市场报价利率的四倍。如果你们约定的利率超过了这个上限，那么超过部分的利息是不受法律保护的，你有权要求返还或抵扣本金。
- 本金偿还义务：在确认利息合法性的基础上，如果你已经偿还的利息未超过法定上限，且没有其他特殊约定（如提前还款、部分还款等），那么你仍然有义务偿还剩余的20万本金。但如果已经偿还的利息中包含了超过法定上限的部分，这部分应视为对本金的偿还，你需要根据实际情况计算剩余本金。
关于上门骚扰和恐吓问题：
- 违法行为：无论你是否还有偿还本金的义务，对方上门骚扰和恐吓的行为都是违法的。这种行为侵犯了你的合法权益，包括人身安全和隐私权等。
- 法律手段：你可以立即报警，让警方介入处理。同时，你也可以考虑向法院提起诉讼，要求对方停止侵害、赔礼道歉，并可能要求赔偿因此造成的损失。
建议行动：
- 收集证据：保留所有与借款和还款相关的证据，包括借款合同、还款记录、聊天记录、短信、录音等。这些证据将有助于你证明自己的还款情况，以及对方的不当行为。
- 咨询专业意见：虽然我已经给出了一些基本的法律分析，但具体情况可能因地区和具体案情而有所不同。因此，我建议你进一步咨询专业律师，以便获得更具体、更准确的法律意见。
- 采取法律行动：如果对方继续骚扰和恐吓你，或者你认为自己的权益受到了严重侵害，不要犹豫，立即采取法律行动保护自己。
可能后果：
- 如果你能够证明已经偿还的利息超过了法定上限，并且这部分利息被视为对本金的偿还，那么你可能只需要偿还剩余的本金部分。
- 如果对方因上门骚扰和恐吓行为被警方处理或法院判决承担责任，他们可能需要向你赔礼道歉、赔偿损失，甚至可能面临刑事处罚。
总之，面对这种情况，你需要保持冷静，收集证据，咨询专业意见，并采取适当的法律行动来保护自己的权益。如果你有任何疑问或需要进一步的帮助，请随时向我咨询。