是否撤诉应由你自己决定，他人（包括对方家人和你的家人）的意见只能作为参考，不能直接决定你的诉讼行为。以下从不同角度为你分析：

从法律程序角度

1. 起诉是你的权利：你向法院提起诉讼，是基于你认为自己的合法权益受到了侵害，希望通过法律途径来维护自身权益。在诉讼过程中，你作为原告，有权自主决定是否继续进行诉讼，这是法律赋予你的诉讼权利，他人无权干涉。
2. 撤诉的条件和程序：如果你想要撤诉，需要向法院提交撤诉申请，并且撤诉需要符合一定的条件。一般来说，在法院宣判前，原告可以申请撤诉，但是否准许由法院裁定。如果法院认为撤诉可能会损害国家利益、社会公共利益或者他人合法权益的，可能不会准许撤诉。

从应对对方家人骚扰角度

1. 明确拒绝并保留证据：对方家人一直去家里找你，这可能已经构成了对你的正常生活的干扰。你可以明确地告知他们，你的诉讼行为是合法的，并且要求他们停止这种骚扰行为。同时，要注意保留相关的证据，比如录音、录像、证人证言等，以备不时之需。
2. 寻求警方帮助：如果对方家人的骚扰行为严重影响了你的正常生活，甚至对你的人身安全造成了威胁，你可以及时向公安机关报案，要求警方介入处理。警方会根据具体情况，对对方家人进行警告、训诫或者采取其他相应的措施。

从与家人沟通角度

1. 耐心解释：你的家人让你撤诉，可能是出于对你的关心，担心诉讼会给你带来不必要的麻烦或者损失。你可以耐心地向他们解释你起诉的原因和目的，让他们了解你的想法和立场，争取他们的理解和支持。
2. 分析利弊：你也可以和家人一起分析继续诉讼和撤诉的利弊，让他们了解诉讼可能带来的结果和影响。比如，如果继续诉讼，你有可能会获得胜诉判决，从而维护自己的合法权益；但如果撤诉，可能会失去一次通过法律途径解决问题的机会。

从诉讼风险和成本角度

1. 评估诉讼风险：在决定是否撤诉之前，你需要对诉讼风险进行全面的评估。比如，你要考虑证据是否充分、对方的抗辩理由是否合理等因素，判断自己获得胜诉的可能性有多大。如果诉讼风险较大，你可以考虑与对方进行和解或者撤诉；但如果诉讼风险较小，你有较大的把握获得胜诉，那么继续诉讼可能是一个更好的选择。
2. 考虑诉讼成本：诉讼需要花费一定的时间、精力和费用，包括律师费、诉讼费、鉴定费等。你需要考虑自己是否有足够的经济能力和精力来承担这些成本。如果诉讼成本过高，超出了你的承受能力，你可以考虑与对方协商解决或者撤诉；但如果诉讼成本在你的承受范围之内，并且你认为通过诉讼可以获得较大的利益，那么继续诉讼可能是值得的。

如果你在处理这个问题过程中还有其他疑问，比如如何撰写撤诉申请、如何应对对方家人的进一步骚扰等，都可以直接向我咨询。