结论：针对有人到处散布您曾经吸毒的言论，若该言论不属实，您确实有权采取法律手段维护自己的名誉权，具体可以通过提起民事诉讼或刑事自诉（若符合诽谤罪构成要件）的方式来进行。

详细分析：

1. 名誉权保护：

   • 根据《中华人民共和国民法典》的相关规定，公民享有名誉权，任何组织或者个人不得以侮辱、诽谤等方式侵害他人的名誉权。若有人散布不实言论，损害您的名誉，您有权要求侵权人停止侵害、恢复名誉、消除影响、赔礼道歉，并可以要求赔偿损失。
   • 在此情况下，您可以收集相关证据，如散布言论的截图、录音、证人证言等，以证明侵权行为的存在和损害后果。然后，您可以向法院提起民事诉讼，要求侵权人承担相应的民事责任。

2. 诽谤罪的刑事自诉：

   • 如果散布的言论严重到构成诽谤罪，即捏造事实诽谤他人，情节严重的，您还可以考虑向法院提起刑事自诉。根据《中华人民共和国刑法》的相关规定，诽谤罪可处三年以下有期徒刑、拘役、管制或者剥夺政治权利。
   • 要构成诽谤罪，需要满足一定的条件，如捏造事实、散布捏造的事实、情节严重等。因此，在决定提起刑事自诉前，您需要仔细评估证据是否充分、情节是否严重等因素。

3. 实际操作建议：

   • 收集证据：首先，您需要收集足够的证据来证明有人散布了不实言论，并且这些言论已经对您的名誉造成了损害。证据可以包括书面材料、电子数据、证人证言等。
   • 咨询律师：在采取任何法律行动之前，建议您咨询专业律师，以了解您的权利和可能的法律途径。律师可以根据您的具体情况，为您提供更详细的法律建议和指导。
   • 考虑和解：在某些情况下，和解可能是一个更快速、更经济的解决方案。您可以考虑与侵权人进行协商，寻求和解的可能性。当然，这取决于您的个人意愿和侵权人的态度。

后续行动建议：

• 如果您决定采取法律行动，请尽快行动，以免证据灭失或时效过期。
• 在整个过程中，保持冷静和理性，避免采取过激行为或发表过激言论，以免进一步损害您的名誉。
• 记住，法律是维护您权益的有力工具，但也需要合理、合法地使用。

如有任何进一步的问题或需要进一步的法律帮助，请随时向我咨询。