可以起诉对方，对方的行为侵犯了你的名誉权。以下从法律角度为你详细分析：
一、法律依据
根据《中华人民共和国民法典》的相关规定，民事主体享有名誉权，任何组织或者个人不得以侮辱、诽谤等方式侵害他人的名誉权。名誉权是公民或法人保持并维护自己名誉的权利，是人格权的一种。当他人通过散布谣言的方式损害你的名誉时，即构成了对你名誉权的侵害。
二、起诉条件与证据收集
起诉条件：
- 对方实施了散布谣言的行为；
- 该行为导致你的名誉受损，造成了社会评价降低等后果；
- 散布谣言的行为与名誉受损之间存在因果关系；
- 对方存在过错。
证据收集：
- 直接证据：如聊天记录、录音录像等，能够直接证明对方散布了谣言；
- 间接证据：如证人证言、传播范围的证明等，能够辅助证明对方散布谣言的事实以及该行为对你名誉造成的影响；
- 损害后果证据：如因名誉受损导致的经济损失证明、精神损害证明等，用于证明你因对方行为遭受的实际损失。
三、起诉后的可能结果
民事责任：
- 若起诉成功，你可以要求对方承担停止侵害、消除影响、恢复名誉、赔礼道歉等民事责任；
- 若因对方行为遭受了经济损失或精神痛苦，你还可以主张相应的赔偿。
刑事责任（如情节严重）：
- 若对方的行为构成诽谤罪，即故意捏造并散布虚构的事实，足以贬损他人人格，破坏他人名誉，情节严重的行为，你可能还可以提起刑事自诉，要求对方承担刑事责任。但需要注意的是，诽谤罪需情节严重才构成犯罪，一般的诽谤行为通常只承担民事责任。
四、实际操作建议
- 及时收集证据：在发现对方散布谣言后，应尽快收集相关证据，以免证据灭失或难以取得；
- 咨询专业律师：虽然我能够为你提供专业的法律咨询，但在实际操作中，每个案件的具体情况都有所不同。因此，在起诉前，建议你进一步向我咨询，以便更准确地把握案件走向和诉讼策略；
- 明确诉求：在起诉时，应明确你的诉求，如要求对方停止侵权、消除影响、恢复名誉、赔礼道歉以及赔偿损失等；
- 注意诉讼时效：根据法律规定，向人民法院请求保护民事权利的诉讼时效期间通常为三年。因此，在发现对方侵权后，应及时行使权利，以免超过诉讼时效期间而丧失胜诉权。
案例参考：假设有人在网络上散布关于你的不实言论，导致你的社会评价降低，工作生活受到严重影响。此时，你可以收集相关证据（如网络截图、聊天记录等），并向法院提起民事诉讼，要求对方承担民事责任。若对方行为情节严重，构成诽谤罪，你还可以提起刑事自诉。
综上所述，当别人到处传你的谣言时，你有权起诉对方并维护自己的合法权益。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。