可以直接起诉骚扰自己的人，但具体是否构成可起诉的骚扰行为，需根据骚扰的性质和程度来判断。以下是从不同角度为你详细分析：

一、法律定义与构成要件

在法律上，骚扰行为通常指的是以言语、文字、图像、肢体行为等方式对他人进行的不愿意接受的侵扰，这种侵扰可能涉及侮辱、诽谤、威胁、恐吓等，且往往对受害者的生活、工作或学习造成负面影响。要构成可起诉的骚扰行为，一般需要满足以下几个构成要件：

1. 行为存在：确实存在骚扰行为，如频繁的电话、短信、邮件骚扰，或者在工作场所、公共场所的言语或肢体骚扰。
2. 主观故意：骚扰者具有故意骚扰的主观意图，即明知自己的行为会对受害者造成困扰或伤害，仍然实施。
3. 客观影响：骚扰行为对受害者的生活、工作或学习造成了实际的负面影响，如精神压力、工作效率下降、社交障碍等。

二、起诉的法律依据

在中国法律体系中，起诉骚扰行为主要依据的是《中华人民共和国民法典》中关于人格权保护的相关规定，特别是关于名誉权、隐私权、人身自由权等权益的保护。如果骚扰行为涉及侮辱、诽谤等，还可能触犯《中华人民共和国刑法》中关于侮辱罪、诽谤罪的规定。

三、起诉的流程与注意事项

1. 收集证据：在起诉前，你需要收集足够的证据来证明骚扰行为的存在和程度。这可能包括电话记录、短信、邮件、监控录像、证人证言等。
2. 咨询律师：虽然你可以直接起诉，但在起诉前咨询专业律师是非常重要的。律师可以帮助你评估案件的胜诉可能性，指导你如何收集证据，以及如何撰写起诉状等。
3. 提起诉讼：在准备好所有证据和起诉状后，你可以向有管辖权的人民法院提起诉讼。法院将依法审理案件，并根据事实和法律作出判决。
4. 注意事项：在起诉过程中，你需要保持冷静和理性，避免与骚扰者发生直接冲突。同时，你需要积极配合法院的审理工作，按时出庭、提供证据等。

四、可能面临的法律后果

如果法院认定骚扰行为成立，骚扰者可能需要承担以下法律后果：

1. 民事赔偿：骚扰者可能需要向你支付赔偿金，以补偿你因骚扰行为所遭受的损失。
2. 刑事处罚：如果骚扰行为构成犯罪，如侮辱罪、诽谤罪等，骚扰者可能面临刑事处罚，如有期徒刑、拘役或罚金等。

五、特殊情况下的处理

在某些特殊情况下，如骚扰行为发生在工作场所或涉及未成年人等，你可能还需要考虑向相关部门（如劳动监察部门、教育部门等）投诉或举报。这些部门可能会根据具体情况对骚扰者进行行政处罚或采取其他措施。

总结与建议：如果你正遭受骚扰行为的侵扰，且该行为已经对你的生活、工作或学习造成了负面影响，你可以考虑直接起诉骚扰者。但在起诉前，建议你先咨询专业律师，评估案件的胜诉可能性，并收集足够的证据来支持你的诉求。如果你有任何疑问或需要进一步的法律帮助，请随时向我咨询。