结论：对方有权利起诉你，如果你冒充别人打电话骚扰他人，这侵犯了他人的人格权，对方可以通过法律途径来维护自己的合法权益。
法律背景与依据：
人格权保护：在我国法律体系中，人格权是受到严格保护的。这包括但不限于名誉权、隐私权等。冒充别人打电话骚扰他人，很可能侵犯了对方的名誉权或隐私权，因为这种行为可能对对方的名誉造成损害，或者侵犯了对方的私人生活安宁。
起诉条件：根据《中华人民共和国民事诉讼法》的规定，起诉必须满足一定条件，包括原告是与本案有直接利害关系的公民、有明确的被告、有具体的诉讼请求和事实、理由，以及案件属于人民法院受理民事诉讼的范围和受诉人民法院管辖。在冒充别人打电话骚扰的案件中，受害者作为原告，可以明确指出你为被告，提出具体的诉讼请求（如停止骚扰、赔偿精神损失等），并陈述相关事实和理由。
可能面临的法律后果：
民事赔偿：如果对方起诉你并胜诉，你可能需要承担民事赔偿责任，包括赔偿对方因你的骚扰行为所遭受的精神损失、名誉损失等。
行政处罚：除了民事赔偿外，你的行为还可能受到行政处罚。根据《中华人民共和国治安管理处罚法》的相关规定，冒充他人身份进行骚扰等行为，可能面临罚款、拘留等行政处罚。
刑事责任：在极端情况下，如果你的行为构成了犯罪（如侮辱罪、诽谤罪等），你还可能面临刑事责任的追究。
建议与行动：
停止骚扰行为：如果你已经意识到自己的行为不当，应立即停止冒充别人打电话骚扰他人的行为。
主动道歉与赔偿：考虑主动向受害者道歉，并协商赔偿事宜，以减轻可能的法律后果。
寻求法律帮助：如果你对法律程序或可能面临的法律后果有疑问，可以直接向我咨询，我会根据你的具体情况提供专业的法律意见和指导。
总结：冒充别人打电话骚扰他人是违法行为，不仅可能侵犯他人的人格权，还可能面临民事赔偿、行政处罚甚至刑事责任。因此，我建议你立即停止这种行为，并考虑主动向受害者道歉和赔偿。如果你有任何法律疑问或需要进一步的帮助，请随时向我咨询。