结论：你打电话骂对方的行为，可能构成对对方人格权的侵犯，是否违法需视具体情况而定。以下从多个角度为你详细分析：
一、法律背景与人格权保护
根据《中华人民共和国民法典》中关于人格权的规定，每个人都享有名誉权、荣誉权等人格权利，这些权利受到法律的保护。当一个人的名誉、荣誉等受到他人侮辱、诽谤等侵害时，受害人有权要求侵权人承担相应的法律责任。
二、骂人行为的法律性质
一般情况：
- 骂人行为，如果情节轻微，通常被视为道德层面的问题，可能受到社会舆论的谴责，但不一定构成法律上的违法行为。
- 然而，如果骂人行为严重到足以损害他人的名誉、荣誉等人格权利，就可能构成侵权，需要承担法律责任。
具体情境分析：
- 在你描述的情况中，对方先骂你，这本身是不恰当的行为，但并不能成为你骂回对方的合法理由。
- 你打电话骂对方，如果使用了侮辱性、诽谤性的语言，且这些语言足以损害对方的名誉、荣誉等人格权利，那么你的行为就可能构成侵权。
三、可能的法律后果
民事责任：
- 如果对方认为你的骂人行为侵犯了其人格权，可以向法院提起民事诉讼，要求你承担停止侵害、赔礼道歉、赔偿损失等民事责任。
行政责任：
- 在某些情况下，如果骂人行为情节严重，违反了《中华人民共和国治安管理处罚法》的相关规定，公安机关可以对你进行行政处罚，如警告、罚款或拘留等。
刑事责任：
- 在极端情况下，如果骂人行为构成侮辱罪或诽谤罪等刑事犯罪，且情节严重，你可能需要承担刑事责任。不过，这种情况通常要求骂人行为具有公然性、严重性，且对受害人的社会评价造成了显著降低。
四、建议与措施
避免冲突升级：
- 在面对冲突时，建议保持冷静和理性，避免采取过激行为或言语攻击对方。
寻求合法途径解决：
- 如果对方的行为确实侵犯了你的权益，你可以通过合法途径来维护自己的权益，如向相关部门投诉、寻求法律援助或提起诉讼等。
增强法律意识：
- 了解并遵守相关法律法规，尊重他人的人格权利，是每个公民应尽的义务。通过增强法律意识，可以更好地保护自己和他人的合法权益。
如果你在处理此类问题时遇到任何疑问或需要进一步的法律帮助，可以直接向我咨询。我会根据你的具体情况，为你提供专业、全面的法律建议。