结论：对方骂你并不一定直接构成违法犯罪，但具体是否违法需根据骂人的情节、方式、场合及造成的后果等因素综合判断。
分析说明：
情节轻微的言语冲突：
- 如果对方在情绪激动的情况下，使用了一些不太文明的语言表达对你的不满，但这些言辞并未涉及严重侮辱或诽谤，且未造成你名誉的实质性损害，那么这种行为通常被视为道德和民事纠纷范畴，不构成违法犯罪。例如，对方说“你怎么这么不讲信用，欠钱不还”，虽然言辞激烈，但并未直接侮辱你的人格。
可能构成违法犯罪的情况：
- 侮辱罪：如果对方使用了严重侮辱性的语言，如公然辱骂你是“骗子”、“无赖”等，且以贬低、损害你的人格尊严为目的，并在公开场合或向多人传播，那么这种行为可能构成侮辱罪。根据《中华人民共和国刑法》第二百四十六条，此类行为情节严重的，可处三年以下有期徒刑、拘役、管制或剥夺政治权利。
- 诽谤罪：如果对方编造虚假事实并散布，对你的名誉造成严重损害，如无中生有地说你偷钱不还并向周围人传播，那么这种行为可能构成诽谤罪。同样依据《中华人民共和国刑法》第二百四十六条进行处罚。
- 违反治安管理处罚法：如果对方的骂人行为引起肢体冲突或扰乱公共秩序，如在公共场所大声辱骂导致围观，影响公共秩序，那么这种行为可能违反《中华人民共和国治安管理处罚法》第四十二条，面临五日以下拘留或五百元以下罚款的处罚；情节较重的，处五日以上十日以下拘留，并可并处五百元以下罚款。
行动建议：
- 保持冷静与理智：在面对对方的辱骂时，务必保持冷静和理智，避免采取过激行为或回骂，以免加剧矛盾或引发不必要的法律风险。
- 收集证据：如果对方的辱骂行为对你造成了实质性损害或影响，建议收集相关证据，如录音、录像、证人证言等，以便在需要时维护自己的合法权益。
- 寻求法律帮助：如果对方的辱骂行为构成违法犯罪或对你造成了严重损害，你可以向公安机关报案或向人民法院提起诉讼，要求对方承担相应的法律责任。
法律背景：
- 《中华人民共和国刑法》第二百四十六条：以暴力或者其他方法公然侮辱他人或者捏造事实诽谤他人，情节严重的，处三年以下有期徒刑、拘役、管制或者剥夺政治权利。该罪行通常需要被害人告诉才处理，但严重危害社会秩序和国家利益的除外。通过网络实施此类行为的，若被害人提供证据困难，法院可要求公安机关协助。
- 《中华人民共和国治安管理处罚法》第四十二条：有下列行为之一的，处五日以下拘留或者五百元以下罚款；情节较重的，处五日以上十日以下拘留，可以并处五百元以下罚款：（二）公然侮辱他人或者捏造事实诽谤他人的。
如有更多疑问或需要进一步的法律帮助，请直接向我咨询。