结论：是否构成私闯民宅，需结合具体情况判断，主要看对方是否未经允许强行进入或再次进入，以及是否对居住安宁造成实质影响。以下从不同角度详细分析：

1. 私闯民宅的法律定义

根据《中华人民共和国刑法》第二百四十五条及《中华人民共和国民法典》第一千零三十二条，私闯民宅（非法侵入住宅罪/侵犯隐私权）需满足两个核心要件：

• 未经允许强行进入：包括首次进入时未经同意，或离开后未经允许再次进入；
• 干扰居住安宁：如威胁、骚扰、破坏财物等行为，导致居住者感到恐惧或无法正常使用住宅。

举例：若对方第一次打架后离开，随后未经你同意直接推门进入，即使未使用暴力，也可能构成非法侵入；若对方在门外辱骂但未进入，则一般不构成私闯民宅，但可能涉及其他侵权（如名誉权）。

2. “走了又回来”的具体情形分析

需区分以下两种情况：

• 情形一：离开后未经允许再次进入
  若对方第一次打架后离开，随后通过翻窗、撬锁等方式强行进入，或虽未破坏门锁但未经你明确同意进入（如你已明确拒绝其返回），则构成非法侵入住宅罪（刑事责任）或侵犯隐私权（民事责任）。
  法律依据：

  • 《刑法》第二百四十五条：非法侵入他人住宅的，处三年以下有期徒刑或拘役；
    
  • 《民法典》第一千零三十三条：除法律另有规定或权利人明确同意外，任何组织或个人不得进入他人住宅。

• 情形二：离开后经允许再次进入
  若对方第一次打架后离开，随后你主动允许其返回（如为协商赔偿），则对方行为合法，不构成私闯民宅。但若对方返回后再次实施暴力或威胁，则可能涉及其他犯罪（如故意伤害、寻衅滋事）。

3. 关键证据与维权建议

若对方行为涉嫌私闯民宅，建议立即采取以下措施：

• 固定证据：
  
  • 报警并要求出具《受案回执》，保留报警记录；
    
  • 安装监控或寻找目击证人，证明对方未经允许进入；
    
  • 保存对方威胁、辱骂的录音、短信等证据。
    
• 维权途径：
  
  • 刑事报案：若对方行为严重（如持凶器进入、多次侵入），可向公安机关控告其涉嫌非法侵入住宅罪；
    
  • 民事索赔：若对方行为未达刑事标准，可起诉要求其停止侵害、赔礼道歉、赔偿精神损失等。

4. 特殊情形提醒

• 共同居住人：若对方是房屋共有人（如配偶、子女），一般不构成私闯民宅，但可能涉及家庭暴力，可依据《反家庭暴力法》申请人身安全保护令；
  
• 租赁关系：若对方是租客，需看租赁合同是否约定“未经允许不得进入”，若有约定且对方违反，可依据合同维权。

总结：对方“走了又回来”是否构成私闯民宅，需结合其进入方式、是否经允许、是否干扰居住安宁等因素综合判断。建议立即固定证据并报警，若需进一步分析案情或制定维权策略，可直接向我咨询。