遭遇上门被打却缺乏直接证据时，确实会给维权带来一定困难，但并非完全无法处理。以下是具体分析和建议：

1. 立即报警并固定证据
   即使没有直接证据（如监控录像、目击证人等），第一时间报警仍是关键步骤。警方到场后会制作《受案登记表》、询问笔录，这些材料能证明事件发生的时间、地点及基本经过。若您有伤情，务必要求警方开具《验伤通知书》，及时到指定医院进行伤情鉴定（轻微伤可追究治安责任，轻伤以上可启动刑事程序）。

2. 收集间接证据链
   证据形式不限于直接目击，可通过以下方式补充：

   • 物证：保留被打时的衣物（如有破损、血迹）、现场遗留物品（如对方遗落的工具、衣物碎片）；
     
   • 电子证据：若您或邻居家有智能设备（如智能门铃、摄像头），即使未直接拍到打人过程，也可能记录到对方来去时间、异常声响；手机录音功能若在事发时开启（需注意合法性，避免侵犯他人隐私），可能录到争吵或打斗声；
     
   • 证人证言：联系邻居、物业工作人员，询问是否听到异常动静或看到可疑人员，即使未亲眼看到打人，他们的陈述也能佐证事件发生；
     
   • 医疗记录：就诊时的病历、诊断证明、用药清单等，能证明伤情与事件的关联性。

3. 申请警方调取证据
   若您怀疑对方有监控或周边有公共摄像头（如小区、街道），可要求警方调取。根据《公安机关办理行政案件程序规定》，警方有权依法调取证据，若因客观原因无法调取，会出具《情况说明》，这也能作为后续维权依据。

4. 通过法律程序推动调查

   • 治安案件：若伤情未达轻伤，警方会按《治安管理处罚法》处理，您可要求警方出具《行政处罚决定书》，明确对方违法行为；
     
   • 刑事案件：若伤情达轻伤及以上，警方应立案侦查。若警方未立案，您可向其上级机关或检察院申请立案监督；
     
   • 民事赔偿：无论是否构成刑事案件，您均可向法院提起民事诉讼，要求对方赔偿医疗费、误工费等损失。诉讼中，法院会综合所有证据（包括您收集的间接证据）认定事实。

5. 注意事项

   • 避免私下和解：在证据不足时，对方可能否认打人事实，私下和解可能丧失后续维权机会；
     
   • 不主动激化矛盾：若对方再次上门，避免冲突，立即报警并保留现场证据；
     
   • 及时咨询专业律师：虽然我无法直接代理案件，但您可以向我详细描述事件经过（如对方身份、打人原因、现场细节等），我会结合具体证据情况，为您分析维权路径和风险点。

总结：没有直接证据不等于无法维权，关键是通过报警、收集间接证据、申请调取证据等方式，构建完整的证据链。法律程序本身会推动调查，即使最终无法追究刑事责任，也可能通过治安处罚或民事赔偿获得救济。