针对“人员随便上门怎么处罚”这一问题，需结合具体场景和法律关系来分析，以下是不同情况下的核心结论及展开说明：

1. 若为行政机关工作人员未经法定程序上门执法
   根据《行政处罚法》第37条、第55条，行政机关调查或检查时，执法人员不得少于两人，并应出示执法证件。若未履行法定程序（如未出示证件、未说明来意、未依法告知权利义务），属于程序违法。
   处罚方式：

   • 当事人可拒绝配合，并向上级机关或纪委监委投诉；
     
   • 若因此导致行政处罚被撤销或确认违法，当事人可申请国家赔偿。

2. 若为普通人员（如邻居、推销人员）擅自闯入私人住宅
   根据《民法典》第1032条、第1033条，自然人享有隐私权和住宅安宁权，任何组织或个人不得非法侵入他人住宅。
   处罚方式：

   • 民事责任：可要求侵权人停止侵害、赔礼道歉、赔偿损失（如因闯入导致财物损坏）；
     
   • 行政责任：若闯入行为扰乱公共秩序（如强行闯入、纠缠滋事），可依据《治安管理处罚法》第40条，处5-10日拘留，并处200-500元罚款；情节较轻的，处5日以下拘留或500元以下罚款；
     
   • 刑事责任：若以暴力、胁迫等方式非法侵入住宅，可能构成《刑法》第245条的“非法侵入住宅罪”，处3年以下有期徒刑或拘役。

3. 若为催收人员未经允许上门
   根据《互联网金融逾期债务催收自律公约（试行）》第18条，催收人员不得骚扰债务人以外的其他人员，不得向债务人外的其他人员透露债务人负债、逾期、违约等个人信息。
   处罚方式：

   • 民事责任：可要求催收方停止侵权、赔偿精神损害；
     
   • 行政责任：若催收行为涉及骚扰、威胁（如频繁上门、辱骂），可依据《治安管理处罚法》第42条，处5日以下拘留或500元以下罚款；情节较重的，处5-10日拘留，可并处500元以下罚款；
     
   • 刑事责任：若催收行为涉及非法拘禁、故意伤害等，可能构成犯罪，需承担刑事责任。

建议行动：

• 保留证据（如录音、录像、证人证言）；
  
• 立即报警或向物业、社区反映；
  
• 若涉及行政机关，可要求其出示执法依据并记录人员信息；
  
• 若涉及民事侵权，可向法院起诉要求赔偿。
  

如有具体场景或细节需要进一步分析，可直接向我咨询。