宅基地违法处罚权，具体到拆除权，主要由乡、镇人民政府，县级以上人民政府城乡规划主管部门，以及县级以上人民政府农业农村主管部门依据具体情形和法律规定行使。以下是对这一问题的详细分析：
一、拆除权的归属
乡、镇人民政府：
- 对于乡、村庄规划区内未依法取得乡村建设规划许可证或未按许可规定进行建设的宅基地违法建筑，乡、镇人民政府有权责令停止建设、限期改正；逾期不改正的，可实施拆除。这是基于《城乡规划法》及相关规定赋予的职权。
县级以上人民政府城乡规划主管部门：
- 在城市、镇规划区内，若宅基地所在区域属于此类且存在未取得建设工程规划许可证或未按许可规定进行建设的违法建筑，该部门有权责令停止建设，并视情况采取改正措施、罚款或拆除等措施。这是依据《城乡规划法》的规定。
县级以上人民政府农业农村主管部门：
- 依据《土地管理法》第七十八条，对于农村村民未经批准或骗取批准非法占用土地建住宅的，该部门有权责令退还非法占用的土地，并限期拆除在非法占用的土地上新建的房屋。
二、拆除程序
- 事先调查认定：相关行政主管部门需对违法建筑进行调查认定，确保其符合违法建筑的界定标准，如未取得建设工程规划许可证或未按照许可规定进行建设等。
- 责令拆除：行政主管部门会先向当事人发出责令拆除的通知，要求其在规定时间内自行拆除违法建筑。
- 强制执行：若当事人未在规定时间内自行拆除，行政主管部门有权依法申请法院强制执行，并确保执行过程符合法律程序，保障当事人的合法权益不受侵害。
三、当事人的权利与救济途径
- 陈述申辩权：当事人在接到责令拆除通知后，有权进行陈述和申辩，表达自己的意见和理由。
- 行政复议与诉讼：若对行政处罚决定不服，当事人可在规定期限内申请行政复议或向人民法院提起诉讼，通过法律途径维护自己的合法权益。
- 费用承担：若当事人期满不起诉又不自行拆除，由作出处罚决定的机关依法申请人民法院强制执行，相关费用由违法者承担。
举例说明：假设某村民在未取得乡村建设规划许可证的情况下，在宅基地上建造了房屋。乡、镇人民政府在发现后，会先进行调查认定，确认其属于违法建筑。然后，会向该村民发出责令拆除的通知，要求其在规定时间内自行拆除。若该村民未在规定时间内自行拆除，乡、镇人民政府有权依法申请法院强制执行。
在处理宅基地违法问题时，必须严格遵循法定程序，确保当事人的权益不受侵害。如果您在宅基地方面遇到任何法律问题，可以直接向我咨询，我会为您提供专业的法律建议。