违法建设强制拆除的主体主要是县级以上人民政府和人民法院。以下是对这一问题的详细分析：
一、法律依据
《中华人民共和国城乡规划法》第六十八条：城乡规划主管部门作出责令停止建设或者限期拆除的决定后，当事人不停止建设或者逾期不拆除的，建设工程所在地县级以上地方人民政府可以责成有关部门采取查封施工现场、强制拆除等措施。
《中华人民共和国土地管理法》第八十三条：依照本法规定，责令限期拆除在非法占用的土地上新建的建筑物和其他设施的，建设单位或者个人必须立即停止施工，自行拆除；对继续施工的，作出处罚决定的机关有权制止。建设单位或者个人对责令限期拆除的行政处罚决定不服的，可以在接到责令限期拆除决定之日起十五日内，向人民法院起诉；期满不起诉又不自行拆除的，由作出处罚决定的机关依法申请人民法院强制执行，费用由违法者承担。
《中华人民共和国行政强制法》第四十四条：对违法的建筑物、构筑物、设施等需要强制拆除的，应当由行政机关予以公告，限期当事人自行拆除。当事人在法定期限内不申请行政复议或者提起行政诉讼，又不拆除的，行政机关可以依法强制拆除。
二、执行机关
县级以上人民政府：在城乡规划领域，当违法建设行为发生且当事人不履行拆除义务时，县级以上人民政府有权责成相关部门（如城乡规划主管部门、城市管理综合执法部门等）进行强制拆除。
人民法院：在特定情况下，如当事人对行政处罚决定不服提起诉讼，且法院最终判决维持原处罚决定，而当事人仍不履行拆除义务时，作出处罚决定的机关可以依法申请人民法院强制执行。
三、强制拆除的程序
虽然用户未直接询问强制拆除的程序，但了解这一程序有助于更全面地理解违法建设强制拆除的主体及其职责。一般来说，违建强制拆除的程序包括以下几个步骤：
立案调查：相关部门对涉嫌违建的场所进行调查、核实，并对其性质、用途、时限等信息进行了解。
听证：听取当事人陈述意见，并邀请有关专家、群众代表出席现场，做出合理的决策。
拆除决定：根据听证结果，制定拆除方案，并依法发出拆除决定书，告知当事人。
执行：在当事人不履行拆除义务的情况下，由县级以上人民政府或人民法院依法进行强制拆除。
四、特殊情况下的责任主体
在乡、村庄规划区内，未依法取得乡村建设规划许可证或者未按照乡村建设规划许可证的规定进行建设的，由乡、镇人民政府负责处理，包括责令停止建设、限期改正以及拆除等措施。这也体现了在不同规划区域内，违法建设强制拆除的责任主体可能有所不同。
总结与建议：
违法建设强制拆除的主体主要是县级以上人民政府和人民法院，具体取决于违法建设的性质、地点以及当事人的行为。在处理违法建设问题时，建议当事人首先了解相关法律法规和政策要求，积极配合相关部门的调查和处理工作。如果当事人对行政处罚决定不服，可以依法申请行政复议或提起行政诉讼，以维护自己的合法权益。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。