耕地违规建房，对直接负责的工作人员（如实施建房者、相关决策者等）的处罚主要依据我国土地管理法律法规进行，具体处罚措施如下：
行政处罚：
- 责令限期拆除：对于在耕地上新建的建筑物和其他设施，县级以上人民政府自然资源主管部门有权责令限期拆除，以恢复土地原状。这是针对非法占用耕地建房行为最直接的行政处罚措施。
- 罚款：对非法占用耕地的单位或个人，可以并处以罚款。罚款金额通常按照每平方米一定的标准计算（如100元至1000元不等），但具体数额需根据当地实际情况和法律规定确定。这一处罚旨在通过经济手段遏制非法占地行为。
- 没收违法所得：如果非法占地建房行为产生了违法所得，相关部门有权予以没收。这是针对非法获利行为的直接打击。
刑事责任追究：
- 若非法占用耕地数量较大或造成耕地大量毁坏，可能构成犯罪，需依法追究刑事责任。根据《中华人民共和国刑法》第三百四十二条的规定，非法占用农用地罪可处五年以下有期徒刑或者拘役，并处或者单处罚金。这一规定体现了对严重非法占地行为的严厉打击。
处罚流程：
- 立案调查：相关部门接到举报或发现违法行为后，会进行立案调查，收集证据材料，以确认违法事实。
- 告知听证权利：在作出行政处罚决定前，相关部门会告知当事人拟作出的处罚内容及事实、理由、依据，并告知其享有陈述、申辩和要求听证的权利。这是保障当事人合法权益的重要环节。
- 作出处罚决定：根据调查结果和相关法律法规，相关部门会作出行政处罚决定，包括责令限期拆除、罚款等措施。这一决定具有法律效力，当事人必须履行。
- 执行与监督：当事人应在规定期限内履行处罚决定。逾期不履行的，相关部门将依法强制执行，并进行后续监督以确保土地恢复原状。
特殊情形处理：
- 历史遗留问题：对于因历史原因形成的农村乱占耕地建房问题，需结合实际情况妥善处理。既要保障农民合理的住房需求，又要坚决遏制新增违法乱象。这要求相关部门在执法过程中既要严格依法办事，又要考虑实际情况和农民利益。
- 符合规划情况：若占用耕地建房符合国土空间规划且确有必要保留的，可依法依规完善用地手续。但需严格审批并补缴相关费用。这一规定体现了对合理用地需求的尊重和支持。
法律建议：
- 对于直接负责的工作人员而言，应严格遵守土地管理法律法规，不得非法占用耕地建房。一旦发现违法行为，应立即停止并主动配合相关部门的调查和处理工作。
- 对于相关部门而言，应加强监管力度，及时发现和制止非法占地行为。同时，应完善相关法律法规和政策措施，为合理用地提供有力保障。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。