针对您提出的“农村的临时建设哪个部门处罚”的问题，我可以明确告知您，由所在地城市、县人民政府城乡规划主管部门负责处罚。以下是对此结论的详细解释：
法律依据
根据《中华人民共和国城乡规划法》第六十六条的规定，建设单位或者个人有下列行为之一的，由所在地城市、县人民政府城乡规划主管部门责令限期拆除，可以并处临时建设工程造价一倍以下的罚款：
- 未经批准进行临时建设的；
- 未按照批准内容进行临时建设的；
- 临时建筑物、构筑物超过批准期限不拆除的。
处罚流程
通常，处罚流程会包括以下几个步骤：
- 立案责任：发现建设单位或者个人未经批准进行临时建设的违法行为，予以审查，决定立案。
- 调查责任：对立案的案件，指定专人负责，及时组织调查取证，与当事人有利害关系的应当回避。执法人员不少于2人，调查时出示执法证件，听取当事人辩解陈述并作记录。执法人员保守有关秘密。
- 审查责任：审查案件调查报告，对案件违法事实、证据、调查取证程序、法律适用、处罚种类和幅度、当事人陈述和申辩理由等方面进行审查，提出处理意见。
- 告知责任：作出行政处罚决定前，制作《行政处罚通知书》送达当事人，告知违法事实及其享有的陈述、申辩等权利。符合听证规定的，制作并送达《行政处罚听证告知书》。
- 决定责任：制作行政处罚决定书，载明行政处罚告知、当事人陈述申辩或者听证情况等内容。
- 送达责任：行政处罚决定书按法律规定的方式送达当事人。
结论总结
综上所述，对于农村的临时建设违法行为，由所在地城市、县人民政府城乡规划主管部门负责处罚。如果您或他人面临此类问题，建议及时咨询当地城乡规划主管部门，了解具体处罚措施，并积极配合整改，以避免不必要的法律后果。