违法建设在某些特定情形下可以免予行政处罚，这主要取决于行为人的具体情况、违法行为的性质以及是否造成危害后果等因素。以下是对违法建设免予行政处罚依据的详细分析：

一、法定免罚情形

1. 不满十四周岁的未成年人

   • 法律依据：根据《中华人民共和国行政处罚法》第三十条，不满十四周岁的未成年人有违法行为的，不予行政处罚，责令监护人加以管教。
   • 分析：此规定体现了对未成年人的保护原则。若违法建设由未满十四周岁的未成年人实施，由于其不具备完全的民事行为能力，因此不会对其进行行政处罚，而是责令其监护人加以管教。

2. 精神病人、智力残疾人

   • 法律依据：根据《中华人民共和国行政处罚法》第三十一条，精神病人、智力残疾人在不能辨认或者不能控制自己行为时有违法行为的，不予行政处罚，但应责令其监护人严加看管和治疗。间歇性精神病人在精神正常时有违法行为的，应当给予行政处罚。
   • 分析：对于无法自控的精神病人或智力残疾人，法律给予了特殊照顾。若他们在不能辨认或控制自己行为时实施了违法建设，则不会对其进行行政处罚，但其监护人需承担相应责任，严加看管和治疗。

3. 违法行为轻微并及时改正，未造成危害后果

   • 法律依据：根据《中华人民共和国行政处罚法》第三十三条第一款，违法行为轻微并及时改正，没有造成危害后果的，不予行政处罚。
   • 分析：此条款鼓励行为人主动纠正错误。对于情节轻微且及时改正的违法建设行为，如未经批准擅自搭建的临时性构筑物，在发现后立即拆除且未影响周边环境和公共安全的，可免于处罚。

4. 初次违法且危害后果轻微并及时改正

   • 法律依据：同样根据《中华人民共和国行政处罚法》第三十三条第一款，初次违法且危害后果轻微并及时改正的，也可以不予行政处罚。
   • 分析：这体现了行政处罚的教育与惩戒相结合的原则。对于首次违反城乡规划进行建设且造成的危害后果较为轻微，同时当事人在被查处后能够积极配合、及时整改的情况，行政机关可以考虑不予行政处罚。

5. 超过行政处罚追责时效

   • 法律依据：根据《中华人民共和国行政处罚法》第三十六条，违法行为在二年内未被发现的，不再给予行政处罚；涉及公民生命健康安全、金融安全且有危害后果的，期限延长至五年。
   • 分析：此规定设定了行政处罚的追诉时效。若违法建设行为在二年内未被发现，且不涉及公民生命健康安全、金融安全或有危害后果但期限已超过五年的，则不再给予行政处罚。

6. 当事人有证据足以证明没有主观过错

   • 法律依据：根据《中华人民共和国行政处罚法》第三十三条第二款，当事人有证据足以证明没有主观过错的，不予行政处罚。法律、行政法规另有规定的，从其规定。
   • 分析：若当事人能提供充分证据证明自己在违法建设行为中没有主观过错，如因被欺骗、胁迫等原因实施了违法行为，且能证明自己已尽到合理注意义务的，可免于行政处罚。

二、地方特殊免罚情形

• 各地差异：为了更好地推进城乡建设和管理，各地会根据实际情况制定一些关于违法建设免予行政处罚的特殊规定。这些规定通常体现在当地的城乡规划条例、城市管理相关办法等地方性法规、规章中。
• 实例分析：如某地方规定，对于符合一定乡村建设规划要求、村民因合理居住需求建设的附属设施，虽存在手续瑕疵，但经责令限期完善手续后及时办理的，可免予行政处罚。这体现了地方政策对乡村发展及村民合理需求的支持。

三、实际操作与建议

• 补救措施：即使违法建设行为符合免予行政处罚的条件，行政机关也可能要求行为人采取必要的补救措施以消除影响，如拆除违法建筑、恢复原状等。
• 严重情况处理：对于严重违反城乡规划、影响公共安全或公共利益的违法建设行为，即使符合免罚条件，也可能需要依法进行拆除或整改。
• 法律咨询：在处理具体案件时，若你对相关法律规定或地方政策存在疑问，可以直接向我咨询，我会根据你的具体情况提供准确的法律意见。

综上所述，违法建设免予行政处罚并非无条件适用，而是需根据具体情形及法律规定进行判断。在实际操作中应遵循法律法规的指引，并寻求专业法律帮助以确保合法权益得到保障。