城乡规划部门出具的罚单不能直接作为认定违建的唯一证据，但可作为重要依据之一，需结合其他证据综合判断。具体分析如下：

1. 罚单的法律性质与效力
   城乡规划部门出具的罚单（如《责令停止违法行为通知书》《行政处罚决定书》）属于行政机关作出的具体行政行为，其效力体现在：

   • 证明行政机关已认定违法行为：罚单中通常会载明相对人存在“未取得建设工程规划许可证擅自建设”等违法事实，表明行政机关已启动调查程序并形成初步结论。
     
   • 具有行政强制力：若相对人未在法定期限内申请复议或提起诉讼，且未履行罚单内容（如拆除、罚款），行政机关可申请法院强制执行。
     
   • 但非终局性证据：罚单本身不直接等同于“违建”的司法认定，其结论可能因复议、诉讼或新证据被推翻。

2. 认定违建的法定要件
   根据《城乡规划法》第六十四条，违建的认定需满足：

   • 未取得建设工程规划许可证（或未按许可内容建设）；
     
   • 无法采取改正措施消除影响（如占用公共空间、影响消防安全等）。
     城乡规划部门的罚单可能仅证明“未取得许可”或“存在违法行为”，但“是否可改正”需通过现场勘查、规划文件比对等进一步核实。例如，若建筑虽无证但符合规划要求，可能通过补办手续合法化。

3. 罚单的证明力限制

   • 程序合法性要求：若罚单作出程序违法（如未告知陈述申辩权、未送达相对人），其证明力可能被法院排除。
     
   • 事实认定需完整：罚单需明确违法主体、时间、地点、行为内容等关键要素，否则可能因事实不清被撤销。
     
   • 需与其他证据互补：实践中，法院通常要求行政机关提供规划图纸、现场照片、测绘报告等证据，与罚单形成完整证据链。

4. 实务建议

   • 对行政机关：作出罚单前应充分调查取证，确保程序合法、事实清楚，避免因证据不足败诉。
     
   • 对相对人：收到罚单后应及时申请听证或复议，核查行政机关是否履行法定程序（如公示、催告），并收集反证（如历史规划文件、邻居证言）证明建筑合法性。
     
   • 对第三方：若需通过诉讼确认违建（如相邻权纠纷），罚单可作为初步证据，但需申请法院调取行政机关的完整卷宗，以审查其认定依据是否充分。

总结：城乡规划部门罚单是认定违建的重要线索，但非唯一依据。其证明力需结合程序合法性、事实完整性及与其他证据的关联性综合判断。若涉及具体案件，建议提供罚单全文及建筑相关材料，以便进一步分析行政行为的合法性与建筑合法性。