对行政处罚违法事实的认定不服，是可以进行起诉的。以下是对此问题的详细解答：
一、法律依据
根据《中华人民共和国行政诉讼法》第十二条的规定，人民法院受理公民、法人或者其他组织提起的下列诉讼中，明确包括“对行政拘留、暂扣或者吊销许可证和执照、责令停产停业、没收违法所得、没收非法财物、罚款、警告等行政处罚不服的”情形。这表明，当公民、法人或其他组织认为行政机关作出的行政处罚，特别是关于违法事实的认定侵犯其合法权益时，有权依法向人民法院提起诉讼。
二、起诉条件
在提起行政诉讼前，需要满足以下条件：
原告资格：原告必须是与行政行为有利害关系的公民、法人或其他组织。这意味着，只有那些直接受到行政处罚影响，特别是对违法事实认定有异议的人或实体才有资格提起诉讼。
明确的被告：被告必须是作出行政行为的行政机关或其工作人员。在行政处罚案件中，被告通常是作出处罚决定的行政机关。
具体的诉讼请求和事实理由：原告必须提出具体的诉讼请求，如撤销处罚决定、确认处罚违法或要求重新认定违法事实等，并说明提起诉讼的事实和理由。这有助于法院了解案件的基本情况，并作出相应的判决。
属于法院的受案范围和管辖：所诉事项必须在法院的受案范围内，且符合地域管辖和级别管辖的规定。一般来说，行政处罚案件由最初作出行政行为的行政机关所在地的人民法院管辖。
三、起诉期限
根据《中华人民共和国行政诉讼法》第四十六条的规定，公民、法人或者其他组织直接向人民法院提起诉讼的，应当自知道或者应当知道作出行政行为之日起六个月内提出。法律另有规定的除外。因此，当事人需要在规定的期限内提起诉讼，否则可能丧失诉权。
四、诉讼程序
在提起诉讼后，法院将按照法定程序进行审理。这通常包括立案、送达起诉状副本、被告答辩、开庭审理、作出判决等环节。在审理过程中，当事人有权进行陈述、举证、质证和辩论等活动，以维护自己的合法权益。特别是针对违法事实的认定，原告可以提供相关证据来支持自己的主张，如现场照片、证人证言、鉴定报告等。
五、建议与注意事项
及时行使权利：务必在法定期限内起诉，逾期可能丧失诉权。
全面收集证据：证据是胜诉的关键，需确保合法性和关联性。特别是针对违法事实的认定，要收集能够证明自己无罪或罪轻的证据。
合理选择救济途径：在提起行政诉讼前，可以考虑是否先申请行政复议。对于某些案件，行政复议可能是前置程序。如果对复议结果仍不服，再提起诉讼。
遵守诉讼程序：按法院要求参与诉讼活动，避免程序瑕疵影响权益。在庭审过程中，要尊重法官和对方当事人，理性表达自己的观点和诉求。
综上所述，对行政处罚违法事实的认定不服是可以进行起诉的。但需要满足一定的起诉条件，并在法定期限内提起诉讼。在诉讼过程中，要全面收集证据，合理选择救济途径，并遵守诉讼程序。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。