结论：进行行政处罚时，若仅依赖证人证言和被处罚人的程序及申辩，而未进行实质性核实，这主要违反了行政处罚的合法性原则和公正性原则，具体可能涉及违反《中华人民共和国行政处罚法》中关于行政处罚的调查、取证以及决定程序的相关规定。

详细分析：

1. 合法性原则：

   • 行政处罚必须基于合法的事实和证据。根据《中华人民共和国行政处罚法》的相关规定，行政机关在作出行政处罚决定前，应当全面、客观、公正地调查，收集有关证据。若仅依赖证人证言和被处罚人的程序及申辩，而未进行实质性核实，则可能无法确保所依据的事实和证据的合法性。
   • 例如，证人证言可能存在偏差或误导，被处罚人的申辩也可能出于各种目的而不够真实。因此，行政机关有责任进行进一步的调查和核实，以确保行政处罚的合法性。

2. 公正性原则：

   • 行政处罚应当公正、公平地对待每一位当事人。若行政机关在作出行政处罚决定时，未进行实质性核实，仅凭有限的证据就作出决定，这可能导致对当事人的不公正对待。
   • 公正性原则要求行政机关在作出行政处罚决定时，必须充分考虑所有相关证据和事实，确保决定的公正性和合理性。未进行实质性核实可能违反这一原则，损害当事人的合法权益。

3. 具体法律规定：

   • 根据《中华人民共和国行政处罚法》的相关规定，行政机关在调查或者检查时，执法人员不得少于两人，并应当向当事人或者有关人员出示证件。当事人或者有关人员有权如实回答询问，并协助调查或者检查，不得阻挠。询问或者检查应当制作笔录。
   • 行政机关在收集证据时，可以采取抽样取证的方法；在证据可能灭失或者以后难以取得的情况下，经行政机关负责人批准，可以先行登记保存，并应当在七日内及时作出处理决定，在此期间，当事人或者有关人员不得销毁或者转移证据。
   • 若行政机关在作出行政处罚决定前，未进行充分的调查和取证，包括实质性核实证人证言和被处罚人的申辩等，则可能违反上述法律规定，导致行政处罚决定的合法性受到质疑。

建议：

• 若您认为行政机关在作出行政处罚决定时未进行实质性核实，侵犯了您的合法权益，您可以依法提出行政复议或行政诉讼，要求撤销或变更该行政处罚决定。
• 在提出行政复议或行政诉讼前，建议您收集相关证据，如证人证言、被处罚人的申辩材料、行政机关的调查笔录等，以证明行政机关未进行实质性核实的事实。
• 如有需要，您可以随时向我咨询，我将根据您的具体情况提供专业的法律建议和帮助。