在行政处罚一方提出行政诉讼，另一方提起行政复议的情况下，诉讼并不一定会停止。下面我将详细解释这一结论：

一、一般原则

根据《行政诉讼法》的相关规定，被诉行政行为在行政诉讼与行政复议期间，以不停止执行为原则，以停止执行为例外。这意味着，在大多数情况下，即使一方提起了行政诉讼或行政复议，行政处罚的执行并不会因此而自动停止。

二、停止执行的例外情况

尽管以不停止执行为原则，但在某些特殊情况下，复议机关或人民法院可以裁定停止行政处罚决定的执行。这些情况包括：

1. 行政机关依职权停止执行：

   • 行政机关在认识到自己作出的处罚决定有明显的违法、不当或其他原因，继续执行会给被处罚人造成损失甚至是无法挽回的损失时，可以决定停止处罚决定的执行。

2. 复议机关或人民法院裁定停止执行：

   • 当事人需要向复议机关或人民法院提出停止执行的申请。
   • 行政处罚决定的执行会给当事人造成难以弥补的损失。
   • 停止执行不损害社会公共利益。
   • 复议机关或人民法院在综合考虑上述因素后，可以作出停止执行的裁定。

3. 法律、法规规定停止执行：

   • 某些法律、法规或规章可能规定了特定情况下可以停止执行行政处罚的条款。在这些情况下，应依照相关规定办理。

三、实际操作建议

• 了解具体情况：首先，需要了解具体的行政处罚内容、提起行政诉讼和行政复议的具体理由以及当前的法律环境。
• 咨询专业意见：如果面临这样的情况，建议咨询专业的法律人士，以便更准确地了解自身的权利和义务，以及可能的法律后果。
• 准备充分证据：无论是提起行政诉讼还是行政复议，都需要准备充分的证据来支持自己的主张。

综上所述，行政处罚一方提出行政诉讼，另一方提起行政复议时，诉讼并不一定会停止。是否停止执行取决于具体的法律规定、行政机关的裁量以及复议机关或人民法院的裁定。如果您面临这样的情况，建议尽快咨询专业的法律人士以获取更具体的法律建议。