结论：行政处罚书上处罚人拒绝签字且民警没有签字，是否构成程序违法，需分情况讨论。一般来说，处罚人拒绝签字并不直接导致程序违法，但民警未签字可能涉及程序瑕疵或违法，具体取决于相关法律法规的规定以及实际执法情况。
分析：
处罚人拒绝签字的情况：
- 在行政处罚过程中，如果处罚人拒绝在行政处罚书上签字，这并不直接构成程序违法。行政处罚的合法性并不完全取决于处罚人的签字，而是取决于处罚决定是否依法作出，包括是否符合法定程序、是否有充分证据支持、是否适用法律正确等。
- 处罚人拒绝签字时，执法人员可以在行政处罚书上注明“处罚人拒绝签字”或类似表述，并由两名以上执法人员签名或盖章，以证明处罚决定的送达和处罚人的拒绝态度。这种情况下，行政处罚书仍然具有法律效力。
民警没有签字的情况：
- 民警作为执法人员，在作出行政处罚决定时，通常需要在行政处罚书上签字或盖章，以证明处罚决定的合法性和有效性。如果民警没有签字，这可能构成程序瑕疵或违法，具体取决于相关法律法规的规定。
- 根据《中华人民共和国行政处罚法》等相关法律法规，行政处罚决定应当由具有行政执法资格的执法人员签名或盖章。如果民警未签字，且没有其他执法人员签名或盖章，或者无法证明处罚决定的合法性和有效性，那么该行政处罚决定可能因程序违法而被撤销或确认无效。
- 然而，如果民警未签字是由于疏忽或遗漏，且能够通过其他方式（如执法记录仪记录、证人证言等）证明处罚决定的合法性和有效性，那么该行政处罚决定可能不会被撤销或确认无效。但这种情况下，执法部门应当及时采取补救措施，如补签、盖章或出具书面说明等。
建议：
- 对于处罚人来说，如果对行政处罚决定有异议，应当通过合法途径提出申诉或复议，而不是简单地拒绝签字。拒绝签字并不能改变处罚决定的法律效力，反而可能错过申诉或复议的时机。
- 对于执法部门来说，应当严格遵守法定程序，确保行政处罚决定的合法性和有效性。在作出处罚决定时，应当要求执法人员签字或盖章，并注明日期。如果处罚人拒绝签字，应当在行政处罚书上注明相关情况，并由两名以上执法人员签名或盖章。
- 如果遇到民警未签字的情况，处罚人可以向执法部门提出质疑，并要求执法部门出具书面说明或补签、盖章。如果执法部门拒绝或无法提供合理解释，处罚人可以考虑通过法律途径维护自己的合法权益。
后续行动：
- 如果你作为处罚人或相关方对行政处罚决定有异议，或者认为执法过程中存在程序违法的情况，可以直接向我咨询，我会根据你的具体情况提供专业的法律建议和帮助。