违反规定回避或者拒不执行回避决定的，主要规定在《中华人民共和国法官法》和《中华人民共和国刑事诉讼法》等相关法律法规中。以下是对此问题的详细分析：

一、法律法规的具体规定

1. 《中华人民共和国法官法》

   • 该法明确规定了法官在履行职责时应当遵循的行为准则，其中包括了回避制度。若法官违反规定回避，或者拒不执行回避决定，将可能面临相应的法律责任。虽然该法未直接规定具体的处罚措施，但通常这类行为会作为法官违反职业操守或纪律的一部分，受到相应的纪律处分。

2. 《中华人民共和国刑事诉讼法》

   • 在刑事诉讼中，回避制度同样重要。根据该法，审判人员、检察人员、侦查人员等如果与案件有利害关系或其他可能影响公正处理案件的关系，应当回避。若相关人员违反规定回避或拒不执行回避决定，根据情节的严重性，可能会受到警告、记过、记大过、降级、撤职、开除等行政处分，甚至可能构成犯罪，依法追究刑事责任。具体来说，如果这种行为严重影响了司法公正，相关人员可能会被以“徇私枉法罪”等罪名追究刑事责任。

二、法律后果与责任

• 行政处分：对于违反规定回避或拒不执行回避决定的人员，根据其行为的性质和后果，可能会受到不同程度的行政处分。这些处分旨在维护司法公正和职业操守，确保司法活动的顺利进行。
• 刑事责任：在极端情况下，如果违反规定回避或拒不执行回避决定的行为严重影响了司法公正，甚至导致了冤假错案的发生，相关人员可能会被追究刑事责任。这体现了法律对司法公正的严格保护和对违法行为的严厉打击。

三、实际操作与建议

• 严格遵守回避制度：无论是法官、检察官还是侦查人员，都应当严格遵守回避制度的规定。在发现与案件有利害关系或其他可能影响公正处理案件的关系时，应当主动申请回避或接受回避决定。
• 加强监督与制约：司法机关应当加强对回避制度执行情况的监督与制约，确保回避制度得到有效执行。对于违反规定回避或拒不执行回避决定的行为，应当及时进行纠正和处理。
• 提高法律意识：司法人员应当不断提高自己的法律意识和职业素养，深刻理解回避制度的重要性和必要性。只有充分认识到回避制度对司法公正的保障作用，才能更好地遵守和执行这一制度。

如果您在合同纠纷、离婚财产纠纷或刑事辩护领域遇到任何法律问题，都可以直接向我咨询。我会运用我的专业知识和经验，为您提供全面、准确的法律建议。