招标人若设置各类不合理限制条款来限制或排斥潜在投标人，这一行为严重违反了《中华人民共和国招标投标法》及其实施条例所确立的公平、公正、公开和诚实信用原则。针对此类行为，法律有明确的处罚规定，以下是对此问题的详细解答：
一、不合理限制的常见情形
在招标投标活动中，招标人不得设定与招标项目具体特点和实际需要不相适应或与合同履行无关的条件来限制潜在投标人。这些不合理限制可能包括提供有差别的项目信息、设定不合理的资格或技术商务条件、以特定区域或行业业绩为加分或中标条件、采取不同的资格审查或评标标准、限定特定品牌或供应商、非法限定所有制形式或组织形式等。
二、法律后果
民事责任：
- 若招标人的不合理限制行为给潜在投标人造成了损失，招标人需承担赔偿责任。这包括潜在投标人因参与投标而产生的费用，以及因错失投标机会而可能遭受的损失。
行政责任：
- 根据《中华人民共和国招标投标法》第五十一条和《中华人民共和国招标投标法实施条例》第六十三条的规定，监管部门可责令招标人改正其不合理限制行为，并处以罚款。罚款金额通常在一万元以上十万元以下，具体数额将依据违法行为的性质、情节严重程度以及对招投标活动造成的实际影响等因素由相关行政监督部门裁量。
- 同时，对直接负责的主管人员和其他责任人员，监管部门也将依法给予处分，以强化对个人责任的追究。
刑事责任：
- 在情节严重构成犯罪的情况下，招标人及相关责任人员将依法被追究刑事责任，如滥用职权罪等。
三、潜在投标人的救济途径
提出异议：
- 潜在投标人或其他利害关系人若认为自身权益因招标人的不合理限制行为而受损，可在知道或应当知道之日起10日内向招标人提出异议。招标人需在3日内答复，并暂停招投标活动直至答复。
投诉：
- 若对招标人的答复不满或未在规定时间内得到答复，潜在投标人可在答复期满后15日内向相关行政监督部门投诉。行政监督部门应在3个工作日内决定是否受理，并在30个工作日内作出书面处理决定。
四、预防与建议
- 招标人：应严格遵守相关法律法规，遵循公平、公正原则制定招标文件，合理设定投标资格条件和评标标准，避免设置不合理门槛。
- 监管部门：应加强对招投标活动的监督和管理，及时发现并纠正违法行为，维护市场秩序。
- 投标人：若发现招标人存在不合理限制行为，应积极通过异议、投诉等途径维护自身权益，同时可向监管部门举报，共同维护公平竞争的市场环境。
综上所述，招标人设置不合理限制条款的行为是违法的，将面临民事责任、行政责任乃至刑事责任的追究。因此，各方应共同努力，确保招投标活动的公平、公正、公开和诚实信用原则的落实。