结论：公对公投标保证金不退还是否违法，需根据具体情况判断。若符合法定不退还情形，则不违法；若无法定理由且违反合同约定或逾期退还，则构成违法。
一、合法不退还投标保证金的情形
投标人在投标有效期内撤销投标文件：
- 投标人在提交投标文件后，如果在投标有效期内擅自撤销或修改投标文件，将视为违约行为。根据《中华人民共和国招标投标法实施条例》第三十五条，招标人在此情况下可以不退还投标保证金。
中标人无正当理由不与招标人订立合同：
- 中标通知书发出后，中标人应在规定时间内与招标人签订书面合同。如果中标人无正当理由拒绝签订合同，或者提出附加条件，根据《中华人民共和国招标投标法实施条例》第七十四条，投标保证金将不予退还。
中标人不按照招标文件要求提交履约保证金：
- 招标文件通常要求中标人在签订合同前提交一定数额的履约保证金。如果中标人未能在规定时间内提交履约保证金，同样根据《中华人民共和国招标投标法实施条例》第七十四条，投标保证金也将不予退还。
投标人有串通投标、弄虚作假等违法行为：
- 如果投标人在投标过程中存在串通投标、提供虚假材料、以他人名义投标等违法行为，投标保证金将不予退还，并可能面临更严重的法律后果。
二、违法不退还投标保证金的情形
违反合同约定：
- 若招标文件或双方约定了在特定条件下应退还投标保证金，而招标人不按约定执行，则构成违约。例如，招标文件明确规定未中标投标人的投标保证金应在中标通知书发出后5个工作日内退还，但招标人无故拖延，则构成违法。
无正当理由逾期退还：
- 招标人应在规定时间内退还投标保证金。根据相关规定，对于未中标的投标人，招标人应在中标通知书发出后的5个工作日内退还投标保证金；对于中标人，招标人应在合同签订后的5个工作日内退还投标保证金（如已提交履约保证金）。无故拖延退还，侵犯了投标人的合法权益，构成违法。
三、投标人的应对措施
面对投标保证金不退还的情况，投标人可以采取以下步骤维护自身权益：
了解原因并沟通协商：
- 首先明确不退还的具体原因，尝试与招标人进行友好沟通，提醒其遵守相关法律规定，并要求在规定时间内退还保证金。
发出书面通知与行政投诉：
- 若沟通无效，可向招标人发出正式的书面通知，要求其在规定期限内退还投标保证金，并指出不遵守规定的法律后果。
- 如招标人仍不退还，可向相关行政监督部门（如建委、发改委等）提出投诉，请求其介入调查并责令招标人改正。
法律途径解决：
- 在行政投诉未能解决问题的情况下，投标人可通过仲裁或诉讼的方式维护自己的权益。需收集充分证据，如招标文件、投标保证金缴纳凭证、沟通记录等，以支持自己的主张。
四、法律依据
- 《中华人民共和国招标投标法实施条例》第三十五条：投标人撤回已提交的投标文件，应当在投标截止时间前书面通知招标人。招标人已收取投标保证金的，应当自收到投标人书面撤回通知之日起5日内退还。投标截止后投标人撤销投标文件的，招标人可以不退还投标保证金。
- 《中华人民共和国招标投标法实施条例》第七十四条：中标人无正当理由不与招标人订立合同，在签订合同时向招标人提出附加条件，或者不按照招标文件要求提交履约保证金的，取消其中标资格，投标保证金不予退还。对依法必须进行招标的项目的中标人，由有关行政监督部门责令改正，可以处中标项目金额10‰以下的罚款。
- 《中华人民共和国招标投标法实施条例》第二十六条：招标人在招标文件中要求投标人提交投标保证金的，投标保证金不得超过招标项目估算价的2%。投标保证金有效期应当与投标有效期一致。依法必须进行招标的项目的境内投标单位，以现金或者支票形式提交的投标保证金应当从其基本账户转出。招标人不得挪用投标保证金。
综上所述，投标保证金的退还问题涉及多个法律知识点，投标人应充分了解相关法律法规和合同约定，并在遇到问题时依法采取相应措施维护自身权益。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。