若公司存在不允许挂靠却参与政府采购挂靠的行为，可能会承担行政责任、民事责任，甚至刑事责任。以下是对这些责任的详细分析：
一、行政责任
罚款与没收违法所得：
- 根据《中华人民共和国政府采购法》第七十七条，供应商有提供虚假材料谋取中标、成交，或者采取不正当手段诋毁、排挤其他供应商，与采购人、其他供应商或者采购代理机构恶意串通，向采购人、采购代理机构行贿或者提供其他不正当利益，或者在招标采购过程中与采购人进行协商谈判等情形的，处以罚款，列入不良行为记录名单，在一至三年内禁止参加政府采购活动，有违法所得的，并处没收违法所得。挂靠行为若被认定为上述不正当手段之一，公司可能面临罚款和没收违法所得的行政处罚。
列入不良行为记录名单与禁止参加政府采购：
- 除了罚款和没收违法所得外，公司还可能被列入不良行为记录名单，并在一至三年内禁止参加政府采购活动。这将严重影响公司的商业信誉和市场竞争力。
二、民事责任
合同无效与赔偿损失：
- 如果挂靠行为导致政府采购合同无效，根据《中华人民共和国民法典》的相关规定，合同无效或者被撤销后，因该合同取得的财产，应当予以返还；不能返还或者没有必要返还的，应当折价补偿。有过错的一方应当赔偿对方因此所受到的损失。因此，公司可能需要承担因合同无效而产生的赔偿责任。
对第三方的赔偿责任：
- 如果挂靠行为对第三方造成了损害，如因挂靠公司提供的商品或服务存在质量问题导致第三方受损，公司可能需要承担对第三方的赔偿责任。
三、刑事责任
串通投标罪：
- 如果挂靠行为被认定为串通投标，且情节严重，根据《中华人民共和国刑法》第二百二十三条的规定，投标人相互串通投标报价，损害招标人或者其他投标人利益，情节严重的，处三年以下有期徒刑或者拘役，并处或者单处罚金。投标人与招标人串通投标，损害国家、集体、公民的合法利益的，依照前款的规定处罚。因此，公司及相关责任人员可能面临刑事处罚。
其他相关犯罪：
- 如果挂靠行为还涉及其他犯罪行为，如行贿罪、受贿罪等，公司及相关责任人员还可能根据具体犯罪情节承担相应的刑事责任。
建议与措施
加强内部管理：
- 公司应建立健全内部管理制度，明确禁止挂靠行为，并加强对员工的教育和培训，提高员工的法律意识和合规意识。
合规审查与风险防控：
- 在参与政府采购活动前，公司应进行合规审查，确保自身符合政府采购的相关规定和要求。同时，建立风险防控机制，及时发现和纠正可能存在的违规行为。
积极应对与整改：
- 如果公司被发现存在挂靠行为，应积极配合相关部门的调查和处理工作，及时整改并承担相应的责任。同时，加强与政府采购部门的沟通与合作，争取恢复公司的商业信誉和市场竞争力。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。