质保金的退还对象主要取决于质保金的性质、合同约定以及相关法律法规的规定。以下是对这一问题的详细解答：
一、质保金的性质与目的
质保金，全称为建设工程质量保证金，是发包人与承包人在建设工程承包合同中约定，从应付的工程款中预留，用以保证承包人在缺陷责任期内对建设工程出现的缺陷进行维修的资金。其目的在于确保工程质量，保障发包人的合法权益。
二、质保金的退还对象
合同有效且约定明确时：
- 在合同有效且双方对质保金的退还对象有明确约定的情况下，应按照合同约定执行。通常，质保金会退还给承包人，即实际完成工程建设并承担保修责任的单位或个人。
合同无效或约定不明确时：
- 若合同无效或双方对质保金的退还对象没有明确约定，则需根据相关法律法规和行业惯例来判断。
- 根据《建设工程质量保证金管理办法》等相关规定，质保金本质上是一种法定义务，用于保证工程质量。因此，在合同无效或约定不明确的情况下，质保金仍应退还给实际承担保修责任的承包人，但前提是承包人已履行了保修义务且工程无质量问题。
- 在某些特殊情况下，如建设单位（发包人）因承包人违约或工程质量问题而自行承担了保修责任，并产生了额外费用，那么质保金可能会被用于抵扣这些费用，剩余部分（如有）则可能退还给承包人或根据法院判决进行分配。
物业保修金的情况：
- 对于物业保修金（如住宅物业保修金），其退还对象通常是建设单位。但退还前需经过公示程序，确保业主、业主委员会或物业服务人对建设单位履行保修责任无异议。
- 若公示期内有异议提出，且异议内容与物业保修具有直接关联，则需通过协商、诉讼、仲裁或共同委托第三方鉴定等方式解决异议后，再决定是否退还保修金及退还对象。
三、具体案例分析
以您提供的案例为例：
- 在淄博某建筑公司与王某某的建设工程施工合同纠纷中，虽然合同被认定无效，但法院仍根据相关规定和案情认定质保金应退还给承包人王某某（前提是王某某已履行了保修义务且工程无质量问题）。
- 在紫银东郡项目的物业保修金退还公示中，若公示期内无异议提出，则保修金将退还给建设单位台州紫元银通置业有限公司。
四、建议
- 对于发包人：在签订合同时，应明确约定质保金的退还对象、条件及程序，以避免后续纠纷。
- 对于承包人：应妥善履行保修义务，确保工程质量，以便在质保期满后顺利收回质保金。
- 对于业主或物业服务人：在物业保修金退还公示期内，应认真审查建设单位的保修责任履行情况，如有异议应及时提出并附上相关证据。
综上所述，质保金的退还对象主要取决于合同约定、相关法律法规以及实际履行情况。在具体操作中，建议双方根据实际情况和法律法规进行协商处理，必要时可寻求法律途径解决争议。