结论：公公给你们拆迁款，你们用这笔钱自己购买的房子，其归属权主要取决于拆迁款的性质以及购房时的具体约定。一般情况下，若拆迁款明确赠与给你们夫妻，且购房时无其他特殊约定，则房子属于你们夫妻共同财产，公公无权直接起诉要回。但若存在特殊情况，如拆迁款性质不明或购房时有其他约定，则可能影响房子的归属。
详细分析：
拆迁款的性质：
- 赠与性质：如果公公明确表示拆迁款是赠与给你们夫妻的，那么这笔钱在法律上就属于你们夫妻的共同财产。根据《民法典》的相关规定，赠与的财产一旦交付，赠与合同即成立并生效，除非存在法定撤销事由，否则赠与人不得随意撤销赠与。
- 借款性质：如果公公给你们拆迁款时，双方有明确的借款约定，那么这笔钱在法律上就属于借款，你们需要按照约定偿还。但这种情况与购房后房子的归属无直接关系，除非借款与购房有直接关联且双方有特别约定。
购房时的约定：
- 无特殊约定：如果你们用拆迁款购房时，没有与公公或其他家庭成员有特殊约定（如房子归公公所有、部分共有等），那么房子在法律上就属于你们夫妻的共同财产。
- 有特殊约定：如果购房时与公公或其他家庭成员有特殊约定，如房子归公公所有或部分共有，那么房子的归属就需要按照约定来确定。在这种情况下，如果公公认为你们违反了约定，他有权通过法律途径来维护自己的权益。
公公起诉要回的可能性：
- 无合法依据：如果拆迁款是赠与给你们夫妻的，且购房时无特殊约定，那么公公无权直接起诉要回房子。因为房子在法律上已经属于你们夫妻的共同财产，公公不是房子的所有权人。
- 有合法依据：如果存在上述特殊情况（如拆迁款是借款、购房时有特殊约定等），且公公能够提供充分的证据来证明自己的权益，那么他有可能通过法律途径来要回房子或部分权益。
建议：
- 明确拆迁款性质：建议你们与公公明确拆迁款的性质，是赠与还是借款，并保留好相关证据（如赠与协议、借款合同等）。
- 购房时签订书面协议：如果购房时与公公或其他家庭成员有特殊约定，建议签订书面协议来明确房子的归属和各自的权利义务。
- 咨询专业律师：如果公公已经起诉或你们担心未来可能发生纠纷，建议咨询专业律师来了解自己的权益和应对策略。
总之，房子的归属权主要取决于拆迁款的性质以及购房时的具体约定。在处理此类问题时，建议保持冷静和理性，通过合法途径来维护自己的权益。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。