针对你租的房子发霉且合同约定不给退押金的情况，首先结论是：你可以尝试与房东协商解决，如果协商不成，可以通过法律途径来维护自己的权益。以下是对此问题的详细分析：

1. 合同约定的效力：虽然合同中约定了不给退押金，但这一条款可能并不完全有效。如果房屋存在发霉等严重影响居住质量的问题，且这是房东的责任，那么房东可能构成违约。在这种情况下，你可以主张押金应予退还，或者至少部分退还。

2. 与房东协商：在采取法律手段之前，建议首先与房东进行友好协商。你可以向房东说明房屋发霉的情况，以及这对你的居住体验造成的影响，并表达你希望退还押金的意愿。如果房东理解并同意，那么问题可能就能得到快速解决。

3. 法律途径：如果协商无果，你可以考虑通过法律途径来维护自己的权益。例如，你可以向当地的房屋管理部门或消费者权益保护机构投诉，或者寻求法律援助并提起诉讼。在诉讼过程中，你需要提供充分的证据来证明房屋发霉的事实，以及这对你的居住造成了严重影响。如果法院认定房东存在违约行为，那么你有权要求退还押金，并可能获得其他形式的赔偿。

4. 注意事项：在整个过程中，务必保留好所有相关的证据，如房屋发霉的照片、视频、与房东的聊天记录等。这些证据将在你与房东协商或提起诉讼时发挥重要作用。

综上所述，虽然合同约定不给退押金，但如果你租的房子存在发霉等严重影响居住质量的问题，你仍然有权尝试与房东协商退还押金，或者通过法律途径来维护自己的权益。