如果单位仅因体检耳朵听力不合格就让你辞职，这是不合法的，你有权要求单位继续履行合同或者支付经济赔偿金。针对你的情况，我们可以从以下几个方面进行分析：

一. 单位不能仅因听力不合格就辞退员工

依据《中华人民共和国劳动合同法》，用人单位不能随意解除劳动合同。若你的听力不合格是由工作环境导致的职业病，你在被诊断为职业病后，享有相应的医疗期和待遇，在此期间用人单位解除劳动合同属于违法解除。你可要求继续履行合同，若不要求继续履行或合同已无法继续履行，用人单位需按经济补偿标准的二倍支付赔偿金。

• 例如，如果你因工作导致的听力下降被认定为职业病，单位在你医疗期内或未经法定程序就解雇你，那么你可以要求单位继续履行合同，或者要求单位支付双倍的经济赔偿金。

二. 若听力不合格与工作无关，单位也需遵循法定程序

如果你的听力不合格与工作无关，单位要辞退你，也必须遵循《劳动合同法》的规定，即你只有在不能胜任工作，且经过培训或调整工作岗位仍不能胜任时，单位才可提前三十日以书面形式通知你或者额外支付你一个月工资后解除劳动合同。并且单位需承担举证责任，证明你不能胜任工作，以及已进行培训或调整岗位。

• 例如，如果你的听力问题并非工作导致，且并未影响你的工作表现，单位不能仅凭此就辞退你。如果单位强行辞退，你可以通过劳动仲裁等途径维护自己的合法权益。

三. 经济赔偿金的计算

如果单位违法解除劳动合同，你需要计算经济赔偿金。经济赔偿金按照你在本单位工作的年限来计算，每满一年支付一个月工资的标准向劳动者支付。你在厂里干了4年，因此，如果单位违法辞退你，你应得到的经济赔偿金为4个月工资的两倍，即8个月工资。

• 计算公式：经济赔偿金 = 工作年限 × 月工资 × 2 = 4 × 月工资 × 2 = 8个月工资。

综上所述，单位不能仅因体检耳朵听力不合格就让你辞职。如果单位坚持这样做，你有权要求单位继续履行合同或者支付经济赔偿金。我建议你先与单位进行沟通协商，如果协商无果，可以通过劳动仲裁等途径来维护自己的合法权益。如有进一步需要，您可以继续咨询我。