即使发现过期药品但未使用，仍然可能面临罚款。下面我将从法律角度和实际案例两个方面来详细解释这个问题。

一、法律角度

根据《中华人民共和国药品管理法》的相关规定，超过有效期的药品被认定为劣药。生产、销售或使用劣药都将受到法律的制裁。具体来说，如果药品监管部门在检查中发现有过期药品，即使这些药品尚未使用，也将会依据法律规定进行处罚。处罚措施可能包括没收过期药品、没收违法所得以及罚款等。情节严重的，还可能责令停产停业整顿，甚至吊销相关许可证。

二、实际案例

以省药监局公布的一起典型案例为例：定安某诊所在药品专项监督检查中被发现药架上摆放了已超过有效期的药品。尽管这些药品尚未使用，但定安县综合行政执法局依然依法对该诊所的违法行为作出了没收过期药品，并处以3万元罚款的行政处罚。这个案例清楚地表明，即使过期药品未使用，也会受到法律的制裁。

综上所述，发现过期药品但未使用并不能免除罚款。因此，我建议您加强药品管理，定期检查药品的有效期，确保药品在有效期内使用，以避免类似的法律风险。如果您有任何关于药品管理或法律方面的疑问，欢迎随时向我咨询。