核心结论：在对方发票异常、责任不在你方的情况下，损失却由你方承担，这确实不符合一般的公平原则和法律规定，但具体是否应由你方承担损失，需结合合同约定、交易习惯、法律规定及实际损失情况等多方面因素综合判断。以下从几个关键角度进行分析：
合同约定角度：
- 首先，要审查你方与对方签订的合同中，是否有关于发票异常或进项转出情况下损失承担的明确约定。
- 如果合同中有明确条款规定，在发票异常导致进项转出时，损失应由哪一方承担，那么应遵循合同约定执行。
- 若合同未明确约定，则需考虑其他因素来确定损失承担方。
交易习惯角度：
- 在商业交易中，双方可能形成了一定的交易习惯或行业惯例。
- 如果按照交易习惯或行业惯例，在发票异常情况下，损失通常由哪一方承担，这也可以作为判断损失承担方的参考。
- 但需注意，交易习惯或行业惯例不能违反法律法规的强制性规定。
法律规定角度：
- 根据《中华人民共和国税收征收管理法》等相关法律法规，发票的开具、取得、保管等应符合规定。
- 如果对方开具的发票异常，导致你方无法正常抵扣进项税额，进而产生损失，对方可能构成违约或违法行为。
- 在此情况下，你方有权要求对方承担违约责任或赔偿损失。但具体能否得到支持，还需看证据是否充分、法律适用是否正确等因素。
实际损失情况角度：
- 你方需证明因对方发票异常导致的实际损失金额，包括但不限于无法抵扣的进项税额、因此产生的额外税费、滞纳金等。
- 如果无法证明实际损失或损失金额难以确定，法院或仲裁机构可能难以支持你方的赔偿请求。
建议行动：
- 收集证据：收集与交易相关的所有证据，包括合同、发票、付款记录、沟通记录等，以证明对方发票异常及你方因此产生的损失。
- 协商解决：尝试与对方进行协商，寻求双方都能接受的解决方案，如对方承担部分或全部损失。
- 法律途径：如果协商无果，可以考虑通过法律途径解决，如向法院提起诉讼或向仲裁机构申请仲裁。在提起诉讼或仲裁前，建议咨询专业律师以评估胜诉可能性及制定诉讼策略。
总结：对方发票异常导致你方进项转出并产生损失，责任确实不应完全由你方承担。但具体损失承担方需结合合同约定、交易习惯、法律规定及实际损失情况等多方面因素综合判断。建议采取收集证据、协商解决及法律途径等步骤来维护自身权益。如有进一步疑问或需要法律帮助，请随时向我咨询。