结论：若与开发商签订的调解协议中明确约定了退房后由开发商负责偿还银行贷款，且该协议合法有效，那么在正常情况下，开发商不还贷款不会直接落到您身上。但具体是否会产生不利后果，还需根据协议的具体内容、履行情况以及相关法律规定来综合判断。以下从不同角度为您详细分析：
一、协议效力与责任承担
协议合法有效：如果调解协议是双方真实意思表示，且不违反法律、行政法规的强制性规定，不违背公序良俗，那么该协议是合法有效的。根据协议约定，开发商有义务在您退房后负责偿还银行贷款。
开发商违约：若开发商未按照协议约定偿还银行贷款，这构成违约行为。您作为协议的一方，理论上不需要直接承担还款责任，但可能会面临一些间接影响，如银行可能因开发商未还款而向您追索（若银行不知情或协议未对银行产生约束力时），或者开发商可能以各种理由要求您承担部分责任（这取决于协议的具体条款和实际情况）。
二、银行贷款的偿还与责任转移
贷款合同关系：您与银行之间的贷款合同是独立的法律关系。在正常情况下，即使您与开发商签订了退房协议，这并不影响您与银行之间的贷款合同效力。然而，如果调解协议中明确约定了由开发商承担还款责任，并且银行也同意这一安排（通常需要通过银行方面的书面确认或协议变更），那么还款责任就转移给了开发商。
银行追索权：如果银行并未同意还款责任的转移，或者调解协议对银行没有约束力，那么银行仍有权根据贷款合同向您追索贷款。在这种情况下，您可能需要先向银行偿还贷款，然后再依据调解协议向开发商追偿。
三、法律建议与风险防范
审查协议条款：建议您仔细审查调解协议的所有条款，特别是关于贷款偿还、违约责任和争议解决等方面的内容。确保协议中明确约定了由开发商承担还款责任，并且这一约定对银行也具有约束力（如果可能的话）。
保留证据：在协议履行过程中，保留好所有与协议相关的证据，如协议文本、付款凭证、沟通记录等。这些证据在将来可能发生的争议中将起到关键作用。
及时沟通：如果发现开发商有违约迹象或银行开始追索贷款，及时与开发商和银行沟通，了解情况并寻求解决方案。必要时，可以寻求法律援助或咨询专业律师。
考虑法律途径：如果开发商拒绝履行还款义务或银行坚持向您追索贷款，您可以考虑通过法律途径来维护自己的权益。这可能包括起诉开发商要求其履行还款义务或赔偿损失，或者与银行协商变更贷款合同等。
最后，需要强调的是，每个案件的具体情况都是独特的，因此上述分析仅供参考。如果您面临类似问题，建议直接向我咨询，以便根据您的具体情况提供更准确的法律建议。