结论是：仅因抵押贷由中介办理且贷款40万这一事实，并不会直接导致您需要坐牢。是否会承担刑事责任，取决于贷款过程中是否存在违法行为以及这些行为是否构成犯罪。 以下从不同角度为您详细分析：
一、正常抵押贷款情况
如果抵押贷款的整个过程都是合法合规的，包括您提供了真实的资料、贷款用途合法、按时还款等，那么即使贷款是由中介办理的，您也不会因此承担刑事责任。中介在这里只是起到了协助办理贷款的作用，只要其行为也合法合规，就不会对您产生不利影响。
二、存在违法行为但未构成犯罪的情况
如果在贷款过程中，存在一些违法行为，但尚未达到犯罪的程度，那么您可能面临的是行政处罚或民事责任，而不是刑事责任。例如：
提供虚假资料：如果您为了获得贷款而提供了虚假的资料，如虚假的收入证明、房产证明等，这可能构成行政违法，会受到相关行政部门的处罚，如罚款、警告等，但一般不会因此坐牢。
贷款用途违规：如果您将贷款用于非法活动，如赌博、贩毒等，但尚未构成犯罪，那么您可能面临的是贷款合同的违约责任，以及相关行政部门的处罚，同样不会因此坐牢。不过，如果贷款用途违规且情节严重，可能构成犯罪，如贷款诈骗罪等，这就需要承担刑事责任了。
三、构成犯罪的情况
如果在贷款过程中，存在严重的违法行为，且构成了犯罪，那么您就需要承担刑事责任了。例如：
贷款诈骗罪：如果您以非法占有为目的，通过编造引进资金、项目等虚假理由、使用虚假的经济合同、使用虚假的证明文件、使用虚假的产权证明作担保、超出抵押物价值重复担保或者以其他方法，诈骗银行或者其他金融机构的贷款，数额较大的，就可能构成贷款诈骗罪。根据《中华人民共和国刑法》的相关规定，贷款诈骗罪的刑罚包括有期徒刑、拘役和罚金等，具体刑罚根据诈骗数额和情节严重程度而定。
其他相关犯罪：如果在贷款过程中，还涉及其他犯罪行为，如伪造国家机关公文、证件、印章罪等，也需要根据具体罪名承担相应的刑事责任。
四、中介行为的影响
中介在贷款过程中的行为也会影响您的法律责任。如果中介存在违法行为，如伪造资料、协助您进行贷款诈骗等，那么中介也可能构成犯罪，需要承担刑事责任。但您的法律责任并不会因为中介的行为而自动免除，关键还是要看您自身在贷款过程中的行为是否合法合规。
建议：
审查贷款过程：仔细回顾贷款过程，确保所有提供的资料都是真实的，贷款用途合法合规。
咨询专业意见：如果您对贷款过程中的某些行为存在疑虑，或者担心可能涉及法律问题，建议及时咨询专业律师，以便得到准确的法律意见。
积极配合调查：如果相关部门对您的贷款进行调查，建议您积极配合，如实说明情况，避免因为隐瞒或谎报而加重法律责任。
如果您还有其他关于债务债权或抵押担保方面的法律问题，可以直接向我咨询。