不可以不还。即使金融机构没有行政许可，借款人仍然需要履行还款义务。以下从不同角度对此问题进行详细分析：
一、法律合同的效力
合同成立与生效：
- 根据《中华人民共和国民法典》的相关规定，依法成立的合同，自成立时生效，但是法律另有规定或者当事人另有约定的除外。贷款合同作为双方意思表示一致的协议，一旦成立并满足生效条件（如双方具有相应的民事行为能力、意思表示真实、不违反法律或行政法规的强制性规定等），即对双方产生法律约束力。
- 金融机构是否具备行政许可，并不直接影响贷款合同的效力。除非合同本身存在无效情形（如一方以欺诈、胁迫的手段订立合同，损害国家利益；恶意串通，损害国家、集体或者第三人利益等），否则合同对双方均具有法律约束力。
行政许可与合同效力的关系：
- 行政许可通常是行政机关对特定行业或活动的准入管理，未取得行政许可可能面临行政处罚，但并不直接导致民事合同无效。
- 在贷款合同中，即使金融机构未取得行政许可，只要合同本身合法有效，借款人仍需按照合同约定履行还款义务。
二、未取得行政许可的法律后果
行政处罚：
- 金融机构未取得行政许可而从事贷款业务，可能面临行政机关的处罚，如罚款、没收违法所得、责令停业整顿等。
- 但这些行政处罚并不免除借款人的还款义务。
民事责任：
- 如果金融机构因未取得行政许可而导致无法正常提供贷款服务或给借款人造成损失，借款人可能可以依据合同约定或法律规定要求金融机构承担违约责任或赔偿责任。
- 然而，这并不意味着借款人可以因此免除还款义务。
三、借款人的还款义务
诚信原则：
- 根据诚信原则，借款人在签订贷款合同时应如实告知自己的财务状况和还款能力，并按照合同约定履行还款义务。
- 即使金融机构存在违规行为，借款人也不能以此为由拒绝履行还款义务。
法律后果：
- 如果借款人拒绝还款，金融机构有权通过法律途径追讨欠款，包括但不限于起诉、申请强制执行等。
- 借款人可能因此面临信用受损、财产被查封或拍卖等法律后果。
四、特殊情况下的处理
- 如果贷款合同存在无效情形：如金融机构以欺诈手段诱使借款人签订合同，或者合同内容违反法律、行政法规的强制性规定等，借款人可以主张合同无效，并据此拒绝履行还款义务。但这种情况需要借款人提供充分的证据来证明合同存在无效情形。
- 如果金融机构涉嫌犯罪：如非法集资、诈骗等，借款人应及时向公安机关报案，并配合调查。但在此过程中，借款人仍需注意保护自己的合法权益，避免因盲目拒绝还款而承担不必要的法律责任。
建议：作为借款人，在签订贷款合同时应仔细审查合同条款和金融机构的资质情况。如果发现金融机构存在违规行为或合同存在无效情形，应及时咨询专业律师并采取相应的法律措施。但无论如何，借款人都应秉持诚信原则履行还款义务，避免因拒绝还款而承担不必要的法律后果。如果有任何疑问或需要进一步的法律帮助，可以直接向我咨询。