结论：护照作为个人身份和国籍证明的重要文件，通常不能作为抵押物用于借款。若双方尝试以护照作为抵押进行借款，这一行为本身就违反了相关法律法规，双方可能面临不同的法律后果。
一、护照抵押借款的违法性
违反护照管理规定：
- 根据《中华人民共和国护照法》的相关规定，护照是公民出入国境和在国外证明国籍和身份的证件，任何组织或者个人不得伪造、变造、转让、故意损毁或者非法扣押护照。将护照作为抵押物进行借款，显然属于非法扣押护照的行为，违反了护照管理规定。
抵押物合法性要求：
- 在借款合同中，抵押物应当是合法且可以转让的财产。护照作为个人身份证明文件，不具有财产属性，也不能进行转让，因此不能作为合法的抵押物。
二、双方可能面临的法律后果
出借人（抵押权人）的法律后果：
- 行政处罚：出借人如果非法扣押借款人的护照，可能面临公安机关的行政处罚，包括警告、罚款等。
- 合同无效：由于护照不能作为合法的抵押物，因此基于护照抵押的借款合同可能被认定为无效合同。出借人可能无法依据该合同要求借款人承担抵押责任。
- 民事赔偿：如果出借人的非法扣押行为给借款人造成了损失，借款人有权要求出借人承担民事赔偿责任。
借款人（抵押人）的法律后果：
- 合同无效后的还款义务：虽然借款合同可能因护照抵押的违法性而被认定为无效，但借款人仍需承担返还借款本金及合理利息的义务（如果利息约定不违法）。
- 可能的刑事责任：在极端情况下，如果借款人通过伪造、变造护照等手段进行借款，可能构成犯罪，需要承担刑事责任。但这种情况与单纯的护照抵押借款不同，涉及更严重的违法行为。
三、法律建议
对于出借人：
- 避免接受护照等非法物品作为抵押物，确保借款合同的合法性和有效性。
- 在签订借款合同时，应明确抵押物的合法性和可转让性，以降低法律风险。
对于借款人：
- 不要尝试将护照等个人身份证明文件作为抵押物进行借款，以免面临法律纠纷和行政处罚。
- 如果确实需要借款，应寻求合法、正规的借款渠道，并确保借款合同的合法性和有效性。
四、相关法律依据
- 《中华人民共和国护照法》第二条、第十二条：规定了护照的定义和非法扣押护照的法律责任。
- 《中华人民共和国民法典》合同编：规定了借款合同的合法性和有效性要求，以及无效合同的法律后果。
如有任何关于债务债权或抵押担保方面的法律问题，可以直接向我咨询，我会为你提供专业、全面的法律解答。