银行给行政单位提供设备使用是否违规，不能一概而论，需要分情况讨论：

一、若银行与行政单位之间存在明确的合同关系，且合同内容合法合规

1. 合同内容合法性：如果银行与行政单位签订的合同中，明确约定了银行向行政单位提供设备使用的相关条款，且这些条款不违反法律法规的强制性规定，不损害国家、社会公共利益或第三人利益，那么这种提供设备使用的行为是合法的。
2. 合同履行合规性：在合同履行过程中，银行和行政单位均应按照合同约定履行各自的义务。银行应确保提供的设备符合合同约定的质量标准，行政单位应按照约定使用设备并支付相应的费用（如果合同中有约定的话）。

二、若银行与行政单位之间不存在合同关系，或合同内容存在违法违规情形

1. 无合同关系下的提供行为：如果银行未经行政单位同意，擅自向其提供设备使用，且没有合法的依据（如捐赠、借用等），这种行为可能构成对行政单位财产权的侵犯，甚至可能涉及行政违法或刑事犯罪（如行贿、受贿等，如果伴随有不当利益输送的话）。
2. 合同内容违法违规：如果银行与行政单位签订的合同中存在违法违规的条款，如利用合同进行非法活动、损害国家利益或社会公共利益等，那么这种合同是无效的，银行提供设备使用的行为也可能因此被视为违法违规。

三、特定情境下的合规性考量

1. 政府采购与招投标程序：如果行政单位需要通过政府采购程序购买设备，而银行作为供应商参与招投标并中标后提供设备，那么这种行为是合法的。但前提是招投标程序必须合法合规，不存在串通投标、弄虚作假等违法行为。
2. 捐赠或借用情形：如果银行出于公益目的或友好关系，向行政单位捐赠或借用设备，且这种行为不违反法律法规的强制性规定，不损害国家、社会公共利益或第三人利益，那么这种行为也是合法的。但需要注意的是，捐赠或借用行为应当明确约定双方的权利义务，避免后续产生纠纷。

法律建议

1. 对于银行而言：在向行政单位提供设备使用前，应确保双方签订合法合规的合同，明确约定各自的权利义务。同时，应遵守相关法律法规和监管要求，避免涉及违法违规行为。
2. 对于行政单位而言：在接受银行提供的设备使用时，应仔细审查合同条款，确保合同内容合法合规。同时，应按照约定使用设备并履行相关义务，避免产生不必要的法律纠纷。

若您在银行与行政单位之间的设备使用问题上存在疑问或需要进一步的法律帮助，请直接向我咨询。