将密件借回办公室是否违法，不能一概而论，需要分情况讨论：

1. 如果密件属于国家秘密：

   • 根据《中华人民共和国保守国家秘密法》的相关规定，国家秘密的知悉范围应当根据工作需要限定在最小范围，并且国家秘密载体应当存放在密码保险柜中。如果因工作需要借阅、使用国家秘密载体，应当严格按照保密规定办理审批和登记手续，并且只能在符合保密要求的场所使用。
   • 若未经批准，擅自将国家秘密载体借回办公室，可能构成违法。因为这种行为可能违反了国家秘密的保密规定，导致国家秘密的泄露风险增加。如果因此造成国家秘密泄露，还可能面临法律责任，包括行政处罚甚至刑事责任。

2. 如果密件属于公司商业秘密：

   • 公司商业秘密的保护通常依据公司内部的保密制度和相关法律法规，如《中华人民共和国反不正当竞争法》等。公司商业秘密的知悉范围也应根据工作需要限定，并且员工有义务保守公司的商业秘密。
   • 若未经公司允许，擅自将公司商业秘密借回办公室，可能违反公司保密制度。这种行为可能构成对公司商业秘密的侵犯，公司有权依据内部规定或相关法律法规追究员工的责任，包括要求赔偿损失等。

3. 如果密件属于个人隐私或他人秘密：

   • 个人隐私和他人秘密受法律保护，任何组织或者个人不得以刺探、侵扰、泄露、公开等方式侵害他人的隐私权。
   • 若未经允许，擅自将涉及个人隐私或他人秘密的密件借回办公室，可能构成对他人隐私权的侵犯。这种行为可能面临民事赔偿等法律责任。

法律建议：

• 在处理密件时，应严格遵守相关法律法规和公司内部规定，确保密件的安全和保密。
• 如果因工作需要借阅、使用密件，应按照规定办理审批和登记手续，并在符合保密要求的场所使用。
• 如果对密件的处理存在疑问或不确定，应及时咨询相关部门或专业律师，以避免违法风险。

可能后果：

• 违反保密规定可能导致法律责任，包括行政处罚、民事赔偿甚至刑事责任。
• 侵犯公司商业秘密或他人隐私权可能导致公司内部纪律处分或民事赔偿等后果。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询，我会根据你的具体情况提供详细的法律建议。