核心结论：未经允许擅自改变临时房屋用途，根据不同情况可能涉及行政处罚、民事责任甚至刑事责任，具体依据如下：

1. 行政处罚依据
   根据《中华人民共和国城乡规划法》第六十四条，未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设的，由县级以上地方人民政府城乡规划主管部门责令停止建设；尚可采取改正措施消除对规划实施的影响的，限期改正，处建设工程造价百分之五以上百分之十以下的罚款；无法采取改正措施消除影响的，限期拆除，不能拆除的，没收实物或者违法收入，可以并处建设工程造价百分之十以下的罚款。
   若临时房屋本身属于违法建设（如未取得临时建设规划许可），擅自改变用途可能被认定为“未按照规划许可建设”的延续违法行为，面临限期改正、罚款或拆除等处罚。

2. 合同或民事责任依据
   若临时房屋的使用基于租赁、借用等合同关系，擅自改变用途可能违反《中华人民共和国民法典》第五百七十七条（违约责任）：当事人一方不履行合同义务或者履行合同义务不符合约定的，应当承担继续履行、采取补救措施或者赔偿损失等违约责任。
   例如：租赁合同中明确约定房屋用途为“仓储”，承租人擅自改为“餐饮”，出租人有权要求恢复原状或赔偿损失。

3. 特殊场景下的刑事责任风险
   若改变用途的行为导致严重后果（如将临时房屋改为危化品存储点引发爆炸），可能触犯《中华人民共和国刑法》第一百三十四条（重大责任事故罪）或第一百三十五条（重大劳动安全事故罪），需承担刑事责任。

操作建议：

1. 立即停止擅自改变用途的行为，评估是否已违反规划许可或合同约定；
   
2. 若涉及行政处罚，可向当地城乡规划部门申请听证或行政复议；
   
3. 若涉及民事纠纷，建议与相对方协商补签用途变更协议或赔偿方案；
   
4. 复杂案件建议携带规划许可文件、合同等材料直接向我咨询，我将结合地方性法规进一步分析。