窗户往里缩是否算违建以及归谁管理的问题，需要分情况讨论：
一、窗户往里缩是否算违建
若窗户往里缩未改变建筑主体结构且符合规划要求：
- 通常情况下，如果窗户往里缩的改动并未改变建筑物的主体结构，比如只是简单地调整了窗户的开启方式或位置，且这种改动符合原有的建筑规划和设计要求，那么这种改动一般不被视为违建。
若窗户往里缩改变了建筑主体结构或违反规划要求：
- 如果窗户往里缩的改动涉及到了建筑物的主体结构，比如需要拆除或重建部分墙体来安装窗户，或者这种改动违反了原有的建筑规划和设计要求，那么这种改动就可能被视为违建。违建可能会面临被相关部门责令拆除、罚款等法律后果。
二、窗户往里缩归谁管理
城市规划部门：
- 城市规划部门是负责城市规划和建设管理的主要部门。如果窗户往里缩的改动涉及到建筑物的外观、结构或使用功能，且这种改动可能影响到城市的整体规划和风貌，那么城市规划部门就有权进行管理和监督。
住房和城乡建设部门：
- 住房和城乡建设部门是负责房屋建设和使用管理的重要部门。如果窗户往里缩的改动涉及到房屋的安全、使用功能或居住环境等方面，且这种改动可能影响到房屋的整体质量和安全，那么住房和城乡建设部门也有权进行管理和监督。
物业管理公司（如适用）：
- 如果窗户往里缩的改动发生在住宅小区内，且该小区有物业管理公司进行管理，那么物业管理公司也可能对这种改动进行一定的管理和监督。特别是当这种改动可能影响到其他业主的权益或小区的整体环境时，物业管理公司有权要求业主进行整改或恢复原状。
法律建议：
- 在进行窗户往里缩的改动前，建议先咨询当地的城市规划部门或住房和城乡建设部门，了解相关的规划和建设要求，确保改动符合法律法规的规定。
- 如果改动涉及到建筑物的主体结构或使用功能，建议聘请专业的建筑师或工程师进行设计和施工，确保改动不会影响到建筑物的安全和稳定性。
- 如果改动发生在住宅小区内，建议先与物业管理公司进行沟通，了解小区的管理规定和要求，避免因改动而引发不必要的纠纷和麻烦。
后续行动建议：
- 如果您已经进行了窗户往里缩的改动，且不确定是否合法合规，建议尽快向相关部门进行咨询和申报，以便及时了解和处理可能存在的问题。
- 如果您在改动过程中遇到了任何法律问题或纠纷，可以直接向我咨询，我会根据您的具体情况提供专业的法律建议和帮助。