单位建筑垃圾一般不可以随意拉回家，具体分析如下：

1. 从环保法规角度：建筑垃圾包含混凝土块、碎石块、砖瓦碎块等，这些垃圾若随意处置，可能会对环境造成污染。根据相关环保法律法规，建筑垃圾应当按照规定进行分类、收集、运输和处理，以减少对环境的负面影响。将单位建筑垃圾拉回家，很可能违反了这些规定，面临环保部门的处罚。

2. 从城市管理角度：城市管理规定中，通常对建筑垃圾的堆放、运输和处理有明确要求。随意将建筑垃圾拉回家，可能会占用公共空间，影响城市整洁和美观，甚至可能阻碍交通，造成安全隐患。城市管理部门有权对此类行为进行制止和处罚。

3. 从物业规定角度：如果您居住的小区有物业管理，那么小区的物业管理规定中很可能对建筑垃圾的处置有明确要求。将单位建筑垃圾拉回家，很可能违反了小区物业管理规定，面临物业的处罚或要求整改。

建议：如果您有处理建筑垃圾的需求，应当联系专业的建筑垃圾清运公司，按照相关规定进行分类、收集、运输和处理。这样既能确保合规性，又能减少对环境的负面影响。如果您在处理建筑垃圾过程中遇到任何法律问题，可以直接向我咨询。