回迁楼的管理主要涉及以下部门：
依据《国有土地上房屋征收与补偿条例》第四条，市、县级人民政府负责本行政区域的房屋征收与补偿工作，并由确定的房屋征收部门具体实施。
在实际操作中，回迁问题也可以找开发商和住房建设局解决。
对全国城市房屋拆迁工作实施监督管理，地方各级建设行政主管部门则负责各自行政区域内的拆迁管理工作。
综合以上信息，回迁楼的管理主要由市、县人民政府土地行政主管部门负责，同时开发商和住房建设局也可以提供相关服务。如果涉及具体的法律问题或行政强制措施的适用，则需要人民政府介入处理。
建议：在处理回迁楼相关问题时，建议首先联系市、县人民政府土地行政主管部门，了解具体的行政程序和政策，同时也可以咨询开发商和住房建设局获取更详细的操作指导。