关于您提出的“个人所得税房贷退税只能是一套房吗”的问题，根据中国的现行税收政策及相关法规，确实存在明确的专项附加扣除规定，以下是对此问题的详细解答：
一、首套住房贷款的定义与扣除标准
首套住房贷款指的是纳税人本人或其配偶在中国境内购买住房时，所使用的商业银行或住房公积金个人住房贷款，并且该贷款需享受首套住房贷款利率。税务部门在判断时，主要依据的是贷款是否享受了首套住房贷款利率，而非单纯依据购房次数或银行的认定标准。对于符合首套住房贷款定义的，纳税人可以按照每月1000元的标准定额扣除个人所得税应纳税所得额，扣除期限最长不超过240个月（即20年）。
二、特殊情况下的扣除规则
对于夫妻双方婚前分别购买住房且均发生首套住房贷款的情况，婚后有两种扣除方式可供选择：一是由其中一方按扣除标准的100%扣除；二是双方各自对购买的住房分别按扣除标准的50%扣除。需要注意的是，具体扣除方式在一个纳税年度内不能变更。
三、非首套住房贷款的税收处理
一般来说，非首套住房的贷款利息支出是不能享受税前扣除优惠的。这是因为税收政策更倾向于支持首次购房的居民，旨在减轻其税收负担并鼓励自住性住房的购买。
四、跨城市购房的影响
对于跨城市购房的情况，政策上并未明确限制不能享受个税扣除。关键在于房贷是否符合政策规定的条件，如是否为首套住房贷款、贷款额度是否在政策范围内等。只要满足这些条件，无论在同一城市还是跨城市购房，纳税人均可享受相应的个税扣除。
五、政策变动与咨询建议
由于税收政策可能会因地区、时间等因素而有所变化，因此建议纳税人在进行税务申报前咨询当地的税务部门或专业税务顾问，以确保获取最准确、最权威的信息和解答。同时，关注税务机关发布的最新政策公告也是保持合规的重要途径。
综上所述，个人所得税房贷退税通常仅适用于首套住房贷款，且需满足特定的扣除标准和条件。对于非首套住房贷款，一般无法享受税前扣除的优惠政策。在规划个人财务和税务申报时，请充分考虑这一因素并遵循相关法规要求。