不可以。根据《中华人民共和国个人所得税法》及相关规定，赡养老人专项附加扣除的具体规则如下：
一. 扣除额度与分摊方式
- 独生子女：每月可直接扣除2000元。
- 非独生子女：需与兄弟姐妹分摊每月2000元的扣除额度，每人每月扣除额不得超过1000元。分摊方式包括平均分摊、被赡养人指定分摊或赡养人之间的约定分摊。指定分摊或约定分摊的每一纳税人分摊的扣除额最高不得超过每月1000元，并需签订书面分摊协议。指定分摊与约定分摊不一致的，以指定分摊为准。
二. 特殊情况处理
- 如果非独生子女家庭中，其中一个子女无赡养父母的能力，其他子女也不能因此享受更高的扣除额度，仍需按照每人每月不超过1000元的标准进行分摊。
三. 抵扣条件
- 赡养老人专项附加扣除的扣除主体包括负有赡养义务的所有子女，以及祖父母、外祖父母的子女均已经去世的孙子女、外孙子女。被赡养人是指年满60岁的父母，以及子女均已去世的年满60岁的祖父母、外祖父母。
综上所述，即使两兄弟中全部由其中一方赡养老人，赡养老人专项附加扣除也不能全部由其中一方抵扣。非独生子女家庭需要按照税法规定进行分摊。
我的观点：在处理这类税务问题时，应严格遵守相关法律法规，确保税收的公平性和合理性。如有进一步需要，您可以继续咨询我。