不能仅凭对方的催债短信和赌博聊天就认定赌博。具体分析如下：

1. 证据证明力：催债短信和赌博聊天虽然可能包含与赌博相关的信息，但仅作为孤证，其证明力相对较弱。在法律上，要认定某一行为是否构成赌博，需要形成完整的证据链，包括但不限于资金往来记录、聊天记录、视听资料、证人证言等。

2. 资金往来记录：除了短信和聊天记录外，资金往来记录是证明赌博行为的重要证据。如果资金往来记录显示频繁的大额资金流动，且与赌博活动的时间、地点、方式等相符合，那么这将大大增加认定赌博的可能性。

3. 其他辅助证据：视听资料，如录音、录像等，可以直观地展示赌博行为的发生过程；证人证言，尤其是参与赌博或目击赌博的证人的陈述，也能为认定赌博提供有力支持。

4. 法律程序：即使掌握了上述证据，也需要通过合法的法律程序来认定赌博行为。这包括向有关部门报案、提交证据、接受调查等。如果证据确凿，且符合法律规定的赌博构成要件，那么相关部门将依法对赌博行为进行处罚。

综上所述，不能仅凭催债短信和赌博聊天就认定赌博，而需要结合其他证据和法律程序来进行综合判断。如果你面临相关问题，建议保留所有相关证据，并咨询专业律师以获取更具体的法律建议。