结论：刚结婚男方那方面不行，可以作为离婚的一个理由，但是否能成功离婚还需法院根据具体情况判断；至于彩礼是否退还，同样需根据具体情况来分析。
一、关于离婚问题
离婚理由：
- 男方那方面不行，如果确实影响到夫妻生活的正常进行，且双方无法就此问题达成和解或找到有效的解决方案，那么这可以成为离婚的一个合理理由。
- 然而，离婚并非仅凭一方的主观感受或单方面陈述即可决定，而是需要法院根据双方的陈述、证据以及相关法律法规进行综合判断。
法院判决：
- 法院在审理离婚案件时，会考虑夫妻感情是否确已破裂作为判决离婚的主要标准。
- 如果男方那方面不行确实导致夫妻感情破裂，且无法修复，那么法院可能会判决离婚。
二、关于彩礼退还问题
根据《最高人民法院关于适用〈中华人民共和国民法典〉婚姻家庭编的解释（一）》第五条的规定，以下三种情形可以请求返还彩礼：
双方未办理结婚登记手续：
- 如果双方只是举行了婚礼或订婚仪式，但并未在法律上完成结婚登记，那么男方有权要求女方返还全部或部分彩礼。但此情况与您描述的不符，因为您已经结婚。
双方办理结婚登记手续但确未共同生活：
- 如果双方虽然办理了结婚登记手续，但实际上并未共同生活，比如婚后即分居或长期异地等，男方可以要求返还彩礼。
- 在您的情况下，如果双方确实共同生活了一段时间，但时间极短，且因男方那方面不行导致迅速离婚，法院可能会考虑实际情况，酌情判决部分或全部退还彩礼。
婚前给付并导致给付人生活困难：
- 如果男方在婚前为了支付彩礼而背负了沉重的债务，且这些债务对男方的正常生活造成了严重影响，那么男方也有权要求返还彩礼。
- 此情况需要男方提供充分的证据证明其因支付彩礼而导致生活困难。
三、其他影响因素
彩礼的性质和用途：
- 如果彩礼是以现金形式给付，且未用于夫妻共同生活或购置共同财产，那么退还的可能性较大。
- 如果彩礼已经转化为夫妻共同财产或用于购置共同财产，那么退还时可能需要考虑财产的分割问题。
当地习俗和惯例：
- 在一些地区，可能存在特定的习俗和惯例影响彩礼的退还。但这些习俗和惯例并不能凌驾于法律之上，法院在判决时会以法律为准绳。
建议：
- 如果您确实面临这样的情况，建议首先与男方进行沟通，尝试找到解决问题的办法，比如寻求医疗帮助等。
- 如果沟通无果，且您确实希望离婚并要求退还彩礼，那么建议您收集相关证据，如医疗证明、共同生活时间的证明等，以便在法院审理时提供有力的支持。
- 在整个过程中，保持冷静和理性，依法维护自己的合法权益。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。