公司只有23个人时，可以保留工会。具体分析如下：

一. 工会建立的法律规定

根据《中华人民共和国工会法》第十一条的规定，用人单位有会员二十五人以上的，应当建立基层工会委员会；不足二十五人的，可以单独建立基层工会委员会，也可以由两个以上单位的会员联合建立基层工会委员会，或者选举组织员一人，组织会员开展活动。这一条款明确说明了工会组织的建立是基于会员数量的，但并未规定会员数量低于一定标准就必须解散工会。

二. 工会保留的实际情况

1. 会员人数不足二十五人时的选择：当公司会员人数不足二十五人时，公司可以选择单独保留工会委员会，也可以考虑与其他单位的会员联合建立基层工会委员会，或者选举组织员一人来组织会员开展活动。这些选择都表明，即使会员人数减少，工会仍然可以保留并继续运作。

2. 工会的职能与存在意义：工会的主要职能是代表会员与雇主谈判，维护会员的合法权益。即使公司人数较少，工会仍然可以发挥其在维护职工权益、促进企业与职工沟通方面的作用。因此，从维护职工利益和促进劳动关系和谐的角度来看，保留工会是有益的。

三. 我的建议

我建议公司在会员人数减少至23人时，可以保留工会。公司可以根据实际情况和职工的需求，灵活选择保留工会的方式。例如，可以选举组织员一人来组织会员开展活动，或者考虑与其他单位的会员联合建立基层工会委员会。这样不仅可以继续发挥工会在维护职工权益方面的作用，还有助于促进企业与职工之间的沟通与和谐。

如有进一步需要，您可以继续咨询我。