结论：公职人员以筹集资金投资建房为名借款却拒不还款，是否构成诈骗罪不能一概而论，需结合具体案情判断。以下从不同角度进行分析：
一、构成诈骗罪的情形
诈骗罪是指以非法占有为目的，用虚构事实或者隐瞒真相的方法，骗取数额较大的公私财物的行为。若公职人员存在以下行为，则可能构成诈骗罪：
虚构事实或隐瞒真相：公职人员以筹集资金投资建房为名，实际上并无投资建房的计划或项目，或者虚构了投资建房的盈利前景，以此诱使他人借款。
非法占有目的：公职人员借款时即具有不归还的意图，或者借款后将资金用于个人挥霍、赌博等非法活动，导致无法归还。
数额较大：根据《刑法》及相关司法解释，诈骗公私财物数额较大的，才构成诈骗罪。具体数额标准可能因地区而异，但一般达到数千元至数万元不等。
举例：若公职人员虚构了一个投资建房项目，声称该项目将带来高额回报，诱使多人借款共计数十万元，但实际上并无该项目，且将借款用于个人消费或赌博，最终无法归还，则可能构成诈骗罪。
二、不构成诈骗罪的情形
若公职人员借款时确实有投资建房的计划或项目，且因市场变化、经营不善等原因导致无法归还借款，则可能不构成诈骗罪，而属于民事纠纷范畴。
真实投资意图：公职人员借款时确实有投资建房的意图，且已经进行了部分投资或准备工作。
非故意不归还：因市场变化、经营不善等客观原因导致投资失败，无法归还借款，而非故意不归还。
无非法占有目的：公职人员借款后并未将资金用于个人挥霍或非法活动，而是用于了投资建房项目。
举例：若公职人员借款后确实用于了投资建房项目，但因房地产市场波动导致项目亏损，无法按时归还借款，且其并无非法占有借款的意图，则可能不构成诈骗罪。
三、法律建议
收集证据：若您认为公职人员构成诈骗罪，应尽快收集相关证据，如借款合同、转账记录、聊天记录等，以证明其虚构事实或隐瞒真相、具有非法占有目的等行为。
及时报警：在收集到足够证据后，应及时向公安机关报案，由公安机关进行立案侦查。
咨询律师：在报案前或报案过程中，可咨询专业律师，了解案件的法律性质、可能的法律后果及维权策略等。
民事诉讼：若案件最终被认定为民事纠纷，您可通过民事诉讼途径追讨借款及利息等损失。
最后，公职人员以筹集资金投资建房为名借款却拒不还款是否构成诈骗罪，需结合具体案情判断。若您遇到此类情况，建议尽快收集证据并咨询专业律师，以便更好地维护自己的合法权益。