向多少人借钱并不直接构成非法吸收公众存款罪（非吸罪）的决定性因素。非法吸收公众存款罪的关键在于是否向社会不特定对象吸收资金，而不仅仅是借款人数的多寡。
核心判定要素：
- 是否向社会不特定对象吸收资金；
- 未经有关部门依法批准，或者借助合法经营的幌子，通过网络、媒体、推介会、传单、手机短信等渠道向社会公开宣传；
- 承诺在一定期限内，以货币、实物、股权等形式还本付息或给予回报。
具体情况分析：
- 如果通过网络公开宣传并承诺高额回报，即使只向十几个人吸收资金，也可能涉嫌非法吸收公众存款罪；
- 如果只是针对特定的少数人借款，没有进行公开宣传等行为，通常不会构成非法吸收公众存款罪。例如，个人因生活困难向几位亲戚朋友借钱，就不涉及此罪。
因此，判定是否构成非法吸收公众存款罪，关键在于是否满足上述核心判定要素，而不是单纯地看借款人数。如果你在这方面有具体的法律问题或疑虑，可以直接向我咨询，我会根据你的具体情况提供详细的法律分析和建议。