管理人并没有绝对的权力不设债权人委员会，其决定需遵循法律规定并受债权人会议的制约。以下是对此问题的详细分析：
一、债权人委员会的设立依据
根据《破产法》的相关规定，债权人会议可以决定设立债权人委员会。债权人委员会由债权人会议选任的债权人代表和一名债务人的职工代表或者工会代表组成，且成员不得超过九人。这一规定明确了债权人委员会的设立是基于债权人会议的决策，而非管理人的单方面决定。
二、管理人的职权与限制
管理人职权：管理人由法院指定，负责破产财产的管理、变价和分配等工作。其职权包括但不限于接管债务人的财产、印章和账簿、文书等资料，调查债务人财产状况，制作财产状况报告，决定债务人的内部管理事务，以及决定债务人的日常开支和其他必要开支等。
管理人职权的限制：虽然管理人在破产程序中拥有广泛的职权，但其行为并非不受限制。特别是在涉及债务人重大财产的处分时，管理人需要事先制作财产管理或者变价方案并提交债权人会议进行表决。债权人会议表决未通过的，管理人不得处分。这一规定体现了对管理人职权的制约，确保了债权人会议在破产程序中的决策权。
三、管理人决定不设债权人委员会的合法性分析
法律未明确禁止：目前，法律并未明确规定管理人必须设立债权人委员会，也未禁止管理人决定不设债权人委员会。然而，这并不意味着管理人可以随意行使这一权力。
需遵循债权人会议决策：由于债权人委员会的设立是基于债权人会议的决策，因此管理人决定不设债权人委员会时，应充分考虑债权人会议的意见和利益。如果债权人会议认为有必要设立债权人委员会以维护其权益，管理人应尊重并执行这一决策。
可能面临的法律后果：如果管理人未经债权人会议同意擅自决定不设债权人委员会，并因此损害了债权人的利益，管理人可能面临法律责任。例如，债权人可以依法向法院提起诉讼，要求管理人承担相应的赔偿责任。
四、建议与注意事项
管理人应谨慎行使职权：在破产程序中，管理人应谨慎行使职权，确保其行为符合法律规定和债权人会议的决策。特别是在涉及债权人委员会设立等重大事项时，管理人应充分与债权人会议沟通并尊重其意见。
债权人应积极参与破产程序：作为破产程序的重要参与者，债权人应积极参与债权人会议并行使自己的决策权。对于管理人决定不设债权人委员会等可能影响其权益的事项，债权人应及时提出异议并寻求法律救济。
寻求专业法律帮助：在处理复杂的破产法律事务时，建议管理人和债权人均寻求专业律师的帮助以确保自身权益得到充分保障。
综上所述，管理人并没有绝对的权力不设债权人委员会。其决定需遵循法律规定并受债权人会议的制约。在处理相关事务时，建议管理人和债权人均保持谨慎并寻求专业法律帮助。如有任何疑问或需要进一步的法律建议，请随时向我咨询。