文旅局向建房者收取文物影响评估费是否合法，需分情况讨论：
若文旅局是依据法定职责和程序收取：
- 根据《中华人民共和国文物保护法》及相关规定，进行建设工程或者农业生产中，任何单位或者个人发现文物，应当保护现场，立即报告当地文物行政部门。若建设工程位于文物保护单位的建设控制地带内，或者可能对文物造成影响，确实需要进行文物影响评估。
- 如果文旅局是依据地方性法规、规章或规范性文件，明确规定了在进行特定建设工程前需进行文物影响评估，并明确了评估费用的承担方式（如由建设单位承担），且该规定不违反上位法，那么文旅局向建房者收取文物影响评估费可能是合法的。但这种情况下，必须确保收费项目、标准、程序等均公开透明，且符合相关法律法规的规定。
若文旅局无明确法律依据或违反程序收取：
- 如果文旅局收取文物影响评估费没有明确的法律依据，或者虽然有一定依据但违反了法定程序（如未事先告知、未出具正规票据、收费标准不合理等），那么这种收费行为可能是不合法的。
- 特别是，如果文旅局将文物影响评估作为强制性的前置条件，并以此为由收取费用，而实际上该评估并非所有建设工程都必须进行，或者评估费用并非必须由建房者承担，那么这种做法就可能涉嫌滥用行政权力或乱收费。
法律建议：
- 对于建房者而言，如果面临文旅局收取文物影响评估费的情况，首先应当要求文旅局出示相关的法律依据和收费标准，了解该费用是否必须缴纳以及缴纳的具体程序。
- 如果认为文旅局的收费行为不合法或不合理，建房者可以向当地的法制部门、物价部门或上级文物行政部门进行投诉或举报，寻求行政救济。
- 在必要时，建房者还可以考虑通过法律途径（如提起行政诉讼）来维护自己的合法权益。
可能后果：
- 如果文旅局的收费行为被认定为合法，建房者需要按照规定缴纳文物影响评估费，否则可能面临无法办理相关建设手续或受到行政处罚等后果。
- 如果文旅局的收费行为被认定为不合法，那么建房者有权拒绝缴纳该费用，并可以要求文旅局退还已收取的费用。同时，文旅局还可能面临被责令改正、没收违法所得、罚款等行政处罚。
总之，文旅局向建房者收取文物影响评估费是否合法，取决于具体的法律法规规定和收费程序。建房者在面临这种情况时，应当保持谨慎并寻求专业法律意见。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。