结论：关于“十万块钱要收取二十个点，钱下来不给他可以吗”这一问题，不可以直接拒绝支付约定的费用，否则可能面临违约责任；但若该约定存在违法情形，则该约定无效，无需支付。以下从不同角度进行分析：
一、若“二十个点”为双方合法约定
合同效力：
- 如果双方就十万块钱的交易或服务，明确约定了收取二十个点（即20%）的费用，并且这一约定不违反法律法规的强制性规定，也不违背公序良俗，那么该约定是有效的。
- 根据《中华人民共和国民法典》的相关规定，依法成立的合同，对当事人具有法律约束力。当事人应当按照约定履行自己的义务，不得擅自变更或者解除合同。
违约责任：
- 如果一方在钱下来后拒绝支付约定的费用，即构成违约行为。
- 违约方可能需要承担继续履行、采取补救措施或者赔偿损失等违约责任。具体责任形式取决于合同约定和法律规定。
二、若“二十个点”的约定存在违法情形
高利贷情形：
- 如果这十万块钱是借款，且约定的二十个点（即年利率20%，若按此计算月利率则远超法定上限）作为利息，那么需要判断该利息约定是否合法。
- 根据《最高人民法院关于审理民间借贷案件适用法律若干问题的规定》，借贷双方约定的利率超过合同成立时一年期贷款市场报价利率四倍的，超过部分的利息约定无效。因此，如果二十个点的利率超过了法定上限，则超过部分无效，借款人无需支付。
其他违法情形：
- 如果该约定涉及其他违法情形，如欺诈、胁迫、恶意串通损害国家、集体或第三人利益等，那么该约定也是无效的。
- 在这种情况下，一方拒绝支付约定的费用，不仅不构成违约，还可能有权要求对方返还已支付的费用或赔偿损失。
三、建议与风险提示
审查合同条款：
- 在签订任何合同或协议前，务必仔细审查合同条款，确保所有约定均合法合规。
- 如果对合同条款有疑问或不确定的地方，建议咨询专业律师或法律机构。
保留证据：
- 在交易或服务过程中，务必保留好所有相关证据，如合同、转账记录、聊天记录等。
- 这些证据在发生纠纷时将起到至关重要的作用。
寻求法律帮助：
- 如果遇到合同纠纷或对方违约的情况，不要擅自处理或采取过激行为。
- 建议及时寻求专业律师的帮助，通过法律途径维护自己的合法权益。
举例说明：假设甲向乙借款十万，约定年利率为20%（即二十个点），但合同成立时一年期贷款市场报价利率的四倍远低于此。那么，甲只需支付法定上限内的利息，超过部分无需支付。若乙坚持要求甲支付全部利息，甲有权拒绝，并可通过法律途径维护自己的权益。
计算公式（以高利贷情形为例）：
- 假设法定年利率上限为\(L\)（根据最新规定，\(L\)通常为合同成立时一年期贷款市场报价利率的四倍），借款金额为\(P\)（本题中为10万），则合法利息为\(P \times L\)。
- 若约定年利率为20%，则需比较20%与\(L\)的大小。若20% > \(L\)，则超过部分无效。
- 合法利息计算公式：\(合法利息 = P \times L\)（若约定利率未超过\(L\)）；或\(合法利息 = P \times L\)（实际支付时按\(L\)计算，超过部分不予支付）（若约定利率超过\(L\)）。
最终答案：不可以直接拒绝支付约定的费用，除非该约定存在违法情形。在签订合同时，请务必仔细审查合同条款，并保留好相关证据。如有任何疑问或遇到纠纷，请及时向我咨询。