诈骗金额应认定为20万元，但具体处理需结合案件细节及司法实践综合判断。以下从不同角度为您详细分析：
一、法律层面的直接规定
根据《中华人民共和国刑法》及相关司法解释，诈骗罪的成立以行为人实施诈骗行为并意图非法占有他人财物为要件。在您描述的情形中，行为人诈骗了170万元，但在立案前退回了150万元。从法律条文直接解读的角度看，未退回的20万元应作为诈骗金额予以认定。这是因为，退回的款项并未改变行为人最初实施诈骗行为并意图非法占有全部170万元的事实，只是事后对部分非法所得的返还。
二、司法实践中的考量因素
退款时间与立案时间的关系：
- 若退款发生在立案前，且行为人主动退还，这可能作为量刑时的从轻情节考虑。但退款行为本身并不改变诈骗金额的认定，只是可能影响最终的刑罚轻重。
行为人的主观意图：
- 法院在审理时会考察行为人退款时的主观意图。若行为人退款是出于真诚悔过或避免法律追究，这可能对其量刑产生积极影响。但若退款是出于其他目的，如掩盖犯罪事实或逃避打击，则可能不会得到从轻处理。
被害人的损失情况：
- 虽然退款减少了被害人的实际损失，但诈骗金额的认定是基于行为人实施诈骗行为时的意图和金额，而非被害人最终的实际损失。因此，退款行为不影响诈骗金额的认定。
三、可能存在的争议点
退款是否构成“犯罪中止”或“犯罪未遂”：
- 在此情况下，退款行为并不构成犯罪中止或犯罪未遂。因为犯罪中止要求行为人在犯罪过程中自动放弃犯罪或自动有效防止犯罪结果发生，而犯罪未遂则要求行为人因意志以外的原因未得逞。您描述的情形中，行为人已经完成了诈骗行为，只是事后退还了部分款项。
退款对量刑的具体影响：
- 退款行为在量刑时通常会被视为从轻情节，但具体影响程度需由法院根据案件具体情况综合判断。法院会考虑退款的时间、金额、行为人的主观意图以及被害人的损失情况等因素。
四、法律建议
积极配合调查：
- 若您或您身边的人涉及此类案件，建议积极配合司法机关的调查工作，如实陈述事实，提供相关证据。
寻求专业法律帮助：
- 鉴于刑事案件的复杂性和严重性，建议尽快咨询并委托专业律师进行辩护。律师可以根据案件具体情况，为您制定合适的辩护策略，争取从轻或减轻处罚。
关注案件进展：
- 在案件处理过程中，保持与司法机关的沟通联系，及时了解案件进展情况。同时，注意保护自己的合法权益，避免受到不必要的侵害。
最后需要强调的是，每个刑事案件都有其独特性和复杂性，诈骗金额的认定及量刑需由法院根据案件具体情况综合判断。因此，在处理此类案件时，务必寻求专业律师的帮助，以确保您的合法权益得到最大程度的保护。如果您有任何法律问题或需要进一步的法律帮助，请直接向我咨询。