结论：在骗取数额为20万，中途还了4万的情况下，起诉时违法所得数额的认定并非简单地将初始骗取数额20万作为唯一标准，而是需要综合考虑多种因素，包括实际骗取数额、已归还数额以及行为人的主观故意等。一般情况下，违法所得数额应认定为实际未归还的数额，即16万，但具体还需根据案件事实和法律规定进行综合判断。
法律分析：
违法所得数额的认定原则：
- 违法所得数额是指行为人通过违法行为实际获得的财物数额。在诈骗案件中，这通常指的是行为人实际骗取并占有的财物数额。
- 如果行为人在骗取财物后，部分或全部归还了被害人，那么这部分已归还的财物在认定违法所得数额时应予以扣除。
具体到本案的情况：
- 初始骗取数额为20万，这是行为人通过诈骗手段获得的财物总额。
- 中途归还了4万，这部分财物已经不再由行为人占有，而是回到了被害人的控制之下。
- 因此，在认定违法所得数额时，应将这4万从初始骗取数额中扣除，即实际未归还的数额为16万。
法律依据与考量：
- 虽然直接的法律依据可能并未明确提及“中途归还”的情况，但根据《中华人民共和国刑法》中关于诈骗罪的规定，以及违法所得数额认定的基本原则，可以合理推断出上述结论。
- 诈骗罪的构成要件包括行为人以非法占有为目的，用虚构事实或者隐瞒真相的方法，骗取数额较大的公私财物的行为。在这里，“数额较大”指的是行为人实际骗取并占有的财物数额。
- 如果行为人中途归还了部分财物，那么这部分财物在认定“数额较大”时应予以扣除，因为这部分财物已经不再由行为人非法占有。
特殊情况与考量：
- 如果行为人中途归还的4万并非出于自愿，而是被被害人追讨或法律强制执行等原因归还的，这可能不影响违法所得数额的认定，但会在量刑时作为酌情考虑的因素。
- 如果行为人存在多次诈骗行为，且每次诈骗的数额和归还情况都不同，那么需要分别计算每次诈骗的违法所得数额，并综合考虑全案情况进行量刑。
建议与提醒：
- 在处理此类案件时，建议详细收集并整理相关证据，包括诈骗行为的证据、归还财物的证据等，以便在起诉时能够准确认定违法所得数额。
- 如果对违法所得数额的认定存在疑问或争议，建议及时咨询专业律师，以便获得更准确的法律意见和帮助。
如有其他法律问题，也可以直接向我咨询，我会结合你的具体情况，为你提供专业的法律建议。