退赃如果不积极，确实是可能会影响减刑的，因为这会被认为没有真正认罪悔罪。
一、非法吸收公众存款或者变相吸收公众存款的四个要件
《最高人民法院关于审理非法集资刑事案件具体应用法律若干问题的解释》第一条，违反国家金融管理法律规定，向社会公众（包括单位和个人）吸收资金的行为，同时具备下列四个条件的，除刑法另有规定的以外，应当认定为刑法第一百七十六条规定的“非法吸收公众存款或者变相吸收公众存款”：
（一）未经有关部门依法批准或者借用合法经营的形式吸收资金；
（二）通过媒体、推介会、传单、手机短信等途径向社会公开宣传；
（三）承诺在一定期限内以货币、实物、股权等方式还本付息或者给付回报；
（四）向社会公众即社会不特定对象吸收资金。未向社会公开宣传，在亲友或者单位内部针对特定对象吸收资金的，不属于非法吸收或者变相吸收公众存款。
二、非法吸收公众存款罪立案标准：
对于非法吸收或者变相吸收公众存款的行为是否立案侦查，取决于有没有涉嫌以下三种情形中的一种：
一是从非法吸收或者变相吸收公众存款的数额上来看，个人非法吸收或者变相吸收公众存款，数额在20万元以上的，单位非法吸收或者变相吸收公众存款，数额在100万元以上的。
二是从非法吸收或者变相吸收公众存款的户数上来看，个人非法吸收或者变相吸收公众存款30户以上的，单位非法吸收或者变相吸收公众存款150户以上的。
三是从造成的经济损失上来看，个人非法吸收或者变相吸收公众存款给存款人造成直接经济损失数额在10万元以上的，单位非法吸收或者变相吸收公众存款给存款人造成直接经济损失数额在50万元以上的。
因篇幅问题不能全部显示，请点此查看更多更全内容