这个问题是一个大问题，最简单粗暴的回答是：都构成非法吸收公众存款罪了，肯定违法，那么非法吸储的合同就是以合法的形式掩盖非法的目的，所以合同是无效的。但问题不是这么简单。
对非法吸储下的借款合同的效力，理论上存在不同的观点，有人认为无效，有人认为有效，有人认为应区别债权人是否善意、是否知道借出的款项是用于非法集资；也有人认为应根据行为人是否具有放贷的目的确定是否合法。
2011年11月10日，最高人民法院发布了吴国军因与陈晓富、王克祥、德清县中建房地产开发有限公司的民间借贷、担保合同纠纷的案例，其裁判摘要为：“民间借贷涉嫌或构成非法吸收公众存款罪，合同一方当事人可能被追究刑事责任的，并不当然影响民间借贷合同以及相对应的担保合同的效力。” 该案判决认为：“本案原审被告陈晓富触犯刑律的犯罪行为，并不必然导致借款合同无效。因为借款合同的订立没有违反法律、行政法规效力性的强制性规定。效力上采取从宽认定，是该司法解释的本意，也可在最大程度上尊重当事人的意思自治。”按这个判决和最高法院公布这个案例的指引意见，非法吸储的借款合同倾向于有效。
再看《最高人民法院关于审理民间借贷案件适用法律若干问题的规定》（法释〔2015〕18号）
第十三条 借款人或者出借人的借贷行为涉嫌犯罪，或者已经生效的判决认定构成犯罪，当事人提起民事诉讼的，民间借贷合同并不当然无效。人民法院应当根据合同法第五十二条、本规定第十四条之规定，认定民间借贷合同的效力。
担保人以借款人或者出借人的借贷行为涉嫌犯罪或者已经生效的判决认定构成犯罪为由，主张不承担民事责任的，人民法院应当依据民间借贷合同与担保合同的效力、当事人的过错程度，依法确定担保人的民事责任。
第十四条 具有下列情形之一，人民法院应当认定民间借贷合同无效：
（一）套取金融机构信贷资金又高利转贷给借款人，且借款人事先知道或者应当知道的；
（二）以向其他企业借贷或者向本单位职工集资取得的资金又转贷给借款人牟利，且借款人事先知道或者应当知道的；
（三）出借人事先知道或者应当知道借款人借款用于违法犯罪活动仍然提供借款的；
（四）违背社会公序良俗的；
（五）其他违反法律、行政法规效力性强制性规定的。
至少综合上述内容可以说，非法吸储的借款合同不能轻易认定无效，一般的非法吸储案件，受害人将款借出时并没有被人非法吸储的概念，吸储者也大都是打着搞开发、建企业等等的正确的旗号，有些借来的钱也确实用在了其已经进行的合法经营上。只要借款合同的订立没有违反法律、行政法规效力性规定，出借人不知道借款人借款是用于违法犯罪活动的，借款合同就不应确认无效。