Question

Почему в наречии "не шибко(умный)" частица пишется раздельно, несмотря на то что наречия на -о,-е пишутся раздельно только в случаях противопоставления и при словах-магнитах? Ответ, пожалуйста, обоснуйте.

Answer 1

Потому что частица не здесь относится к существительному, а не к наречию. Если б его не было, то писалось бы неумный. 
Ну, мне так кажется)