米芾六岁熟读诗百首，七岁学书，十岁写碑，二十一岁步入官场，但他行为乖张，
米芾笑话很多，他出门不穿宋朝衣服，却弄一身唐代衣帽。走在大街上，常常引来大量群众围观。
米芾洋洋自若，反而更神气活现，别人一看那个架势，不认识的人也知道，整个大宋除了“米颠”没第二个这么怪的。古人写信，结尾总会客套一句“再拜”，而米芾写到这，他就把笔放下，站起来整理好衣服，然后真的就拜了两拜。
米芾嗜石，《宋史》本传记有其事。元倪镇有《题米南宫拜石图》诗：“元章爱砚复爱石，探瑰抉奇久为癖。石兄足拜自写图，乃知颠名传不虚。”
据说，有一天，米芾外出遇到一块希奇古怪的大石头，形状奇丑，仿佛人形，米芾非常喜欢，围着这块石头转了几圈，不愿离去，他特意将自己的官服脱下给石头披上，并作了一个揖，嘴里念叨：“石兄，石兄，你能不能随我一道回府?”
当然石头不会自己作答，米芾也不需要石头回答，他命轿夫将石头搬进轿子里，就打道回府了。轿夫好不容易将石头抬回米府。
家人连忙出来迎轿，一掀开轿帘，大吃一惊：“怎么老爷变成了石头?”再往轿后一看，一个短衣短衫的老头气喘吁吁的走过来了，家人忍俊不禁，原来老爷一直小跑跟在后面，满头大汗。
米芾对此癖好自鸣得意，自写《拜石图》。后世画家亦好写此图，于是米芾拜石一事便喧腾人口，传为佳话。米氏宝晋斋前也有异石，以供清玩，《书异石帖》记有此石。
相传米芾有“瘦、秀、皱、透”四字相石法。
米芾玩石甚至达到一种不理衙务的地步。米芾在江苏涟水做官时，这地方靠近安徽灵壁，灵璧出产的灵璧石是有名的玩石。米芾收藏了不少灵壁石。每块都题其名目，经常把玩终日不出。
杨次公按察使，管一路司法和官吏考核，视察到涟水时，对米芾严肃地说：“朝廷将千里郡的地方交给你，你怎么能终日玩弄石头?”
米芾从左袖中取出一灵壁石，嵌空玲珑，峰峦洞穴俱全，色极清润，在手中翻转抛接给杨看：“这石头怎么样?”杨不看。
米芾将石纳入袖中，又取出一块石头，叠峰层峦，奇巧得很，不看又纳入袖中。最后取出一石，极尽天划神镂之巧，看着杨说：“这种奇石，怎么能不爱?”
杨忽然开口道：“并非只有你爱，我也很喜欢它。”他就从米芾手中抢过此奇石，径直登车离去，米芾逃过考核一劫。