Ólavur í Geil, Miðflokkurin