Das Gebäude wurde 1732 unter Abt Rufinus Mayr errichtet, und diente zu Klosters Zeiten als Getreidekasten. An der Ostseite läßt Abt Rufinus einen Rotmarmorstein mit folgender Inschrift anbringen: „Um die Gegenwart väterlich besorgt, für die Zukunft aufmerksam vorsorgend, hat diesen Getreidekasten errichtet und von Grund auf erbaut im sechsten Jahr seiner eigenen Regierung, auf die Regierung Christi bezogen im Jahr 1732, Rufinus, Abt in Seeon“.
1803 wurde es, wie alle Gebäude des Klosters, versteigert, aber 1808 vom Staat zurückgekauft. Während der wechselnden Besitzverhältnisse bewahrte es seine Funktion als Getreidespeicher bis 1896, danach diente es verschiedensten Zwecken. Unter Graf Arco-Zinneberg wird es als Pferde- und Schweinestall mit Futtermittellager genutzt. Es war sogar eine Wohnung eingebaut.
1929 erwirbt Joseph Karolus, Diplomlandwirt von Rechen im Kreis Heidelberg, den Maierhof und den Getreidespeicher. Während des 2. Weltkrieges wird die Rüstungsfirma „Bavaria-Motorenwerke“, bis Kriegsende, in den Getreidekasten ausgelagert. Das Gebäude wurde von der Bevölkerung nun das „Bavaria-Haus“ genannt.
1959 vermietet der Besitzer Hans Kupfer das Gebäude der Regierung von Oberbayern, die darin ein Medikamenten- und Ausrüstungslager für den Katastrophenschutz einrichtet. Bis 1981 besteht das „ZS-Sanitätslager BY 2 Bavariahaus Seeon“. Von 1990 bis 1999 wurden in dem zum Hotel umgebauten Gebäude Spätaussiedler untergebracht.
Seit 2001 es ein modernes Hotel Garni mit dem Namen „Haus Rufinus“.
