Файловая система переходит в read only

Maxim Gribanov написал(а) к All в Aug 16 08:58:42 по местному времени:

Привет, All!

Друзья, помогите разобраться в непонятной для меня ситуации. После запуска ОС работает n-ое количество дней, после чего файловая система переходит в режим read only. Понятно что таким образом Linux пытается сохранить данные. Проверяю раздел fsck и после ребута все работает опять какое то количество дней, пока проблема не повторяется. Многие скажут что проблема с жестким диском и он сыпиеться. Но тут ньюанс. ОС в виртуальной среде, по мимо этой виртуальной машины на сервере их еще пять, но проблема наблюдается только в одной. В качестве гипервизора для виртуализации используется Citrix XenServer, гостевая ОС в которой проблема Debian 7. То есть летит файловая система внутри виртуальной машины. Сами виртуалки гипервизор хранит в LVM партиции. Не думаю что дело как то касается жесткого. В качетве жесткого диска аппаратный RAID из двух дисков первого уровня. Думал что возможно ошибки в ФС вызываются из-за проблем с ОЗУ, но память проверил. все ок.

С наилучшими пожеланиями, Maxim.

--- -Пиши, старик, пиши! Мы тебя не покинем.

Sasha Shost написал(а) к Maxim Gribanov в Aug 16 09:47:30 по местному времени:

Нello Maxim!



MG> опять какое то количество дней, пока проблема не повторяется. Многие
MG> скажут что проблема с жестким диском и он сыпиеться. Но тут ньюанс. ОС
MG> в виртуальной среде, по мимо этой виртуальной машины на сервере их еще
так виртуалка то не в озу, а все равно на физическом винте лежит образ
перенести копированием (не мове, а копи) на другое физическое место образ
может там как раз что то не то на реальном раиде



Sasha http://dr-shost.com http://shostatsky.narod.ru [Team OS/2][Team EDSMO]



--- GoldED-NSF/LNX 1.1.5-20090710

Stanislav Vlasov написал(а) к Maxim Gribanov в Aug 16 12:03:06 по местному времени:

Привет, Maxim!

19 авг 16 08:58, Maxim Gribanov -> All в сообщении по ссылке area://ru.linux.chainik?msgid=2:5064/56+57b6a028:

MG> для виртуализации используется Citrix XenServer, гостевая ОС в которой

Похоже, у Xen проблемы типичны независимо от того, опенсорсный Xen из дистрибутива или таки закрытый XenServer...

MG> проблема Debian 7. То есть летит файловая система внутри виртуальной

Ща придут гнобить ;-)

MG> машины. Сами виртуалки гипервизор хранит в LVM партиции. Не думаю что

И поэтому тоже :-)

А по делу - у меня такое было в следующих случаях (причём, чаще с центосью5, дебиан тогда был поустойчивей в этом смысле):
* миграция сильно нагруженной по диску виртуалки между серверами Xen
* большая нагрузка на хранилище и при этом низкий приоритет у диска виртуалки

Вобщем, всегда стрясалась, когда почему-либо диск тормозил не по аппаратным причинам.
Прошло после переезда на вмварь.
На серверах с kvm не проявлялось ни разу.

С наилучшими пожеланиями, Stanislav.

--- -.-.-.-.-.-

Maxim Sokolsky написал(а) к Maxim Gribanov в Aug 16 15:27:28 по местному времени:

Привет, Maxim!

MG> Друзья, помогите разобраться в непонятной для меня ситуации. После
MG> запуска ОС работает n-ое количество дней, после чего файловая система
MG> переходит в режим read only. Понятно что таким образом Linux пытается
MG> сохранить данные.

Cистема пишет журнал, но возникает таймаут по IO - система вируальная с медленным вводом-выводом. И вот таймаут проходит - и система думает что это ошибка жесткого диска - типа - "я же пишу журнал, а мне не отвечают!" :)

MG> Проверяю раздел fsck и после ребута все работает опять какое то
MG> количество дней, пока проблема не повторяется.

Ага. Вот у тебя в другом госте кто-то резко начал активно писать - тогда гипервизор режет другим машинкам IO - и в этом дебиане возникают тормоза.
Далее - см. выше :)

Cогласно твоим настройкам в fstab переводит в режим только чтение - у тебя там
что-то вроде: rw,errors=remount-ro.

MG> Многие скажут что проблема с жестким диском и он сыпиеться. Но тут
MG> ньюанс. ОС в виртуальной среде, по мимо этой виртуальной машины на
MG> сервере их еще пять, но проблема наблюдается только в одной. В
MG> качестве гипервизора для виртуализации используется Citrix XenServer,
MG> гостевая ОС в которой проблема Debian 7. То есть летит файловая
MG> система внутри виртуальной машины. Сами виртуалки гипервизор хранит в
MG> LVM партиции. Не думаю что дело как то касается жесткого.

Загляни в fstab в госте - у тебя там что-то вроде: rw,errors=remount-ro.
Ну вот как написано - так система себя и ведёт. Журнала пишется, но ответа нет, тогда =remount-ro :)

Это, конечно, гиптеза. Ты глянь логи, что там.

Я думаю, тебе стоит слегка оттюнить систему - ументьшить кол-во дисковых операций ввода-вывода - чтобы ументшить iowait. Можно увеличить таймаут между сбросом буферов в госте в /etc/sysctl.conf.

Ну и конечно - опции монтирвоания по-умолчанию - нужно менять. Как вариант попробуй async, noatime, barrier=0.

С наилучшими пожеланиями, Maxim.

--- -А жаль, что во времена неандертальцев не было фидонета

Maxim Gribanov написал(а) к All в Aug 17 12:09:58 по местному времени:

Привет, All!

Помогите друзья,

Такая бида, файловая система периодически переходит в read only, при этом если запуститься с live-cd и выполнить проверку fsck /dev/sda1 -cvfy все становится на свои места. На какое то время.

Проблема врятли с диском, диски проверял, все норм. К томуже они в аппаратном RAID-1.
badblocks ошибок не нашел, так же чекал hdd-regenerator'ом. Данная проблема наблюдается в виртуальной машине, причем только в одной. Куда копать подскажите?


С наилучшими пожеланиями, Maxim.

--- -Пиши, старик, пиши! Мы тебя не покинем.

Evgeny Mikheev написал(а) к Maxim Gribanov в Aug 17 12:36:04 по местному времени:

Привет, Maxim!

30 авг 17 12:09, Maxim Gribanov -> All:

MG> Такая бида, файловая система периодически переходит в read only, при
MG> этом если запуститься с live-cd и выполнить проверку fsck /dev/sda1
MG> -cvfy все становится на свои места. На какое то время.
MG> Проблема врятли с диском, диски проверял, все норм. К томуже они в
MG> аппаратном RAID-1. badblocks ошибок не нашел, так же чекал
MG> hdd-regenerator'ом. Данная проблема наблюдается в виртуальной машине,
MG> причем только в одной. Куда копать подскажите?

Какая файловая система? Какие исправления вносит fsck при проверке?

С наилучшими пожеланиями, Evgeny.

--- -Пиши, старик, пиши! Мы тебя не покинем.

Maxim Gribanov написал(а) к Evgeny Mikheev в Aug 17 13:04:06 по местному времени:

Привет, Evgeny!

30 авг 17 12:36, Evgeny Mikheev -> Maxim Gribanov:

EM> Привет, Maxim!

EM> 30 авг 17 12:09, Maxim Gribanov -> All:

MG>> Такая бида, файловая система периодически переходит в read only,
MG>> при этом если запуститься с live-cd и выполнить проверку fsck
MG>> /dev/sda1 -cvfy все становится на свои места. На какое то время.
MG>> Проблема врятли с диском, диски проверял, все норм. К томуже они
MG>> в аппаратном RAID-1. badblocks ошибок не нашел, так же чекал
MG>> hdd-regenerator'ом. Данная проблема наблюдается в виртуальной
MG>> машине, причем только в одной. Куда копать подскажите?

EM> Какая файловая система? Какие исправления вносит fsck при проверке?

ext4 файловая

в /etc/fstab:

UUID=9256d13e-fe89-4d72-9a27-9a7a6f745be1 / ext4 errors=remount-ro 0 1

при проверке точно не помню,
было inode was part of the orphaned inode list

вот вывод dmesg https://pastebin.com/zBvUULU2

вывод /var/log/messages https://pastebin.com/Eg4dtcJe

/var/log/syslog https://pastebin.com/KxBtRYVB


cat /proc/cmdline
root=UUID=9256d13e-fe89-4d72-9a27-9a7a6f745be1 ro console=hvc0 quiet -- quiet console=hvc0


С наилучшими пожеланиями, Maxim.

--- -Пиши, старик, пиши! Мы тебя не покинем.

Evgeny Mikheev написал(а) к Maxim Gribanov в Aug 17 14:02:30 по местному времени:

Привет, Maxim!

30 авг 17 13:04, Maxim Gribanov -> Evgeny Mikheev:

MG>>> Такая бида, файловая система периодически переходит в read only,
MG>>> при этом если запуститься с live-cd и выполнить проверку fsck
MG>>> /dev/sda1 -cvfy все становится на свои места. На какое то время.
MG>>> Проблема врятли с диском, диски проверял, все норм. К томуже они
MG>>> в аппаратном RAID-1. badblocks ошибок не нашел, так же чекал
MG>>> hdd-regenerator'ом. Данная проблема наблюдается в виртуальной
MG>>> машине, причем только в одной. Куда копать подскажите?
EM>> Какая файловая система? Какие исправления вносит fsck при
EM>> проверке?
MG> ext4 файловая
MG> в /etc/fstab:

С местом свободным и свободными i-node все в порядке?

Дай вывод df -h и df -i

С наилучшими пожеланиями, Evgeny.

--- -Пиши, старик, пиши! Мы тебя не покинем.

Maxim Gribanov написал(а) к Evgeny Mikheev в Aug 17 14:43:06 по местному времени:

Привет, Evgeny!

30 авг 17 14:02, Evgeny Mikheev -> Maxim Gribanov:

EM> Привет, Maxim!

EM> 30 авг 17 13:04, Maxim Gribanov -> Evgeny Mikheev:

MG>>>> Такая бида, файловая система периодически переходит в read
MG>>>> only, при этом если запуститься с live-cd и выполнить проверку
MG>>>> fsck /dev/sda1 -cvfy все становится на свои места. На какое то
MG>>>> время. Проблема врятли с диском, диски проверял, все норм. К
MG>>>> томуже они в аппаратном RAID-1. badblocks ошибок не нашел, так
MG>>>> же чекал hdd-regenerator'ом. Данная проблема наблюдается в
MG>>>> виртуальной машине, причем только в одной. Куда копать
MG>>>> подскажите?
EM>>> Какая файловая система? Какие исправления вносит fsck при
EM>>> проверке?
MG>> ext4 файловая
MG>> в /etc/fstab:

EM> С местом свободным и свободными i-node все в порядке?

EM> Дай вывод df -h и df -i

Все норм (

root@mail:/home/maxwell# df -h
Filesystem Size Used Avail Use% Mounted on
rootfs 193G 127G 57G 70% /
udev 10M 0 10M 0% /dev
tmpfs 201M 344K 201M 1% /run
/dev/disk/by-uuid/9256d13e-fe89-4d72-9a27-9a7a6f745be1 193G 127G 57G 70% /
tmpfs 5.0M 0 5.0M 0% /run/lock
tmpfs 1.2G 0 1.2G 0% /run/shm

root@mail:/home/maxwell# df -i
Filesystem Inodes IUsed IFree IUse% Mounted on
rootfs 12845056 767611 12077445 6% /
udev 252556 288 252268 1% /dev
tmpfs 256577 292 256285 1% /run
/dev/disk/by-uuid/9256d13e-fe89-4d72-9a27-9a7a6f745be1 12845056 767611 12077445 6% /
tmpfs 256577 4 256573 1% /run/lock
tmpfs 256577 2 256575 1% /run/shm

С наилучшими пожеланиями, Maxim.

--- -Пиши, старик, пиши! Мы тебя не покинем.

Evgeny Mikheev написал(а) к Maxim Gribanov в Aug 17 23:04:22 по местному времени:

Привет, Maxim!

30 авг 17 14:43, Maxim Gribanov -> Evgeny Mikheev:

MG>>>>> Такая бида, файловая система периодически переходит в read
MG>>>>> only, при этом если запуститься с live-cd и выполнить проверку
MG>>>>> fsck /dev/sda1 -cvfy все становится на свои места. На какое то
MG>>>>> время. Проблема врятли с диском, диски проверял, все норм. К
MG>>>>> томуже они в аппаратном RAID-1. badblocks ошибок не нашел, так
MG>>>>> же чекал hdd-regenerator'ом. Данная проблема наблюдается в
MG>>>>> виртуальной машине, причем только в одной. Куда копать
MG>>>>> подскажите?
EM>>>> Какая файловая система? Какие исправления вносит fsck при
EM>>>> проверке?
MG>>> ext4 файловая
MG>>> в /etc/fstab:
EM>> С местом свободным и свободными i-node все в порядке?
EM>> Дай вывод df -h и df -i
MG> Все норм (

Нда.. мысля пока буксует. Что за виртуальные машины?

С наилучшими пожеланиями, Evgeny.

--- -Пиши, старик, пиши! Мы тебя не покинем.