Голосование

Какой уровень raid-массива самый производительный

raid-5
2 (33.3%)
raid-10
2 (33.3%)
Другое
2 (33.3%)

Проголосовало пользователей: 6

Автор Тема: Какой уровень raid-массива самый производительный  (Прочитано 8964 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Оффлайн Faust

  • Ветеран
  • *****
  • Сообщений: 4302
  • Карма: 107
  • Пол: Мужской
  • Bla-bla-bla, mr. Freeman...
    • Просмотр профиля
Собственно, свято верил, что шустрее рейд-10 может быть разве что какой-нибудь комбинированный рейд-массив, но этот вариант экономически не целесообразен. Наверное. Так ли это?:)
Сегодня разговаривал с коллегой, он сказал, что рейд-5 самый шустрый, потому что запись происходит одновременно на все диски массива.
Выдержка из вики утверждает, что при операциях записи в произвольных секторах дисков, скорость может падать до 15-20% от скорости рейд-10, т.к. требуется больше операций.
Помогите распутаться или дайте ссылкку на полезную статейку=)


Оффлайн acaN?

  • Ветеран
  • *****
  • Сообщений: 1660
  • Карма: -200
  • Пол: Мужской
  • Jackass
    • Просмотр профиля
Собственно, свято верил, что шустрее рейд-10 может быть разве что какой-нибудь комбинированный рейд-массив, но этот вариант экономически не целесообразен. Наверное. Так ли это?:)
Сегодня разговаривал с коллегой, он сказал, что рейд-5 самый шустрый, потому что запись происходит одновременно на все диски массива.
Выдержка из вики утверждает, что при операциях записи в произвольных секторах дисков, скорость может падать до 15-20% от скорости рейд-10, т.к. требуется больше операций.
Помогите распутаться или дайте ссылкку на полезную статейку=)
Вероятно, как и всегда, зависит от нагрузки.
Вот вроде более-менее осмысленные данные: http://www.kendalvandyke.com/2009/02/disk-performance-hands-on-part-5-raid.html
Хотя есть и такие мнения: http://www.miracleas.com/BAARF/RAID5_versus_RAID10.txt
Цитировать
To put things into perspective: If a drive costs $1000US (and most are far
less expensive than that) then switching from a 4 pair RAID10 array to a 5
drive RAID5 array will save 3 drives or $3000US.  What is the cost of
overtime, wear and tear on the technicians, DBAs, managers, and customers
of even a recovery scare?  What is the cost of reduced performance and
possibly reduced customer satisfaction?  Finally what is the cost of lost
business if data is unrecoverable?  I maintain that the drives are FAR
cheaper!  Hence my mantra:

NO RAID5!  NO RAID5!  NO RAID5!  NO RAID5!  NO RAID5!  NO RAID5!  NO RAID5!

Оффлайн Matiz

  • Ветеран
  • *****
  • Сообщений: 2951
  • Карма: 115
    • Просмотр профиля
Собственно, свято верил, что шустрее рейд-10 может быть разве что какой-нибудь комбинированный рейд-массив, но этот вариант экономически не целесообразен. Наверное. Так ли это?:)
Сегодня разговаривал с коллегой, он сказал, что рейд-5 самый шустрый, потому что запись происходит одновременно на все диски массива.
Выдержка из вики утверждает, что при операциях записи в произвольных секторах дисков, скорость может падать до 15-20% от скорости рейд-10, т.к. требуется больше операций.
Помогите распутаться или дайте ссылкку на полезную статейку=)
Ваш коллега неправ.
DIXI.
Просто нужно разделять два заблуждения:
1) Рейд 5 - очень медленный. Нифига. Собранный на сотне шпинделей - он вполне себе быстр.
2) Рейд 10 медленне рейд 5. Нифига. Не может быть медленнее просто по определению. Когда так говорят , то чаще всего подразумевается что-то типа у меня на Еве пятый рейд летает, а на системнике 10ый тормозит :)
В части задач использование RAID 5 более чем оправдано, он в два раза дешевле. Но там где присутствует рандомная запись на сектора - RAID 10 вне конкуренции.
ПРИ УСЛОВИИ, что все прочее одинаково.

И еще нужно помнить, что:
1) существует хреновое количество проприетарных рейдов (а-ля берем Raid 6 , лепим на него свои технологии обработки контроллера, получаем NetApp  :) )
2) Быстродействие дисков - маркетинговый boolshit в явном и чистом виде. Я видел очень много попыток честно и корректно рассчитать требования к производительности дискового массива, в том числе и от вендоров железа. Всегда и везде все останавливаются на том, что все это чистая магия и нужно делать на авось  :ag:

Оффлайн Faust

  • Ветеран
  • *****
  • Сообщений: 4302
  • Карма: 107
  • Пол: Мужской
  • Bla-bla-bla, mr. Freeman...
    • Просмотр профиля
Аха, значит получается, что рейд-5 быстрее в задачах на чтение, но рейд-10 быстрее при задачах на запись. Причем 5-ка быстрее не столь ощутима, чем 10.
Осталось только понять, в каких случаях нужна скорость чтения, а в каких скорость записи.

Оффлайн acaN?

  • Ветеран
  • *****
  • Сообщений: 1660
  • Карма: -200
  • Пол: Мужской
  • Jackass
    • Просмотр профиля
Аха, значит получается, что рейд-5 быстрее в задачах на чтение, но рейд-10 быстрее при задачах на запись. Причем 5-ка быстрее не столь ощутима, чем 10.
Осталось только понять, в каких случаях нужна скорость чтения, а в каких скорость записи.
Дело не столько в скорости работы, сколько в надежности и скорости восстановления.
Если в 5м отвалится 1 диск, то на период восстановления, который занимает минимум сутки на текущих объёмах (плюс, сильно зависит от нагрузки на систему, может и трое суток восстанавливаться), получаем Raid0 с нулевой надежностью и падением производительности до 80%.

Оффлайн Matiz

  • Ветеран
  • *****
  • Сообщений: 2951
  • Карма: 115
    • Просмотр профиля
Дело не столько в скорости работы, сколько в надежности и скорости восстановления.
Если в 5м отвалится 1 диск, то на период восстановления, который занимает минимум сутки на текущих объёмах (плюс, сильно зависит от нагрузки на систему, может и трое суток восстанавливаться), получаем Raid0 с нулевой надежностью и падением производительности до 80%.
Абсолютно точно.
Поэтому многие используют Raid 6. Хотя он вообще сцк медленный.

Оффлайн Faust

  • Ветеран
  • *****
  • Сообщений: 4302
  • Карма: 107
  • Пол: Мужской
  • Bla-bla-bla, mr. Freeman...
    • Просмотр профиля
Дело не столько в скорости работы, сколько в надежности и скорости восстановления.
Если в 5м отвалится 1 диск, то на период восстановления, который занимает минимум сутки на текущих объёмах (плюс, сильно зависит от нагрузки на систему, может и трое суток восстанавливаться), получаем Raid0 с нулевой надежностью и падением производительности до 80%.
Про этот минус я знал.
Есть у нас пара серверов, не особо критичных по содержимому, но очень упираются в производительности дисковых массивов.
Пока решили просто набрать дисков и собрать ещё один массив, чтобы разнести нагрузку.
Опят же, что будет лучше - два массива на одном двухканальном рейд-контроллере или слить все в один массив.
Виртуальные машины. Планируем сделать дублирующий сервер.

Оффлайн Gepard

  • Ветеран
  • *****
  • Сообщений: 8155
  • Карма: 668
  • Пол: Мужской
  • у меня тоже есть текст под аватаром ))
    • Просмотр профиля
Абсолютно точно.
Поэтому многие используют Raid 6. Хотя он вообще сцк медленный.
Raid5 + HotSpare? ))
Живём дальше... ;)

Оффлайн Matiz

  • Ветеран
  • *****
  • Сообщений: 2951
  • Карма: 115
    • Просмотр профиля
Raid5 + HotSpare? ))
Неа. HotSpare есть везде по умолчанию в количестве больше одной штуки, это не обсуждается.

Прикол в другом.
Допустим, есть у вас пятый рейд, ну допустим из 30 шпинделей. Допустим также, что работает он уже несколько лет.
И тут - бац. Вылетает диск. Разумеется, у вас есть HS, разумеется он радостно включается в процесс ребилда. Но остальные диски уже не новые, часть из них на грани.
В целом же, в процессе ребилда резко повышается нагрузка на контроллер. И тут достаточно любого чиха или любого latency в работе не нового (повторюсь) шпинделя, чтобы наступило вселенское счастье и гармония в виде полной потери всех данных.
Никто не говорит, кстати, что это будет обязательно. Живет же с пятым рейдом весь мир, да и мы сами активно его используем. 
Но мне хватило одного случая, который я видел лично, для того, чтобы понять что никаких продуктивных данных с низким RTO на пятом рейде у меня не будет. Поднимать с бэкапа сотню виртуальных серверов - то еще удовольствие , прямо скажем.

Оффлайн rabbit

  • Ветеран
  • *****
  • Сообщений: 3609
  • Карма: 236
  • ロ シ ア
    • Просмотр профиля
Собственно, свято верил, что шустрее рейд-10 может быть разве что какой-нибудь комбинированный рейд-массив, но этот вариант экономически не целесообразен. Наверное. Так ли это?:)
Сегодня разговаривал с коллегой, он сказал, что рейд-5 самый шустрый, потому что запись происходит одновременно на все диски массива.
Выдержка из вики утверждает, что при операциях записи в произвольных секторах дисков, скорость может падать до 15-20% от скорости рейд-10, т.к. требуется больше операций.
Помогите распутаться или дайте ссылкку на полезную статейку=)

Raid-5 явно шустрее 10 при выполнении следующих условий:
1) Если есть шустрый контроллер.
2) На запись будет быстрее если в raid-5 больше дисков чем половина в raid-10 и на чтение будет больше если в raid-5 больше дисков чем в целом raid10.

Простая физика - производительность рейда упирается в производительность каждого жесткого диска, чем больше дисков, тем выше производительность. Если запись на raid-5 идет на все диски одновременно и скорость суммируется, то на raid-10 запись идет только на половину. На чтение они почти идентичны.

Оффлайн Faust

  • Ветеран
  • *****
  • Сообщений: 4302
  • Карма: 107
  • Пол: Мужской
  • Bla-bla-bla, mr. Freeman...
    • Просмотр профиля
Raid-5 явно шустрее 10 при выполнении следующих условий:
1) Если есть шустрый контроллер.
2) На запись будет быстрее если в raid-5 больше дисков чем половина в raid-10 и на чтение будет больше если в raid-5 больше дисков чем в целом raid10.

Простая физика - производительность рейда упирается в производительность каждого жесткого диска, чем больше дисков, тем выше производительность. Если запись на raid-5 идет на все диски одновременно и скорость суммируется, то на raid-10 запись идет только на половину. На чтение они почти идентичны.
Принимая во внимание, что при записи на рейд-5 происходит выполнение большего числа операций, нежели на рейд-10, можно сделать вывод, что обсчет этих операций нивелирует, хоть и не полностью, возможность одновременной записи на все диски массива рейда-5. Тесты, приведенные в самом начале топика, это подтверждают.
Сравнивать разные конфигурации по производительности не имеет смысла. Можно исходить из экономической целесообразности. Это в теории ИТ-область может обладать доступ к финансированию довольно крупному, на практике же, никто не хочет тратить много денег, все хотят экономии.
Что ещё негативного о рейде-5 - контроллер с хорошей производительностью стоит больших денег. Поэтому имея определенный бюджет, я полагаю, можно говорить о том, что будет стоять выбор: купить лишь 5 дисков и 1 контроллер для рейд-5 или 8 дисков и 1 контроллер рейд-10. Производительность будет соизмерима. Наверное..
Ну и основываясь на посты выше - стоит ли небольшой прирост производительности тех рисков, которые могут возникнуть при degrade массива?

Оффлайн Zaperda

  • Новичок
  • *
  • Сообщений: 11
  • Карма: 2
    • Просмотр профиля
Могу быть не прав, но использование tiering значительно повышает производительность СХД в целом. Например у вас есть 3 типа дисков, сата, сас и ссд. Размещаете данные на менее производительных дисках, при повышении нагрузки на блок данных, они перемещаются на более производительные диски. Соответственно это относится и к рейдам, на менее производительных дисках используем 5 рейд, на более производительных повышаем. Так же очень важно запастись кэшем. Если рассматривать классические рейды не в составе схд, то как смешно это не казалось, то рейд 0 самый производительный на чтение и запись, но самый ненадежный. При выбое рейда необходимо понимать характер нагрузки: соотношение чтения записи, размер блока и надежность хранения.

Оффлайн Matiz

  • Ветеран
  • *****
  • Сообщений: 2951
  • Карма: 115
    • Просмотр профиля
Raid-5 явно шустрее 10 при выполнении следующих условий:
1) Если есть шустрый контроллер.
2) На запись будет быстрее если в raid-5 больше дисков чем половина в raid-10 и на чтение будет больше если в raid-5 больше дисков чем в целом raid10.

Простая физика - производительность рейда упирается в производительность каждого жесткого диска, чем больше дисков, тем выше производительность. Если запись на raid-5 идет на все диски одновременно и скорость суммируется, то на raid-10 запись идет только на половину. На чтение они почти идентичны.
Вот именно об этом я писал, отсюда и возникают мифы . Если сравнивать при одинаковом количестве шпинделей - логика в ваших словах есть(хотя и с оговорками).  Но никто не сравнивает при одинаковой raw capacity, собственно, это просто не имеет смысла. Всем нужно какое-то количество таких-то IOPS на таком то количестве usable space. И деньги. Часто IOPS(что важно - гарантированный, а не зависящий от выхода из строя одного диска) превалирует над деньгами , а флеши брать стремно почему-то. Десятка - дороже, сильно дороже, за счет того, что шпинделей нужно больше. Но быстрее.
Мне в этом плане близка концепция SAME , которую всюду пропагандирует Oracle. А они точно знают толк в больших нагрузках :) FTS по паре сотнегиговых таблиц - это агонь. Но агонь повседневный, увы.

Могу быть не прав, но использование tiering значительно повышает производительность СХД в целом. Например у вас есть 3 типа дисков, сата, сас и ссд. Размещаете данные на менее производительных дисках, при повышении нагрузки на блок данных, они перемещаются на более производительные диски. Соответственно это относится и к рейдам, на менее производительных дисках используем 5 рейд, на более производительных повышаем. Так же очень важно запастись кэшем. Если рассматривать классические рейды не в составе схд, то как смешно это не казалось, то рейд 0 самый производительный на чтение и запись, но самый ненадежный. При выбое рейда необходимо понимать характер нагрузки: соотношение чтения записи, размер блока и надежность хранения.
Тиринг - оч классная штука, и он реально работает. Но все гуру, с которыми я говорил на эту тему - говорят в один голос: "никогда и ни при каких условиях не учитывайте тиринг и прочую магию при сайзинге СХД". Оно может сработать и будет хорошо. Может не сработать и вы порадуетесь тому, что не заложились на это.

А рейд 0 - да , он самый быстрый, неудивительно. И его часто используют даже в продуктиве под какие-либо темповые пространства.

PS А вообще, с появлением дешевых флешей - тема рейдов как-то и отпала уже. Год-два, максимум три ей осталось. Как и традиционным дискам.
Дешевая карточка дает пару терабайт юзабельного места , уделывая миллионбаксовую VSP на порядок по скорости.
А большие данные можно уже и на лентах хранить, LTO-6 реально начал решать в этом плане.


« Последнее редактирование: 03.10.14, 10:43:55 от Matiz »

Оффлайн Faust

  • Ветеран
  • *****
  • Сообщений: 4302
  • Карма: 107
  • Пол: Мужской
  • Bla-bla-bla, mr. Freeman...
    • Просмотр профиля
От рунглиша ухи завернулись

Оффлайн Matiz

  • Ветеран
  • *****
  • Сообщений: 2951
  • Карма: 115
    • Просмотр профиля
От рунглиша ухи завернулись
Согласен. Но это же не официальная переписка по проекту, так ведь ? :)

Оффлайн rabbit

  • Ветеран
  • *****
  • Сообщений: 3609
  • Карма: 236
  • ロ シ ア
    • Просмотр профиля
Вот именно об этом я писал, отсюда и возникают мифы . Если сравнивать при одинаковом количестве шпинделей - логика в ваших словах есть(хотя и с оговорками).  Но никто не сравнивает при одинаковой raw capacity, собственно, это просто не имеет смысла. Всем нужно какое-то количество таких-то IOPS на таком то количестве usable space. И деньги. Часто IOPS(что важно - гарантированный, а не зависящий от выхода из строя одного диска) превалирует над деньгами , а флеши брать стремно почему-то. Десятка - дороже, сильно дороже, за счет того, что шпинделей нужно больше. Но быстрее.
Мне в этом плане близка концепция SAME , которую всюду пропагандирует Oracle. А они точно знают толк в больших нагрузках :) FTS по паре сотнегиговых таблиц - это агонь. Но агонь повседневный, увы.
Тиринг - оч классная штука, и он реально работает. Но все гуру, с которыми я говорил на эту тему - говорят в один голос: "никогда и ни при каких условиях не учитывайте тиринг и прочую магию при сайзинге СХД". Оно может сработать и будет хорошо. Может не сработать и вы порадуетесь тому, что не заложились на это.

А рейд 0 - да , он самый быстрый, неудивительно. И его часто используют даже в продуктиве под какие-либо темповые пространства.

PS А вообще, с появлением дешевых флешей - тема рейдов как-то и отпала уже. Год-два, максимум три ей осталось. Как и традиционным дискам.
Дешевая карточка дает пару терабайт юзабельного места , уделывая миллионбаксовую VSP на порядок по скорости.
А большие данные можно уже и на лентах хранить, LTO-6 реально начал решать в этом плане.

Я рассматривал всего лишь теорию, на практике нужно подходить к конкретному случаю индивидуально.
Тиринг вообще космос, окупается только на ентерепрайз или мидрендж решениях, там где требуется огромная нагрузка. Да и одна лицензия там стоит дороже чем 8 шпинделей Фауста.  :ab:

Насчет рейдов ты погорячился, концепция рейда всегда останется, возможно видоизменится. Концепция рейда - это избыточность с целью коррекции ошибок и повышение надежности.

И не надо лохматить бабушку VSP, цель таких решений огромное количество промышленных каналов, дичайшая прозводительность по этим каналам, создание безумных кластеров и поддержка закрытых ibm мэйнфреймов. Рядом с такой бабушкой задумываешь о тщетности собственного бытия, когда стоимость полного фарша дороже всех заработанных тобою денег за всю жизнь.   :ab:

p.s. 30 дисков на raid-5 это далеко не бест практикс.  :ag:

Оффлайн rabbit

  • Ветеран
  • *****
  • Сообщений: 3609
  • Карма: 236
  • ロ シ ア
    • Просмотр профиля
Принимая во внимание, что при записи на рейд-5 происходит выполнение большего числа операций, нежели на рейд-10, можно сделать вывод, что обсчет этих операций нивелирует, хоть и не полностью, возможность одновременной записи на все диски массива рейда-5. Тесты, приведенные в самом начале топика, это подтверждают.
Сравнивать разные конфигурации по производительности не имеет смысла. Можно исходить из экономической целесообразности. Это в теории ИТ-область может обладать доступ к финансированию довольно крупному, на практике же, никто не хочет тратить много денег, все хотят экономии.
Что ещё негативного о рейде-5 - контроллер с хорошей производительностью стоит больших денег. Поэтому имея определенный бюджет, я полагаю, можно говорить о том, что будет стоять выбор: купить лишь 5 дисков и 1 контроллер для рейд-5 или 8 дисков и 1 контроллер рейд-10. Производительность будет соизмерима. Наверное..
Ну и основываясь на посты выше - стоит ли небольшой прирост производительности тех рисков, которые могут возникнуть при degrade массива?

Если нет хорошего контроллера - то конечно лучше рейд-10.