Вопросы про флеш-память

Зададимся вопросом - сохраняется ли содержимое флеш-кеша после рестарта сервера хранения ?

На наше счастье, содержимое флеш-кеша можно наблюдать непосредственно на сервере хранения командой LIST FLASHCACHECONTENT, например:

CellCLI> LIST FLASHCACHECONTENT where objectNumber=130912 detail

         cachedKeepSize:         0

         cachedSize:             32768

         dbID:                   3026300695

         dbUniqueName:           WIN

         hitCount:               9

         missCount:              1

         objectNumber:           130912

         tableSpaceNumber:       29

CellCLI> LIST FLASHCACHECONTENT where objectNumber=130708 detail

         cachedKeepSize:         0

         cachedSize:             32768

         dbID:                   3026300695

         dbUniqueName:           WIN

         hitCount:               9

         missCount:              1

         objectNumber:           130708

         tableSpaceNumber:       29

CellCLI> LIST FLASHCACHECONTENT where objectNumber=130706 detail

         cachedKeepSize:         0

         cachedSize:             12320768

         dbID:                   3026300695

         dbUniqueName:           WIN

         hitCount:               26

         missCount:              1198

         objectNumber:           130706

         tableSpaceNumber:       5

Итак, мы видим, что для трех объектов с номерами 130706, 130708 и 130912 лежащих в табличных пространствах 5 и 29 флеш кеш хранит данные этих объектов.

Сделаем еще запрос к БД:

SQL> select * from v$tablespace

       TS# NAME      

---------- ----------

         0 SYSTEM    

         1 SYSAUX    

         2 UNDOTBS1  

        26 EXA_DEMO 

         5 USERS

 Перезапускаем север и опять обращаемся к этому же северу хранения:

CellCLI> LIST FLASHCACHECONTENT where objectNumber=130708 detail

CellCLI> LIST FLASHCACHECONTENT where objectNumber=130706 detail

CellCLI> LIST FLASHCACHECONTENT where objectNumber=130912 detail

Пусто !

Итак, Оракл сбрасывает этот кеш при старте или остановке сервера.

Отказ от индексов

Я уже писал, что по сравнению с обычной БД в Экзадате можно отказаться от многих индексов, если не от всех за счет того, что индексный доступ в Экзадате заменяется параллельным выполнением.

Однако, не от всех индексов можно отказаться. Так, например, не стоит отказываться от индексов поддерживающих констрейнты, ограничения целостности. Не стоит, в ,большинстве случаев, отказываться от индексов, которые используются в OLTP-задачах.

От чего тогда отказаться? Отказаться можно от OLAP-DWH-индексов.

Всем разработчикам удачи в ваших исследованиях!

По этой же теме есть презентация Bohan Chen (bchen@yahoo-inc.com):  "Large Scale Data Warehousing at Yahoo". В ней показано почему Yahoo отказалось от индексов в своей 100TB БД и прекрасно живет без них уже много лет.

Вопросы про флеш-память

Вопрос:

Алгоритмы перезаписи флеш-кеша стараются равномерно перезаписывать
флешки. Поэтому мы думаем, что флеш кеш будет работать хорошо до
некоторого момента (момента износа всех микросхем), а затем
наступит такой день/неделя/месяц, когда все микросхемы почти одновременно
выйдут из строя.

Ответ:

В любом дисковом массиве диски тоже работают все вместе.
И что, по прошествии некоторого времени - вылетают пачками ?
Или они выходят из строя более-менее равномерно в течение времени ?
Также будет и с флеш кешем.

Одна флеш-карта рассчитана на функционирование в течение 3-4 лет
И уж если вы заботитесь о надежности, то вам ничто не мешает через
годик-другой прикупить и держать в запасе две, три или четыре новых
флеш-карт.

Кроме того, одна флеш карта состоит из 4 DOM, которые можно с нее снять
и переставить на другую флеш карту. Так что если у вас на двух флеш картах
сломалось по 1 DOM, то вы можете из 2 неполноценных F20 собрать 1 полноценную.
 
Кроме того, при поставке Экзадаты в комплекте идет одна запасная F20.

Вопрос на вопрос: сейчас производители массивов пошли по пути установки в свои массивы флеш-памяти. Несмотря на то, что эта память, как вы говорите, ненадежна.
А они о чем думают ?

Price is negotiable, Performance is not !

Вот тут
http://dsvolk.blogspot.com/2011/07/exadata-better-than-emc.html
происходит баталия по поводу  производительности В/В на Экзадате и ЕМС.

По этому поводу могу сказать, что оба вендоа - как ЕМС так и Оракл - не являются производителями этих плат, а покупают флеш-устройства у их реальных производителей, вероятно, у LSI, RICOH: http://www.ricoh.com/LSI/product_pcif/pcc/5c833/index.html.


Затем, отобрав лучшее путем нагрузочных тестов используют эти устройства в своем оборудовании. Таким образом, с большой долей вероятности и у ЕМС и у Оракла будут стоять самые лучшие девайсы, показывающие примерно одинаковые характеристики производительности.

Разница между ЕМС и Ораклом в том, что ЕМС не знает какие данные ему лучше кешировать, а какие - не кешировать. А Оракл - точно знает.
В результате, ЕМС будет кешировать redo, которое составляет половину всего В/В в базе данных, а Оракл - нет. ЕМС будет кешировать сортировки (которые пишутся в ТЕМР), а Оракл - нет. ЕМС будет кешировать операции многоблочного чтения и записи, а Оракл - нет.
ЕМС будет кешировать операции бэкапа, а Оракл - нет. ЕМС будет кешировать LOB-ы, а Оракл - нет (inline-lob кешируются).
Таким образом, видно, что при проектировании Экзадаты Оракл произвел систематизацию типов данных и отделил полезные данные (которые надо кешировать), от вспомогательных (которые кешировать не  надо).
В результате, кеш ЕМС будет минимум наполовину (redo), если не на 3/4 или 5/6 забит бесполезными данными, что понижает эффективность кеширования и  увеличивает нагрузку на стородж-процессоры, которые тысячи раз в секунду должны решать какие блоки следует вытеснить из кеша, чтобы найти очередной свободный блок под интенсивно льющиеся данные (недостатки write-back). Кроме того, в обычных массивах, кеш на запись всегда зеркалируется. А это означает, что пространство под даные резко уменьшается.
В результате кеширования в Экзадате останутся наиболее часто запрашиваемые блоки - наиболее востребованный контент - справочники и индексные блоки, что способствует стабильности работы приложений. Т.е. приложения на Экзадате просто не заметят 8-часовой бэкап, поскольку практически все необходимые им данные будут всегда под рукой. Иными словами, Экзадата во-первых - качественнее кеширует данные, а во-вторых, надежнее защищает кеш от размывания.

Я так думаю, что если бы оборудование ЕМС кешировало данные лучше, чем сам Оракл,
то Оракл просто поставил бы это оборудование в Экзадату взамен своих серверов хранения.
И если ЕМС в будущем решит кешировать данные Оракла избирательно (т.е. также как в Экзадате), то вряд ли они смогут это сделать так же аккуратно, как Оракл. Кроме того, появление новых типов данных будет приводить к тому, что ЕМС в этом вопросе всегда будет отставать на несколько лет.

Если говорить о механизм кеширования Экзадаты, то, например, операция записи порции данных на сервер хранения вначале записывает эту порцию на диск, а затем серверный процесс решает, кешировать ли поступившие блоки = записывать их в флеш кеш или нет. Операция чтения блока вначале читает блок в RAM сервера хранения, и отдает его наверх, а потом также решает кешировать или нет.
Для временного хранения этих блоков в сервере хранения в оперативной памяти выделена shared memory размером 8Г. Эта область используется процессами сервера хранения в качестве рабочей области. Т.е. это полноценная work area (так и хочется сказать - SGA) = быстрый кеш на динамической памяти.
Таким образом, если сравнивать архитектуру обычных массивов с сервером хранения Экзадаты,
то у Экзадаты  на 1 сервер хранения приходится DRAM-кеш = 8Гб + 12 (24) ядер  + FlashCache 384Гб.

Oracle поглотил компанию Ksplice, развивающую технологию обновления Linux-ядра без перезагрузки

Корпорация Oracle объявила о заключении сделки по покупке компании Ksplice, развивающей технологию обновления Linux-ядра без перезагрузки и временной остановки работы. Разработки Ksplice будут интегрированы в продукт Oracle Linux, что позволит усовершенствовать дистрибутив в плане увеличения безопасности, надежности и отказоустойчивости.

Ранее сервис распространения готовых Ksplice-обновлений был бесплатно доступен для пользователей Ubuntu и Fedora Linux, а поддержка Red Hat Enterprise Linux, CloudLinux, Ubuntu Server, Debian GNU/Linux и CentOS осуществлялась на коммерческой основе. Около 700 компаний пользовались сервисом Ksplice. После перехода технологии в руки Oracle, сервис распространения обновлений планируется реализовать в виде стандартной опции "Oracle Linux Premier Support" и сделать его доступным клиентам Oracle, пользующимся данным типом технической поддержки. Отдельно отмечается, что Oracle не планирует продолжать поддержку Red Hat Enterprise Linux и SUSE Enterprise Linux, все Ksplice-обновления будут доступны только для ядра Unbreakable Enterprise Kernel.

http://www.opennet.ru/opennews/art.shtml?num=31257

Exadata check utility

Полезный софт, которым надо уметь пользоваться:
Oracle Exadata Database Machine exachk or HealthCheck [ID 1070954.1]
суть:
exachk is the current version.  HealthCheck is frozen and retained for backward compatibility with HP hardware based Oracle Exadata Database Machines.

Оракл отмечает успехи ФОРСа в развитии направления Экзадаты:


http://www.oracle.com/us/corporate/customers/customersearch/fors-dev-center-1-exadata-ss-433986.html

RAM 144G

Как решил Оракл, серверы БД в Х2-2 теперь могут нести на борту до 144Гб оперативной памяти.
Ранее на них могло быть максимум  96Гб.

Expansion Cabinet

В качестве приложения к Экзадате Оракл выпустил Expansion Cabinet, он же Exadata Storage Expansion Rack. По-просту говоря, это стойка набитая серверами хранения. Задача такой стойки - предоставить серверам БД много места под хранение данных. Как заявлено в новости - от 96Тб до 3 Петабайт.В ней также работает НСС. Все серверы хранения оснащены флеш-кешем, как и в обычной Экзадате.

Еще возможности:

Oracle Exadata Hybrid Columnar Compression;

Oracle Exadata Smart Scan;

Oracle Exadata Storage Indexes;

Oracle Exadata Data Mining Offload;

Oracle Exadata Backup Acceleration

Oracle Exadata I/O Resource Manager prioritization by Database User or Job.

Продается сей девайс в 3-х вариантах:
- полный = 18 серверов хранения,
- половинка = 9 и серверов хранения,
- четвертинка = 4 .

В зипе идут диски и карточка флеша.

До 8 стоек (Экзадат + Кабинетов) позволяется объединять в  единый пул.

http://www.oracle.com/us/corporate/press/429242

Oracle анонсировал 1000-ю инсталляцию Exadata!

Как сообщил Владимир Демкин
http://www.dba.ru/2011/06/oracle-1000-exadata.html

27 июня Oracle анонсировал 1000 инсталляцию Oracle Exadata Database Machine у своих клиентов. На текущий момент Exadata используется в 23 различных отраслях в 67 странах мира.