Печальная новость на сегодня: скончался замечательный человек Андрей Криушин ...
http://www.sql.ru/forum/actualthread.aspx?bid=3&tid=870591&pg=-1
Wednesday, August 3, 2011
Криушин
Печальная новость на сегодня: скончался замечательный человек Андрей Криушин ...
http://www.sql.ru/forum/actualthread.aspx?bid=3&tid=870591&pg=-1
Friday, July 29, 2011
Вопросы про флеш-память
Зададимся вопросом - сохраняется ли содержимое флеш-кеша после рестарта сервера хранения ?
На наше счастье, содержимое флеш-кеша можно наблюдать непосредственно на сервере хранения командой LIST FLASHCACHECONTENT, например:
Итак, мы видим, что для трех объектов с номерами 130706, 130708 и 130912 лежащих в табличных пространствах 5 и 29 флеш кеш хранит данные этих объектов.
Сделаем еще запрос к БД:
Перезапускаем север и опять обращаемся к этому же северу хранения:
Пусто !
Итак, Оракл сбрасывает этот кеш при старте или остановке сервера.
На наше счастье, содержимое флеш-кеша можно наблюдать непосредственно на сервере хранения командой LIST FLASHCACHECONTENT, например:
CellCLI> LIST FLASHCACHECONTENT where objectNumber=130912 detail
cachedKeepSize: 0
cachedSize: 32768
dbID: 3026300695
dbUniqueName: WIN
hitCount: 9
missCount: 1
objectNumber: 130912
tableSpaceNumber: 29
CellCLI> LIST FLASHCACHECONTENT where objectNumber=130708 detail
cachedKeepSize: 0
cachedSize: 32768
dbID: 3026300695
dbUniqueName: WIN
hitCount: 9
missCount: 1
objectNumber: 130708
tableSpaceNumber: 29
CellCLI> LIST FLASHCACHECONTENT where objectNumber=130706 detail
cachedKeepSize: 0
cachedSize: 12320768
dbID: 3026300695
dbUniqueName: WIN
hitCount: 26
missCount: 1198
objectNumber: 130706
tableSpaceNumber: 5
Итак, мы видим, что для трех объектов с номерами 130706, 130708 и 130912 лежащих в табличных пространствах 5 и 29 флеш кеш хранит данные этих объектов.
Сделаем еще запрос к БД:
SQL> select * from v$tablespace
TS# NAME
---------- ----------
0 SYSTEM
1 SYSAUX
2 UNDOTBS1
26 EXA_DEMO
5 USERS
Перезапускаем север и опять обращаемся к этому же северу хранения:
CellCLI> LIST FLASHCACHECONTENT where objectNumber=130708 detail
CellCLI> LIST FLASHCACHECONTENT where objectNumber=130706 detail
CellCLI> LIST FLASHCACHECONTENT where objectNumber=130912 detail
Пусто !
Итак, Оракл сбрасывает этот кеш при старте или остановке сервера.
Thursday, July 28, 2011
Отказ от индексов
Я уже писал, что по сравнению с обычной БД в Экзадате можно отказаться от многих индексов, если не от всех за счет того, что индексный доступ в Экзадате заменяется параллельным выполнением.
Однако, не от всех индексов можно отказаться. Так, например, не стоит отказываться от индексов поддерживающих констрейнты, ограничения целостности. Не стоит, в ,большинстве случаев, отказываться от индексов, которые используются в OLTP-задачах.
От чего тогда отказаться? Отказаться можно от OLAP-DWH-индексов.
Всем разработчикам удачи в ваших исследованиях!
По этой же теме есть презентация Bohan Chen (bchen@yahoo-inc.com): "Large Scale Data Warehousing at Yahoo". В ней показано почему Yahoo отказалось от индексов в своей 100TB БД и прекрасно живет без них уже много лет.
Wednesday, July 27, 2011
Вопросы про флеш-память
Вопрос:
Алгоритмы перезаписи флеш-кеша стараются равномерно перезаписывать
флешки. Поэтому мы думаем, что флеш кеш будет работать хорошо до
некоторого момента (момента износа всех микросхем), а затем
наступит такой день/неделя/месяц, когда все микросхемы почти одновременно
выйдут из строя.
Ответ:
В любом дисковом массиве диски тоже работают все вместе.
И что, по прошествии некоторого времени - вылетают пачками ?
Или они выходят из строя более-менее равномерно в течение времени ?
Также будет и с флеш кешем.
Одна флеш-карта рассчитана на функционирование в течение 3-4 лет
И уж если вы заботитесь о надежности, то вам ничто не мешает через
годик-другой прикупить и держать в запасе две, три или четыре новых
флеш-карт.
Кроме того, одна флеш карта состоит из 4 DOM, которые можно с нее снять
и переставить на другую флеш карту. Так что если у вас на двух флеш картах
сломалось по 1 DOM, то вы можете из 2 неполноценных F20 собрать 1 полноценную.
Кроме того, при поставке Экзадаты в комплекте идет одна запасная F20.
Вопрос на вопрос: сейчас производители массивов пошли по пути установки в свои массивы флеш-памяти. Несмотря на то, что эта память, как вы говорите, ненадежна.
А они о чем думают ?
Алгоритмы перезаписи флеш-кеша стараются равномерно перезаписывать
флешки. Поэтому мы думаем, что флеш кеш будет работать хорошо до
некоторого момента (момента износа всех микросхем), а затем
наступит такой день/неделя/месяц, когда все микросхемы почти одновременно
выйдут из строя.
Ответ:
В любом дисковом массиве диски тоже работают все вместе.
И что, по прошествии некоторого времени - вылетают пачками ?
Или они выходят из строя более-менее равномерно в течение времени ?
Также будет и с флеш кешем.
Одна флеш-карта рассчитана на функционирование в течение 3-4 лет
И уж если вы заботитесь о надежности, то вам ничто не мешает через
годик-другой прикупить и держать в запасе две, три или четыре новых
флеш-карт.
Кроме того, одна флеш карта состоит из 4 DOM, которые можно с нее снять
и переставить на другую флеш карту. Так что если у вас на двух флеш картах
сломалось по 1 DOM, то вы можете из 2 неполноценных F20 собрать 1 полноценную.
Кроме того, при поставке Экзадаты в комплекте идет одна запасная F20.
Вопрос на вопрос: сейчас производители массивов пошли по пути установки в свои массивы флеш-памяти. Несмотря на то, что эта память, как вы говорите, ненадежна.
А они о чем думают ?
Monday, July 25, 2011
Price is negotiable, Performance is not !
Вот тут
http://dsvolk.blogspot.com/2011/07/exadata-better-than-emc.html
происходит баталия по поводу производительности В/В на Экзадате и ЕМС.
По этому поводу могу сказать, что оба вендоа - как ЕМС так и Оракл - не являются производителями этих плат, а покупают флеш-устройства у их реальных производителей, вероятно, у LSI, RICOH: http://www.ricoh.com/LSI/product_pcif/pcc/5c833/index.html.
Затем, отобрав лучшее путем нагрузочных тестов используют эти устройства в своем оборудовании. Таким образом, с большой долей вероятности и у ЕМС и у Оракла будут стоять самые лучшие девайсы, показывающие примерно одинаковые характеристики производительности.
Разница между ЕМС и Ораклом в том, что ЕМС не знает какие данные ему лучше кешировать, а какие - не кешировать. А Оракл - точно знает.
В результате, ЕМС будет кешировать redo, которое составляет половину всего В/В в базе данных, а Оракл - нет. ЕМС будет кешировать сортировки (которые пишутся в ТЕМР), а Оракл - нет. ЕМС будет кешировать операции многоблочного чтения и записи, а Оракл - нет.
ЕМС будет кешировать операции бэкапа, а Оракл - нет. ЕМС будет кешировать LOB-ы, а Оракл - нет (inline-lob кешируются).
Таким образом, видно, что при проектировании Экзадаты Оракл произвел систематизацию типов данных и отделил полезные данные (которые надо кешировать), от вспомогательных (которые кешировать не надо).
В результате, кеш ЕМС будет минимум наполовину (redo), если не на 3/4 или 5/6 забит бесполезными данными, что понижает эффективность кеширования и увеличивает нагрузку на стородж-процессоры, которые тысячи раз в секунду должны решать какие блоки следует вытеснить из кеша, чтобы найти очередной свободный блок под интенсивно льющиеся данные (недостатки write-back). Кроме того, в обычных массивах, кеш на запись всегда зеркалируется. А это означает, что пространство под даные резко уменьшается.
В результате кеширования в Экзадате останутся наиболее часто запрашиваемые блоки - наиболее востребованный контент - справочники и индексные блоки, что способствует стабильности работы приложений. Т.е. приложения на Экзадате просто не заметят 8-часовой бэкап, поскольку практически все необходимые им данные будут всегда под рукой. Иными словами, Экзадата во-первых - качественнее кеширует данные, а во-вторых, надежнее защищает кеш от размывания.
Я так думаю, что если бы оборудование ЕМС кешировало данные лучше, чем сам Оракл,
то Оракл просто поставил бы это оборудование в Экзадату взамен своих серверов хранения.
И если ЕМС в будущем решит кешировать данные Оракла избирательно (т.е. также как в Экзадате), то вряд ли они смогут это сделать так же аккуратно, как Оракл. Кроме того, появление новых типов данных будет приводить к тому, что ЕМС в этом вопросе всегда будет отставать на несколько лет.
Если говорить о механизм кеширования Экзадаты, то, например, операция записи порции данных на сервер хранения вначале записывает эту порцию на диск, а затем серверный процесс решает, кешировать ли поступившие блоки = записывать их в флеш кеш или нет. Операция чтения блока вначале читает блок в RAM сервера хранения, и отдает его наверх, а потом также решает кешировать или нет.
Для временного хранения этих блоков в сервере хранения в оперативной памяти выделена shared memory размером 8Г. Эта область используется процессами сервера хранения в качестве рабочей области. Т.е. это полноценная work area (так и хочется сказать - SGA) = быстрый кеш на динамической памяти.
Таким образом, если сравнивать архитектуру обычных массивов с сервером хранения Экзадаты,
то у Экзадаты на 1 сервер хранения приходится DRAM-кеш = 8Гб + 12 (24) ядер + FlashCache 384Гб.
http://dsvolk.blogspot.com/2011/07/exadata-better-than-emc.html
происходит баталия по поводу производительности В/В на Экзадате и ЕМС.
По этому поводу могу сказать, что оба вендоа - как ЕМС так и Оракл - не являются производителями этих плат, а покупают флеш-устройства у их реальных производителей, вероятно, у LSI, RICOH: http://www.ricoh.com/LSI/product_pcif/pcc/5c833/index.html.
Затем, отобрав лучшее путем нагрузочных тестов используют эти устройства в своем оборудовании. Таким образом, с большой долей вероятности и у ЕМС и у Оракла будут стоять самые лучшие девайсы, показывающие примерно одинаковые характеристики производительности.
Разница между ЕМС и Ораклом в том, что ЕМС не знает какие данные ему лучше кешировать, а какие - не кешировать. А Оракл - точно знает.
В результате, ЕМС будет кешировать redo, которое составляет половину всего В/В в базе данных, а Оракл - нет. ЕМС будет кешировать сортировки (которые пишутся в ТЕМР), а Оракл - нет. ЕМС будет кешировать операции многоблочного чтения и записи, а Оракл - нет.
ЕМС будет кешировать операции бэкапа, а Оракл - нет. ЕМС будет кешировать LOB-ы, а Оракл - нет (inline-lob кешируются).
Таким образом, видно, что при проектировании Экзадаты Оракл произвел систематизацию типов данных и отделил полезные данные (которые надо кешировать), от вспомогательных (которые кешировать не надо).
В результате, кеш ЕМС будет минимум наполовину (redo), если не на 3/4 или 5/6 забит бесполезными данными, что понижает эффективность кеширования и увеличивает нагрузку на стородж-процессоры, которые тысячи раз в секунду должны решать какие блоки следует вытеснить из кеша, чтобы найти очередной свободный блок под интенсивно льющиеся данные (недостатки write-back). Кроме того, в обычных массивах, кеш на запись всегда зеркалируется. А это означает, что пространство под даные резко уменьшается.
В результате кеширования в Экзадате останутся наиболее часто запрашиваемые блоки - наиболее востребованный контент - справочники и индексные блоки, что способствует стабильности работы приложений. Т.е. приложения на Экзадате просто не заметят 8-часовой бэкап, поскольку практически все необходимые им данные будут всегда под рукой. Иными словами, Экзадата во-первых - качественнее кеширует данные, а во-вторых, надежнее защищает кеш от размывания.
Я так думаю, что если бы оборудование ЕМС кешировало данные лучше, чем сам Оракл,
то Оракл просто поставил бы это оборудование в Экзадату взамен своих серверов хранения.
И если ЕМС в будущем решит кешировать данные Оракла избирательно (т.е. также как в Экзадате), то вряд ли они смогут это сделать так же аккуратно, как Оракл. Кроме того, появление новых типов данных будет приводить к тому, что ЕМС в этом вопросе всегда будет отставать на несколько лет.
Если говорить о механизм кеширования Экзадаты, то, например, операция записи порции данных на сервер хранения вначале записывает эту порцию на диск, а затем серверный процесс решает, кешировать ли поступившие блоки = записывать их в флеш кеш или нет. Операция чтения блока вначале читает блок в RAM сервера хранения, и отдает его наверх, а потом также решает кешировать или нет.
Для временного хранения этих блоков в сервере хранения в оперативной памяти выделена shared memory размером 8Г. Эта область используется процессами сервера хранения в качестве рабочей области. Т.е. это полноценная work area (так и хочется сказать - SGA) = быстрый кеш на динамической памяти.
Таким образом, если сравнивать архитектуру обычных массивов с сервером хранения Экзадаты,
то у Экзадаты на 1 сервер хранения приходится DRAM-кеш = 8Гб + 12 (24) ядер + FlashCache 384Гб.
Sunday, July 24, 2011
Oracle поглотил компанию Ksplice, развивающую технологию обновления Linux-ядра без перезагрузки
Корпорация Oracle объявила о заключении сделки по покупке компании Ksplice, развивающей технологию обновления Linux-ядра без перезагрузки и временной остановки работы. Разработки Ksplice будут интегрированы в продукт Oracle Linux, что позволит усовершенствовать дистрибутив в плане увеличения безопасности, надежности и отказоустойчивости.
Ранее сервис распространения готовых Ksplice-обновлений был бесплатно доступен для пользователей Ubuntu и Fedora Linux, а поддержка Red Hat Enterprise Linux, CloudLinux, Ubuntu Server, Debian GNU/Linux и CentOS осуществлялась на коммерческой основе. Около 700 компаний пользовались сервисом Ksplice. После перехода технологии в руки Oracle, сервис распространения обновлений планируется реализовать в виде стандартной опции "Oracle Linux Premier Support" и сделать его доступным клиентам Oracle, пользующимся данным типом технической поддержки. Отдельно отмечается, что Oracle не планирует продолжать поддержку Red Hat Enterprise Linux и SUSE Enterprise Linux, все Ksplice-обновления будут доступны только для ядра Unbreakable Enterprise Kernel.
http://www.opennet.ru/opennews/art.shtml?num=31257
Ранее сервис распространения готовых Ksplice-обновлений был бесплатно доступен для пользователей Ubuntu и Fedora Linux, а поддержка Red Hat Enterprise Linux, CloudLinux, Ubuntu Server, Debian GNU/Linux и CentOS осуществлялась на коммерческой основе. Около 700 компаний пользовались сервисом Ksplice. После перехода технологии в руки Oracle, сервис распространения обновлений планируется реализовать в виде стандартной опции "Oracle Linux Premier Support" и сделать его доступным клиентам Oracle, пользующимся данным типом технической поддержки. Отдельно отмечается, что Oracle не планирует продолжать поддержку Red Hat Enterprise Linux и SUSE Enterprise Linux, все Ksplice-обновления будут доступны только для ядра Unbreakable Enterprise Kernel.
http://www.opennet.ru/opennews/art.shtml?num=31257
Saturday, July 23, 2011
Exadata check utility
Полезный софт, которым надо уметь пользоваться:
Oracle Exadata Database Machine exachk or HealthCheck [ID 1070954.1]
суть:
exachk is the current version. HealthCheck is frozen and retained for backward compatibility with HP hardware based Oracle Exadata Database Machines.
Oracle Exadata Database Machine exachk or HealthCheck [ID 1070954.1]
суть:
exachk is the current version. HealthCheck is frozen and retained for backward compatibility with HP hardware based Oracle Exadata Database Machines.
Wednesday, July 20, 2011
Tuesday, July 19, 2011
RAM 144G
Как решил Оракл, серверы БД в Х2-2 теперь могут нести на борту до 144Гб оперативной памяти.
Ранее на них могло быть максимум 96Гб.
Ранее на них могло быть максимум 96Гб.
Thursday, July 14, 2011
Expansion Cabinet
В качестве приложения к Экзадате Оракл выпустил Expansion Cabinet, он же Exadata Storage Expansion Rack. По-просту говоря, это стойка набитая серверами хранения. Задача такой стойки - предоставить серверам БД много места под хранение данных. Как заявлено в новости - от 96Тб до 3 Петабайт.В ней также работает НСС. Все серверы хранения оснащены флеш-кешем, как и в обычной Экзадате.
Еще возможности:
Продается сей девайс в 3-х вариантах:
- полный = 18 серверов хранения,
- половинка = 9 и серверов хранения,
- четвертинка = 4 .
В зипе идут диски и карточка флеша.
До 8 стоек (Экзадат + Кабинетов) позволяется объединять в единый пул.
http://www.oracle.com/us/corporate/press/429242
Еще возможности:
Oracle Exadata Hybrid Columnar Compression;
Oracle Exadata Smart Scan;
Oracle Exadata Storage Indexes;
Oracle Exadata Data Mining Offload;
Oracle Exadata Backup Acceleration
Oracle Exadata I/O Resource Manager prioritization by Database User or Job.
Продается сей девайс в 3-х вариантах:
- полный = 18 серверов хранения,
- половинка = 9 и серверов хранения,
- четвертинка = 4 .
В зипе идут диски и карточка флеша.
До 8 стоек (Экзадат + Кабинетов) позволяется объединять в единый пул.
http://www.oracle.com/us/corporate/press/429242
Tuesday, July 5, 2011
Oracle анонсировал 1000-ю инсталляцию Exadata!
Как сообщил Владимир Демкин
http://www.dba.ru/2011/06/oracle-1000-exadata.html
27 июня Oracle анонсировал 1000 инсталляцию Oracle Exadata Database Machine у своих клиентов. На текущий момент Exadata используется в 23 различных отраслях в 67 странах мира.
http://www.dba.ru/2011/06/oracle-1000-exadata.html
27 июня Oracle анонсировал 1000 инсталляцию Oracle Exadata Database Machine у своих клиентов. На текущий момент Exadata используется в 23 различных отраслях в 67 странах мира.
Subscribe to:
Posts (Atom)