Патч 12.1.1.1.1

На днях вышел квартальный патч на Экзадату, версия 12.1.1.1.1.

Эта версия поддерживает 4Т-диски и может быть установлена на Х2 и Х3.

Это означает, что владельцы Х2 и Х3 Экзадат могут заменить свои диски на 4Т с целью увеличения дискового пространства.

 

Capacity-On-Demand on Oracle Exadata Database Machine

Вышел квартальный Июльский патч на Экзадату (версия образа 12.1.1.1.1), в котором включена возможность

«Capacity-On-Demand on Oracle Exadata Database Machine»

Т.е. появилась возможность включить не все ядра в Экзадате, и таким образом сэкономить на лицензиях на СУБД. Условия, на которых оно возможно:

• Capacity-on-demand is available for Oracle Exadata Database Machine X4-2 and Oracle Exadata Database Machine X4-8 Full Rack systems.
• Oracle Exadata Database Machine X4-2 Eighth Rack is excluded from capacity-on-demand.
• Reducing the number of active cores lowers the initial software licensing cost. It does not change the hardware cost.
• The minimum number of processor cores that must be enabled is half of the physical cores on each processor. For Oracle Exadata Database Machine X4-2 systems, the minimum is 6 per processor (12 per database server). For Oracle Exadata Database Machine X4-8 Full Rack, the minimum is 8 per processor (64 per database server).
• Additional cores are increased in 2-core increments per server on Oracle Exadata Database Machine X4-2, and in 8-core increments on Oracle Exadata Database Machine X4-8 Full Rack. Database servers in the same system can enable a different number of cores.
• Capacity-on-demand may only be used to decrease the number of active processor cores during initial installation. After initial configuration, the processor core count can only increase on a system, up to the maximum. It is the customer's responsibility to acquire the additional software licenses.
• Oracle Exadata Database Machine must use Oracle Configuration Manager or Oracle Platinum Services to qualify for capacity-on-demand.
• Oracle Exadata Database Machine purchased under Infrastructure as a Service (IaaS) is not eligible for capacity-on-demand.

Exadata X4 multipathing with active-active infiniband

The X4 Exadata has the new feature "active-active" ports on the IB HCA.
As a result the v$asm_disk.PATH shows the 2 IP for the each disk path:

SQL> select path from v$asm_disk;

PATH
-------------------------------------------------------
o/192.168.11.9;192.168.11.10/RECOC1_CD_06_ed02celadm03
o/192.168.11.9;192.168.11.10/DATAC1_CD_09_ed02celadm03
o/192.168.11.9;192.168.11.10/DBFS_DG_CD_04_ed02celadm03
o/192.168.11.9;192.168.11.10/DBFS_DG_CD_03_ed02celadm03
o/192.168.11.9;192.168.11.10/DATAC1_CD_00_ed02celadm03
o/192.168.11.9;192.168.11.10/RECOC1_CD_02_ed02celadm03


[oracle@ed02dbadm01 ~]$ /sbin/ifconfig -a

ib0       Link encap:InfiniBand  HWaddr 80:00:00:48:FE:80:00:00:00:00:00:00:00:00:00:00:00:00:00:00 
          inet addr:192.168.11.1 

ib1       Link encap:InfiniBand  HWaddr 80:00:00:49:FE:80:00:00:00:00:00:00:00:00:00:00:00:00:00:00 
          inet addr:192.168.11.2

As you can see above the DB node host 'ed02dbadm01' has the IPs 11.1 and 11.2, but disks have IPs 11.9 and 11.10. Therefore the disks are addressed with cell IP addresses, in our case 'ed02celadm03'. Let look its ifconfig:
[root@ed02celadm03 ~]# ifconfig -a

ib0       Link encap:InfiniBand  HWaddr 80:00:00:48:FE:80:00:00:00:00:00:00:00:00:00:00:00:00:00:00 
          inet addr:192.168.11.9
ib1       Link encap:InfiniBand  HWaddr 80:00:00:49:FE:80:00:00:00:00:00:00:00:00:00:00:00:00:00:00 
          inet addr:192.168.11.10

Yes,

And let's look to cellip.ora on DB nodes, it now has 2 IPs because active-active ports (old version has 1 IP because active-passive ports):

[root@ed02dbadm01 ~]# cat /etc/oracle/cell/network-config/cellip.ora
cell="192.168.11.5;192.168.11.6"
cell="192.168.11.7;192.168.11.8"
cell="192.168.11.9;192.168.11.10"

How to Add Exadata Storage Servers

Как известно, Оракл разрешает расширять Экзадату путем добавления новых серверов хранения. Вот попалась нота на этот счет:

How to Add Exadata Storage Servers to an Existing Database Machine (Doc ID 1476336.1)

Самое интересное в ней – правила:

• Within a rack, you can only add the same kinds of disks as what already exists.  E.g., if you already have high capacity (HC) disks, then you can only add HC disks and similarly if you already have high performance (HP) disks you can only add HP disks
• When adding an additional rack or storage expansion rack, you may add either HC or HP disks, but if the new disks are a different type from the existing ones, then you must add them to a new diskgroup containing only that disk type. E.g., your existing disks are HP and you add an HC storage expansion rack; the new disks must go into a new diskgroup

В переводе на русский:

• В пределах одной стойки все диски должны быть одного типа.Если нужны диски другого типа, то добавляй новую стойку.
• Если добавились диски другого типа, то из них надо создавать отдельную дисковую группу. Иными словами, в одной дисковой группе нельзя смешивать диски разного типа.

How to enable the Flash Cache Compression ?

Prereqs:
- should i shutdown databases ?
- should i shutdown clusterware ?

My experiment say - no, i didn't shutdown DB soft or clusterware (CW). I just connected to cells with terminal program and made my operations. The DB and ASM alert logs showed no errors during this operation.


If you make the "list cell detail" before this operation then you don't see the
"flashCacheCompress" parameter. It is absent.

And a size of FlashCache is:

[root@exa2celadm01 ~]# cellcli -e list flashcache detail|grep -i Size
     effectiveCacheSize:     2978.75G
     size:                   2978.75G


The "alter flashcache all flush" command may take a very long time, for example, 1+ hour. So run it on the all cells simultaneously some times before your operation.


My commands:

CellCLI> alter flashcache all flush
Flash cache ed02celadm01_FLASHCACHE altered successfully

CellCLI> drop flashcache all       
Flash cache ed02celadm01_FLASHCACHE successfully dropped

CellCLI> drop flashlog all         
Flash log ed02celadm01_FLASHLOG successfully dropped

CellCLI> drop celldisk all flashdisk
CellDisk FD_00_ed02celadm01 successfully dropped
CellDisk FD_01_ed02celadm01 successfully dropped
CellDisk FD_02_ed02celadm01 successfully dropped
CellDisk FD_03_ed02celadm01 successfully dropped
CellDisk FD_04_ed02celadm01 successfully dropped
CellDisk FD_05_ed02celadm01 successfully dropped
CellDisk FD_06_ed02celadm01 successfully dropped
CellDisk FD_07_ed02celadm01 successfully dropped
CellDisk FD_08_ed02celadm01 successfully dropped
CellDisk FD_09_ed02celadm01 successfully dropped
CellDisk FD_10_ed02celadm01 successfully dropped
CellDisk FD_11_ed02celadm01 successfully dropped
CellDisk FD_12_ed02celadm01 successfully dropped
CellDisk FD_13_ed02celadm01 successfully dropped
CellDisk FD_14_ed02celadm01 successfully dropped
CellDisk FD_15_ed02celadm01 successfully dropped

CellCLI>

CellCLI> alter cell FlashCacheCompress=true
Cell ed02celadm01 successfully altered

CellCLI>

CellCLI> create celldisk all flashdisk
CellDisk FD_00_ed02celadm01 successfully created
CellDisk FD_01_ed02celadm01 successfully created
CellDisk FD_02_ed02celadm01 successfully created
CellDisk FD_03_ed02celadm01 successfully created
CellDisk FD_04_ed02celadm01 successfully created
CellDisk FD_05_ed02celadm01 successfully created
CellDisk FD_06_ed02celadm01 successfully created
CellDisk FD_07_ed02celadm01 successfully created
CellDisk FD_08_ed02celadm01 successfully created
CellDisk FD_09_ed02celadm01 successfully created
CellDisk FD_10_ed02celadm01 successfully created
CellDisk FD_11_ed02celadm01 successfully created
CellDisk FD_12_ed02celadm01 successfully created
CellDisk FD_13_ed02celadm01 successfully created
CellDisk FD_14_ed02celadm01 successfully created
CellDisk FD_15_ed02celadm01 successfully created

CellCLI> create flashlog all size=512M
Flash log ed02celadm01_FLASHLOG successfully created

CellCLI> create flashcache all
Flash cache ed02celadm01_FLASHCACHE successfully created

CellCLI>

CellCLI> list cell detail      
     name:                   ed02celadm01
     bbuChargeThreshold:     800
     bbuStatus:              normal
     bbuTempThreshold:       60
     bmcType:                IPMI
     cellVersion:            OSS_12.1.1.1.0_LINUX.X64_131219
     cpuCount:               24
     diagHistoryDays:        7
     fanCount:               8/8
     fanStatus:              normal
     flashCacheMode:         WriteBack
     flashCacheCompress:     TRUE
     id:                     1340NM502N
     interconnectCount:      3
     interconnect1:          ib0
     interconnect2:          ib1
     iormBoost:              0.0
     ipaddress1:             192.168.11.5/22
     ipaddress2:             192.168.11.6/22
     kernelVersion:          2.6.39-400.128.1.el5uek
     locatorLEDStatus:       off
     makeModel:              Oracle Corporation SUN SERVER X4-2L High Capacity
     metricHistoryDays:      7
     notificationMethod:     snmp
     notificationPolicy:     critical,warning,clear
     offloadGroupEvents:
     offloadEfficiency:      481,755.6
     powerCount:             2/2
     powerStatus:            normal
     releaseVersion:         12.1.1.1.0
     releaseTrackingBug:     16980054
     snmpSubscriber:         host=ed02dbadm02.distr.fors.ru,port=3872,community=public
                             host=ed02dbadm01.distr.fors.ru,port=3872,community=public
     status:                 online
     temperatureReading:     24.0
     temperatureStatus:      normal
     upTime:                 50 days, 18:13
     cellsrvStatus:          running
     msStatus:               running
     rsStatus:               running


And size of FlashCache in our X4-2 after modification is about 2 times bigger:

[root@ed02celadm01 ~]# cellcli -e list flashcache detail|grep -i Size
     effectiveCacheSize:     5959G
     size:                   5959G

Exadata X5-2

Привет,

Есть желание пофантазировать на тему Х5 Экзадаты .
В начале этого года все оба-два основных производителя выпустили по 6Т-модели жестких дисков. Также, пишут, что за прошлый год стоимость флэш памяти снизилась на 30%, и еще на 14% - произошло снижение стоимости в за 1 квартал текущего года. Т.е. в сумме набегает 44%.

Оба этих фактора дают основания сделать прогноз о новой Экзадате ...
Итак, что это будет:

1.
В Экзадате Х5 High Capacity будут стоять жесткие диски емкостью по 6Т, что означает 50% рост дискового пространства по сравнению с 4Т-дисками, которые используются сейчас.

2.
Новые 6Т жесткие диски также содержат в описании ключевые слова 512e/512n, поэтому есть основания полагать, что произойдет переход на 4К-сектор для жестких дисков. Давно ждем. С сейчас в Экзадатах Х4 жесткие диски под ASM все еще по 512-байт:
$ asmcmd lsdg
 State    Type   Rebal  Sector   Name
MOUNTED  NORMAL  N         512   DATAC1/
MOUNTED  NORMAL  N         512   DBFS_DG/
MOUNTED  NORMAL  N         512   RECOC1/

И параметр _disk_sector_size_override уже не будет таким скрытым.

4К-сектор принесет дополнительное увеличение емкости на 10%, по сравнению с 512-байтным сектором за счет экономии на контрольных суммах.
Т.е. увеличение емкости будет не 50%, а 60% .

Хорошая статья на тему HDD 4K.

3.
В связи с ростом дисковой емкости на 60% флэш-диски также будут пропорционально увеличены. На мой взгляд объем увеличения ограничен снизу цифрой 50%, чтобы попытаться сохранить пропорцию "объем флэша"/"объем ЖД".
Благодаря снижению цены флэша на рынке приблизительно на 50%, увеличение объема флэша на 50% будет для Оракла бесплатным.
Т.е. будут выпущены флэш акселераторы F120 (1200 ГБ) или F160 (1600 ГБ), взамен используемых сегодня F80 (800 ГБ ) .

4.
Произойдет переход на 4К для флэш-дисков.
Флэш диски ВСЕГДА имели размер сектора 4К и обращаться с ними как с 512-байтовыми устройствами как-то неправильно.

За счет перехода к 4К-флэшу произойдет увеличение его объема на 10%.

5.
В связи с ростом дисковой емкости  потребуется на 60% больше места под Storage Index в оперативной памяти серверов хранения. Поэтому я предполагаю, что память на серверах хранения будет увеличена. Cейчас эта цифра 96Г, в новых моделях она будет 128-144 Г.

6.
Флэш-акселераторы перейдут на PCI 3, сейчас в Х4 стоят карточки F80 с PCI 2.

7.
Кэш на RAID-контроллерах жестких дисков, который сегодня 512МБ будет увеличен до 1Г для лучшей адаптации к загруке больших объемов данных.
RAID-контроллер тоже перейдет на PCI 3.