System Center Operations Manager и Grafana: рисуем графики

От

25 Янв, 2019

14734

for those people who do not understand Russian please use the google translator

Представим, что у вас есть System Center Operations Manager, агент собирает метрики, что-то там мониторит, мучает WMI ваших систем и наступает тот момент, когда вы хотите собрать дашборд или быстро посмотреть метрики, и вот тут начинается веселье. У нас есть «чудесная» консоль, есть репорт сервер с SSRS, есть даже веб консоль, но всё это такое … ну, вы поняли, не очень быстрое, не очень красивое и прочее.

В мире красноглазых и не очень, я про DevOps если что, есть много интересных и бесплатных решений, и одно их них — это Grafana. С версии 5.0+ она поддерживает источник данных для Microsoft SQL, и тут я подумал, хм, у нас же есть 2 базы данных OperationsManager и OpsMgr Data Warehouse. А почему бы нам «не затолкать» в эту самую Grafana наши метрики. Очень удивило, что в интернете постов на эту тему почти нет. В посте на реддите все закончилось «I just started trying to find useful tables last week. Not much luck so far». Ну ок, будем разбираться.

Есть два способа: правильный и второй.

Способ правильный: берём Telegraf, InfluxDB и Grafana. Telegraf у нас отгружает метрики в базу InfluxDB, а Grafana рисует нам все. На самом деле есть еще более правильный способ. Вы отгружаете метрики в какую-нибудь PostgreSQL и там храните все данные 1-2-3 года или сколько вам надо, а вот для отрисовки в Grafana используете InfluxDB, т.к. она отлично подходит для хранения временных рядов.

Способ второй: у нас уже есть все метрики и все данные в нашей MS SQL базе, а Grafana умеет в t-sql запросы, пишем нужные нам селекты, а Grafana всё рисует. Вот про второй способ и поговорим.

Я не буду писать про то, как установить Grafana, вы можете её сразу запустить в dockere. Напомню только то, что ваша база от SCOMa должна работать в mixed режиме, т.к. из Grafana мы будем подключать через SQL учетку, без всяких Windows аутентификаций. Если у вас Grafana на винде, то забейте, все будет работать. Если у вас настроен krb5.conf, то молодцы. Короче, разберётесь, а то тут еще целый пост можно делать, как аутентифицироваться на «скуле». Ну и понятно, что вы должны нарезать права для чтения — db_datareader.

Grafana поставили, добавляем новый Data Source, заполняем все данные для нашего MS SQL сервера. Добавлю, что пока в этом посте мы будем работать с OperationsManager базой. Да, я знаю, что метрики там хранятся за 7 дней, ну или как у вас настроено в SCOM — Administration — Settings — Database Grooming. С DataWarehouse разберемся потом.

Создаём новый dashboard и сразу идём в его настройки (Settings в правом углу). Нам необходимо создать новую Variables. Идея в том, что в нашем дашборде будет выпадающее меню и в зависимости от выбора в этом меню будут меняться метрики на экране. Привяжемся к имени хостнейма, а точнее выгрузим все FQDN от агентов, которые есть в SCOM.


select bme.DisplayName from MT_HealthService mths INNER JOIN BaseManagedEntity bme on bme.BaseManagedEntityId = mths.BaseManagedEntityId

select bme.DisplayName from MT_HealthService mths INNER JOIN BaseManagedEntity bme on bme.BaseManagedEntityId = mths.BaseManagedEntityId

Отлично, имена хостов у нас есть. Мы создадим несколько панелей: графики с производительностью, список текущих алёртов из консоли и отобразим суммарное здоровье самого агента SCOM.
Поехали.

Создаем новую панель Graph и нарисуем несколько графиков: % Processor Time, % Memory Used, Network Bytes Total/Sec и Disc Average sec/transfer. Можно получить и всё остальное, но как? Для этого надо получить ObjectName и CounterName. Для каждого агента SCOM эти данные будут разные, все зависит от ваших пакетов управлений. Берем имя любого хоста с агентом SCOM и селектим в базу.

select Distinct Path,
ObjectName,
CounterName,
InstanceName
from PerformanceDataAllView pdv with (NOLOCK)
inner join PerformanceCounterView pcv on pdv.performancesourceinternalid = pcv.performancesourceinternalid
inner join BaseManagedEntity bme on pcv.ManagedEntityId = bme.BaseManagedEntityId
where path = 'hostname.domain.com'
order by objectname, countername, InstanceName

select Distinct Path,

ObjectName,

CounterName,

InstanceName

from PerformanceDataAllView pdv with (NOLOCK)

inner join PerformanceCounterView pcv on pdv.performancesourceinternalid = pcv.performancesourceinternalid

inner join BaseManagedEntity bme on pcv.ManagedEntityId = bme.BaseManagedEntityId

where path = 'hostname.domain.com'

order by objectname, countername, InstanceName

Например, контроллер домена. Видим, что кроме метрик производительности, у нас еще есть правила, которые собирают метрики от VMware, от пакета управления Active Directory и т.д.

Для отрисовки панели Graph необходимо передать 3 значения: время, значение и имя метрики. В нашем случае имя метрики будет имя хоста, значение — данные в базе и время. Прямой селект в базу будет такой:

select
TimeSampled,
SampleValue as value,
path as metric
from PerformanceDataAllView pdv with (NOLOCK)
inner join PerformanceCounterView pcv on pdv.performancesourceinternalid = pcv.performancesourceinternalid
inner join BaseManagedEntity bme on pcv.ManagedEntityId = bme.BaseManagedEntityId
where
path in('hostname.domain.com')
AND objectname = 'Processor Information'
AND countername = '% Processor Time'
group by path, TimeSampled, SampleValue
order by timesampled desc

select

TimeSampled,

SampleValue as value,

path as metric

from PerformanceDataAllView pdv with (NOLOCK)

inner join PerformanceCounterView pcv on pdv.performancesourceinternalid = pcv.performancesourceinternalid

inner join BaseManagedEntity bme on pcv.ManagedEntityId = bme.BaseManagedEntityId

where

path in('hostname.domain.com')

AND objectname = 'Processor Information'

AND countername = '% Processor Time'

group by path, TimeSampled, SampleValue

order by timesampled desc

Но для графаны его требуется немного подправить, чтобы как минимум работала кнопка для фильтра по времени и графана понимала, где какие значения. Для этого метрики времени оборачиваем макросом $__timeEpoch(data), добавляем в запрос работу с фильтром $__timeFilter(data) и подключаем нашу переменную $hostname — path in($hostname). Последнее будет передавать в запрос все хостнеймы, которые мы выберем в выпадающем меню нашего дашборда.

select
$__timeEpoch(TimeSampled),
SampleValue as value,
path as metric
from PerformanceDataAllView pdv with (NOLOCK)
inner join PerformanceCounterView pcv on pdv.performancesourceinternalid = pcv.performancesourceinternalid
inner join BaseManagedEntity bme on pcv.ManagedEntityId = bme.BaseManagedEntityId
where
path in($hostname)
AND objectname = 'Processor Information'
AND countername = '% Processor Time'
and $__timeFilter(TimeSampled)
group by path, TimeSampled, SampleValue
order by timesampled ASC

select

$__timeEpoch(TimeSampled),

SampleValue as value,

path as metric

from PerformanceDataAllView pdv with (NOLOCK)

inner join PerformanceCounterView pcv on pdv.performancesourceinternalid = pcv.performancesourceinternalid

inner join BaseManagedEntity bme on pcv.ManagedEntityId = bme.BaseManagedEntityId

where

path in($hostname)

AND objectname = 'Processor Information'

AND countername = '% Processor Time'

and $__timeFilter(TimeSampled)

group by path, TimeSampled, SampleValue

order by timesampled ASC

Выбираем наш datasource и копи-пастим t-sql запрос.

Создаем еще 3 панели для % Memory Used, Network Bytes Total/Sec и Disc Average sec/transfer.

select
$__timeEpoch(TimeSampled),
SampleValue as value,
path as metric
from PerformanceDataAllView pdv with (NOLOCK)
inner join PerformanceCounterView pcv on pdv.performancesourceinternalid = pcv.performancesourceinternalid
inner join BaseManagedEntity bme on pcv.ManagedEntityId = bme.BaseManagedEntityId
where
path in($hostname)
AND objectname = 'Memory'
AND countername = 'PercentMemoryUsed'
and $__timeFilter(TimeSampled)
group by path, TimeSampled, SampleValue
order by timesampled ASC

select

$__timeEpoch(TimeSampled),

SampleValue as value,

path as metric

from PerformanceDataAllView pdv with (NOLOCK)

inner join PerformanceCounterView pcv on pdv.performancesourceinternalid = pcv.performancesourceinternalid

inner join BaseManagedEntity bme on pcv.ManagedEntityId = bme.BaseManagedEntityId

where

path in($hostname)

AND objectname = 'Memory'

AND countername = 'PercentMemoryUsed'

and $__timeFilter(TimeSampled)

group by path, TimeSampled, SampleValue

order by timesampled ASC

select
$__timeEpoch(TimeSampled),
SampleValue as value,
path as metric
from PerformanceDataAllView pdv with (NOLOCK)
inner join PerformanceCounterView pcv on pdv.performancesourceinternalid = pcv.performancesourceinternalid
inner join BaseManagedEntity bme on pcv.ManagedEntityId = bme.BaseManagedEntityId
where
path in($hostname)
AND (objectname = 'Network Adapter' or objectname = 'Network Interface')
AND countername = 'Bytes Total/sec'
and $__timeFilter(TimeSampled)
group by path, TimeSampled, SampleValue
order by timesampled ASC

select

$__timeEpoch(TimeSampled),

SampleValue as value,

path as metric

from PerformanceDataAllView pdv with (NOLOCK)

inner join PerformanceCounterView pcv on pdv.performancesourceinternalid = pcv.performancesourceinternalid

inner join BaseManagedEntity bme on pcv.ManagedEntityId = bme.BaseManagedEntityId

where

path in($hostname)

AND (objectname = 'Network Adapter' or objectname = 'Network Interface')

AND countername = 'Bytes Total/sec'

and $__timeFilter(TimeSampled)

group by path, TimeSampled, SampleValue

order by timesampled ASC

select
$__timeEpoch(TimeSampled),
SampleValue as value,
path + ' ' + InstanceName as metric
from PerformanceDataAllView pdv with (NOLOCK)
inner join PerformanceCounterView pcv on pdv.performancesourceinternalid = pcv.performancesourceinternalid
inner join BaseManagedEntity bme on pcv.ManagedEntityId = bme.BaseManagedEntityId
where
path in($hostname)
AND objectname = 'LogicalDisk'
AND countername = 'Avg. Disk sec/Transfer'
and $__timeFilter(TimeSampled)
group by path, TimeSampled, SampleValue, InstanceName
order by timesampled ASC

select

$__timeEpoch(TimeSampled),

SampleValue as value,

path + ' ' + InstanceName as metric

from PerformanceDataAllView pdv with (NOLOCK)

inner join PerformanceCounterView pcv on pdv.performancesourceinternalid = pcv.performancesourceinternalid

inner join BaseManagedEntity bme on pcv.ManagedEntityId = bme.BaseManagedEntityId

where

path in($hostname)

AND objectname = 'LogicalDisk'

AND countername = 'Avg. Disk sec/Transfer'

and $__timeFilter(TimeSampled)

group by path, TimeSampled, SampleValue, InstanceName

order by timesampled ASC

Если вы всё сделали правильно, то должно быть что-то такое. При выборе хостов в выпадающем меню, они будут добавляться на графики.

Теперь мы можем добавить представление Alerts из консоли Operation Manager. Создадим панель Table и добавим запрос.

! обратите внимание ! Ниже sql запрос, в блоке кода никак не хочет ставить знак < — в двух местах AND av.ResolutionState < 255

WITH ALERT_SELECTION 
(
LastModified,
AlertStringName,
Severity,
Alert_ResolutionState,
MonitoringObjectDisplayName,ManagementPack)
AS
(
SELECT 
av.LastModified,
av.AlertStringName,
av.Severity,

Alert_ResolutionState = CASE
	WHEN av.ResolutionState = '255' THEN 'Closed'
	WHEN AV.ResolutionState = '254' THEN 'Resolved'
	WHEN AV.ResolutionState = '251' THEN 'Blackout'
	WHEN AV.ResolutionState = '250' THEN 'Scheduled'
	WHEN AV.ResolutionState = '249' THEN 'Acknowledge'
	WHEN AV.ResolutionState = '248' THEN 'Assigned to Engineering'
	WHEN AV.ResolutionState = '247' THEN 'Awaiting Evidence'
	WHEN AV.ResolutionState = '3' THEN 'Notified'
	WHEN AV.ResolutionState = '0' THEN 'New'
	END,
MonitoringObjectDisplayName,
mp.MPName AS ManagementPack

FROM 
OperationsManager.dbo.AlertView (NOLOCK) av
 LEFT JOIN
 OperationsManager.dbo.RuleView (NOLOCK) Rv
ON av.MonitoringRuleId = rv.Id
JOIN OperationsManager.dbo.ManagementPack mp
ON rv.ManagementPackId = mp.ManagementPackId

AND av.ResolutionState &lt; 255

UNION

SELECT 
av.LastModified,
av.AlertStringName,
av.Severity,

Alert_ResolutionState = CASE
	WHEN av.ResolutionState = '255' THEN 'Closed'
	WHEN AV.ResolutionState = '254' THEN 'Resolved'
	WHEN AV.ResolutionState = '251' THEN 'Blackout'
	WHEN AV.ResolutionState = '250' THEN 'Scheduled'
	WHEN AV.ResolutionState = '249' THEN 'Acknowledge'
	WHEN AV.ResolutionState = '248' THEN 'Assigned to Engineering'
	WHEN AV.ResolutionState = '247' THEN 'Awaiting Evidence'
	WHEN AV.ResolutionState = '3' THEN 'Notified'
	WHEN AV.ResolutionState = '0' THEN 'New'
	END,

MonitoringObjectDisplayName,
mp.MPName AS ManagementPack

FROM
OperationsManager.dbo.AlertView (NOLOCK) av JOIN OperationsManager.dbo.MonitorView (NOLOCK) Mv
ON av.MonitoringRuleId = Mv.Id
 JOIN OperationsManager.dbo.ManagementPack mp
ON mv.ManagementPackId = mp.ManagementPackId

AND av.ResolutionState &lt; 255
)

SELECT 
CONVERT(varchar, DATEADD(hour, 3 , LastModified), 120) as Time,
AlertStringName,
Severity,
MonitoringObjectDisplayName,
ManagementPack
FROM ALERT_SELECTION
Where $__timeFilter(LastModified)
GROUP by LastModified, AlertStringName, Severity, MonitoringObjectDisplayName, ManagementPack
ORDER BY LastModified ASC

WITH ALERT_SELECTION

(

LastModified,

AlertStringName,

Severity,

Alert_ResolutionState,

MonitoringObjectDisplayName,ManagementPack)

(

SELECT

av.LastModified,

av.AlertStringName,

av.Severity,

Alert_ResolutionState = CASE

WHEN av.ResolutionState = '255' THEN 'Closed'

WHEN AV.ResolutionState = '254' THEN 'Resolved'

WHEN AV.ResolutionState = '251' THEN 'Blackout'

WHEN AV.ResolutionState = '250' THEN 'Scheduled'

WHEN AV.ResolutionState = '249' THEN 'Acknowledge'

WHEN AV.ResolutionState = '248' THEN 'Assigned to Engineering'

WHEN AV.ResolutionState = '247' THEN 'Awaiting Evidence'

WHEN AV.ResolutionState = '3' THEN 'Notified'

WHEN AV.ResolutionState = '0' THEN 'New'

END,

MonitoringObjectDisplayName,

mp.MPName AS ManagementPack

FROM

OperationsManager.dbo.AlertView (NOLOCK) av

LEFT JOIN

OperationsManager.dbo.RuleView (NOLOCK) Rv

ON av.MonitoringRuleId = rv.Id

JOIN OperationsManager.dbo.ManagementPack mp

ON rv.ManagementPackId = mp.ManagementPackId

AND av.ResolutionState < 255

UNION

SELECT

av.LastModified,

av.AlertStringName,

av.Severity,

Alert_ResolutionState = CASE

WHEN av.ResolutionState = '255' THEN 'Closed'

WHEN AV.ResolutionState = '254' THEN 'Resolved'

WHEN AV.ResolutionState = '251' THEN 'Blackout'

WHEN AV.ResolutionState = '250' THEN 'Scheduled'

WHEN AV.ResolutionState = '249' THEN 'Acknowledge'

WHEN AV.ResolutionState = '248' THEN 'Assigned to Engineering'

WHEN AV.ResolutionState = '247' THEN 'Awaiting Evidence'

WHEN AV.ResolutionState = '3' THEN 'Notified'

WHEN AV.ResolutionState = '0' THEN 'New'

END,

MonitoringObjectDisplayName,

mp.MPName AS ManagementPack

FROM

OperationsManager.dbo.AlertView (NOLOCK) av JOIN OperationsManager.dbo.MonitorView (NOLOCK) Mv

ON av.MonitoringRuleId = Mv.Id

JOIN OperationsManager.dbo.ManagementPack mp

ON mv.ManagementPackId = mp.ManagementPackId

AND av.ResolutionState < 255

)

SELECT

CONVERT(varchar, DATEADD(hour, 3 , LastModified), 120) as Time,

AlertStringName,

Severity,

MonitoringObjectDisplayName,

ManagementPack

FROM ALERT_SELECTION

Where $__timeFilter(LastModified)

GROUP by LastModified, AlertStringName, Severity, MonitoringObjectDisplayName, ManagementPack

ORDER BY LastModified ASC

Так мы получили все Critical и Warning, которые вы видите каждый день в консоле. Для того, чтобы разукрасить табличку, то на вкладке Column Styles требуется немного поиграть с настройками. Severity возвращает целые значения — 0, 1 и 2.

Теперь можно добавить статусы агентов для класса Windows.Computer. Есть несколько вариантов. Мы можем создать таблицу и выводить статус, либо можем создать панель Singlestat и в зависимости от количества выбранных хостов, панели будут сами отрисовываться в дашборде.

Для таблицы создаём Table, добавляем запрос, меняем в Column Style настройки.

SELECT 
s.HealthState as 'Health',
LEFT(bme.DisplayName, CHARINDEX('.', bme.DisplayName) - 1) as 'Name'
FROM State s
JOIN BaseManagedEntity bme ON s.BaseManagedEntityId = bme.BaseManagedEntityId
JOIN MonitorView mv ON mv.Id = s.MonitorId
WHERE 
bme.DisplayName in($hostname) and 
mv.Name = 'System.Health.EntityState'
AND
FullName like 'Microsoft.Windows.Computer:%'

SELECT

s.HealthState as 'Health',

LEFT(bme.DisplayName, CHARINDEX('.', bme.DisplayName) - 1) as 'Name'

FROM State s

JOIN BaseManagedEntity bme ON s.BaseManagedEntityId = bme.BaseManagedEntityId

JOIN MonitorView mv ON mv.Id = s.MonitorId

WHERE

bme.DisplayName in($hostname) and

mv.Name = 'System.Health.EntityState'

AND

FullName like 'Microsoft.Windows.Computer:%'

Для Singlestat

SELECT 
s.HealthState as 'Health',
LEFT(bme.DisplayName, CHARINDEX('.', bme.DisplayName) - 1) as 'Name'
FROM State s
JOIN BaseManagedEntity bme ON s.BaseManagedEntityId = bme.BaseManagedEntityId
JOIN MonitorView mv ON mv.Id = s.MonitorId
WHERE 
bme.DisplayName in($hostname) and
mv.Name = 'System.Health.EntityState' AND
FullName like 'Microsoft.Windows.Computer:%'

SELECT

s.HealthState as 'Health',

LEFT(bme.DisplayName, CHARINDEX('.', bme.DisplayName) - 1) as 'Name'

FROM State s

JOIN BaseManagedEntity bme ON s.BaseManagedEntityId = bme.BaseManagedEntityId

JOIN MonitorView mv ON mv.Id = s.MonitorId

WHERE

bme.DisplayName in($hostname) and

mv.Name = 'System.Health.EntityState' AND

FullName like 'Microsoft.Windows.Computer:%'

Для Singlestat на вкладке потребуется добавить значение hostname в For each value of, тогда при выборе эта панель будет «размножаться», как на скрине выше.

И совсем немного разукрасить в Options.

И вот наш финальный дашборд. Временные интервалы в правом углу и выпадающее меню работают, авторефреш — ок. Энджой.
В будущем разберемся, как сделать дриллдаун по панели и уже провалиться внутрь требуемого сервиса/сервера/тэга.

6 КОММЕНТАРИИ

Eugene Leitan 27 Фев, 2019 в 15:45

Тоха, отличная и самое главное полезная статья!

Ответить
Maksym 27 Июн, 2019 в 09:26

Супер статья! Спасибо!

Ответить
Иванов 26 Авг, 2019 в 16:23

Твою статью даже Microsoft использует в рамках премьер саппорта

Ответить
System Center Operations Manager и Grafana: рисуем графики — часть 2: Drill Down, Data Warehouse и docker | Anton Mosyagin 31 Окт, 2019 в 02:21

[…] System Center Operations Manager и Grafana: рисуем графики […]

Ответить
Evgeniy 27 Фев, 2020 в 12:42

Спасибо большое за статью!
Не могу понять, почему то у меня на 19м SCOMe графана ужасно рисует графики. Вроде делаю все как в статье, но когда меняю время (Last 5-10-15..min), данные прыгают по какой то непонятной схеме

Ответить
Роман 11 Фев, 2022 в 11:14

А если в селекте несколько различных значений, например несколько сетевых интерфейсов, как их разбить на несколько граф?

Ответить

System Center Operations Manager и Grafana: рисуем графики

6 КОММЕНТАРИИ

Добавить комментарий Отменить ответ

SCOM и Grafana: рисуем графики — часть 2: Drill Down, Data…

Играем с Anomaly Detector в Cognitive Services от Microsoft

Serverless в Microsoft Azure или боты для telegram на Azure Functions…

Бомжуем в Microsoft Azure или хостим сайты за бакс в месяц:…

Новый клиент Skype for Business для Mac OS

Добавление контактов Skype в Skype for Business

Lync для Windows Phone обновляется до Skype for Business

Скайп для бизнеса — Skype for Business — коротко о главном

Lync 2013 + Skype = Видеовызовы

macOS, Microsoft Office 2016, Configuration Manager и Parallels — управляем обновлениями

Как скачать msi файлы для Adobe Flash через powershell

Telegram: канал @MicrosoftRus, чаты @ConfigMgr, @OpsMgr и бот @SystemCenter_Bot

Разбираемся с Windows 10 S от Microsoft

System Center 2012 R2 Configuration Manager Toolkit

Удаленное управление Mac OS X — расширение консоли SCCM (powershell)

Удаленное управление SCCM 2012 R2 на уровне пользователя (powershell)

Установка агента SCCM 2012 по расписанию (Push Install и powershell)

Разбираемся с Windows 10 S от Microsoft

Windows 10 Creators Update доступна для обновления

Через тернии к SCCM 1606 и Windows 10 1607

Средства удаленного администрирования сервера для Windows 10

Windows 10 версия 1511 (build 10586), диск X и нюансы

Azure Active Directory и Windows 10

Получаем сертификат Apple Push Notification service

Интеграция Microsoft Intune и SCCM 2012 R2

Microsoft Intune — Шаг за шагом

Microsoft Intune — новые возможности

ChatOps: управление инфраструктурой из мессенджера

Управление гибридной клиентской инфраструктурой с помощью System Center 2012 R2 Configuration…

Обновление SCCM 2012 R2 до SCCM 1511 (Current Branch)

Jump Start: Windows 10 в корпоративной сети (видео)

Обзор Configuration Manager vNext TP3