Удаленное управление Mac OS X — расширение консоли SCCM (powershell)

От

10 Ноя, 2015

Я уже писал про нативное управление Mac OS X через Configuration Manager без дополнительных плагинов. И появилась идея добавить в консоль пункты для быстрого подключения через SSH и VNC к устройству. На самом деле вы можете использовать это и для Linux, т.к. схема абсолютно такая же, за одним исключением, что необходимо будет дополнительно скопировать RemoteSshVnc.xml в каталоги с консолью SCCM 2012 R2 ed9dee86-eadd-4ac8-82a1-7234a4646e62 и 3fd01cd1-9e01-461e-92cd-94866b8d1f39

Давайте обо всем по порядку.

Скачать расширение Mac OS X Tools из Microsoft Gallery Technet.

В архиве 5 файлов:

Install-SshVncV2.ps1 — скрипт для установки расширения, просто копирует необходимые файлы, запускать с повышенными правами;
putty.exe — клиент SSH версии 0.64.0.0;
RemoteSshVnc.xml — XML, который добавляет необходимые пункты в консоль SCCM 2012 R2;
sshvnc.ps1 — powershell скрипт с формой для подключения и вызова клиентов putty и tightvnc;
tvnviewer.exe — клиент tightvnc версии 2.7.10.

Предварительные требования для Mac OS X

В системе Mac OS X в разделе «Системные настройки — Общий доступ» должны быть включены две настройки: Удаленный вход и Удаленное управление.

Удаленный вход включает доступ по SSH.

Удаленное управление включает доступ к рабочему столу.

Установка

1. Из архива запускаем Install-SshVncV2.ps1 и он копирует необходимые файлы в каталоги с консолью SCCM 2012 R2 %Program Files%\Microsoft Configuration Manager\AdminConsole\XmlStorage\Extensions\Actions\ в 331037bb-97e6-4c9b-9c3c-d11e85b51fef и dbb02e2a-3aa6-4e27-82e9-840924d73527

331037bb-97e6-4c9b-9c3c-d11e85b51fef это GUID раздела Devices в консоли SCCM 2012 R2 для устройств со свойством Client Type — Mobile, а dbb02e2a-3aa6-4e27-82e9-840924d73527 GUID, если вы развернули коллекцию с устройствами.

На выходе должно получиться следующее:

2. Если путь установки вашей консоли SCCM 2012 R2 отличается от C:\Program Files (x86)\Microsoft Configuration Manager\AdminConsole\, тогда необходимо в файле RemoteSshVnc.xml исправить тэги <Parameters></Parameters>.

3. Запускаем консоль SCCM 2012 R2 и видим новый пункт в меню Mac OS X Tools

Подключение к Mac OS X через SSH

В меню выбираем Connect via SSH, в появившемся окне видим IP адрес устройства и нажимаем Connect

Вводим пароль администратора системы. Профит. Дальше уже творим, что хотим. )

Подключение к удаленному столу Mac OS X через TightVNC

В меню выбираем Connect via VNC и IP адрес устройства

Вводим пароль для доступа к рабочему столу

Подключаемся.

Install-SshVncV2.ps1

########################################################################
# Install Mac OS X Remote Control Extension - VNC (TightVNC) and SSH (putty)
# Version: 1
# Author: Anton Masyan - anton@masyan.ru
# Date: 11/10/2015
#
# masyan.ru
########################################################################

$ExtensionsFolder = $env:SMS_ADMIN_UI_PATH.Replace("bin\i386","XmlStorage\Extensions\Actions")

$ConsoleDevice = $ExtensionsFolder + '\331037bb-97e6-4c9b-9c3c-d11e85b51fef'
$ConsileDeviceColl = $ExtensionsFolder + '\dbb02e2a-3aa6-4e27-82e9-840924d73527'

if(!(Test-Path -Path $ConsoleDevice )){
        # SCCM Console - Devices
        New-Item -ItemType directory -Path $ConsoleDevice
        Copy-Item sshvnc.ps1 $ConsoleDevice
        Copy-Item putty.exe $ConsoleDevice
        Copy-Item tvnviewer.exe $ConsoleDevice
        Copy-Item RemoteSshVnc.xml $ConsoleDevice
        
        #SCCM Console - Device Collections
        New-Item -ItemType directory -Path $ConsileDeviceColl
        Copy-Item RemoteSshVnc.xml $ConsileDeviceColl
}

########################################################################

# Install Mac OS X Remote Control Extension - VNC (TightVNC) and SSH (putty)

# Version: 1

# Author: Anton Masyan - anton@masyan.ru

# Date: 11/10/2015

# masyan.ru

########################################################################

$ExtensionsFolder = $env:SMS_ADMIN_UI_PATH.Replace("bin\i386","XmlStorage\Extensions\Actions")

$ConsoleDevice = $ExtensionsFolder + '\331037bb-97e6-4c9b-9c3c-d11e85b51fef'

$ConsileDeviceColl = $ExtensionsFolder + '\dbb02e2a-3aa6-4e27-82e9-840924d73527'

if(!(Test-Path -Path $ConsoleDevice )){

# SCCM Console - Devices

New-Item -ItemType directory -Path $ConsoleDevice

Copy-Item sshvnc.ps1 $ConsoleDevice

Copy-Item putty.exe $ConsoleDevice

Copy-Item tvnviewer.exe $ConsoleDevice

Copy-Item RemoteSshVnc.xml $ConsoleDevice

#SCCM Console - Device Collections

New-Item -ItemType directory -Path $ConsileDeviceColl

Copy-Item RemoteSshVnc.xml $ConsileDeviceColl

}

sshvnc.ps1

########################################################################
# Mac OS X Remote Control - VNC (TightVNC) and SSH (putty)
# Version: 1
# Author: Anton Masyan - anton@masyan.ru
# Date: 11/10/2015
#
# masyan.ru
########################################################################


param(
    [parameter(Mandatory=$true)]
        $ResourceID,
    [parameter(Mandatory=$true)]
        $SiteServer,
    [parameter(Mandatory=$true)]
        $ConnectionType
)

function Load-Form {
    $Form.Controls.Add($ComboBox)
    $Form.Controls.Add($Button)
	$Form.Add_Shown({$Form.Activate()})
    $Form.Add_Shown({Get-IPAddresses})
	[void]$Form.ShowDialog()
}

function Get-SCCMSiteCode {
    $SCCMSiteCode = Get-WmiObject -Namespace "root\SMS" -Class SMS_ProviderLocation -ComputerName $SiteServer | Select-Object -ExpandProperty SiteCode
 return $SCCMSiteCode
}

function Get-IPAddresses {
    $IPAddresses = Get-WmiObject -Namespace "root\SMS\site_$(Get-SCCMSiteCode)" -Class SMS_R_System -ComputerName $SiteServer -Filter "ResourceID like '$($ResourceID)'" | Select-Object -ExpandProperty IPAddresses
    $IPAddresses | ForEach-Object {
$ComboBox.Items.Add("$($_)")
Write-Output $_
    }
}

function Start-RemoteConnection {
$ExtensionsFolder = $env:SMS_ADMIN_UI_PATH.Replace("bin\i386","XmlStorage\Extensions\Actions\") + '\331037bb-97e6-4c9b-9c3c-d11e85b51fef'

  if ($ConnectionType -contains 'ssh')
        {    
        & "$ExtensionsFolder\putty.exe" -ssh $ComboBox.SelectedItem
        $Form.Close()
        }
  else
        {
        & "$ExtensionsFolder\tvnviewer.exe" $ComboBox.SelectedItem
        $Form.Close()
        }
    }

########################################################################
# 
# 
########################################################################

[void][System.Reflection.Assembly]::LoadWithPartialName("System.Drawing") 
[void][System.Reflection.Assembly]::LoadWithPartialName("System.Windows.Forms") 

# Form
$Form = New-Object System.Windows.Forms.Form    
$Form.Size = New-Object System.Drawing.Size(390,100)  
$Form.MinimumSize = New-Object System.Drawing.Size(390,100)
$Form.MaximumSize = New-Object System.Drawing.Size(390,100)
$Form.SizeGripStyle = "Hide"
$Form.Icon = [System.Drawing.Icon]::ExtractAssociatedIcon($PSHome + "\powershell.exe")
$Form.Text = "Connect via $ConnectionType"
$Form.ControlBox = $true
$Form.TopMost = $true

# Box
$ComboBox = New-Object System.Windows.Forms.ComboBox
$ComboBox.Location = New-Object System.Drawing.Size(10,20)
$ComboBox.Size = New-Object System.Drawing.Size(220,30)
$ComboBox.DropDownStyle = "DropDownList"
$ComboBox.Add_SelectedValueChanged({$Button.Enabled = $true})

# Button
$Button = New-Object System.Windows.Forms.Button
$Button.Location = New-Object System.Drawing.Size(240,18)
$Button.Size = New-Object System.Drawing.Size(120,25)
$Button.Text = "Connect"
$Button.Enabled = $false
$Button.Add_Click({Start-RemoteConnection})

# Load Form
Load-Form

########################################################################

# Mac OS X Remote Control - VNC (TightVNC) and SSH (putty)

# Version: 1

# Author: Anton Masyan - anton@masyan.ru

# Date: 11/10/2015

# masyan.ru

########################################################################

param(

[parameter(Mandatory=$true)]

$ResourceID,

[parameter(Mandatory=$true)]

$SiteServer,

[parameter(Mandatory=$true)]

$ConnectionType

)

function Load-Form {

$Form.Controls.Add($ComboBox)

$Form.Controls.Add($Button)

$Form.Add_Shown({$Form.Activate()})

$Form.Add_Shown({Get-IPAddresses})

[void]$Form.ShowDialog()

}

function Get-SCCMSiteCode {

$SCCMSiteCode = Get-WmiObject -Namespace "root\SMS" -Class SMS_ProviderLocation -ComputerName $SiteServer | Select-Object -ExpandProperty SiteCode

return $SCCMSiteCode

}

function Get-IPAddresses {

$IPAddresses = Get-WmiObject -Namespace "root\SMS\site_$(Get-SCCMSiteCode)" -Class SMS_R_System -ComputerName $SiteServer -Filter "ResourceID like '$($ResourceID)'" | Select-Object -ExpandProperty IPAddresses

$IPAddresses | ForEach-Object {

$ComboBox.Items.Add("$($_)")

Write-Output $_

}

function Start-RemoteConnection {

$ExtensionsFolder = $env:SMS_ADMIN_UI_PATH.Replace("bin\i386","XmlStorage\Extensions\Actions\") + '\331037bb-97e6-4c9b-9c3c-d11e85b51fef'

if ($ConnectionType -contains 'ssh')

{

& "$ExtensionsFolder\putty.exe" -ssh $ComboBox.SelectedItem

$Form.Close()

}

else

{

& "$ExtensionsFolder\tvnviewer.exe" $ComboBox.SelectedItem

$Form.Close()

}

########################################################################

[void][System.Reflection.Assembly]::LoadWithPartialName("System.Drawing")

[void][System.Reflection.Assembly]::LoadWithPartialName("System.Windows.Forms")

# Form

$Form = New-Object System.Windows.Forms.Form

$Form.Size = New-Object System.Drawing.Size(390,100)

$Form.MinimumSize = New-Object System.Drawing.Size(390,100)

$Form.MaximumSize = New-Object System.Drawing.Size(390,100)

$Form.SizeGripStyle = "Hide"

$Form.Icon = [System.Drawing.Icon]::ExtractAssociatedIcon($PSHome + "\powershell.exe")

$Form.Text = "Connect via $ConnectionType"

$Form.ControlBox = $true

$Form.TopMost = $true

# Box

$ComboBox = New-Object System.Windows.Forms.ComboBox

$ComboBox.Location = New-Object System.Drawing.Size(10,20)

$ComboBox.Size = New-Object System.Drawing.Size(220,30)

$ComboBox.DropDownStyle = "DropDownList"

$ComboBox.Add_SelectedValueChanged({$Button.Enabled = $true})

# Button

$Button = New-Object System.Windows.Forms.Button

$Button.Location = New-Object System.Drawing.Size(240,18)

$Button.Size = New-Object System.Drawing.Size(120,25)

$Button.Text = "Connect"

$Button.Enabled = $false

$Button.Add_Click({Start-RemoteConnection})

# Load Form

Load-Form

RemoteSshVnc.xml

<ActionDescription Class="Group" DisplayName="Mac OS X Tools" MnemonicDisplayName="Mac OS X Tools" Description="Mac OS X Tools" SqmDataPoint="53"> 

<ShowOn>
<string>ContextMenu</string>
</ShowOn> 

<ActionGroups>
 
<ActionDescription Class="Executable" DisplayName="Connect via SSH" MnemonicDisplayName="Connect via SSH" Description="Connect via SSH"> 
	<ShowOn>
		<string>ContextMenu</string>
	</ShowOn> 
	<Executable>
		<FilePath>"C:\Windows\System32\WindowsPowerShell\v1.0\powershell.exe"</FilePath>
        <Parameters>-windowstyle hidden -executionpolicy bypass -file "C:\Program Files (x86)\Microsoft Configuration Manager\AdminConsole\XmlStorage\Extensions\Actions\331037bb-97e6-4c9b-9c3c-d11e85b51fef\sshvnc.ps1" -SiteServer "##SUB:__Server##" -ResourceID "##SUB:ResourceID##" -ConnectionType "SSH"</Parameters>
	</Executable>
</ActionDescription> 
    
<ActionDescription Class="Executable" DisplayName="Connect via VNC" MnemonicDisplayName="Connect via VNC" Description="Connect via VNC">
	<ShowOn>
			<string>ContextMenu</string>
	</ShowOn>
	<Executable>
			<FilePath>"C:\Windows\System32\WindowsPowerShell\v1.0\powershell.exe"</FilePath>
        <Parameters>-windowstyle hidden -executionpolicy bypass -file "C:\Program Files (x86)\Microsoft Configuration Manager\AdminConsole\XmlStorage\Extensions\Actions\331037bb-97e6-4c9b-9c3c-d11e85b51fef\sshvnc.ps1" -SiteServer "##SUB:__Server##" -ResourceID "##SUB:ResourceID##" -ConnectionType "VNC"</Parameters>
	</Executable>
</ActionDescription>
  
    
</ActionGroups>
</ActionDescription>

<string>ContextMenu</string>

</ShowOn>

<string>ContextMenu</string>

</ShowOn>

<FilePath>"C:\Windows\System32\WindowsPowerShell\v1.0\powershell.exe"</FilePath>

<Parameters>-windowstyle hidden -executionpolicy bypass -file "C:\Program Files (x86)\Microsoft Configuration Manager\AdminConsole\XmlStorage\Extensions\Actions\331037bb-97e6-4c9b-9c3c-d11e85b51fef\sshvnc.ps1" -SiteServer "##SUB:__Server##" -ResourceID "##SUB:ResourceID##" -ConnectionType "SSH"</Parameters>

</Executable>

</ActionDescription>

<string>ContextMenu</string>

</ShowOn>

<FilePath>"C:\Windows\System32\WindowsPowerShell\v1.0\powershell.exe"</FilePath>

</Executable>

</ActionDescription>

</ActionGroups>

</ActionDescription>

Подкаст Мамкин Айтишник #1 — Microsoft Ignite, Slack против Microsoft Teams, Apple и приложения UWP

От

Anton Mosyagin

2 Дек, 2019

В этом выпуске подкаста Мамкин Айтишник говорим про новинки с Microsoft Ignite (Azure Arc, Microsoft Endpoint Manager, Azure Stack HCI, Hub и Edge), Slack против Microsoft Teams или Microsoft Teams против Slack, Apple собирается разрабатывать приложения UWP и совсем немного про сертификацию Microsoft.

Еженедельная трансляция — https://www.twitch.tv/mamkinboycast
Сайт подкаста — https://mamkinboycast.ru/
Телеграм — https://t.me/MamkinBoyCast

Где послушать?
iTunes Podcast — https://podcasts.apple.com/ru/podcast/id1489218647
Spotify — https://open.spotify.com/show/52cz97vVjA8IS02exZYPY9
SoundCloud — https://soundcloud.com/mamkinboycast
RSS — https://cdn.mamkinboycast.ru/feed/podcast

1:56 — Microsoft Ignite: Azure Arc
7:05 — Microsoft Ignite: Visual Studio Online
13:28 — Microsoft Ignite: Microsoft Ignite: ConfigMgr + Intune = MEM
17:05 — Microsoft Ignite: Productivity Score & Experience Score
22:00 — Microsoft Intune и macOS, Windows vs. macOS
33:20 — Microsoft Ignite: Azure Stack HCI, Azure Stack Hub и Azure Stack Edge
40:33 — Microsoft Ignite: Connected Cache
43:30 — Microsoft Ignite: Power Platform — Virtual Agent
50:02 — Microsoft Ignite: RPA — Robotics Process Automation
52:11 — Как выглядят сервера в Microsoft Azure
55:03 — Про дацатацентры в России
59:47 — Slack vs. Microsoft Teams — “Ok, Boomer”
1:04:43 — Про роботов из Boston Dynamics
1:06:15 — Приложения Universal Windows Platform (UWP) от Apple
1:08:32 — Huawei и Harmony OS
1:11:26 — Совсем немного про сертификацию Microsoft

Мамкин Айтишник — Выпуск #0: Microsoft, Azure, MVP, RD и о жизни облаков в России

От

Anton Mosyagin

27 Ноя, 2019

Да, мы запустили подкаст про технологии под названием «Мамкин Айтишник«. Видео версия уже доступна на ютубе, сам подкаст записывается в прямом эфире на Твиче — https://www.twitch.tv/mamkinboycast <- Подписывайтесь.

В пилотном выпуске у нас был Александр Ермаков. Темы с тайм-метками под видео. ;)

VK — https://vk.com/mamkinboycast
Soundcloud — https://soundcloud.com/mamkinboycast
Spotify — https://open.spotify.com/show/52cz97vVjA8IS02exZYPY9

1:35 — Про Microsoft Regional Director;
7:20 — Как из бухгалтера стать управляющим партнёром в IT компании;
15:55 — Про импортозамещение;
19:12 — Как внедрять решения Microsoft в России;
26:13 — Облако Microsoft — это недорого;
34:12 — Про программу Microsoft MVP;
47:58 — Microsoft Regional Director — кто эти люди и что за программа?
54:34 — Cortana на русском?
1:01:57 — Microsoft в 1995 году и сейчас;
1:04:06 — Почему умер Windows Mobile;
1:11:50 — Самое интересное с Microsoft Ignite: когнитивные сервисы, голосовые ассистенты, Azure Stack и прочее;
1:20:24 — Про будущее Microsoft Azure в России, конкурентов и РКН;
1:31:39 — Секция “Насколько ты хорошо знаешь продукты Microsoft”;
1:41:02 — Блиц как у Дудя для Александра Ермакова.

Аудио версия уже доступна в Spotify. Надеюсь, что скоро подоспеют iTunes и Yandex Музыка.

SCOM и Grafana: рисуем графики — часть 2: Drill Down, Data Warehouse и docker

От

Anton Mosyagin

31 Окт, 2019

В прошлом посте мы забирали данные из OperationsManager базы SCOM’a, чтобы что-то нарисовать в Grafana и у нас получился примерно вот такой вот дашборд:

В этом посте разберемся, как сделать Drill Down, чтобы при клике на панель мы могли провалиться в другой дашборд, где бы была уже собрана более детальная информация по конкретному сервису/серверу. В Grafana это называется Data link и появилось с версии 6.3. Grafana может передать в другой дашборд любую переменную с именем вашего сервиса, отметкой времени и т.д., а мы уже эту переменную обработаем в новом дашборде. В нашем случае это будет объект в SCOM’е или проще — FQDN-имя сервера. Про встроенные переменные можно почитать в документации Global Built-in Variables.

Но перед тем как приступить к построению дашбордов, нам необходимо решить, а какие данные и откуда будем тянуть. Здесь есть ряд нюансов. В System Center Operations Manager есть две базы: OperationsManager и OperationsManager Data Warehouse. SCOM пишет данные одновременно и в одну, и в другую, но вот хранятся они там по-разному, а это будет очень сильно влиять на то, как ваши графики будут отображаться. Если мы берём базу OperationsManager, то данные мониторинга, событий, алёрты, метрики и прочее хранятся всего 7 дней. Определяется это в консоли SCOM’a — Administration — Settings — Database Grooming или в powershell: Get-SCOMDatabaseGroomingSetting и Set-SCOMDatabaseGroomingSetting.

Понимаете к чему я веду? Когда вы захотите посмотреть метрики за месяц, то будет примерно такая картина.

Ага, все верно, данные за 7 дней и всё. Но где же остальные данные? Они хранятся в базе Data Warehouse, но с ними другие приколы. Если мы возьмем один и тот же сервер и сравним одну и ту же метрику, например нагрузка на CPU, то увидим примерно следующее.

Вот данные из баз OperationsManager и Data Warehouse. Видно, что в левой части данные хранятся согласно правилам сбора, а в правой части — среднее значение за час.

Пример правила для сбора метрики по CPU в Windows Server 2012 R2

Но почему так? Смысл в том, что данные в Data Warehouse не складываются просто абы как, а агрегируются в уникальные Datasets, которые представляют разные типы данных (события, алёрты, метрики и т.д.), которые еще имеют разный тип агрегации (raw, hourly, daily). Т.к. в данном запросе я «селектнул» из Perf.vPerfHourly, то и данные представлены часовым «шагом». Но вы скажите: «эй, там же есть raw (сырые) данные, а давай мы дёрнем из них и все будут счастливы». Raw данные хранятся 10 дней и менять это значение не имеет смысла, т.к. метрики это одна из самых прожорливых вещей в Data Warehouse.

То, сколько хранить данные в Data Warehouse можно посмотреть и изменить. Самый простой вариант это либо DWDataRP от Kevin Holman, либо SCOM DataWarehouse Grooming Settings. Я думаю, что те, кто сталкивался с чисткой базы Data Warehouse знакомы с этими тулзами.

Какой из всего этого можно сделать вывод? Если мы хотим построить график из данных в базе Data Warehouse, то у нас всё равно будут средние данные за час.

Например, вот данные в промежутке между 3-мя и 6-ью утра, есть какое-то изменение по CPU, но на самом деле данные выглядят вот так (см. ниже).

У нас нет плавного роста с 3-х утра, а есть ровный скачок в 4:15, далее 30 минутная нагрузка и полный спад. Просто, чтобы вы понимали с какими нюансами придётся столкнуться, если вы вдруг захотите что-то проанализировать. Всё не так очевидно. ;)

Ладно, пора приступить к созданию дашборда. Первым делом добавить новый Datasource. В этом посте написано, как создать, только там мы добавляли доступ к базе OperationsManager, а здесь добавляем OperationsManagerDW.

Открываем Grafana и создаем новый дашборд, название придумайте сами.

В меню Variables создадим новую переменную hostname с типом Constant.

Если вы хотите использовать данные из OperationsManager, тогда смело открывайте первый пост и забирайте все запросы для метрик производительности из него, а вот для Data Warehouse будет всё ниже.

Получаем список хостов из группы All Windows Computers.


select vManagedEntity.Displayname
from vManagedEntity
join vRelationship on vRelationship.TargetManagedEntityRowId = vManagedEntity.ManagedEntityRowId
join vManagedEntity vme on vme.ManagedEntityRowId = vRelationship.SourceManagedEntityRowId
where vme.DisplayName = 'All Windows Computers'

select vManagedEntity.Displayname

from vManagedEntity

join vRelationship on vRelationship.TargetManagedEntityRowId = vManagedEntity.ManagedEntityRowId

join vManagedEntity vme on vme.ManagedEntityRowId = vRelationship.SourceManagedEntityRowId

where vme.DisplayName = 'All Windows Computers'

Получив список агентов, можно посмотреть, что у нас хранится в Perf.vPerfHourly и как называются счетчики.


SELECT distinct
    
--vManagedEntity.Path, 
vPerformanceRule.ObjectName,
vPerformanceRule.CounterName,
vPerformanceRuleInstance.InstanceName

FROM       Perf.vPerfHourly AS vph 
INNER JOIN  vPerformanceRuleInstance ON vPerformanceRuleInstance.PerformanceRuleInstanceRowId = vph.PerformanceRuleInstanceRowId 
INNER JOIN  vManagedEntity ON vph.ManagedEntityRowId = vManagedEntity.ManagedEntityRowId 
INNER JOIN  vPerformanceRule ON vPerformanceRuleInstance.RuleRowId = vPerformanceRule.RuleRowId
WHERE       

vManagedEntity.Path = 'fqdn.domain.com'
order by vPerformanceRule.ObjectName

SELECT distinct

--vManagedEntity.Path,

vPerformanceRule.ObjectName,

vPerformanceRule.CounterName,

vPerformanceRuleInstance.InstanceName

FROM Perf.vPerfHourly AS vph

INNER JOIN vPerformanceRuleInstance ON vPerformanceRuleInstance.PerformanceRuleInstanceRowId = vph.PerformanceRuleInstanceRowId

INNER JOIN vManagedEntity ON vph.ManagedEntityRowId = vManagedEntity.ManagedEntityRowId

INNER JOIN vPerformanceRule ON vPerformanceRuleInstance.RuleRowId = vPerformanceRule.RuleRowId

WHERE

vManagedEntity.Path = 'fqdn.domain.com'

order by vPerformanceRule.ObjectName

Когда получили список ObjectName и CounterName для нашего хоста, можно уже вытащить их значения из DataWarehouse.


SELECT
Perf.vPerfHourly.DateTime as time, 
Perf.vPerfHourly.AverageValue, 
vManagedEntity.DisplayName, 
vPerformanceRule.ObjectName, 
vPerformanceRule.CounterName
FROM
Perf.vPerfHourly INNER JOIN
vPerformanceRuleInstance ON Perf.vPerfHourly.PerformanceRuleInstanceRowId = vPerformanceRuleInstance.PerformanceRuleInstanceRowId INNER JOIN
vPerformanceRule ON vPerformanceRuleInstance.RuleRowId = vPerformanceRule.RuleRowId INNER JOIN
vRelationship ON Perf.vPerfHourly.ManagedEntityRowId = vRelationship.TargetManagedEntityRowId INNER JOIN
vManagedEntity ON vRelationship.SourceManagedEntityRowId = vManagedEntity.ManagedEntityRowId
WHERE 
vManagedEntity.DisplayName = 'fqdn.domain.com'
AND vPerformanceRule.ObjectName like 'Processor Information'
AND vPerformanceRule.CounterName = '% Processor Time'
ORDER BY Perf.vPerfHourly.DateTime DESC

SELECT

Perf.vPerfHourly.DateTime as time,

Perf.vPerfHourly.AverageValue,

vManagedEntity.DisplayName,

vPerformanceRule.ObjectName,

vPerformanceRule.CounterName

FROM

Perf.vPerfHourly INNER JOIN

vPerformanceRuleInstance ON Perf.vPerfHourly.PerformanceRuleInstanceRowId = vPerformanceRuleInstance.PerformanceRuleInstanceRowId INNER JOIN

vPerformanceRule ON vPerformanceRuleInstance.RuleRowId = vPerformanceRule.RuleRowId INNER JOIN

vRelationship ON Perf.vPerfHourly.ManagedEntityRowId = vRelationship.TargetManagedEntityRowId INNER JOIN

vManagedEntity ON vRelationship.SourceManagedEntityRowId = vManagedEntity.ManagedEntityRowId

WHERE

vManagedEntity.DisplayName = 'fqdn.domain.com'

AND vPerformanceRule.ObjectName like 'Processor Information'

AND vPerformanceRule.CounterName = '% Processor Time'

ORDER BY Perf.vPerfHourly.DateTime DESC

Так, я думаю, что теперь логика понятна, как вытаскивать метрики из базы, осталось совсем немного доработать запрос в Grafana, чтобы когда мы переходили с первого дашборда, нам отображались метрики для нужного нам хоста.

Открываем Grafana и создаем новую панель. Наш запрос в Grafana теперь будет выглядеть вот так. $__timeEpoch(Perf.vPerfHourly.DateTime) — объяснит графане, что это datetime, Perf.vPerfHourly.AverageValue as value — это значение, vManagedEntity.DisplayName in(‘$hostname’) — примет в переменную $hostname значение из первого дашборда.


SELECT
$__timeEpoch(Perf.vPerfHourly.DateTime), 
Perf.vPerfHourly.AverageValue as value, 
vManagedEntity.DisplayName as path
FROM
Perf.vPerfHourly INNER JOIN
vPerformanceRuleInstance ON Perf.vPerfHourly.PerformanceRuleInstanceRowId = vPerformanceRuleInstance.PerformanceRuleInstanceRowId INNER JOIN
vPerformanceRule ON vPerformanceRuleInstance.RuleRowId = vPerformanceRule.RuleRowId INNER JOIN
vRelationship ON Perf.vPerfHourly.ManagedEntityRowId = vRelationship.TargetManagedEntityRowId INNER JOIN
vManagedEntity ON vRelationship.SourceManagedEntityRowId = vManagedEntity.ManagedEntityRowId
WHERE 
vManagedEntity.DisplayName in('$hostname')
AND vPerformanceRule.ObjectName like 'VMGuest-cpu'
AND vPerformanceRule.CounterName = '% Processor Time'
and $__timeFilter(Perf.vPerfHourly.DateTime)
group by vManagedEntity.DisplayName, Perf.vPerfHourly.DateTime, Perf.vPerfHourly.AverageValue
ORDER BY Perf.vPerfHourly.DateTime ASC

SELECT

$__timeEpoch(Perf.vPerfHourly.DateTime),

Perf.vPerfHourly.AverageValue as value,

vManagedEntity.DisplayName as path

FROM

Perf.vPerfHourly INNER JOIN

vPerformanceRuleInstance ON Perf.vPerfHourly.PerformanceRuleInstanceRowId = vPerformanceRuleInstance.PerformanceRuleInstanceRowId INNER JOIN

vPerformanceRule ON vPerformanceRuleInstance.RuleRowId = vPerformanceRule.RuleRowId INNER JOIN

vRelationship ON Perf.vPerfHourly.ManagedEntityRowId = vRelationship.TargetManagedEntityRowId INNER JOIN

vManagedEntity ON vRelationship.SourceManagedEntityRowId = vManagedEntity.ManagedEntityRowId

WHERE

vManagedEntity.DisplayName in('$hostname')

AND vPerformanceRule.ObjectName like 'VMGuest-cpu'

AND vPerformanceRule.CounterName = '% Processor Time'

and $__timeFilter(Perf.vPerfHourly.DateTime)

group by vManagedEntity.DisplayName, Perf.vPerfHourly.DateTime, Perf.vPerfHourly.AverageValue

ORDER BY Perf.vPerfHourly.DateTime ASC

Ну, и теперь набирайтесь терпения, т.к. вам надо создать столько панелей, сколько вы хотите, для всех метрик, которые вам нужны. Да, придется немного посидеть с sql-запросами. После того, как вы создали все нужные вам панели, необходимо настроить линк с первого дашборда в ваш новый.

Открываем наш первый дашборд, выбираем Health State и нажимаем Edit.

Переходим в General, нас интересует Panel Links, вбиваем Title, затем URL на наш второй дашборд и добавляем к нему ?var-hostname=${hostname}

Теперь при клике на красно-желто-зеленый прямоугольник, вас будет перебрасывать в новый дашборд, где вы можете собрать сколько угодно графиков, но уже по конкретному сервису/серверу/приложению. На самом деле, одними графиками дело не обходится, если очень хочется, то можно нарисовать хоть весь статус вашего Distributed Application, понавытаскивать данные в какие-то таблички, подцепить логи и т.д. Если вы дошли до этого места и что-то попробовали, то обязательно поделитесь в комментариях, как все прошло, возможно, что у вас есть какой-то свой опыт и вы хотели бы поделиться им.

И еще один момент про который я хотел бы написать — это как запустить графану «на попробовать». ;) Самый просто вариант взять любой windows хост, хоть клиентскую Windows 10, поставить себе Docker Desktop for Windows. После установки выполнить несколько простых манипуляций: — создать volume для хранения настроек графаны, которую вы запустите в контейнере; — запустить контейнер. Всё.


# создаём volume
docker volume create grafana-storage

# запускаем grafana
docker run \
  -d \
  -p 3000:3000 \
  --name=grafana \
  -v grafana-storage:/var/lib/grafana \
  grafana/grafana

# создаём volume

docker volume create grafana-storage

# запускаем grafana

docker run \

-d \

-p 3000:3000 \

--name=grafana \

-v grafana-storage:/var/lib/grafana \

grafana/grafana

Вуаля, открываем браузер, идем на localhost:3000, стандартный admin/admin и наслаждаемся.

зыж docker start grafana, чтоб просто запустить контейнер.

зыж спасибо, что дочитали до конца. ;) Лайк. Шер. Алишер. Фидбек в комментарии. Peace.

Играем с Anomaly Detector в Cognitive Services от Microsoft

От

Anton Mosyagin

22 Окт, 2019

В анализе данных есть несколько направлений для поиска аномалий: детектирование выбросов (Outlier Detection) и «новизны» (Novelty Detection).

Но перед тем, как рассматривать поиск аномалий, необходимо рассмотреть независимое исключение весов. Переход к групповому случаю не представляет существенных сложностей. Следуя стандартной схеме ARD, пусть априорное распределение на веса будет нормальным с центром в нуле p(w) =N(0,α^2), апостериорное — нормальным с произвольными параметрами qφ(w)=N(μ,σ^2), где μ ∈ Rm, α, σ∈Rm×mиα,σ — диагональные матрицы. Далее для упрощения выкладок считается, что σi=σii. KL-дивергенция для отдельного веса wi будет выглядеть так:

Можно исключить веса α, выразив их максимальные значения через μ и σ:

Тогда первую формулу можно упростить:

и итоговая формула примет вид … и тут вы такие «Чиго?! Слышь, Масян, воу, воу, палехче, мы тут пост пришли читать, чо началось-то?». ;)

Чуть меньше года назад когнитивные сервисы Microsoft пополнились новым сервисом — Anomaly Detector. Если простыми словами, то это обычный REST API сервис, который позволяет отслеживать и обнаруживать отклонения в данных временных рядов с помощью машинного обучения. Вы отправляете ему JSON обект, а он скажет, что из этих данных выбивается из общих значений. Данные можно отправлять, как в реалтайме (real-time) или в потоковой передаче, так и просто на проверку целой пачкой (batch).

Сразу, наше любимое, 20 000 запросов в месяц — бесплатно. Мы же любим, когда что-то бесплатно. ;)

Так, это всё классно, но какие данные мы можем туда отправить? Первое, что приходит в голову и каких данных точно в избытке, то это данные системы мониторинга. Почему бы и нет? У нас есть постоянно наполняемая база счетчиков производительности, есть метрики изменений CPU, RAM, объема диска и т.д. К сожалению, у меня нет никаких IoT-устройств, где бы можно было отследить температуру, влажность или другие показания. Как мне кажется, то это один из наглядных примеров для использования Anomaly Detector.

Anomaly Detector можно найти в Marketplace на портале Azure, там ничего сложного. Нашли, создали, развернули.

Данные будем брать из системы мониторинга SCOM (System Center Operations Manager) за последний день обычным SQL-запросом.


select
TimeSampled as timestamp,
SampleValue as value
from PerformanceDataAllView pdv with (NOLOCK)
inner join PerformanceCounterView pcv on pdv.performancesourceinternalid = pcv.performancesourceinternalid
inner join BaseManagedEntity bme on pcv.ManagedEntityId = bme.BaseManagedEntityId
where
path = 'fqdn вашего сервера'
AND objectname = 'Processor Information'
AND countername = '% Processor Time'
and TimeSampled >= DATEADD(day, -1, GETDATE())
group by path, TimeSampled, SampleValue
order by timesampled asc

select

TimeSampled as timestamp,

SampleValue as value

from PerformanceDataAllView pdv with (NOLOCK)

inner join PerformanceCounterView pcv on pdv.performancesourceinternalid = pcv.performancesourceinternalid

inner join BaseManagedEntity bme on pcv.ManagedEntityId = bme.BaseManagedEntityId

where

path = 'fqdn вашего сервера'

AND objectname = 'Processor Information'

AND countername = '% Processor Time'

and TimeSampled >= DATEADD(day, -1, GETDATE())

group by path, TimeSampled, SampleValue

order by timesampled asc

Ок, что-то есть, какие-то метрики мы видим, но т.к. нам необходимо немного подготовить данные для Anomaly Detector, надо их чуть-чуть преобразовать. Мне удобней это делать через python. Для этого подключимся к базе сразу через python и соберем все в словаре, который представим в виде JSON. pymssql даёт возможность выполнять sql запрос, а точнее метод fetchall() и получать на выходе словарь (dict).



import configparser
import pymssql
import json

config = configparser.ConfigParser()
config.read("config.ini")

scom_server = config["scom"]["server"]
scom_user = config["scom"]["user"]
scom_password = config["scom"]["password"]
conn = pymssql.connect(scom_server, scom_user, scom_password, 'OperationsManager')
cursor = conn.cursor(as_dict=True)
cursor.execute(
            """
                select
                TimeSampled as timestamp,
                SampleValue as value
                from PerformanceDataAllView pdv with (NOLOCK)
                inner join PerformanceCounterView pcv on pdv.performancesourceinternalid = pcv.performancesourceinternalid
                inner join BaseManagedEntity bme on pcv.ManagedEntityId = bme.BaseManagedEntityId
                where
                path = 'srv-scom-01.rambler.ramblermedia.com'
                AND objectname = 'Processor Information'
                AND countername = '% Processor Time'
                and TimeSampled >= DATEADD(day, -1, GETDATE())
                group by path, TimeSampled, SampleValue
                order by timesampled asc
            """)
row = cursor.fetchall()

for item in row:
    item["timestamp"] = item["timestamp"].strftime("%Y-%m-%dT%H:%MZ")

results = {"series": row, "granularity": "minutely", "customInterval": 5}

with open('testdata.json', 'w') as file:
    json.dump(results, fp=file)

import configparser

import pymssql

import json

config = configparser.ConfigParser()

config.read("config.ini")

scom_server = config["scom"]["server"]

scom_user = config["scom"]["user"]

scom_password = config["scom"]["password"]

conn = pymssql.connect(scom_server, scom_user, scom_password, 'OperationsManager')

cursor = conn.cursor(as_dict=True)

cursor.execute(

"""

select

TimeSampled as timestamp,

SampleValue as value

from PerformanceDataAllView pdv with (NOLOCK)

inner join PerformanceCounterView pcv on pdv.performancesourceinternalid = pcv.performancesourceinternalid

inner join BaseManagedEntity bme on pcv.ManagedEntityId = bme.BaseManagedEntityId

where

path = 'srv-scom-01.rambler.ramblermedia.com'

AND objectname = 'Processor Information'

AND countername = '% Processor Time'

and TimeSampled >= DATEADD(day, -1, GETDATE())

group by path, TimeSampled, SampleValue

order by timesampled asc

""")

row = cursor.fetchall()

for item in row:

item["timestamp"] = item["timestamp"].strftime("%Y-%m-%dT%H:%MZ")

results = {"series": row, "granularity": "minutely", "customInterval": 5}

with open('testdata.json', 'w') as file:

json.dump(results, fp=file)

Время и данные необходимо поместить в timestamp и value в значение ключа series. На выходе получаем файл testdata.json примерно с таким набором {«series»: [{«timestamp»: «2019-10-20T22:02Z», «value»: 6.00938940048218}, {«timestamp»: «2019-10-20T22:07Z», «value»: 5.63296794891357}, {«timestamp»: «2019-10-20T22:37Z», «value»: 5.63296794891357}, {«timestamp»: «2019-10-20T22:42Z», «value»: 11.3306369781494} ….

Теперь надо написать обращение к REST API Anomaly Detector.


import requests
import json

batch_detection_url = "/anomalydetector/v1.0/timeseries/entire/detect"
latest_point_detection_url = "/anomalydetector/v1.0/timeseries/last/detect"
# регион в котором вы создали Anomaly Detector
endpoint = 'https://westeurope.api.cognitive.microsoft.com'
# ключ 
subscription_key = '########################'

#data_location = "sample.json"
data_location = "testdata.json"


def send_request(endpoint, url, subscription_key, request_data):
    headers = {'Content-Type': 'application/json', 'Ocp-Apim-Subscription-Key': subscription_key}
    response = requests.post(endpoint + url, data=json.dumps(request_data), headers=headers)
    return json.loads(response.content.decode("utf-8"))


def detect_batch(request_data):
    print("Detecting anomalies as a batch")
    result = send_request(endpoint, batch_detection_url, subscription_key, request_data)
    print(json.dumps(result, indent=4))

    if result.get('code') is not None:
        print("Detection failed. ErrorCode:{}, ErrorMessage:{}".format(result['code'], result['message']))
    else:
        anomalies = result["isAnomaly"]
        print("Anomalies detected in the following data positions:")

        for x in range(len(anomalies)):
            if anomalies[x]:
                print(x, request_data['series'][x]['value'])


def detect_latest(request_data):
    print("Determining if latest data point is an anomaly")
    result = send_request(endpoint, latest_point_detection_url, subscription_key, request_data)
    print(json.dumps(result, indent=4))


file_handler = open(data_location)
json_data = json.load(file_handler)
detect_batch(json_data)
detect_latest(json_data)

import requests

import json

batch_detection_url = "/anomalydetector/v1.0/timeseries/entire/detect"

latest_point_detection_url = "/anomalydetector/v1.0/timeseries/last/detect"

# регион в котором вы создали Anomaly Detector

endpoint = 'https://westeurope.api.cognitive.microsoft.com'

# ключ

subscription_key = '########################'

#data_location = "sample.json"

data_location = "testdata.json"

def send_request(endpoint, url, subscription_key, request_data):

headers = {'Content-Type': 'application/json', 'Ocp-Apim-Subscription-Key': subscription_key}

response = requests.post(endpoint + url, data=json.dumps(request_data), headers=headers)

return json.loads(response.content.decode("utf-8"))

def detect_batch(request_data):

print("Detecting anomalies as a batch")

result = send_request(endpoint, batch_detection_url, subscription_key, request_data)

print(json.dumps(result, indent=4))

if result.get('code') is not None:

print("Detection failed. ErrorCode:{}, ErrorMessage:{}".format(result['code'], result['message']))

else:

anomalies = result["isAnomaly"]

print("Anomalies detected in the following data positions:")

for x in range(len(anomalies)):

if anomalies[x]:

print(x, request_data['series'][x]['value'])

def detect_latest(request_data):

print("Determining if latest data point is an anomaly")

result = send_request(endpoint, latest_point_detection_url, subscription_key, request_data)

print(json.dumps(result, indent=4))

file_handler = open(data_location)

json_data = json.load(file_handler)

detect_batch(json_data)

detect_latest(json_data)

subscription_key необходимо подставить из Keys на портале Azure в сервисе Anomaly Detector.

Можно сказать, что цель достигнута…. почти. ;) У меня было два типа данных: с явно выраженной аномалией или, говоря другими словами, скачком по загрузке CPU и «ровные» данные без каких-либо скачков.

С левой стороны аномалий нет, а вот с правой стороны Anomaly Detector посчитал, что индексы 106, 234 и 292 со значениями 20, 19 и 31 явно выбиваются из общих показателей. Чтобы данные сделать более наглядными, надо расчехлить pyplot из python и порисовать графики. ;)

Для этого у Microsoft есть Microsoft Azure Notebooks, где можно запусть Jupyter. Кстати, тоже бесплатный. Наша задача не только построить график полученных данных, но и выделить точки, которые Anomaly Detector считает аномальными.


subscription_key = '##################################################' 
endpoint = 'https://westeurope.api.cognitive.microsoft.com/anomalydetector/v1.0/timeseries/entire/detect'

import requests
import json
import pandas as pd
import numpy as np
from __future__ import print_function
import warnings
warnings.filterwarnings('ignore')

# Import library to display results
import matplotlib.pyplot as plt
%matplotlib inline 

from bokeh.plotting import figure,output_notebook, show
from bokeh.palettes import Blues4
from bokeh.models import ColumnDataSource,Slider
import datetime
from bokeh.io import push_notebook
from dateutil import parser
from ipywidgets import interact, widgets, fixed
output_notebook()

def detect(endpoint, subscription_key, request_data):
    headers = {'Content-Type': 'application/json', 'Ocp-Apim-Subscription-Key': subscription_key}
    response = requests.post(endpoint, data=json.dumps(request_data), headers=headers)
    if response.status_code == 200:
        return json.loads(response.content.decode("utf-8"))
    else:
        print(response.status_code)
        raise Exception(response.text)

def build_figure(sample_data, sensitivity):
    sample_data['sensitivity'] = sensitivity
    result = detect(endpoint, subscription_key, sample_data)
    columns = {'expectedValues': result['expectedValues'], 'isAnomaly': result['isAnomaly'], 'isNegativeAnomaly': result['isNegativeAnomaly'],
          'isPositiveAnomaly': result['isPositiveAnomaly'], 'upperMargins': result['upperMargins'], 'lowerMargins': result['lowerMargins'],
          'timestamp': [parser.parse(x['timestamp']) for x in sample_data['series']], 
          'value': [x['value'] for x in sample_data['series']]}
    response = pd.DataFrame(data=columns)
    values = response['value']
    label = response['timestamp']
    anomalies = []
    anomaly_labels = []
    index = 0
    anomaly_indexes = []
    p = figure(x_axis_type='datetime', title="Batch Anomaly Detection ({0} Sensitvity)".format(sensitivity), width=800, height=600)
    for anom in response['isAnomaly']:
        if anom == True and (values[index] > response.iloc[index]['expectedValues'] + response.iloc[index]['upperMargins'] or 
                         values[index] &lt; response.iloc[index]['expectedValues'] - response.iloc[index]['lowerMargins']):
            anomalies.append(values[index])
            anomaly_labels.append(label[index])
            anomaly_indexes.append(index)
        index = index+1
    upperband = response['expectedValues'] + response['upperMargins']
    lowerband = response['expectedValues'] -response['lowerMargins']
    band_x = np.append(label, label[::-1])
    band_y = np.append(lowerband, upperband[::-1])
    boundary = p.patch(band_x, band_y, color=Blues4[2], fill_alpha=0.5, line_width=1, legend='Boundary')
    p.line(label, values, legend='Value', color="#2222aa", line_width=1)
    p.line(label, response['expectedValues'], legend='ExpectedValue',  line_width=1, line_dash="dotdash", line_color='olivedrab')
    anom_source = ColumnDataSource(dict(x=anomaly_labels, y=anomalies))
    anoms = p.circle('x', 'y', size=5, color='tomato', source=anom_source)
    p.legend.border_line_width = 1
    p.legend.background_fill_alpha  = 0.1
    show(p, notebook_handle=True)


# Hourly Sample
sample_data = json.load(open('sample_hourly.json'))
sample_data['granularity'] = 'minutely'
sample_data['period'] = 1
# 95 sensitivity
build_figure(sample_data, 95)

subscription_key = '##################################################'

endpoint = 'https://westeurope.api.cognitive.microsoft.com/anomalydetector/v1.0/timeseries/entire/detect'

import requests

import json

import pandas as pd

import numpy as np

from __future__ import print_function

import warnings

warnings.filterwarnings('ignore')

# Import library to display results

import matplotlib.pyplot as plt

%matplotlib inline

from bokeh.plotting import figure,output_notebook, show

from bokeh.palettes import Blues4

from bokeh.models import ColumnDataSource,Slider

import datetime

from bokeh.io import push_notebook

from dateutil import parser

from ipywidgets import interact, widgets, fixed

output_notebook()

def detect(endpoint, subscription_key, request_data):

headers = {'Content-Type': 'application/json', 'Ocp-Apim-Subscription-Key': subscription_key}

response = requests.post(endpoint, data=json.dumps(request_data), headers=headers)

if response.status_code == 200:

return json.loads(response.content.decode("utf-8"))

else:

print(response.status_code)

raise Exception(response.text)

def build_figure(sample_data, sensitivity):

sample_data['sensitivity'] = sensitivity

result = detect(endpoint, subscription_key, sample_data)

columns = {'expectedValues': result['expectedValues'], 'isAnomaly': result['isAnomaly'], 'isNegativeAnomaly': result['isNegativeAnomaly'],

'isPositiveAnomaly': result['isPositiveAnomaly'], 'upperMargins': result['upperMargins'], 'lowerMargins': result['lowerMargins'],

'timestamp': [parser.parse(x['timestamp']) for x in sample_data['series']],

'value': [x['value'] for x in sample_data['series']]}

response = pd.DataFrame(data=columns)

values = response['value']

label = response['timestamp']

anomalies = []

anomaly_labels = []

index = 0

anomaly_indexes = []

p = figure(x_axis_type='datetime', title="Batch Anomaly Detection ({0} Sensitvity)".format(sensitivity), width=800, height=600)

for anom in response['isAnomaly']:

if anom == True and (values[index] > response.iloc[index]['expectedValues'] + response.iloc[index]['upperMargins'] or

values[index] < response.iloc[index]['expectedValues'] - response.iloc[index]['lowerMargins']):

anomalies.append(values[index])

anomaly_labels.append(label[index])

anomaly_indexes.append(index)

index = index+1

upperband = response['expectedValues'] + response['upperMargins']

lowerband = response['expectedValues'] -response['lowerMargins']

band_x = np.append(label, label[::-1])

band_y = np.append(lowerband, upperband[::-1])

boundary = p.patch(band_x, band_y, color=Blues4[2], fill_alpha=0.5, line_width=1, legend='Boundary')

p.line(label, values, legend='Value', color="#2222aa", line_width=1)

p.line(label, response['expectedValues'], legend='ExpectedValue', line_width=1, line_dash="dotdash", line_color='olivedrab')

anom_source = ColumnDataSource(dict(x=anomaly_labels, y=anomalies))

anoms = p.circle('x', 'y', size=5, color='tomato', source=anom_source)

p.legend.border_line_width = 1

p.legend.background_fill_alpha = 0.1

show(p, notebook_handle=True)

# Hourly Sample

sample_data = json.load(open('sample_hourly.json'))

sample_data['granularity'] = 'minutely'

sample_data['period'] = 1

# 95 sensitivity

build_figure(sample_data, 95)

И …. получаем такой график. Как видим, что вот наши 3 значения. Но я решил пойти дальше и посмотреть, что покажет Anomaly Detector, если мы немного нагрузим CPU … и получился уже вот такой график.

Прямоугольная секция — это данные с предыдущего графика, это наши предыдущие 3 точки, Anomaly Detector их уже не учитывал, а вот резкий скачок, как видим, отметил в 3-х значениях: начало подъёма, пик и среднее значение, которое всё еще выбивается из среднего набора данных.

Я думаю, что это хороший пример, когда для критического сервиса можно подключить такую аналитику. Почему я вспомнил про Anomaly Detector? На прошедшем Microsoft Azure AI Hackathon один из победителей сделал IoT устройство, которое собирало данные с термодатчика внутри жизненно важной среды, отправляло их в Azure IoT-Hub, раз в минуту запускался код в Azure Functions, который собирал данные в Anomaly Detector и если температура начинала расти, то отправлял уведомление через Twilio API в Whatsapp или по SMS. До ужаса простое решение, но работает как часы.

Можно написать бота, которые будет генерировать вот такие картинки с графиками, где уже будет наглядно видно, что что-то начинает идти не так и прикреплять вам в сообщение с данными от мониторинга, разных датчиков и т.д.

Документация по Anomaly Detector — https://docs.microsoft.com/en-us/azure/cognitive-services/anomaly-detector/overview

Ну и наш любимый раздел — «слышь, а чо по деньгам?!» ж)

Бомжуем в Microsoft Azure или хостим сайты за бакс в месяц: часть 1

От

Anton Mosyagin

15 Фев, 2019

Представим, что вы хотите разместить простой веб сайт в Microsoft Azure и не собираетесь потратить на это много денег. Что нам для этого надо? Azure WebApp? Но у нас же обычная статика. Отдавать почти 50$ в месяц? Или может запустить в контейнере? Собирать контейнер? Или поднять kubernetes и там создавать свои поды? Поднять свою виртуальную машину и настроить nginx или apache? Серьезно? Нам же нужно просто запулить свой лендинг и наслаждаться.

На самом деле, есть простой выход. В прошлом году, в Azure появилась возможность строить веб сайты на обычном хранилище — Azure Storage. В этом посте мы поговорим только про статику, про запуск более сложных вещей, аля с бэком под flask и vuejs будет в следующем посте. Там тоже есть интересные вариант. ;)

Идея в том, что в свойствах вашего Storage Account есть настройка — Static Website, который создает в блоб хранилище каталог $web, куда будут переправляться все запросы, которые приходят на url вашего Storage Account.

Наша задача просто прописать индекс файл, всё. Затем мы можем открыть в вебе Storage Explorer (preview) или скачать Microsoft Azure Storage Explorer и залить наш веб сайт. Для примера, наш прямой адрес на Storage Account — https://telegramwebsites.z6.web.core.windows.net

Но, мы можем хостить много сайтов на одном Storage Account и при этом платить за это ооооочень не много. Для этого мы будем использовать CDN, которые тарифицируется по потребленному трафику. Я выбрал самый простой вариант — Standard Microsoft CDN.

Внутри Storage Account создадим нужное количество каталогов для наших будущих сайтов. В моём случае это site1, site2, site3.
Для примера я взял шаблоны bootstrap и загрузил их в эти каталоги.

Да, как вы правильно понимаете, если теперь зайти на https://telegramwebsites.z6.web.core.windows.net/site1 или https://telegramwebsites.z6.web.core.windows.net/site2 или https://telegramwebsites.z6.web.core.windows.net/site3, то что-то там откроется, но нас это пока не устраивает. Мы ведь серьезная компания и такой адрес нам не совсем подходит. Кроме этого видно, что из-за путей есть проблемы с загрузкой js и css, но сейчас это не важно.

Вернёмся к CDN. Он нам нужен, чтобы спрятать за своими доменами вот эти созданные каталоги.

Откроем CDN и создадим Endpoints.
В Name будет url нашего входа в CDN, в Origin Hostname — url нашего Storage Account, Origin path — каталог на Storage Account.

Получились вот такие 3 эндпоинта: http://site1.azureedge.net/, https://site2.azureedge.net/, https://site3.azureedge.net/
Если вы перейдёте по ним, то вам уже откроются полноценные веб сайты, которые были выше по урлу storage account. И js, и css успешно подгружаются, где включен https — работает https, все прекрасно. Но еще нет. Теперь мы прикрутим свои домены. ;)) Вы же помните, что мы серьезная организация.

В свойствах каждого Endpoints есть настройка — Custom domains (она, кстати, есть и в Storage Account и если вам нужен только один веб сайт, то там же можно сделать что-то подобное).
Но кроме того, что мы можем туда добавить свой домен, мы можем заказать сертификат от самого DigiCert и всё в одной консоли. ;) Как вам? Есть нюансы.

Перед тем, как добавить домен, нам необходимо объяснять Microsoft Azure, что он наш. Для этого нам необходимо создать cname запись.
Более подробно есть в документации, но конкретно в моём случае, у моего регистратора в панели это выглядит так:
cdnverify.contoso.com CNAME cdnverify.contoso.azureedge.net

Ждём несколько часов, возвращаемся в настройки нашего эндпоинта и добавляем домен. Но и это еще не всё. ;) Теперь мы можем включить https для нашего домена. Тут есть нюанс. Валидация от DigiCert CA происходит через cname на www: www.contoso.com CNAME сontoso.azureedge.net Но вы же прекрасно понимаете, что contoso.com и www.contoso.com это так-то разные вещи, а мы хотим, чтобы работало и на корень, и на www. После того, как DigiCert не найдет cname запись, они отправят вам на почту письмо с подтверждением. Там просто кликнуть ссылку, поставить галку и всё. В моём случае мне пришлось закинуть mx записи на Яндекс и просто форвардить всю почту на один мой аккаунт.
DigiCert будет отправлять на эти ящики:
admin@your-domain-name.com
administrator@your-domain-name.com
webmaster@your-domain-name.com
hostmaster@your-domain-name.com
postmaster@your-domain-name.com
Вот так это выглядит. ;) Они отправили на все.

Кстати, на www можно прописать cname и добавить в Custom Domains. Картинка примерно такая.

А теперь вещи, которые не стоит делать на боевых сайтах. Смотрите, какая ситуация. На www.kodeks12.ru у нас есть cname, который отправляет на https://site3.azureedge.net, но для корня домена нам же требуется прописать А-запись. Вот тут мы сделаем небольшую хитрость, которая показала то, что в принципе все может работать месяцами и никаких проблем пока не было. Мы возьмём nslookup site3.azureedge.net и пропишем IP адрес, которые отдаст нам CDN. Да, это неправильно, да, если что-то пойдёт не так, нам придется менять адреса на DNS, но, как показывает практика — это работает.

Вот наш IP и вот наша А запись.

С www таких проблем не будет, но мне вот глаз режет это www в начале имени домена. Для вариантов аля blog.domain.com таких проблем не будет.
Для примера, на эндпоинт https://site2.azureedge.net я прописал http://azure.aibootcamp.ru/ и http://az.aibootcamp.ru/ И да, туда тоже можно подвязать https. ;)

Подведем итог? Что мы получили?
Мы создали Storage Account — https://telegramwebsites.z6.web.core.windows.net/
Создали каталог — https://telegramwebsites.z6.web.core.windows.net/site3
Прокинули в этот каталог все запросы через CDN — https://site3.azureedge.net/
Привязали домен с https — https://kodeks12.ru

Из https://telegramwebsites.z6.web.core.windows.net/site3 в https://kodeks12.ru

И самое главное. Бабки! Стоит то сколько? Давайте считать. За Custom domains дополнительной оплаты нет, мы платим только за Storage Account. Плюс, мы платим за траффик через CDN. Но стоит это, как бы вам сказать, очень мало.
1,14$ — вот столько стоит storage 1 GB данных и по 100 000 операций чтение/запись в месяц. В МЕСЯЦ, Карл! Один доллар и четырнадцать центов.
А это CDN — First 10 TB /Month — 5.07РУБ per GB. Пять рублей, П Я Т Ь. Да, да, пять рублей. ;) Сами посмотрите — https://azure.microsoft.com/en-us/pricing/details/cdn/
Я открыл расходы по подписке и там как бы вот так:

На этом пока хватит. У нас есть какой-то статичный сайт, все работает. В следующем посте разберемся, как сделать что-то более сложное, в стиле SPA (single page application), но тоже за сущие копейки.

System Center Operations Manager и Grafana: рисуем графики

От

Anton Mosyagin

25 Янв, 2019

for those people who do not understand Russian please use the google translator

Представим, что у вас есть System Center Operations Manager, агент собирает метрики, что-то там мониторит, мучает WMI ваших систем и наступает тот момент, когда вы хотите собрать дашборд или быстро посмотреть метрики, и вот тут начинается веселье. У нас есть «чудесная» консоль, есть репорт сервер с SSRS, есть даже веб консоль, но всё это такое … ну, вы поняли, не очень быстрое, не очень красивое и прочее.

В мире красноглазых и не очень, я про DevOps если что, есть много интересных и бесплатных решений, и одно их них — это Grafana. С версии 5.0+ она поддерживает источник данных для Microsoft SQL, и тут я подумал, хм, у нас же есть 2 базы данных OperationsManager и OpsMgr Data Warehouse. А почему бы нам «не затолкать» в эту самую Grafana наши метрики. Очень удивило, что в интернете постов на эту тему почти нет. В посте на реддите все закончилось «I just started trying to find useful tables last week. Not much luck so far». Ну ок, будем разбираться.

Есть два способа: правильный и второй.

Способ правильный: берём Telegraf, InfluxDB и Grafana. Telegraf у нас отгружает метрики в базу InfluxDB, а Grafana рисует нам все. На самом деле есть еще более правильный способ. Вы отгружаете метрики в какую-нибудь PostgreSQL и там храните все данные 1-2-3 года или сколько вам надо, а вот для отрисовки в Grafana используете InfluxDB, т.к. она отлично подходит для хранения временных рядов.

Способ второй: у нас уже есть все метрики и все данные в нашей MS SQL базе, а Grafana умеет в t-sql запросы, пишем нужные нам селекты, а Grafana всё рисует. Вот про второй способ и поговорим.

Я не буду писать про то, как установить Grafana, вы можете её сразу запустить в dockere. Напомню только то, что ваша база от SCOMa должна работать в mixed режиме, т.к. из Grafana мы будем подключать через SQL учетку, без всяких Windows аутентификаций. Если у вас Grafana на винде, то забейте, все будет работать. Если у вас настроен krb5.conf, то молодцы. Короче, разберётесь, а то тут еще целый пост можно делать, как аутентифицироваться на «скуле». Ну и понятно, что вы должны нарезать права для чтения — db_datareader.

Grafana поставили, добавляем новый Data Source, заполняем все данные для нашего MS SQL сервера. Добавлю, что пока в этом посте мы будем работать с OperationsManager базой. Да, я знаю, что метрики там хранятся за 7 дней, ну или как у вас настроено в SCOM — Administration — Settings — Database Grooming. С DataWarehouse разберемся потом.

Создаём новый dashboard и сразу идём в его настройки (Settings в правом углу). Нам необходимо создать новую Variables. Идея в том, что в нашем дашборде будет выпадающее меню и в зависимости от выбора в этом меню будут меняться метрики на экране. Привяжемся к имени хостнейма, а точнее выгрузим все FQDN от агентов, которые есть в SCOM.


select bme.DisplayName from MT_HealthService mths INNER JOIN BaseManagedEntity bme on bme.BaseManagedEntityId = mths.BaseManagedEntityId

select bme.DisplayName from MT_HealthService mths INNER JOIN BaseManagedEntity bme on bme.BaseManagedEntityId = mths.BaseManagedEntityId

Отлично, имена хостов у нас есть. Мы создадим несколько панелей: графики с производительностью, список текущих алёртов из консоли и отобразим суммарное здоровье самого агента SCOM.
Поехали.

Создаем новую панель Graph и нарисуем несколько графиков: % Processor Time, % Memory Used, Network Bytes Total/Sec и Disc Average sec/transfer. Можно получить и всё остальное, но как? Для этого надо получить ObjectName и CounterName. Для каждого агента SCOM эти данные будут разные, все зависит от ваших пакетов управлений. Берем имя любого хоста с агентом SCOM и селектим в базу.

select Distinct Path,
ObjectName,
CounterName,
InstanceName
from PerformanceDataAllView pdv with (NOLOCK)
inner join PerformanceCounterView pcv on pdv.performancesourceinternalid = pcv.performancesourceinternalid
inner join BaseManagedEntity bme on pcv.ManagedEntityId = bme.BaseManagedEntityId
where path = 'hostname.domain.com'
order by objectname, countername, InstanceName

select Distinct Path,

ObjectName,

CounterName,

InstanceName

from PerformanceDataAllView pdv with (NOLOCK)

inner join PerformanceCounterView pcv on pdv.performancesourceinternalid = pcv.performancesourceinternalid

inner join BaseManagedEntity bme on pcv.ManagedEntityId = bme.BaseManagedEntityId

where path = 'hostname.domain.com'

order by objectname, countername, InstanceName

Например, контроллер домена. Видим, что кроме метрик производительности, у нас еще есть правила, которые собирают метрики от VMware, от пакета управления Active Directory и т.д.

Для отрисовки панели Graph необходимо передать 3 значения: время, значение и имя метрики. В нашем случае имя метрики будет имя хоста, значение — данные в базе и время. Прямой селект в базу будет такой:

select
TimeSampled,
SampleValue as value,
path as metric
from PerformanceDataAllView pdv with (NOLOCK)
inner join PerformanceCounterView pcv on pdv.performancesourceinternalid = pcv.performancesourceinternalid
inner join BaseManagedEntity bme on pcv.ManagedEntityId = bme.BaseManagedEntityId
where
path in('hostname.domain.com')
AND objectname = 'Processor Information'
AND countername = '% Processor Time'
group by path, TimeSampled, SampleValue
order by timesampled desc

select

TimeSampled,

SampleValue as value,

path as metric

from PerformanceDataAllView pdv with (NOLOCK)

inner join PerformanceCounterView pcv on pdv.performancesourceinternalid = pcv.performancesourceinternalid

inner join BaseManagedEntity bme on pcv.ManagedEntityId = bme.BaseManagedEntityId

where

path in('hostname.domain.com')

AND objectname = 'Processor Information'

AND countername = '% Processor Time'

group by path, TimeSampled, SampleValue

order by timesampled desc

Но для графаны его требуется немного подправить, чтобы как минимум работала кнопка для фильтра по времени и графана понимала, где какие значения. Для этого метрики времени оборачиваем макросом $__timeEpoch(data), добавляем в запрос работу с фильтром $__timeFilter(data) и подключаем нашу переменную $hostname — path in($hostname). Последнее будет передавать в запрос все хостнеймы, которые мы выберем в выпадающем меню нашего дашборда.

select
$__timeEpoch(TimeSampled),
SampleValue as value,
path as metric
from PerformanceDataAllView pdv with (NOLOCK)
inner join PerformanceCounterView pcv on pdv.performancesourceinternalid = pcv.performancesourceinternalid
inner join BaseManagedEntity bme on pcv.ManagedEntityId = bme.BaseManagedEntityId
where
path in($hostname)
AND objectname = 'Processor Information'
AND countername = '% Processor Time'
and $__timeFilter(TimeSampled)
group by path, TimeSampled, SampleValue
order by timesampled ASC

select

$__timeEpoch(TimeSampled),

SampleValue as value,

path as metric

from PerformanceDataAllView pdv with (NOLOCK)

inner join PerformanceCounterView pcv on pdv.performancesourceinternalid = pcv.performancesourceinternalid

inner join BaseManagedEntity bme on pcv.ManagedEntityId = bme.BaseManagedEntityId

where

path in($hostname)

AND objectname = 'Processor Information'

AND countername = '% Processor Time'

and $__timeFilter(TimeSampled)

group by path, TimeSampled, SampleValue

order by timesampled ASC

Выбираем наш datasource и копи-пастим t-sql запрос.

Создаем еще 3 панели для % Memory Used, Network Bytes Total/Sec и Disc Average sec/transfer.

select
$__timeEpoch(TimeSampled),
SampleValue as value,
path as metric
from PerformanceDataAllView pdv with (NOLOCK)
inner join PerformanceCounterView pcv on pdv.performancesourceinternalid = pcv.performancesourceinternalid
inner join BaseManagedEntity bme on pcv.ManagedEntityId = bme.BaseManagedEntityId
where
path in($hostname)
AND objectname = 'Memory'
AND countername = 'PercentMemoryUsed'
and $__timeFilter(TimeSampled)
group by path, TimeSampled, SampleValue
order by timesampled ASC

select

$__timeEpoch(TimeSampled),

SampleValue as value,

path as metric

from PerformanceDataAllView pdv with (NOLOCK)

inner join PerformanceCounterView pcv on pdv.performancesourceinternalid = pcv.performancesourceinternalid

inner join BaseManagedEntity bme on pcv.ManagedEntityId = bme.BaseManagedEntityId

where

path in($hostname)

AND objectname = 'Memory'

AND countername = 'PercentMemoryUsed'

and $__timeFilter(TimeSampled)

group by path, TimeSampled, SampleValue

order by timesampled ASC

select
$__timeEpoch(TimeSampled),
SampleValue as value,
path as metric
from PerformanceDataAllView pdv with (NOLOCK)
inner join PerformanceCounterView pcv on pdv.performancesourceinternalid = pcv.performancesourceinternalid
inner join BaseManagedEntity bme on pcv.ManagedEntityId = bme.BaseManagedEntityId
where
path in($hostname)
AND (objectname = 'Network Adapter' or objectname = 'Network Interface')
AND countername = 'Bytes Total/sec'
and $__timeFilter(TimeSampled)
group by path, TimeSampled, SampleValue
order by timesampled ASC

select

$__timeEpoch(TimeSampled),

SampleValue as value,

path as metric

from PerformanceDataAllView pdv with (NOLOCK)

inner join PerformanceCounterView pcv on pdv.performancesourceinternalid = pcv.performancesourceinternalid

inner join BaseManagedEntity bme on pcv.ManagedEntityId = bme.BaseManagedEntityId

where

path in($hostname)

AND (objectname = 'Network Adapter' or objectname = 'Network Interface')

AND countername = 'Bytes Total/sec'

and $__timeFilter(TimeSampled)

group by path, TimeSampled, SampleValue

order by timesampled ASC

select
$__timeEpoch(TimeSampled),
SampleValue as value,
path + ' ' + InstanceName as metric
from PerformanceDataAllView pdv with (NOLOCK)
inner join PerformanceCounterView pcv on pdv.performancesourceinternalid = pcv.performancesourceinternalid
inner join BaseManagedEntity bme on pcv.ManagedEntityId = bme.BaseManagedEntityId
where
path in($hostname)
AND objectname = 'LogicalDisk'
AND countername = 'Avg. Disk sec/Transfer'
and $__timeFilter(TimeSampled)
group by path, TimeSampled, SampleValue, InstanceName
order by timesampled ASC

select

$__timeEpoch(TimeSampled),

SampleValue as value,

path + ' ' + InstanceName as metric

from PerformanceDataAllView pdv with (NOLOCK)

inner join PerformanceCounterView pcv on pdv.performancesourceinternalid = pcv.performancesourceinternalid

inner join BaseManagedEntity bme on pcv.ManagedEntityId = bme.BaseManagedEntityId

where

path in($hostname)

AND objectname = 'LogicalDisk'

AND countername = 'Avg. Disk sec/Transfer'

and $__timeFilter(TimeSampled)

group by path, TimeSampled, SampleValue, InstanceName

order by timesampled ASC

Если вы всё сделали правильно, то должно быть что-то такое. При выборе хостов в выпадающем меню, они будут добавляться на графики.

Теперь мы можем добавить представление Alerts из консоли Operation Manager. Создадим панель Table и добавим запрос.

! обратите внимание ! Ниже sql запрос, в блоке кода никак не хочет ставить знак < — в двух местах AND av.ResolutionState < 255

WITH ALERT_SELECTION 
(
LastModified,
AlertStringName,
Severity,
Alert_ResolutionState,
MonitoringObjectDisplayName,ManagementPack)
AS
(
SELECT 
av.LastModified,
av.AlertStringName,
av.Severity,

Alert_ResolutionState = CASE
	WHEN av.ResolutionState = '255' THEN 'Closed'
	WHEN AV.ResolutionState = '254' THEN 'Resolved'
	WHEN AV.ResolutionState = '251' THEN 'Blackout'
	WHEN AV.ResolutionState = '250' THEN 'Scheduled'
	WHEN AV.ResolutionState = '249' THEN 'Acknowledge'
	WHEN AV.ResolutionState = '248' THEN 'Assigned to Engineering'
	WHEN AV.ResolutionState = '247' THEN 'Awaiting Evidence'
	WHEN AV.ResolutionState = '3' THEN 'Notified'
	WHEN AV.ResolutionState = '0' THEN 'New'
	END,
MonitoringObjectDisplayName,
mp.MPName AS ManagementPack

FROM 
OperationsManager.dbo.AlertView (NOLOCK) av
 LEFT JOIN
 OperationsManager.dbo.RuleView (NOLOCK) Rv
ON av.MonitoringRuleId = rv.Id
JOIN OperationsManager.dbo.ManagementPack mp
ON rv.ManagementPackId = mp.ManagementPackId

AND av.ResolutionState &lt; 255

UNION

SELECT 
av.LastModified,
av.AlertStringName,
av.Severity,

Alert_ResolutionState = CASE
	WHEN av.ResolutionState = '255' THEN 'Closed'
	WHEN AV.ResolutionState = '254' THEN 'Resolved'
	WHEN AV.ResolutionState = '251' THEN 'Blackout'
	WHEN AV.ResolutionState = '250' THEN 'Scheduled'
	WHEN AV.ResolutionState = '249' THEN 'Acknowledge'
	WHEN AV.ResolutionState = '248' THEN 'Assigned to Engineering'
	WHEN AV.ResolutionState = '247' THEN 'Awaiting Evidence'
	WHEN AV.ResolutionState = '3' THEN 'Notified'
	WHEN AV.ResolutionState = '0' THEN 'New'
	END,

MonitoringObjectDisplayName,
mp.MPName AS ManagementPack

FROM
OperationsManager.dbo.AlertView (NOLOCK) av JOIN OperationsManager.dbo.MonitorView (NOLOCK) Mv
ON av.MonitoringRuleId = Mv.Id
 JOIN OperationsManager.dbo.ManagementPack mp
ON mv.ManagementPackId = mp.ManagementPackId

AND av.ResolutionState &lt; 255
)

SELECT 
CONVERT(varchar, DATEADD(hour, 3 , LastModified), 120) as Time,
AlertStringName,
Severity,
MonitoringObjectDisplayName,
ManagementPack
FROM ALERT_SELECTION
Where $__timeFilter(LastModified)
GROUP by LastModified, AlertStringName, Severity, MonitoringObjectDisplayName, ManagementPack
ORDER BY LastModified ASC

WITH ALERT_SELECTION

(

LastModified,

AlertStringName,

Severity,

Alert_ResolutionState,

MonitoringObjectDisplayName,ManagementPack)

(

SELECT

av.LastModified,

av.AlertStringName,

av.Severity,

Alert_ResolutionState = CASE

WHEN av.ResolutionState = '255' THEN 'Closed'

WHEN AV.ResolutionState = '254' THEN 'Resolved'

WHEN AV.ResolutionState = '251' THEN 'Blackout'

WHEN AV.ResolutionState = '250' THEN 'Scheduled'

WHEN AV.ResolutionState = '249' THEN 'Acknowledge'

WHEN AV.ResolutionState = '248' THEN 'Assigned to Engineering'

WHEN AV.ResolutionState = '247' THEN 'Awaiting Evidence'

WHEN AV.ResolutionState = '3' THEN 'Notified'

WHEN AV.ResolutionState = '0' THEN 'New'

END,

MonitoringObjectDisplayName,

mp.MPName AS ManagementPack

FROM

OperationsManager.dbo.AlertView (NOLOCK) av

LEFT JOIN

OperationsManager.dbo.RuleView (NOLOCK) Rv

ON av.MonitoringRuleId = rv.Id

JOIN OperationsManager.dbo.ManagementPack mp

ON rv.ManagementPackId = mp.ManagementPackId

AND av.ResolutionState < 255

UNION

SELECT

av.LastModified,

av.AlertStringName,

av.Severity,

Alert_ResolutionState = CASE

WHEN av.ResolutionState = '255' THEN 'Closed'

WHEN AV.ResolutionState = '254' THEN 'Resolved'

WHEN AV.ResolutionState = '251' THEN 'Blackout'

WHEN AV.ResolutionState = '250' THEN 'Scheduled'

WHEN AV.ResolutionState = '249' THEN 'Acknowledge'

WHEN AV.ResolutionState = '248' THEN 'Assigned to Engineering'

WHEN AV.ResolutionState = '247' THEN 'Awaiting Evidence'

WHEN AV.ResolutionState = '3' THEN 'Notified'

WHEN AV.ResolutionState = '0' THEN 'New'

END,

MonitoringObjectDisplayName,

mp.MPName AS ManagementPack

FROM

OperationsManager.dbo.AlertView (NOLOCK) av JOIN OperationsManager.dbo.MonitorView (NOLOCK) Mv

ON av.MonitoringRuleId = Mv.Id

JOIN OperationsManager.dbo.ManagementPack mp

ON mv.ManagementPackId = mp.ManagementPackId

AND av.ResolutionState < 255

)

SELECT

CONVERT(varchar, DATEADD(hour, 3 , LastModified), 120) as Time,

AlertStringName,

Severity,

MonitoringObjectDisplayName,

ManagementPack

FROM ALERT_SELECTION

Where $__timeFilter(LastModified)

GROUP by LastModified, AlertStringName, Severity, MonitoringObjectDisplayName, ManagementPack

ORDER BY LastModified ASC

Так мы получили все Critical и Warning, которые вы видите каждый день в консоле. Для того, чтобы разукрасить табличку, то на вкладке Column Styles требуется немного поиграть с настройками. Severity возвращает целые значения — 0, 1 и 2.

Теперь можно добавить статусы агентов для класса Windows.Computer. Есть несколько вариантов. Мы можем создать таблицу и выводить статус, либо можем создать панель Singlestat и в зависимости от количества выбранных хостов, панели будут сами отрисовываться в дашборде.

Для таблицы создаём Table, добавляем запрос, меняем в Column Style настройки.

SELECT 
s.HealthState as 'Health',
LEFT(bme.DisplayName, CHARINDEX('.', bme.DisplayName) - 1) as 'Name'
FROM State s
JOIN BaseManagedEntity bme ON s.BaseManagedEntityId = bme.BaseManagedEntityId
JOIN MonitorView mv ON mv.Id = s.MonitorId
WHERE 
bme.DisplayName in($hostname) and 
mv.Name = 'System.Health.EntityState'
AND
FullName like 'Microsoft.Windows.Computer:%'

SELECT

s.HealthState as 'Health',

LEFT(bme.DisplayName, CHARINDEX('.', bme.DisplayName) - 1) as 'Name'

FROM State s

JOIN BaseManagedEntity bme ON s.BaseManagedEntityId = bme.BaseManagedEntityId

JOIN MonitorView mv ON mv.Id = s.MonitorId

WHERE

bme.DisplayName in($hostname) and

mv.Name = 'System.Health.EntityState'

AND

FullName like 'Microsoft.Windows.Computer:%'

Для Singlestat

SELECT 
s.HealthState as 'Health',
LEFT(bme.DisplayName, CHARINDEX('.', bme.DisplayName) - 1) as 'Name'
FROM State s
JOIN BaseManagedEntity bme ON s.BaseManagedEntityId = bme.BaseManagedEntityId
JOIN MonitorView mv ON mv.Id = s.MonitorId
WHERE 
bme.DisplayName in($hostname) and
mv.Name = 'System.Health.EntityState' AND
FullName like 'Microsoft.Windows.Computer:%'

SELECT

s.HealthState as 'Health',

LEFT(bme.DisplayName, CHARINDEX('.', bme.DisplayName) - 1) as 'Name'

FROM State s

JOIN BaseManagedEntity bme ON s.BaseManagedEntityId = bme.BaseManagedEntityId

JOIN MonitorView mv ON mv.Id = s.MonitorId

WHERE

bme.DisplayName in($hostname) and

mv.Name = 'System.Health.EntityState' AND

FullName like 'Microsoft.Windows.Computer:%'

Для Singlestat на вкладке потребуется добавить значение hostname в For each value of, тогда при выборе эта панель будет «размножаться», как на скрине выше.

И совсем немного разукрасить в Options.

И вот наш финальный дашборд. Временные интервалы в правом углу и выпадающее меню работают, авторефреш — ок. Энджой.
В будущем разберемся, как сделать дриллдаун по панели и уже провалиться внутрь требуемого сервиса/сервера/тэга.

macOS, Microsoft Office 2016, Configuration Manager и Parallels — управляем обновлениями

От

Anton Mosyagin

19 Июн, 2018

Собрал пост по крупицам о том, как автоматизировать обновления Microsoft Office 2016 для macOS. Да, вот так вот внезапно. В посте присутствуют такие слова, как bash, python, powershell, docker, ConfigMgr, Parallels и всё только самое современное. ;) Ну, что? Поехали?

Предисловие

Идея в том, что у нас есть пачка девайсов под управление macOS на которых стоит Microsoft Office. Софт на них централизованно катится с ConfigMgr, какие-то апдейты для операционки из аппстора, а вот с офисом беда была. MS Office пока нет в маковском аппсторе, а обновлять и следить за ним очень надо, поэтому было решено, что нам требуется что-то, что будет его обновлять. ;)

Вы ведь знаете, как работают обновления для офиса на Windows? Microsoft выпустила апдейты, wsus отсинхронизировал каталог, вы скачали обновления и раздали их через WSUS или SUP у ConfigMgr, апдейт агенты отчитались с клиентов до WSUS и дальше процесс более-менее понятен. На macOS нет Windows Update Agent, маки не отчитываются на WSUS. Так что же нам с ними делать?

У Microsoft есть Microsoft AutoUpdate (MAU). Вот он и занимается проверкой версий и стучит в CDN Microsoft для проверки и скачиваний последних обновлений. MAU можно скачать здесь — https://docs.microsoft.com/en-us/officeupdates/release-history-microsoft-autoupdate

С версии MAU 3.18 и выше в /Library/Application\ Support/Microsoft/MAU2.0/Microsoft\ AutoUpdate.app/Contents/MacOS появилась консольная утилина msupdate. Весь список команд можно глянуть через ./msupdate —help
Вот она и занимается обновлением офиса. Что нам от неё надо? Она читает настройки из plist com.microsoft.autoupdate2, в котором мы уже можем настроить всё, что нам надо. Запомните главную вещь, настройки MAU берёт только из пользовательского плиста в ~/Library/Preferences/, это важно.

Но мы ведь хотим, чтобы обновления раздавались из внутренней сети, поэтому в первую очередь нам требуется утянуть из CDN все апдейты для офисных продуктов. В этом нам поможет powershell скрипт.
Всего есть 5 каналов поставки офиса: Production (ежемесячные релизы), External (или Insider Slow — ранний доступ), Internal (без понятия, но в документации присутствует), Custom (наш собственный) и InsiderFast (недельные релизы).

Внимание! Одна ветка Production занимает > 13 ГБ, если добавлять остальные, то выйдет > 25 ГБ.

.\psMacUpdatesOFFICEv2.ps1 -channel Production -IISRoot C:\inetpub\wwwroot -IisFolder maucache -TempShare C:\Temp

<#
    Must supply channel. Values accaptable are "Production", "External", "InsiderFast"
    .EXAMPLE
    powershell.exe .\psMacUpdatesOFFICEv2.ps1 -channel Production -IISRoot C:\inetpub\wwwroot -IisFolder maucache -TempShare C:\temp
    .EXAMPLE
    powershell.exe .\psMacUpdatesOFFICEv2.ps1 -channel Production -IISRoot C:\inetpub\wwwroot -IisFolder maucache -TempShare C:\temp -verbose
 #>
 [cmdletbinding()]
  Param(
  [Parameter(Mandatory=$true,HelpMessage='Must supply channel. Values accaptable are "Production", "External", "InsiderFast"')]
  [ValidateSet("Production", "External", "InsiderFast")]
  [string]
  $channel,
  [Parameter(Mandatory=$true,HelpMessage='Default IIS LOcation EG c:\iinetpub\wwwroot')]
  [Validatescript({if (test-path ($_)){$true} Else {Throw "$_ doesnt exist. Must be a valid Path"}})]
  [string]
  $IISRoot,
  [Parameter(Mandatory=$true,HelpMessage='IIS Shared Folder Name. Also used in the temp folder eg. MAUCache')]
  [string]
  $IisFolder,
  [Parameter(Mandatory=$true,HelpMessage='Path to Temp working space eg c:\temp')]
  [Validatescript({if (test-path ($_)){$true} Else {Throw "$_ doesnt exist. Must be a valid Path"}})]
  [string]
  $TempShare
)

If (-NOT ([Security.Principal.WindowsPrincipal] [Security.Principal.WindowsIdentity]::GetCurrent()).IsInRole([Security.Principal.WindowsBuiltInRole] 'Administrator'))
{
    Write-Warning "You do not have Administrator rights to run this script!`nPlease re-run this script as an Administrator!"
    Break
}


$null = New-Object System.Net.webclient
$PublishFolderName = $IisFolder
$publishBasePath = $IISRoot
$tempfolderLocation = $TempShare

#Test iis shared folder exists if not make it
if (!(test-path "$publishBasePath\$PublishFolderName")){
  New-Item -ItemType Directory -Path "$publishBasePath" -Name "$PublishFolderName"
  }

$PublishFolder = "$publishBasePath\$PublishFolderName"
$tempFolder = "$tempfolderLocation\$PublishFolderName"
$collarteralFolder = $tempFolder

#setup TEmp environment
If (Test-path -Path $tempFolder)
{
  Remove-Item $tempfolder -Recurse -Force

}
#Create TEmp Structure
  New-Item -ItemType Directory -Path $tempfolderlocation -Name "$PublishFolderName" 
  New-Item -ItemType Directory -Path "$tempfolder" -Name "Collateral"
  
  
  $starturl = "https://officecdn-microsoft-com.akamaized.net"
switch ($channel)
{
  "Production"{$webUrlDownload = "$starturl/pr/C1297A47-86C4-4C1F-97FA-950631F94777/OfficeMac/"}
  "External"{$webUrlDownload = "$starturl/pr/1ac37578-5a24-40fb-892e-b89d85b6dfaa/OfficeMac/"}
  "InsiderFast"{$webUrlDownload = "$starturl/pr/4B2D7701-0A4F-49C8-B4CB-0C2D4043F51F/OfficeMac/"}
}
[io.file]::WriteAllbytes("$collarteralFolder\builds.txt",(Invoke-WebRequest -URI "$webUrlDownload/builds.txt").content) 

#compare temp build.txt with prod build.txt
#Initalise $origcontent array incase of first run
#if change detected then continue else stop
$origContent = @("")
if (test-path "$PublishFolder\builds.txt"){$origContent = Get-Content "$PublishFolder\builds.txt"}
$newContent = Get-Content "$collarteralFolder\builds.txt"
If ((compare-object $origContent $newContent).count -eq 0){
  Write-Verbose "No Change"
  Break
}

$MAUID_MAU3X="0409MSAU03"
$MAUID_WORD2016="0409MSWD15"
$MAUID_EXCEL2016="0409XCEL15"
$MAUID_POWERPOINT2016="0409PPT315"
$MAUID_OUTLOOK2016="0409OPIM15"
$MAUID_ONENOTE2016="0409ONMC15"
$MAUID_OFFICE2011="0409MSOF14"
$MAUID_LYNC2011="0409UCCP14"
$MAUID_SKYPE2016="0409MSFB16"
$MAUID_INTUNECP="0409IMCP01"
$MAUID_REMOTEDESKTOP10="0409MSRD10"


# xml version 16
$MAUID_WORD2016_1="0409MSWD16"
$MAUID_EXCEL2016_1="0409XCEL16"
$MAUID_POWERPOINT2016_1="0409PPT316"
$MAUID_OUTLOOK2016_1="0409OPIM16"
$MAUID_ONENOTE2016_1="0409ONMC16"


function BuildApplicationArray() {
  # Builds an array of all the MAU-enabled applications that we care about
  $MAUAPP=@()
  $MAUAPP+="$MAUID_MAU3X"
  $MAUAPP+="$MAUID_WORD2016"
  $MAUAPP+="$MAUID_EXCEL2016"
  $MAUAPP+="$MAUID_POWERPOINT2016"
  $MAUAPP+="$MAUID_OUTLOOK2016"
  $MAUAPP+="$MAUID_ONENOTE2016"
  $MAUAPP+="$MAUID_OFFICE2011"
  $MAUAPP+="$MAUID_LYNC2011"
  $MAUAPP+="$MAUID_SKYPE2016"
  $MAUAPP+="$MAUID_INTUNECP"
  $MAUAPP+="$MAUID_REMOTEDESKTOP10"
  $MAUAPP+="$MAUID_WORD2016_1"
  $MAUAPP+="$MAUID_EXCEL2016_1"
  $MAUAPP+="$MAUID_POWERPOINT2016_1"
  $MAUAPP+="$MAUID_OUTLOOK2016_1"
  $MAUAPP+="$MAUID_ONENOTE2016_1"
    return $MAUAPP
}

function DownloadUPdate ([Parameter(Mandatory=$true)]$Payload, [Parameter(Mandatory=$true)]$location)
{
        #Test-WritePath
        Write-Verbose "Starting $location - $collateral\$payload"
        #TEST BASELINE 
        $collateral = "$collarteralFolder"
          $wc = New-Object System.Net.WebClient
          $wc.DownloadFile($($location), "$collateral\$payload")
        
}


function DownloadCollateralFiles ([Parameter(Mandatory=$true)]$downloadarray,[Parameter(Mandatory=$true)]$weburldown){
  # Downloads XML/CAT collateral files
  foreach ($Down in $DownloadArray){
    $payload =""
    $locationstring = ""
    $UpdateVersions = ""
    Write-Verbose "$down"
    [io.file]::WriteAllbytes("$collarteralFolder\$down.xml",(Invoke-WebRequest -URI "$weburldown$down.xml").content) 
    [io.file]::WriteAllbytes("$collarteralFolder\$down.cat",(Invoke-WebRequest -URI "$weburldown$down.cat").content) 
    #get xml and find updateversion
    $log = "$collarteralFolder\$down.xml"
    $collateral = $collarteralFolder
    $patt = "<key>Update Version"
    $indx = Select-String $patt $log | ForEach-Object {$_.LineNumber}
    if ($indx.count -ge 2){
      $UpdateVersions= @((Get-Content $log)[$indx])
      $UpdateVersions=$UpdateVersions  -replace "</String>", ""
      $UpdateVersions=$UpdateVersions  -replace "<String>", ""
      $UpdateVersions=$UpdateVersions.trim()
      $pathtoput = "$($updateversions[0])"
      }
      elseif ($indx.count -eq 1){
              $UpdateVersions= @((Get-Content $log)[$indx])
      $UpdateVersions=$UpdateVersions  -replace "</String>", ""
      $UpdateVersions=$UpdateVersions  -replace "<String>", ""
      $UpdateVersions=$UpdateVersions.trim()
        $pathtoput="$($UpdateVersions)"
      }
      else {
        $pathtoput="Legacy"
      }

      #TEST COLLATERAL PATH EXISTS
      if (!(Test-Path "$collateral\$pathtoput")){
          new-item -ItemType Directory -Path $collateral -Name $pathtoput -Verbose
          }
      write-verbose "$collateral\$pathtoput\$down.xml"    
      Copy-Item -Path "$collarteralFolder\$down.xml"    -Destination "$collateral\$pathtoput\$down.xml" -Verbose
      Copy-Item -Path "$collarteralFolder\$down.cat"    -Destination "$collateral\$pathtoput\$down.cat" -Verbose
      
    
    #PAYLOAD NAME
    $log = "$collarteralFolder\$down.xml"
    $patt = "<KEY>Payload"
    $indxp = Select-String $patt $log | ForEach-Object {$_.LineNumber}
    write-verbose "$indx $($down)"
    $payload=@((Get-Content $log)[$indxp])
    $payload=$payload -replace "</String>", ""
    $payload=$payload -replace "<String>", ""
    $payload=$payload.trim()
    
    #DOWNLOAD FILE
    $patt = "<KEY>Location"
    $indx = Select-String $patt $log | ForEach-Object {$_.LineNumber}
    $locationstring= @((Get-Content $log)[$indx])
    $locationstring=$locationstring  -replace "</String>", ""
    $locationstring=$locationstring  -replace "<String>", ""
    $locationstring=$locationstring.trim()
    
    
     if ($indxp.count -le 1){
       write-verbose "One Detected $payload $locationstring"
      DownloadUPdate -Payload $payload -location $locationstring
      }
      else
      {
        for ($x = 0; $x -le ($($indxp.count)-1); $x += 1) 
        {
          write-verbose "One Detected $x"
          $pay = $($payload[$x])
          $loc = $($locationstring[$x])
          DownloadUPdate -Payload $pay -location $loc
        }


      }

    }
  }

$mauApp = BuildApplicationArray

DownloadCollateralFiles -downloadarray $mauApp -weburldown $webUrlDownload

#rename Folders
#Sainity check of folder before renaming
if ((Get-ChildItem $tempfolder).count -ge 10){

  Remove-Item $PublishFolder -recurse -Force
  start-sleep -Seconds 30
  Move-Item -Path $tempfolder -Destination "$publishBasePath"  

}

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

153

154

155

156

157

158

159

160

161

162

163

164

165

166

167

168

169

170

171

172

173

174

175

176

177

178

179

180

181

182

183

184

185

186

187

188

189

190

191

192

193

194

195

196

197

198

199

200

201

202

203

204

205

206

207

208

209

210

211

212

213

214

215

216

217

218

219

220

221

222

223

224

225

226

Must supply channel. Values accaptable are "Production", "External", "InsiderFast"

.EXAMPLE

powershell.exe .\psMacUpdatesOFFICEv2.ps1 -channel Production -IISRoot C:\inetpub\wwwroot -IisFolder maucache -TempShare C:\temp

.EXAMPLE

powershell.exe .\psMacUpdatesOFFICEv2.ps1 -channel Production -IISRoot C:\inetpub\wwwroot -IisFolder maucache -TempShare C:\temp -verbose

[cmdletbinding()]

Param(

[Parameter(Mandatory=$true,HelpMessage='Must supply channel. Values accaptable are "Production", "External", "InsiderFast"')]

[ValidateSet("Production", "External", "InsiderFast")]

[string]

$channel,

[Parameter(Mandatory=$true,HelpMessage='Default IIS LOcation EG c:\iinetpub\wwwroot')]

[Validatescript({if (test-path ($_)){$true} Else {Throw "$_ doesnt exist. Must be a valid Path"}})]

[string]

$IISRoot,

[Parameter(Mandatory=$true,HelpMessage='IIS Shared Folder Name. Also used in the temp folder eg. MAUCache')]

[string]

$IisFolder,

[Parameter(Mandatory=$true,HelpMessage='Path to Temp working space eg c:\temp')]

[Validatescript({if (test-path ($_)){$true} Else {Throw "$_ doesnt exist. Must be a valid Path"}})]

[string]

$TempShare

)

If (-NOT ([Security.Principal.WindowsPrincipal] [Security.Principal.WindowsIdentity]::GetCurrent()).IsInRole([Security.Principal.WindowsBuiltInRole] 'Administrator'))

{

Write-Warning "You do not have Administrator rights to run this script!`nPlease re-run this script as an Administrator!"

Break

}

$null = New-Object System.Net.webclient

$PublishFolderName = $IisFolder

$publishBasePath = $IISRoot

$tempfolderLocation = $TempShare

#Test iis shared folder exists if not make it

if (!(test-path "$publishBasePath\$PublishFolderName")){

New-Item -ItemType Directory -Path "$publishBasePath" -Name "$PublishFolderName"

}

$PublishFolder = "$publishBasePath\$PublishFolderName"

$tempFolder = "$tempfolderLocation\$PublishFolderName"

$collarteralFolder = $tempFolder

#setup TEmp environment

If (Test-path -Path $tempFolder)

{

Remove-Item $tempfolder -Recurse -Force

}

#Create TEmp Structure

New-Item -ItemType Directory -Path $tempfolderlocation -Name "$PublishFolderName"

New-Item -ItemType Directory -Path "$tempfolder" -Name "Collateral"

$starturl = "https://officecdn-microsoft-com.akamaized.net"

switch ($channel)

{

"Production"{$webUrlDownload = "$starturl/pr/C1297A47-86C4-4C1F-97FA-950631F94777/OfficeMac/"}

"External"{$webUrlDownload = "$starturl/pr/1ac37578-5a24-40fb-892e-b89d85b6dfaa/OfficeMac/"}

"InsiderFast"{$webUrlDownload = "$starturl/pr/4B2D7701-0A4F-49C8-B4CB-0C2D4043F51F/OfficeMac/"}

}

[io.file]::WriteAllbytes("$collarteralFolder\builds.txt",(Invoke-WebRequest -URI "$webUrlDownload/builds.txt").content)

#compare temp build.txt with prod build.txt

#Initalise $origcontent array incase of first run

#if change detected then continue else stop

$origContent = @("")

if (test-path "$PublishFolder\builds.txt"){$origContent = Get-Content "$PublishFolder\builds.txt"}

$newContent = Get-Content "$collarteralFolder\builds.txt"

If ((compare-object $origContent $newContent).count -eq 0){

Write-Verbose "No Change"

Break

}

$MAUID_MAU3X="0409MSAU03"

$MAUID_WORD2016="0409MSWD15"

$MAUID_EXCEL2016="0409XCEL15"

$MAUID_POWERPOINT2016="0409PPT315"

$MAUID_OUTLOOK2016="0409OPIM15"

$MAUID_ONENOTE2016="0409ONMC15"

$MAUID_OFFICE2011="0409MSOF14"

$MAUID_LYNC2011="0409UCCP14"

$MAUID_SKYPE2016="0409MSFB16"

$MAUID_INTUNECP="0409IMCP01"

$MAUID_REMOTEDESKTOP10="0409MSRD10"

# xml version 16

$MAUID_WORD2016_1="0409MSWD16"

$MAUID_EXCEL2016_1="0409XCEL16"

$MAUID_POWERPOINT2016_1="0409PPT316"

$MAUID_OUTLOOK2016_1="0409OPIM16"

$MAUID_ONENOTE2016_1="0409ONMC16"

function BuildApplicationArray() {

# Builds an array of all the MAU-enabled applications that we care about

$MAUAPP=@()

$MAUAPP+="$MAUID_MAU3X"

$MAUAPP+="$MAUID_WORD2016"

$MAUAPP+="$MAUID_EXCEL2016"

$MAUAPP+="$MAUID_POWERPOINT2016"

$MAUAPP+="$MAUID_OUTLOOK2016"

$MAUAPP+="$MAUID_ONENOTE2016"

$MAUAPP+="$MAUID_OFFICE2011"

$MAUAPP+="$MAUID_LYNC2011"

$MAUAPP+="$MAUID_SKYPE2016"

$MAUAPP+="$MAUID_INTUNECP"

$MAUAPP+="$MAUID_REMOTEDESKTOP10"

$MAUAPP+="$MAUID_WORD2016_1"

$MAUAPP+="$MAUID_EXCEL2016_1"

$MAUAPP+="$MAUID_POWERPOINT2016_1"

$MAUAPP+="$MAUID_OUTLOOK2016_1"

$MAUAPP+="$MAUID_ONENOTE2016_1"

return $MAUAPP

}

function DownloadUPdate ([Parameter(Mandatory=$true)]$Payload, [Parameter(Mandatory=$true)]$location)

{

#Test-WritePath

Write-Verbose "Starting $location - $collateral\$payload"

#TEST BASELINE

$collateral = "$collarteralFolder"

$wc = New-Object System.Net.WebClient

$wc.DownloadFile($($location), "$collateral\$payload")

}

function DownloadCollateralFiles ([Parameter(Mandatory=$true)]$downloadarray,[Parameter(Mandatory=$true)]$weburldown){

# Downloads XML/CAT collateral files

foreach ($Down in $DownloadArray){

$payload =""

$locationstring = ""

$UpdateVersions = ""

Write-Verbose "$down"

[io.file]::WriteAllbytes("$collarteralFolder\$down.xml",(Invoke-WebRequest -URI "$weburldown$down.xml").content)

[io.file]::WriteAllbytes("$collarteralFolder\$down.cat",(Invoke-WebRequest -URI "$weburldown$down.cat").content)

#get xml and find updateversion

$log = "$collarteralFolder\$down.xml"

$collateral = $collarteralFolder

$patt = "<key>Update Version"

$indx = Select-String $patt $log | ForEach-Object {$_.LineNumber}

if ($indx.count -ge 2){

$UpdateVersions= @((Get-Content $log)[$indx])

$UpdateVersions=$UpdateVersions -replace "</String>", ""

$UpdateVersions=$UpdateVersions -replace "<String>", ""

$UpdateVersions=$UpdateVersions.trim()

$pathtoput = "$($updateversions[0])"

}

elseif ($indx.count -eq 1){

$UpdateVersions= @((Get-Content $log)[$indx])

$UpdateVersions=$UpdateVersions -replace "</String>", ""

$UpdateVersions=$UpdateVersions -replace "<String>", ""

$UpdateVersions=$UpdateVersions.trim()

$pathtoput="$($UpdateVersions)"

}

else {

$pathtoput="Legacy"

}

#TEST COLLATERAL PATH EXISTS

if (!(Test-Path "$collateral\$pathtoput")){

new-item -ItemType Directory -Path $collateral -Name $pathtoput -Verbose

}

write-verbose "$collateral\$pathtoput\$down.xml"

Copy-Item -Path "$collarteralFolder\$down.xml" -Destination "$collateral\$pathtoput\$down.xml" -Verbose

Copy-Item -Path "$collarteralFolder\$down.cat" -Destination "$collateral\$pathtoput\$down.cat" -Verbose

#PAYLOAD NAME

$log = "$collarteralFolder\$down.xml"

$patt = "<KEY>Payload"

$indxp = Select-String $patt $log | ForEach-Object {$_.LineNumber}

write-verbose "$indx $($down)"

$payload=@((Get-Content $log)[$indxp])

$payload=$payload -replace "</String>", ""

$payload=$payload -replace "<String>", ""

$payload=$payload.trim()

#DOWNLOAD FILE

$patt = "<KEY>Location"

$indx = Select-String $patt $log | ForEach-Object {$_.LineNumber}

$locationstring= @((Get-Content $log)[$indx])

$locationstring=$locationstring -replace "</String>", ""

$locationstring=$locationstring -replace "<String>", ""

$locationstring=$locationstring.trim()

if ($indxp.count -le 1){

write-verbose "One Detected $payload $locationstring"

DownloadUPdate -Payload $payload -location $locationstring

}

else

{

for ($x = 0; $x -le ($($indxp.count)-1); $x += 1)

{

write-verbose "One Detected $x"

$pay = $($payload[$x])

$loc = $($locationstring[$x])

DownloadUPdate -Payload $pay -location $loc

}

$mauApp = BuildApplicationArray

DownloadCollateralFiles -downloadarray $mauApp -weburldown $webUrlDownload

#rename Folders

#Sainity check of folder before renaming

if ((Get-ChildItem $tempfolder).count -ge 10){

Remove-Item $PublishFolder -recurse -Force

start-sleep -Seconds 30

Move-Item -Path $tempfolder -Destination "$publishBasePath"

}

Скачали? Молодцы.

Первым делом нам надо раскатить на клиентов новую версию MAU, чтобы полностью контролировать ситуацию. Для тех, у кого управление маками нативное через ConfigMgr, то развлекайтесь сами с конвертацией pkg пакета, у меня всё это давно перестало работать на High Sierra. В Parallels все ставится через пакет: installer -pkg Microsoft_AutoUpdate_4.0.18061000_Updater.pkg -target /
И всё, раскатили MAU.

Далее, нам же нужно куда-то сложить 25 гигов, чтобы клиенты могли забрать. Вариантов несколько.

Вариант первый — используем нашу точку распространения на ConfigMgr, а точнее наш IIS. Только нужно чуточку подшаманить.

В Default Web Site создадим директорию, которая будет слинкована на UNC путь, где у нас будут лежать апдейты. Не на диск же Ц всё это складывать. ж) И не забываем добавить MIME types, а то IIS ничего не знает про файлы форматов dmg/pkg и будет возвращать 404.

.dmg — file/download
.pkg — file/download

Вариант два — засунуть всё это в докер образ и с выходом очередных апдейтов для офиса просто делать ребилд докер контейнера.
За основу возьмем контейнер nginx из докерхаба и в две строчки в dockerfile соберём контейнер с апдейтами.

FROM nginx
COPY maucache /usr/share/nginx/html

1 2	FROM nginx COPY maucache /usr/share/nginx/html

docker build -t office-updates .

Запуск docker run —name office-updates -d -p 8080:80 office-updates

После запуска nginx отдаёт нам всё, что надо.

Вариант два с половинкой — маунтить волюмом в докер шару с апдейтами. Здесь билд уже будет проходить за 3 секунды.

Так, теперь клиенты у нас по http смогут забрать апдейты. Пора разобраться, как им объяснить, где же их забирать и как контролировать этот процесс.

В ConfigMgr у нас есть замечательная штука под названием Configuration Items. Все настройки MAU берёт из пользовательского com.microsoft.autoupdate2. Читаем его: defaults read com.microsoft.autoupdate2 и видим что-то подобное.

В плист надо добавить несколько настроек. Я думаю, что из названия самих настроек всё понятно, кто и что делает. Если нет, то самый подробный документ, I’ve ever seen, лежит здесь и тут. Частота проверки указывается в минутах. Для разных коллекций, могут быть разные настройки и разные каналы обновлений офиса, чтобы мы могли проверить новый релиз на тестовых клиентах.

Нас интересуют эти настройки:

HowToCheck -string AutomaticDownload
DisableInsiderCheckbox -bool TRUE
ChannelName -string ‘Custom’
ManifestServer -string ‘http://srv-sccm-ps/officeupdates/’
UpdateCache -string ‘http://srv-sccm-ps/officeupdates/’
UpdateCheckFrequency -int 240
SendAllTelemetryEnabled -int 0

Но, как выяснилось в процессе тестирования для того, чтобы MAU начал обновлять, то его необходимо ассоциировать по версиям с приложениями Офиса. Значит перед тем, как раздать все настройки в плист, требуется на клиентах сделать всё красиво.

Мы возьмём текущую сессию пользователя, прогоним все приложения Офиса по версии и запишем всё, что нам надо в пользовательский com.microsoft.autoupdate2 вот таким скриптом.

#! /bin/bash
CurrentloggedInUser=$(/usr/bin/python -c 'from SystemConfiguration import SCDynamicStoreCopyConsoleUser; import sys; username = (SCDynamicStoreCopyConsoleUser(None, None, None) or [None])[0]; username = [username,""][username in [u"loginwindow", None, u""]]; sys.stdout.write(username + "\n");')

#
applications="
Word.app
Excel.app
PowerPoint.app
OneNote.app
Outlook.app"

for application in $applications
do
     domain="com.microsoft.autoupdate2"
     defaults_cmd="/usr/bin/sudo -u $CurrentloggedInUser /usr/bin/defaults"
     application_info_plist="/Applications/Microsoft $application/Contents/Info.plist"
     lcid="1033"

     if /bin/test -f "$application_info_plist"
     then
          application_bundle_signature=$($defaults_cmd read "$application_info_plist" CFBundleSignature)
          application_bundle_version=$($defaults_cmd read "$application_info_plist" CFBundleVersion)
          application_id=$(printf "%s%02s" "$application_bundle_signature" "${application_bundle_version%%.*}")
          # application_id="${application_id/%16/15}"
        
          $defaults_cmd write $domain Applications -dict-add "/Applications/Microsoft $application" "{ 'Application ID' = $application_id; LCID = $lcid ; }"
     fi
done


# 
#
/usr/bin/defaults write /Users/$CurrentloggedInUser/Library/Preferences/com.microsoft.autoupdate2 HowToCheck -string AutomaticDownload
/usr/bin/defaults write /Users/$CurrentloggedInUser/Library/Preferences/com.microsoft.autoupdate2 DisableInsiderCheckbox -bool TRUE
/usr/bin/defaults write /Users/$CurrentloggedInUser/Library/Preferences/com.microsoft.autoupdate2 ChannelName -string 'Custom'
/usr/bin/defaults write /Users/$CurrentloggedInUser/Library/Preferences/com.microsoft.autoupdate2 ManifestServer -string 'http://srv-sccm-ps/officeupdates/'
/usr/bin/defaults write /Users/$CurrentloggedInUser/Library/Preferences/com.microsoft.autoupdate2 UpdateCache -string 'http://srv-sccm-ps/officeupdates/'
/usr/bin/defaults write /Users/$CurrentloggedInUser/Library/Preferences/com.microsoft.autoupdate2 UpdateCheckFrequency -int 240
/usr/bin/defaults write /Users/$CurrentloggedInUser/Library/Preferences/com.microsoft.autoupdate2 SendAllTelemetryEnabled -int 0

# /Library/Application\ Support/Microsoft/MAU2.0/Microsoft\ AutoUpdate.app/Contents/MacOS/msupdate --install

echo "Success"
exit 0

#! /bin/bash

CurrentloggedInUser=$(/usr/bin/python -c 'from SystemConfiguration import SCDynamicStoreCopyConsoleUser; import sys; username = (SCDynamicStoreCopyConsoleUser(None, None, None) or [None])[0]; username = [username,""][username in [u"loginwindow", None, u""]]; sys.stdout.write(username + "\n");')

applications="

Word.app

Excel.app

PowerPoint.app

OneNote.app

Outlook.app"

for application in $applications

domain="com.microsoft.autoupdate2"

defaults_cmd="/usr/bin/sudo -u $CurrentloggedInUser /usr/bin/defaults"

application_info_plist="/Applications/Microsoft $application/Contents/Info.plist"

lcid="1033"

if /bin/test -f "$application_info_plist"

then

application_bundle_signature=$($defaults_cmd read "$application_info_plist" CFBundleSignature)

application_bundle_version=$($defaults_cmd read "$application_info_plist" CFBundleVersion)

application_id=$(printf "%s%02s" "$application_bundle_signature" "${application_bundle_version%%.*}")

# application_id="${application_id/%16/15}"

$defaults_cmd write $domain Applications -dict-add "/Applications/Microsoft $application" "{ 'Application ID' = $application_id; LCID = $lcid ; }"

done

/usr/bin/defaults write /Users/$CurrentloggedInUser/Library/Preferences/com.microsoft.autoupdate2 HowToCheck -string AutomaticDownload

/usr/bin/defaults write /Users/$CurrentloggedInUser/Library/Preferences/com.microsoft.autoupdate2 DisableInsiderCheckbox -bool TRUE

/usr/bin/defaults write /Users/$CurrentloggedInUser/Library/Preferences/com.microsoft.autoupdate2 ChannelName -string 'Custom'

/usr/bin/defaults write /Users/$CurrentloggedInUser/Library/Preferences/com.microsoft.autoupdate2 ManifestServer -string 'http://srv-sccm-ps/officeupdates/'

/usr/bin/defaults write /Users/$CurrentloggedInUser/Library/Preferences/com.microsoft.autoupdate2 UpdateCache -string 'http://srv-sccm-ps/officeupdates/'

/usr/bin/defaults write /Users/$CurrentloggedInUser/Library/Preferences/com.microsoft.autoupdate2 UpdateCheckFrequency -int 240

/usr/bin/defaults write /Users/$CurrentloggedInUser/Library/Preferences/com.microsoft.autoupdate2 SendAllTelemetryEnabled -int 0

# /Library/Application\ Support/Microsoft/MAU2.0/Microsoft\ AutoUpdate.app/Contents/MacOS/msupdate --install

echo "Success"

exit 0

Скрипт для проверки настроек.

# echo "Check Office 2016 settings..."
#! /bin/bash
CurrentloggedInUser=$(/usr/bin/python -c 'from SystemConfiguration import SCDynamicStoreCopyConsoleUser; import sys; username = (SCDynamicStoreCopyConsoleUser(None, None, None) or [None])[0]; username = [username,""][username in [u"loginwindow", None, u""]]; sys.stdout.write(username + "\n");')
# OfficeUpdatesServer="/usr/bin/defaults read /Users/$CurrentloggedInUser/Library/Preferences/com.microsoft.autoupdate2 ManifestServer -string 'http://srv-sccm-ps/officeupdates/'"
OfficeUpdatesServer=$(defaults read /Users/$CurrentloggedInUser/Library/Preferences/com.microsoft.autoupdate2 UpdateCache)
AutoCheck=$(defaults read /Users/$CurrentloggedInUser/Library/Preferences/com.microsoft.autoupdate2 HowToCheck)
RESULT=$?
# echo "Confirming configuration..."
    if [ $RESULT -eq 0 ] && [ -e "/Users/$CurrentloggedInUser/Library/Preferences/com.microsoft.autoupdate2.plist" ] && [ "$OfficeUpdatesServer" == "http://srv-sccm-ps/officeupdates/" ] && [ "$AutoCheck" == "AutomaticDownload" ]; then 
        echo "Success"
    else 
        exit -1
    fi

# echo "Check Office 2016 settings..."

#! /bin/bash

# OfficeUpdatesServer="/usr/bin/defaults read /Users/$CurrentloggedInUser/Library/Preferences/com.microsoft.autoupdate2 ManifestServer -string 'http://srv-sccm-ps/officeupdates/'"

OfficeUpdatesServer=$(defaults read /Users/$CurrentloggedInUser/Library/Preferences/com.microsoft.autoupdate2 UpdateCache)

AutoCheck=$(defaults read /Users/$CurrentloggedInUser/Library/Preferences/com.microsoft.autoupdate2 HowToCheck)

RESULT=$?

# echo "Confirming configuration..."

if [ $RESULT -eq 0 ] && [ -e "/Users/$CurrentloggedInUser/Library/Preferences/com.microsoft.autoupdate2.plist" ] && [ "$OfficeUpdatesServer" == "http://srv-sccm-ps/officeupdates/" ] && [ "$AutoCheck" == "AutomaticDownload" ]; then

echo "Success"

else

exit -1

Что нам с этим всем делать? Надо создать Configuration Items и всё. ж)

И поймать Success на выходе.

Все логи MAU смотрим в /Library/Logs/Microsoft/autoupdate.log

Как мы видим, клиент успешно забирает xml, если MAU видит, что билд Офиса сменился, там же в логе вы увидите и процесс установки.

Несколько лайфхаков. ж)

Если в stdout вернется еще что-нибудь кроме Success, то клиент будет все равно Non-Compliant. Возможно, что это такое поведение самого агента Parallels. Про ConfigMgr уже не знаю.

Если записываем через su $CurrentloggedInUser -c defaults write /Users/$CurrentloggedInUser/Library/Preferences/com.microsoft.autoupdate2, то плист поломается. Что агент ConfigMgr, что агент Parallels уже всё выполняют с повышенными привилегиями. Не забывайте делать бэкапы плистов, просто поднимать интерактивную сессию sudo -i и там уже проверять, что всё работает так, как надо.

Главный лайфхак. В Windows 10 инсайдер билд notepad уже должен нормально работать с файлами, созданными в Unix, Linux и macOS, но если вы залили шелл скрипт на свою точку распространения, добавили в пакет, поправили файл в блокноте на WS2012 R2, например, то всё, всё сломалось. ;) Помните про это, т.к. после многочасовых траблшутингов можно долго бить себе фейспалмы.

12 3...30 Страница 1 из 30