Windows SysinternalsのNotMyFaultでSTOPエラーを発生させてメモリダンプを採取してみる

完全メモリダンプを採取するための設定ができたら、次は実際にSTOPエラーを発生させてメモリダンプを採取できるかどうか確かめてみましょう。
とは言ってもそんなに簡単にSTOPエラーは発生しないので、何らかの形で手動でメモリダンプを生成させます。

以下のサポート技術情報には、そのための方法がいくつか掲載されています。

http://support.microsoft.com/kb/969028/ja
Windows Server 2008 でカーネルまたは完全メモリ ダンプ ファイルを生成する方法


その中で今回は、一番簡単そうなNotMyFaultツールを使ってみました。
NotMyFaultはWindows Sysinternalsの一つですが、Sysinternals Suiteには含まれていないため、個別にダウンロードする必要があります。(後述)

(写真1)ダウンロードして解凍したNotMyFaultツール
ダウンロードして解凍したNotMyFaultツール
ダウンロードしたzipファイルを解凍すると、x64とx86のそれぞれのフォルダの中にNotMyfault.exeが現れます。
OSに応じた方を選んで、NotMyfault.exeを実行します。

(写真2)起動したNotMyFaultツール
起動したNotMyFaultツール
BSOD画面を様々な色に変更する機能もあるようですが、ここでは無視します。
NotMyFaultツールを起動したら、規定値のままCrashボタンを押します。

(写真3)NotMyFaultでCrashを実行して発生したSTOPエラー
NotMyFaultでCrashを実行して発生したSTOPエラー
するとおなじみのSTOPエラー画面が表示されます。
画面一番下の数字もカウントアップし、順調にメモリダンプが生成されます。

(写真4)NotMyFaultツールによって作成されたメモリダンプファイル
NotMyFaultツールによって作成されたメモリダンプファイル
作成されたメモリダンプの実態ファイルであるMEMORY.DMPが、確かに作成されています。
今回は規定値のままだったので、C:\Windowsの下に、カーネルメモリダンプが出力されました。

(写真5)NotMyFaultツールのヘルプ画面
NotMyFaultツールのヘルプ画面
コマンドプロンプトからNotMyFault.exe /?を実行して、ポップアップしたヘルプ。

Not My Fault
notmyfault [/crash] [/bugcheck code]

/crash        Crashes the system with a high IRQL fault

/bugcheck code    Crashes the system with the specified stop code
        e.g. notmyfault /bugcheck 0xe2


STOPエラーを発生させる方法ですが、GUIからだけではなく、コマンドプロンプトからNotMyFault.exe /crashでも同じことが可能です。

こんな方法で、完全メモリダンプが正しく採取できるかどうかを確認します。


そしてNotMyFaultツールはここからダウンロードできます。

http://technet.microsoft.com/ja-jp/windows/gg986281
・1 回のクリック操作で色を変更できる "ブルー スクリーン"
 →http://download.sysinternals.com/files/NotMyFault.zip

Windows Server 2003/Windows Server 2008/Windows Server 2008 R2で完全メモリダンプファイルを保存するために(まとめ)

前回の日記ではWindows Serverのページングファイルとメモリダンプファイルの配置について、マイクロソフトのサポート技術情報と富士通の資料(Windows Server 2008 / 2008 R2 大容量メモリダンプファイル 設計ガイド)を読んで検討しました。

長くなったので、このページでまとめます。

この表では便宜上、
・ブートパーティションをCドライブ、それ以外をDドライブとしています
・搭載メモリを仮に4GBとしています
・数十MB程度の少量のデータは無視しています

(写真1)ページングファイルとメモリダンプファイルの組み合わせ一覧
ページングファイルとメモリダンプファイルの組み合わせ一覧
※1:各OSともに共通で、基本的にはこのパターン
※2:Windows Server 2008 R2でCドライブに空きがない場合はこのパターン
※3:Windows Sevrer 2008でCドライブに空きがない場合はこのパターン

○を付けた3つがお勧めパターンです。
基本はA-1ですが、Cドライブの空きが不足する場合は、必要に応じてB-2かDを選択します。
私は今までB-1を利用する場合が多かったですね。
Cドライブにpagefile.sys、DドライブにMEMORY.DMPを配置するやつ。
この場合は次回再起動時にpagefile.sysが確保できなくなる場合があるかもしれません。

Windows Server 2008でdedicateddumpfile.sysを使用する場合(Dパターン)は、レジストリの変更などが必要です。
マイクロソフトのサポート技術情報を読んでレジストリの設定をしてください。

http://support.microsoft.com/kb/969028/ja
Windows Server 2008 でカーネルまたは完全メモリ ダンプ ファイルを生成する方法


以下のレジストリの値を適切に設定する必要があるみたいですが、私自身はWindows Server 2008でdedicateddumpfile.sysを使用した完全メモリダンプの設定をする予定はないので、詳しくは確認していません。
HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\CrashControl
DedicatedDumpFile
DumpFileSize
DumpFile

いざ、と言うときにWindows Serverの完全メモリダンプを確実に採取できるようにするためには、ページングファイルとメモリダンプファイルの適切な配置を検討して設定し、そしてドライブに空き監視なども行う必要がありますね。

Windows Server 2003/Windows Server 2008/Windows Server 2008 R2で完全メモリダンプファイルを保存するために(過程)

(長くなったので、まとめは次の日記にします)

この仕事をやっていると、Windows Serverメモリダンプを採取して、メーカーのサポートに解析に出したりすることがあります。
例としてWindows Server 2008 R2で、メモリダンプの設定項目を確認しましょう。

(写真1)Windows Server 2008 R2のメモリダンプの設定の規定値
Windows Server 2008 R2のメモリダンプの設定の規定値

(写真2)Windows Server 2008 R2のメモリダンプの種類の選択肢
Windows Server 2008 R2のメモリダンプの種類の選択肢

メモリダンプの種類は次の3種類です。
・最少メモリダンプ(256KB)
・カーネルメモリダンプ
・完全メモリダンプ

規定値では「カーネルメモリダンプ」になっています。
STOPエラーなどの不測の事態が発生した際に、最後の砦としてメモリダンプの調査をサポート部門に出します。
すると「○○ドライバでXXが発生している」などの回答が返ってきます。(もちろん不明な場合もあります)
せっかくメモリダンプを調査に出しても、規定値のカーネルメモリではわからず、「完全メモリダンプを採取して再発行してください」なんて事があります。
それを未然に防ぐため、多くの場合は「完全メモリダンプ」に変更します。

しかし様々な理由で完全メモリダンプが採取できない事があります。
まあその多くはブートパーティション(以下:Cドライブ)の空き領域不測が原因です。
ファイルサーバーレベルでも4GBやそれを超える容量のメモリを搭載する事が多くなってきているので、Cドライブの容量は十分に検討する必要があります。

それでもCドライブの空きが足りなくなってきた場合、手っ取り早い対策としてページングファイルをDドライブなどに移動させる事が良くあるのですが、これをやってしまうと有事の際にメモリダンプが採取できなくなる場合があります。
と言うわけでメモリダンプを採取するためには、ページングファイルとメモリダンプファイルの配置とサイズを考える必要があります。

この辺の事が富士通の資料に詳しく掲載されています。
「大容量メモリダンプファイル 設計ガイド」がとても参考になります。

http://jp.fujitsu.com/platform/server/primergy/technical/construct/
・富士通 > コンピュータプラットフォーム > サーバ > PRIMERGY > 技術情報 > サーバ構築ガイド > Windowsシステム構築ガイド
http://jp.fujitsu.com/platform/server/primergy/technical/construct/pdf/win2008-memory-dump.pdf
→・Windows Server 2008 / 2008 R2 大容量メモリダンプファイル 設計ガイド(739KB)


マイクロソフトのサポート技術情報も読みましょう。

http://support.microsoft.com/kb/254649/ja
・Windows 2000、Windows XP、Windows Server 2003、Windows Vista、Windows Server 2008、Windows 7 と Windows Server 2008 R2 のメモリ ダンプ ファイル オプションの概要
http://support.microsoft.com/kb/969028/ja
・Windows Server 2008 でカーネルまたは完全メモリ ダンプ ファイルを生成する方法
http://support.microsoft.com/kb/886429/ja
・Windows Server 2003 でメモリ ダンプ ファイルを新しい場所を構成するときの考慮事項



まず、メモリダンプファイルの配置について。
規定値では以下の場所に設定されています。
%systemroot%\MEMORY.DMP
つまりC:\Windows\MEMORY.DMPですね。

メモリダンプファイルはCドライブ以外の場所に配置する事ができます。
十分に空いているドライブに配置しましょう。
例えばD:\MEMORY.DMPとか。
それからpagefile.sysとMEMORY.DMPが同じドライブに配置される場合は、一時ファイルであるDUMPxxxx.tmpは不要です。


ではページングファイルとメモリダンプファイルの配置とサイズを見ていきましょう。

まずはこれが基本です。(富士通資料のA-1)
■pagefile.sys - Cドライブ
■DUMPxxxx.tmp - (不要)
■MEMORY.DMP - Cドライブ
○Windows Server 2003/同R2
○Windows Server 2008
○Windows Server 2008 R2

pagefile.sysとMEMORY.DMPのサイズは、両方とも物理メモリサイズ+少々です。
マイクロソフトのKB254649によると、物理メモリ+1MB以上
富士通の資料によると、物理メモリ+15MB以上

つまりページングファイルとメモリダンプファイルで、Cドライブには物理メモリの2倍+少々の容量が必要になります。
ページングファイルは物理メモリサイズよりも少し大きめのサイズに設定しましょう。

次にこれは良くあるパターンです。(富士通資料のB-1)
■pagefile.sys - Cドライブ
■DUMPxxxx.tmp - Cドライブ
■MEMORY.DMP - Dドライブ
○Windows Server 2003/同R2
○Windows Server 2008
○Windows Server 2008 R2

pagefile.sysとMEMORY.DMPのサイズは、両方とも物理メモリサイズ+少々で、上記と同じです。
しかしMEMORY.DMPがCドライブ以外の場合、一時ファイルとしてDUMPxxxx.tmpがpagefile.sysと同じCドライブに確保されます。
結局Cドライブには物理メモリの2倍超のサイズが必要なうえに、Dドライブにも物理メモリと同じサイズ+少々が必要になります。
つまりこの組み合わせにはメリットがありませんね。

知らなかった(汗)
今までこのパターンは良くやっていた。

まあマイクロソフトのKB886429によると、Cドライブに空きが足りなくてもメモリダンプは作成されるみたいです。
ただし再起動後にページングファイルのサイズが確保できず、小さくなってしまうようです。
と言うわけで少なくとも設計時点では十分な容量を確保すべきなので、結果としてやはりこのパターンを選ぶメリットは感じられないな。
Cドライブには物理メモリの2倍の空きが必要だが、Dドライブに複数世代のメモリダンプを残したい場合くらいだろうか。


これは新しいパターンです。(富士通資料のA-2)
■pagefile.sys - Dドライブ
■DUMPxxxx.tmp - Dドライブ
■MEMORY.DMP - Cドライブ
×Windows Server 2003/同R2
×Windows Server 2008
○Windows Server 2008 R2

Windows Server 2003/2008では、Cドライブに必要なサイズのページングファイルが確保されていない場合、完全メモリダンプを採取する事ができません。
あきらめましょう。

Windows Server 2008 R2では、このパターンでも完全メモリダンプが採取できるようです。
Cドライブには物理メモリと同量だけの空きがあればOKなので、メリットもあります。


これも新しいパターンです。(富士通資料のB-2)
■pagefile.sys - Dドライブ
■DUMPxxxx.tmp - (不要)
■MEMORY.DMP - Dドライブ
×Windows Server 2003/同R2
×Windows Server 2008
○Windows Server 2008 R2

これいいね。そうなんだ。
Windows Server 2008 R2なら、これもいいですね。
このB-2か、前記のA-1のどちらかがお勧めになります。

Windows Server 2003/2008では、Cドライブに必要なサイズのページングファイルが確保されていない場合、完全メモリダンプを採取する事が出来ないのはどうにもなりません。


ここから先はWindows Server 2008以降でサポートされる、新しいページングファイル「dedicateddumpfile.sys」を利用したパターンです。
マイクロソフトのKB969028や富士通の資料を読むとわかりますが、Windows Server 2008 R2ではdedicateddumpfile.sysを利用する必要はなく、従来からのpagefile.sysだけでも大丈夫です。
Windows Server 2008 R2ではpagefile.sysをDドライブなどに配置しても、完全メモリダンプを採取できるので、このdedicateddumpfile.sysを利用する必要がありません。

つまりdedicateddumpfile.sysを利用するのは、実質は(R2ではない)Windows Server 2008のみです。

dedicateddumpfile.sysを使用するパターンです。(富士通資料のC)
■最小限のpagefile.sys - Cドライブ or Dドライブ
■dedicateddumpfile.sys - Dドライブ
■DUMPxxxx.tmp - Dドライブ
■MEMORY.DMP - Cドライブ
×Windows Server 2003/同R2
○Windows Server 2008
○Windows Server 2008 R2

最小限のpagefile.sysは任意のドライブにあればOKです。
富士通の資料の例ではpagefile.sysは16MBになっています。
しかしdedicateddumpfile.sysとMEMORY.DMPが別ドライブの場合は、例によってdedicateddumpfile.sysと同じドライブにDUMPxxxx.tmpが必要になります。

これもdedicateddumpfile.sysを使用するパターンです。(富士通資料のD)
■最小限のpagefile.sys - Cドライブ or Dドライブ
■dedicateddumpfile.sys - Dドライブ
■DUMPxxxx.tmp - (不要)
■MEMORY.DMP - Dドライブ
×Windows Server 2003/同R2
○Windows Server 2008
○Windows Server 2008 R2

最小限のpagefile.sysは任意のドライブにあればOKです。
富士通の資料の例ではpagefile.sysは16MBになっています。
dedicateddumpfile.sysとMEMORY.DMPが同じドライブなので、DUMPxxxx.tmpが不要です。
Wondows Server 2008の場合、これはお勧めパターンですね。


結局富士通の資料のそのまんまなんですが、この3つがお勧めパターンになってしまいました。
A-1
B-2
D
長くなったので、まとめは次の日記にします

Windows Server 2012のメモリダンプの種類には「自動メモリダンプ」が追加されている

Windows Serverメモリダンプについて調べているとき、ふと気づきました。

次期バージョンのWindows Server 2012では、メモリダンプの種類が増えていました。
・最少メモリダンプ(256KB)
・カーネルメモリダンプ
・完全メモリダンプ
・自動メモリダンプ ←これが追加されている

Windows 2000 ServerからWindows Server 2008 R2までは3種類だったのに。
(写真1)Windows Server 2012 RC版の規定値は自動メモリダンプ
Windows Server 2012 RC版の規定値は自動メモリダンプ

(写真2)Windows Server 2012 RC版のメモリダンプの種類
Windows Server 2012 RC版のメモリダンプの種類

(写真3)Windows Server 2008 R2のメモリダンプの種類
Windows Server 2008 R2のメモリダンプの種類の選択肢

ところで自動メモリダンプってなんだろう?
おいおい調べます。

続きを読む

VMware ESXi上の仮想マシンのマウスドライバはVMware Pointing Device

VMware Toolsをインストールしても、仮想マシンのマウスドライバが置き換わっていないことがあったので、そのメモです。

VMware ESXi 5.0上の仮想マシンに、Windows Server 2008 R2を新規インストールします。
その時点ではマウスドライバはOS標準の「PS/2互換マウス」です。
そしてVMware Toolsをインストールすると、マウスドライバは「VMware Pointing Device」に置き換わります。

(写真1)仮想マシン上にインストール直後のWindows Server 2008 R2
仮想マシン上にインストール直後のWindows Server 2008 R2

(写真2)Windows Server 2008 R2にVMware Toolsをインストールした後
Windows Server 2008 R2にVMware Toolsをインストールした後

VMware Toolsをインストールすると、マウスドライバーはPS/2互換マウスからVMware Pointing Deviceに置き換わっていますね。
最新とある物件でお客様に仮想マシンを引き渡し後、マウスドライバがPS/2互換マウスのままになっている現象がありました。
当然VMware Toolsはインストールしているのですが、何故そうなったのかはまだわかっていません。

マウスドライバがPS/2互換マウスのままでも当然動作はするのですが、vCenter Serverのコンソール画面を操作すると、コンソール画面の外にマウスカーソルが出れず、Ctrl + Altを押さなければなりません。
要するにVMware Toolsがインストールされていないのと同じ状態です。

どうしてそうなったのかは不明ですが、今後はマウスドライバをチェックするようにする予定です。

Windows Server 2012正式版は9月、Windows 8正式版は10月26日から一般発売開始

Windows Server 2012およびWindows 8の提供時期について、マイクロソフトから発表があったようです。

Windows Server 2012は、8月1週目にRTM、9月には正式版の提供開始。
Windows 8も8月1週目にRTM、10月26日には一般向けに発売されるそうです。

新しいOSのリリースは楽しみですね。
特にWindows Server 2012は大幅に機能強化されているし。


http://cloud.watch.impress.co.jp/docs/news/20120710_545888.html
Windows 8は8月第1週にRTMの予定、一般発売は「10月末までに」と正式発表 - クラウド Watch
http://cloud.watch.impress.co.jp/docs/news/20120711_546011.html
Windows Server 2012も8月第1週にRTM、9月より一般提供開始に - クラウド Watch



(2012/7/22追記とタイトル変更)
Windows 8の一般向け発売が2012/10/26に決まったと発表がありました。
その記事を追記し、タイトルを変更しました。

変更前:Windows Server 2012正式版は9月、Windows 8正式版は10月から提供開始
変更後:Windows Server 2012正式版は9月、Windows 8正式版は10月26日から一般発売開始

http://cloud.watch.impress.co.jp/docs/news/20120719_547806.html
・Windows 8の一般向け発売日が10月26日に決定 - クラウド Watch

テスト中

全ての記事を表示する

ブロとも申請フォーム

ブログ検索
プロフィール

norimaki2000のブログにようこそ
・2013/01/05テンプレートをsantaからhouseに変更
・2012/10/29テンプレートをsweet_donutsからsantaに変更
Follow norimaki2000 on Twitter気軽に話しかけてね

ニューヨーク・マンハッタン(タイムズスクェア)180×135

千葉県在住で東京都内に勤務。SE歴20年超えました。

昔々はオフコンで販売管理などのアプリケーション開発してた。
ファミリーレストランの無線オーダリングやPOS、キッチンプリンタの全国展開なんかもやっていました。
数年前まではWindows上のアプリケーション展開が多かったかな。
ここ数年はWindowsサーバーを中心としたサーバーインフラの提案・構築・保守を中心にやってます。
主な取り扱い製品は、
・Windows 2000 Server以降 (もちろんNT3.5やNT4.0も知っていますが)
・Active Directory (今で言うAD DS)
・Symantec Backup Exec
・Symantec System Recovery
・CA ARCserve Backup for Windows
・CA ARCserve Replication
・CA ARCserve D2D
・EMC RepliStor
・VMware vSphere
・某メーカーのクラスタソフトウェア

どれもこれも中途半端な知識と技術力ですが、なんとかやっています。
私自身は技術や製品を担当する立場ではなく、特定業種のお客さん(ユーザ企業)の対応窓口となるSEの役割りですから、必要であれば詳しい知識や経験豊富な別のSEを探してきてプロジェクトメンバに加えます。

もちろん小さな物件では自分で提案、インストール、お客さんへの導入、アフターサポートまでやります。
大きな物件では提案はやりますが、構築部分は専門部隊に依頼します。
その場合でもアフターサポート窓口は私がやりますので、お客さんに対しては一貫して窓口SEとなります。

サーバの世界の大きなトレンドは統合・仮想化。
2007年はVirtual Server 2005 R2によるサーバ仮想化も、2つのお客さんで本稼動させた。
2008年はVMware ESX 3.5を2セット構築。単純なローカル起動と、SANブート/VMotion/DRS/HA/VCBのフル装備もやった。
2009年はぜひHyper-Vの仮想環境を構築したいな。と思っていたが、なかなか機会に恵まれなかった。
2010年はVMware ESX 4.0でHA/VMotion/VCBバックアップを進行中。

そのほかにも、ドメインコントローラやファイルサーバの全国展開とデータ移行、特定のアプリケーションの実行基盤となるサーバ群のOS・バックアップ・DBクラスタなどインフラ部分の構築などをやっています。


2011年のポイントも引き続き、【ご利用は計画的に】。
今まで長年に渡って仕事も私生活も行き当たりばったりなので、少しでも物事を計画的に進められるようにしたい。
いつも計画性の無さが災いして多くの人に迷惑をかけています。
自分自身も計画的な仕事ができないため、いつもいろいろ苦労しています。
今年はさらに計画的に仕事をするようにしなきゃ。

それと若手を上手に使うようにならなきゃならん。
若手の育成はもちろんだけど、僕自身も仕事を上手に他の人に振ることができるようになりたい。
仕事の種類のせいなのか性格なのか、どうしても一人で抱え込んでしまうから。

【Twitter】2010年の元旦から始めました。平均して1日あたり10ツィート程度です。
仕事関連の呟きが少し、くだらない呟きがほとんどかな。
Follow norimaki2000 on Twitter
・norimaki2000 on Twitter

Follow norimaki2000 on Twitter
・norimaki2000 on Twilog


オンライン上ではあるけれど、今まで知らなかった人たちと交流する機会を得ることになり、非常に刺激を受けます。
仕事でも私生活でも、いろんな人のつぶやきは息抜きにもなり、また助けられたり、あるいは「もっとがんばんなきゃ」と励みになったりします。
Twitterを考え出した人の発想、システムとして作り上げた努力と情熱はすごい!!


【好きな音楽】ベテランの皆さんなら浜田省吾、尾崎豊、エコーズ、若手なら鬼束ちひろ、平原綾香、現在注目の若手はいきものがかり

【好きなアイドル】千葉県柏市を中心に活動する地元アイドルの「コズミック☆倶楽部」を激推し中です。

【好きな飲み物】シャンパンはご存知モエ・エ・シャンドン ブリュット アンペリアル、ビールはキリン ブラウマイスター、水ならビッテル、お茶ならキリン生茶

【好きなTVドラマ】Xファイル、24、ミレニアム、ER、CSI:科学捜査班シリーズ、NCIS:ネイビー犯罪捜査班、ザ・プラクティス、ボストン・リーガル



パソコン困り事相談もよろしく


最近の記事
最近のコメント
カレンダー
06 | 2012/07 | 09
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30 31 - - - -
カテゴリー
FC2カウンター
キーワード

Windows_Server VMware_ESX VMware vCenter_Server VMware_Player PowerShell PowerCLI vSphere_Client VirtualCenter Active_Directory vStorage_API Converter Windows 文音 Hyper-V Microsoft_Security_Essentials コズミック☆倶楽部 Windows_8 Backup_Exec VMware_Converter vSphere sora カラオケ なるみん あいひょん SQL_Server Windows_Server_2012 System_Center VCB Red_Hat_Enterprise_Linux Tech_Fielders メモリダンプ System_Recovery ESX ARCserve_Backup Internet_Explorer VMware_vSphere RHEL ジン子 マークス vSphere_CLI VMware_HA Exec Directory Firefox vMotion Oracle Active Symantec Server Backup Sysinternals NTFS Twitter Oracle_Database vCenter_Converter wevtutil コズミック倶楽部 DMC-FZ1000 schtasks XenServer キリン 若手 remi 麗美 Recovery Visual_Studio Windows_Update Office System SE Vista DRS 氷結 スリムス フィット グランダム 掃除 セルシオ 洗濯 のどごし生 洗車 サッポロ ロッキー おやつカンパニー カルディ スパークリングウォーター ベビースター おとなのおつまみ 白石美帆 経済産業省 えびしお corega セキュリティ ついにステップワゴンを契約してしまった 糖質 一番搾り食物繊維 スタローン 東京国際フォーラム スパリゾートハワイアンズ サクセス カーナビ ラガー 人口甘味料 コロン ブラックホーク・ダウン ジョシュ・ハートネット ハワイ 神戸 北野 献血 けんけつちゃん シャンプー台のむこうに デュポン 映画 東京タワー 写真 マッハ ムエタイ はばたき福祉事業団 ワイヤーアクション お茶のチューハイ バルボア キャンプ 万座温泉 夏休み 草津 鬼押し出し園 カーポート 高原 バーベキュー 関西空港 羽田 グレープフルーツ ウォーター ポケモン・スタンプラリー 伊藤園 日本赤十字社  サーバ 雨どい Resource ARCserve_D2D ARCserve_Replication VMFS バックアップ Virtual_Infrastructure SkyDrive vStorag_API OpenOffice.org ジャンプフェスタ XP Word Uptime.exe ULPC OEM ITIL DSP グループポリシー Apache 浜田省吾 Linux VMware_ESXi OneDrive HUAWEI れみ GR5 IP38X/N500 NVR500 バッチ Tween OpenOffice iStorage Windows_Azure AWS robocopy USB2.0 USB CDRW-AB24JL CD CAB CG CR-V DVD CoolMax Brio ATAPI 破損 2008 オレッツァ 修復 圧縮 0x0000007B コマンドライン Gathers Hyperion STOPエラー SAP Paper.li SUPPLEX SweetGrass Tools Thunderbird Replication PCI Kit IZZE IDE NR-7900A NetBackup PC-Success OREZZA エイドリアン 

月別アーカイブ
リンク
RSSフィード