インフォメーションセンター

データ同期の完全ガイド: データ同期が重要である理由

企業は絶えずデータの収集、分析、保存を続けていますが、現在ではクラウドがこの新たなデータ供給のルートになっています。そのため、データの一貫性、正確性、プライバシー保護の必要性が生じています。これを怠ると、軽微なエラーや些細な問題に見えるようなことが、意思決定、販売、顧客維持などの日常業務に大きな悪影響を及ぼす可能性があります。

蓄積されたデータを分類するためには、データの整合性を維持しながら既存のデータベースと同期し、定期的に解析を行うことが不可欠です。そのため、データ同期ツールは、企業がデータ管理のために使用する最も重要なツールの 1 つになっています。

このプロセスにより、データの正確性、安全性、最新性が保証され、チームワークとカスタマーエクスペリエンスも向上します。すべてのデータが同期されることで、クリーンかつ高品質で最新のデータを手にすることができ、不整合、エラー、重複などの問題を排除することができます。

演奏者の息が合わず、楽器の音がばらばらなジャズコンサートを聴くことを想像してみてください。聴こえてくる音はまとまりがなく説得力を欠き、楽しむことはできません。同様に、時計の時刻も同期されていなければ混乱が生じてしまいます。生活のあらゆる物事を時計に頼って執り行い、調整しているためです。

これと同じことがビジネスの世界にも当てはまります。企業が事業活動を行い、成長していくためには、部門、目標、従業員、ソフトウェアアプリケーションを同期させる必要があります。しかし、どの企業も目標と部門を連携させる重要性を理解している一方で、データ同期の重要性を見過ごしていることは少なくありません。

このガイドでは、データ同期に関するすべてとその実装方法、さらにそれがなぜ重要であかについて説明します。

データ同期とは?

データ同期とは、企業が多種多様なソースやソフトウェアアプリケーション間でデータを統合し、これらのシステム内のデータの一貫性を確保するために使用するプロセスのことです。新規のデータにも既存のデータにも適用される継続的なプロセスです。

クラウドで保存および提供される膨大な量のデータが企業に課題を突きつけています。その一方で、クラウドはビッグデータに対する解決策ともなります。現在のデータソリューションでは、簡単かつ迅速なツールが提供されるため、単調な作業に煩わされることなく、システム全体でデータの調和を実現することができます。

同期を行うことで、データの正確性、コンプライアンス、セキュリティが確保され、チームの成功とカスタマーエクスペリエンスの向上がもたらされます。さらには、データソースとさまざまなエンドポイントとの整合性も保証されます。これは、データを受信した時点で、クリーンアップのためのツールが動作し、さらに別のツールがエラー、重複、整合性をチェックした後に、データを使用または保存できるようになっているためです。

リモート同期はモバイルネットワーク経由で実行され、ローカル同期は、隣接するコンピュータ、デバイス、システムどうしで実行されます。効率的なシステムとは、データレコード全体ですべての企業データの一貫性を確保できるシステムです。つまり、変更が発生した場合、その変更をリアルタイムですべてのシステムにわたって反映できる必要があるのです。これにより間違いやプライバシーの侵害が防止され、最新データの可用性が確保されます。

最後に、同期では以下の 2 つの処理が必要になります。

  • 正確性と調和を確保するためのさまざまなソースとエンドポイント間でのデータ統合
  • 新規データにも既存データにも適用される継続的なプロセス

データベース同期とは?

データベース同期は、データベース間のデータの一貫性を確立する処理であり、変更を自動的に双方向でコピーします。時間の経過にともなってデータの調和が継続的に行われます。最も一般的なケースとしては、ソースデータベースからターゲットへのデータの取得が挙げられます。この場合、ソース (マスター) データベースへの変更がターゲットデータベースへ適用される必要があります。

データベース同期では、1 つの行のみを一意に識別するための主キーを各テーブルが持つ必要があり、これにより、データメンテナンスのプロセスが大幅に簡素化され、同期の速度が向上します。

データベース同期には以下のさまざまな種類があります。

  • 挿入同期: プロセスによって、新しいソーステーブルレコードがターゲットテーブルにコピーされ、レコードと主キー値が対応付けられます。さらに、データベース同期プロセスによって、欠落している行がターゲットテーブルに挿入されます。
  • 更新同期: ソーステーブルへのすべての変更がターゲットデータベースに適用される必要があります。このため、同期プロセスでは、テーブル行の値を追跡し、変更されたレコードがあればターゲットテーブルでもレコードを置き換え、2 つのテーブルの同一性を維持します。更新同期では、ソースデータベースと同期先データベースのすべてのデータが常に更新されます。
  • 削除同期: 削除同期プロセスでは、ソースからレコードが削除されたときに、対応するレコードを同期先のデータベースから削除します。レコードがソースに見つからない、つまり存在していない場合は、その不要になったレコードをターゲットからも削除します。
  • 混合同期: ターゲットデータベースでレコードを更新、追加、削除することで、ターゲットデータベースとソースデータベースの同期を保証します。したがって、管理者は、ソースデータベースとターゲットデータベースを同一にするために、すべての「挿入同期」、「削除同期」、「更新同期」オプションにチェックを付ける必要があります。

データ同期のしくみ

データを同期するしくみには、手動でのデータベース更新、ソースデータベースの変更によってトリガーされる python スクリプト、ETL を使用した自動データパイプラインなど、さまざまな方法があります。どの場合でも、プロセスは以下のようになります。

1.    更新イベントのトリガー

データ同期プロセスは、テーブル内のフラグの設定、ファイルの最終変更日を定期的に確認するスクリプトなど、複数の方法を使用してターゲットデータベース上のデータへの変更を検出します。

2.    変更の特定と抽出

同期は完全なレプリケーションを行う作業ではありません。プロセスで必要なのは、バージョンを比較する、変更ログを確認する、または新しい値を示すフラグを探すことによって、変更が行われたインスタンスを特定することです。

3.    他のソースへの変更

同期プロセスは、変更を特定して抽出した後、以下の 2 つの方法のいずれかを使用して、データの移動をスケジュールします。

  • 非同期: 1 時間に 1 回、1 日に 1 回など、設定されたスケジュールに従って変更を送信します。リソース効率に優れた方法ですが、更新スケジュールの合間に不一致が発生する可能性があります。
  • 同期: 同期プロセスはすべての変更後に実行されます。リソースをより多く消費する方法ですが、リアルタイムでデータを更新できます。

データ転送プロセスは、Web またはファイル転送プロセスを通じて発生する場合があります。同期が ETL プラットフォームを使用する場合、手動での介入なしにバックグラウンドで自動更新されます。

4.    受信した変更の解析

2 つのデータインスタンスが同一でない場合、受信データは、クレンジングと調和を実行する変換レイヤーを通過します。

5.    既存データへの変更の適用

同期プロセスでは、以下の複数の方法のいずれかを使用して、受信した変更をターゲットデータに書き込みます。

  • トランザクション: 変更を 1 つずつ発生順に適用し、すべてのデータインスタンスのローカル変更履歴が同様になるようにします。
  • スナップショット: 変更を集約して適用することで、すべてのデータを同一にしますが、完全な変更履歴を保持するのはオリジナルのバージョンのみです。
  • マージ: 両方の側で発生した変更を統合します。いずれかのバージョンを優先的なソースと見なすことはせず、両方のデータインスタンスを更新して、すべての変更を反映します。

いずれの方法でも、データロスを生じさせずに各データインスタンスを更新することを目標としています。

6.    更新が正常完了したことの確認

システムが更新されると、何らかの方法を使用して、正常に更新されたことを確認します。たとえば、アプリケーションプログラミングインターフェース (API) が更新を処理した場合は、成功を確認するメッセージを返します。この確認メッセージの送信が失敗すると、プロセスは更新を再開しようとするか、エラーメッセージを返します。

データ同期の方法

使用できるデータ同期方法は複数あります。それらを以下で説明します。

  • ファイル同期: 自宅でのバックアップ、フラッシュドライブによるポータブルデータの更新、または外部ハードドライブなどで使用されます。手動でコピーするよりも迅速でエラーが少なく、複数の場所で同じデータを共有することができます。さらに、同一ファイルの重複を防止でき、同期を自動実行することができます。
  • バージョン管理: 複数のユーザーが同時に変更する可能性のあるファイルに適した同期ソリューションです。
  • 分散ファイルシステム (DFS): 複数のファイルバージョンを含む、接続されたデバイス間でのみ機能します。システムによっては、デバイスの接続を短時間解除して、プロセスの一環として同期の前にデータ調整を実施することもできます。
  • ミラーコンピューティング: データセットの正確なコピーを含む異なるソースを提供します。1 つの場所に同一のコピーを提供するだけなので、バックアップに有効です。

ファイル同期およびバージョン管理ツールでは、複数のファイルコピーを一度に変更することができます。一方、DFS およびミラーツールは用途がより限定されます。

データ同期、統合、プッシュ、レプリケーションの違い

以下に、同期、統合、レプリケーション、データプッシュの定義と違いを示します。

  • データ同期: 統合の一種で、データベース間でデータの一貫性を維持します。データベース通信を常に保ち、ソースとターゲット間の変更を適用して両者が同一であることを保証する継続的なプロセスです。
  • データ統合: さまざまなソースのソフトウェアやデータのピースを統一ビューまたは単一データセットへとまとめることを意味します。データ同期は統合の一種ですが、統合プロセスがすべて適切なデータ同期となるわけではありません。
  • データプッシュ: 統合のもう一つの方式であり、異なる結果をもたらします。このプロセスでは、作成後すぐにデータを指定されたポイント「A」から「B」へと移します。ポイント A での作成後にポイント B で同じデータを手動作成することはできません。その代わりに、ポイント B は、ポイント A から自動的にデータを受け取ります。双方向で動作するデータ同期とは異なり、データプッシュは一方向でのみ動作します。
  • データレプリケーション: 類似データを複数の場所に保存して、可用性とアクセス性を高め、損失を防止するプロセスです。これは一方向のみで機能するプロセスであり、ソースデータをストレージデバイスやサーバーなどの別のインスタンスへ完全にミラーリング、バックアップ、またはレプリケートします。

データ同期が重要である理由

企業は、多数のアプリケーションとソフトウェアプログラムを通じてデータを収集および処理します。中には、100 を超えるソフトウェアツールを使って業務を実行している企業もあります。その結果、従業員は、さまざまなアプリケーションで同じデータセットを表示することになります。具体的には次のとおりです。

  • マーケターはリードをマーケティング自動化プラットフォームで表示し、営業担当者は顧客関係管理 (CRM) プラットフォームで表示します。
  • 人事 (HR) チームは従業員情報を人事情報システム (HRIS) で表示し、IT チームは IT サービス管理 (ITSM) で追跡します。
  • 財務チームは、販売注文をエンタープライズリソース計画 (ERP) システムでレビューし、顧客対応の従業員は CRM で表示します。

結果として、多くの情報が異種のソースから入力されるため、互いに通信していないと、データベースは容易に秩序を失い、整合性を欠くようになります。

異なるアプリケーションをまたいで同じデータを利用することは、個々のチームにとって不可欠です。しかし、データの結合と同期が行われていなければ、更新されたデータをアプリに手動で再入力しなければならなくなります。これでは従業員の負担が多きすぎるうえ、エラーも発生しやすくなり、さらなる不一致の発生につながります。

データが同期されていないと、以下のような多くの弊害が発生することになります。

  • データのサイロ化
  • アプリケーションでのデータの競合や重複
  • 部署間での不整合や摩擦
  • 低品質で古いデータ
  • 意味をなさず役に立たない内容を含むデータの増大
  • チーム間でのコミュニケーションやコラボレーションの不足
  • サポート担当者が顧客履歴全体にアクセスできないことによって発生する不正確さや重複による、カスタマーサポートの品質低下
  • データがさまざまなツールに散在しているため、データ主導のインサイトに基づく正確で、わかりやすく、実用的なレポートの構築が困難
  • 不適切な意思決定プロセス

こうした問題が、低いデータ品質や不十分なデータ管理によってが企業に年間数百万ドルの負担がかかる理由です。

データを同期することで、企業はビジネスのあらゆる側面を明確に把握し、コミュニケーションの透明性を確保し、実用的で信頼性の高いレポートを生成できます。また、共通目標、チームワーク、情報に基づく意思決定に関して部門が連携できます。

データ同期は信頼できるデータへの鍵

クラウドベースのデータとモバイルデバイスへのアクセスが増加するにつれ、データ同期の重要性が高まっています。モバイルデバイスはあらゆる企業に浸透しており、多くの新しい問題やソリューションを生み出しています。これらのデバイスは、基本業務のためのデータだけでなく、Web サイト、メール、アプリなどの個人情報も使用します。

このため、ユーザーが生成する情報とエンドターゲットの更新は、持続的かつ安全に行われる必要があります。さらに、製品の性能やサービス品質を維持し、セキュリティや規制コンプライアンスなどのデータガバナンスの課題に対応するには、クリーンで一貫性のある最新のデータが必要になります。

データの競合は、データ品質の低下やエラーを発生させ、信頼の欠如につながる可能性があります。システム全体にわたってデータ同期を適切に実装すると、以下のような多くの領域でパフォーマンスが向上します。

  • ビジネスシステム
  • 物流と輸送
  • 注文管理
  • 営業チームの生産性
  • コスト効率
  • 請求書の正確性
  • レピュテーション管理
  • カスタマーサポート

さらに、データの可用性とタイムリーなエラー解決により、時間が節約され、新製品の開発、戦略的な意思決定、マーケティングなどの重要なビジネス開発プロセスに重点を置くことができます。以下のように、誰もがデータ同期の恩恵を受けることになります。

  • エグゼクティブは、最新のデータを受け取って重要な戦略決定に役立てられます
  • 株主は企業の利益を常に把握できます
  • ディストリビュータは最新の製品およびマーケティング情報にアクセスできます
  • 顧客は、特定のニーズに合う製品情報およびサービスを受け取れます
  • 従業員は、最新かつリアルタイムな情報に基づいてあらゆる部門とやりとりできます
  • 製造者は、正確な設計と生産のために最新の変更および更新にアクセスできます
  • IT 部門は、プログラムとセキュリティアップデートおよびパッチを迅速かつ効率的に配信できます

全体として、データ同期によって企業の業務が円滑に進むようになります。また、データ同期は拡張可能です。

データ同期のユースケース

データ同期は、以下をはじめとするさまざまな状況で役立ちます。

1.    データの調和

同期は、2 つ以上のデータソースの一貫性を維持するのに役立ちます。つまり、1 つのソースでの更新がその他すべてにミラーリングされます。たとえば、CRM、請求システム、顧客の電子商取引アカウント、その他のフルフィルメントシステムなど、データベース上の複数の場所やアプリケーションで顧客のアドレスが参照される場合があります。

このような場合、顧客が電子商取引アカウントで住所を変更した場合、その変更は同期プロセスを通じてその他すべてのシステムに反映される必要があります。

2.    分散コンピューティング

クラウドコンピューティングや分散システムでは、データが複数の場所に存在する可能性があるため同期が不可欠です。同期により、ユーザーは常に最新のデータバージョンにアクセスでき、更新内容が確実に保存されます。

たとえば、DropBox、OneDrive などのクラウドサービスを使用する場合、ユーザーは、1 つのデバイスでドキュメントを作成してクラウドに保存し、別のアプリケーション、Web ブラウザ、またはデバイスで開くことができます。クラウドサーバーは、ユーザーが行った変更を反映して保存し、接続されたすべてのデバイスで更新を適用して古いバージョンを最新のコピーに置き換えます。

また、データがオンプレミスおよび Microsoft AzureAWSGoogle Cloud Platform などのクラウドサービスに保存されるハイブリッド統合環境でも、同期が役に立ちます。AWS データ同期や Azure データ同期などのプロセスは、データの強化、フィルタリング、変換、集約を処理してからデータを転送して保存します。逆の場合も同様です。これは、データの正確性と一貫性を維持しながら、業務を中断することなくリアルタイムで行われます。

3.    ストレージと分析

データレプリケーションは、データウェアハウスなどのリポジトリにデータを保存するときに使用されます。ただし、データの更新にはリアルタイム同期が必要です。たとえば、ディザスタリカバリシナリオでは、企業は最新のデータスナップショットが必要になります。したがって、バックアップが定期的に同期されていれば、大規模なデータ損失が回避されます。

4.    更新の配布

同期には、リレーショナルデータベースの構造の変更など、大規模な変更を含めることができます。このため、プロセスで、テーブルの追加や削除、列の名前変更を行うことができます。たとえば、GDPR でユーザーに cookie 設定について質問するという要件が導入されたとき、影響を受ける企業は、新しいデータベース列、場合によっては完全に新しいテーブルを導入して追加情報を保存する必要がありました。これらの変更は、ネットワーク全体にわたるすべてのデータベースインスタンスで反映される必要があります。

5.    その他のユースケース

その他の同期ユースケースには以下のようなものがあります。

  • データの可用性の維持
  • 異なるビジネスユニットの統合
  • ビジネスプロセスについての 360 度の視点の作成

データ同期の利点

データ同期には以下のような利点があります。

  • データサイロの解消: 従業員は自身のアプリケーションでデータにアクセスできるため、毎回アクセスを要求する必要がありません。また、データの有無や加えられた変更をすべて把握できます。
  • 大規模なデータ入力作業が不要: データとすべての変更を手動で入力するという面倒で単調な作業を行う必要がなくなります。そのため、従業員はその他の重要なタスクに集中できます。
  • 複数のデータ操作の実行が可能: レコードの作成、更新、削除が容易になるため、ビジネスの価値が高まり、従業員の効率も向上します。
  • リアルタイムでのデータ同期の実現: 一括でのデータ同期が有効な場面もありますが、企業活動を成功に導くためには、ほぼリアルタイムでのデータ同期が必要不可欠です。
  • データ損失の防止: 継続的な同期により、初回データバックアップ以降もデータの最新性が保証されます。

データ同期の課題

データ同期には高度な専門知識が求められる訳ではありませんが、クラウドおよびオンプレミスシステム全域でデータの健全性と最新性を維持することは簡単ではありません。以下のような課題があります。

  • セキュリティ: データ同期のセキュリティと機密性は、妥協の余地のない問題です。リモートワークと職場でのモバイルデバイス (BYOD) の使用が新たな標準となったため、柔軟性の向上を求める企業では、データの漏えい、侵害、損失の防止が課題となっています。さらに、同期ツールは規制標準に対応する必要があります。そうしないと、企業は罰金、データ損失、顧客離れ、評判の低下といったリスクを抱えることになります。
  • データ品質: 複数のアプリを使用する必要があるため、信頼性の高い同期ソリューションがなくては、協調しながら業務を行うことはできません。したがって、シームレスな同期システムを導入しなければ、企業は機能停止のリスクにさらされることになります。
  • データの複雑さと互換性: データが増えると、複雑さも増します。データは企業の成長とともに増えていくため、データ形式もまた、従業員、顧客、ベンダー、製品の増減にともない、増加や変化を続けます。企業にとっては、新しいデータと古いシステムを連結させようとする際に課題が生じることになります。
  • リアルタイム更新: リアルタイムでのデータの自動処理は、もはや先進機能ではなく必要不可欠な機能となっています。これがなければ、同期ソリューションを有効に活用することはできません。
  • パフォーマンス: データ同期には、データの抽出、変換、読み込みという処理がともないます。そのため、適切なキャパシティ計画が必要です。これを怠ると、大量データでのリアルタイム同期のピーク時に、システムに悪影響が及びます。
  • メンテナンス: 同期プロセスをスケジュールどおりに確実に実行するためには、定期的なメンテナンスと適切な管理が必要です。

データ同期ツール

使用できるデータ同期ソリューションにはさまざまな種類があります。たとえば次のようなものです。

  • API を介してアプリを接続する iPaaS (integration platform as a service)
  • 人間のタスクを模倣するボットが搭載された RPA ソフトウェア
  • API を介してアプリを統合し、エンドツーエンドでワークフローを自動化できるエンタープライズ自動化プラットフォーム

ベリタスが提供するデータ同期

ベリタスは、SyncNetBackupData を介して NetBackup データ同期を提供します。資産に同期のフラグが付けられるたびに API が呼び出されます。その後、システム更新によって、マークされた資産が選択されます。プロセスによってイメージと保護がインポートされ、トラフィックライトのステータスが再計算されます。

デフォルトでは、100 個の資産を一括して 5 分で、またはインポート用にマークされた資産がなくなるまで処理します。また、Backup Now 要求で特定の資産が優先度の高い資産としてマークされていない限り、最初に追加された資産が優先的に処理されます。

同期が失敗すると、システムはその資産をしばらくの間ロックして他の資産を処理することで、処理が滞留しないようにします。

結論

データ同期ソリューションには多くの選択肢があるため、企業は以下の質問項目に答えられる明確な戦略が必要です。

  • どのような種類のデータを同期するか?
  • どのような種類のアプリを統合するか?
  • 異なるアプリ間でデータをどのように受け渡すか?
  • どの程度のデータボリュームが想定されるか?
  • リアルタイム同期のためのリソースがあるか、または一括での同期で問題ないか?

運用上の課題を解決できる統合ツールをすべて備えたアプリケーションが手に入る場合もあるでしょう。たとえば、NetBackup では、データを同期するための最も安全かつ簡単で直感的な方法が提供されます。また場合によっては、ニーズに応えられる iPaaS ソリューションを 1 つ以上用意することが必要になるかもしれません。

Fortune 100 企業の 98% がベリタスのお客様です。また、NetBackup™ は大量のデータのバックアップを検討している大企業にとって第一の選択肢です。

ベリタスの大企業向けデータ保護サービスがどのように仮想、物理、クラウド、およびレガシーの各ワークロードに対して完全なデータ保護を維持しているかをご確認ください。