什么是数据编织（Data Fabric）？

数据编织（data fabric）是一种现代化的数据管理方法，可加快和简化整个企业对数据资产的访问。

它与数据湖和数据仓库等方法有本质区别，因为它不是创建更多的数据孤岛，而是对企业现有数据和数据管理资产的补充，并能根据需要直接从源系统访问所需数据。

通过自动化和实时处理，它可确保数据始终可访问、安全并随时可用于分析。这种方法不仅简化了数据管理，而且还使组织能够有效利用更多和更新的数据，以获得更深入的见解，推动创新和提高运营效率。采用数据结构的组织可从更高的运营效率和更具战略性的数据使用中获益。

要了解数据编织，就必须掌握其基本组成部分，了解其通过改进数据管理和可访问性为企业带来的价值。

数据编织（data fabirc）指的是一种架构和一组数据服务，可在企业内部、混合和多云环境中，以不同格式和不同延迟，为各种数据源提供一致的功能。

数据编织（data fabric）可实现对不同数据集中、一致的查看——尽管数据驻留在不同的格式和位置——供广泛的消费者和用例使用。

您可以将数据编织（data fabric）想象成管弦乐队的指挥。

就像指挥家协调各种乐器以演奏出统一优美的乐曲一样，数据编织（data fabric）可将各种来源的数据（应用程序、数据库、文件、消息队列等）集成并管理到一个具有凝聚力和可用性的结构中。

• 连接和收集： 对于某些应用程序来说，在数据存在的地方处理数据更合适或更高效，而无需持久化数据（连接）。 在其他情况下，最好是持久保存数据（收集）。 数据编织（data fabric）应支持这两种方法。
• 可扩展性：该架构可进行横向和纵向扩展，在不影响性能的情况下适应不断增长的数据量。
• 灵活性：数据编织（data fabric）必须支持多种数据类型，使企业能够处理来自任何内部和外部来源以及任何格式的数据。
• 互操作性：数据编织（data fabric）架构强调不同平台和环境之间的互操作性，确保数据能够自由、安全地流动。
• 自动化：通过自动执行数据管理任务，数据编织（data fabric）可以减少人工干预的需要，从而提高效率并降低出错的可能性。

企业并不缺乏数据。 事实上，当今组织收集的数据比过去任何时候都要多得多。 这就是数据编织（data fabric）如此重要的原因——它们解决了由不同来源生成的大量不同数据所带来的复杂性。

数据编织（data fabric）简化了不同系统之间的数据访问和互操作性，从而使企业能够及时做出明智的决策。

它们还大大减少了管理数据所需的时间和精力，这对于以数据为导向的现代企业来说是不可或缺的。

利用数据编织（data fabric）架构可为企业带来众多优势，这些优势专为驾驭现代数据景观的复杂性和释放隐藏在庞大而多样的数据资产中的价值而量身定制。

高级别优势包括：

• 提高运行效率
• 改进战略决策
• 简化业务工作流程
• 提高监管合规性

下面是其他一些具体的好处：

• 跨越孤岛的无缝访问：数据编织（data fabric）弥合了数据孤岛之间的鸿沟，提供了跨越不同环境、平台和地点对一致且可信数据的统一访问。 这种无缝访问支持组织内更好的整合与协作。
• 实时数据可用性：通过促进实时数据处理和整合，数据编织（data fabric）可确保决策者获得最新信息，提高对市场变化和机遇的响应能力。

• 简化数据治理：有了数据编织（data fabric），企业就可以在所有数据中实施和执行一致的数据治理政策，无论这些数据位于何处。 这种统一的管理方法有助于保持数据的质量、准确性和合规性。
• 自动化数据处理：数据编织（data fabric）架构在集成、数据发现、分类、访问和质量控制方面采用了自动化技术，从而减少了人工操作并将错误降到最低。 这种自动化支持更高效、更可靠的数据管理实践。

• 更快、更灵活的分析：通过提供企业数据全貌的整体视图，数据编织（data fabric）可实现更快的数据分析和更灵活的商业智能。 这种功能使公司能够迅速将数据转化为可操作的见解。
• 支持高级数据分析：某些数据架构旨在直接在架构内处理复杂的数据处理和分析工作负载，包括 机器学习和人工智能，使企业能够直接在架构内执行高级分析战略，从而获得竞争优势。 这些功能消除了将大型数据提取复制到单独环境中进行分析的必要性，是实时和近实时用例的理想选择。 它们有时被称为 智能数据编织（data fabric）。

• 降低数据管理的复杂性：通过抽象底层数据源和基础设施的复杂性，数据编织（data fabric）使企业能够更高效地管理数据，从而减少所需的时间和资源。
• 降低基础设施成本：通过更好的数据管理和高效整合各种数据源的能力，企业可以优化其数据存储和处理基础设施，从而大幅节约成本。

• 一致的安全策略：数据编织（data fabric）可对所有数据执行一致的安全策略和访问控制，有助于保护敏感信息，降低数据泄露的风险。
• 简化合规性：数据编织（data fabric）支持的统一治理模式，通过提供跨不同司法管辖区的数据跟踪和脉络、报告和政策执行工具，简化了数据保护和行业法规的合规性。

数据编织（data fabric）能够在多个平台和地点使用多种数据类型和数据集成方式。

以下是有关数据编织（data fabric）工作原理的更多详情。

1. 数据摄取层该层

负责连接和收集各种来源的数据，包括数据库、云服务、SaaS 平台、物联网设备和企业内部系统。

它支持多种数据格式和摄取方法，包括连接（虚拟化）和收集（持久化）范例，确保准确捕获数据，并令其可用。

2. 数据存储和组织层

在这一层，输入的数据应存储在一个灵活、多模型的数据存储引擎中。

这一层强调数据的组织和编目，采用元数据管理，以方便发现和访问。

3. 数据处理和集成层

对数据编织（data fabric）中的数据进行处理和转换，以满足不同应用和分析的需要。 这包括清理、转换、规范化、验证、对账、充实和其他任务。

整合方面可以协调不同来源的数据，确保数据的一致性、准确性，并可在整个组织内使用。

4. 数据治理和安全层

该层是数据编织（data fabric）架构的核心，实施数据质量、隐私、合规性和安全性政策。

它确保数据使用符合监管标准和组织政策，应用加密、访问控制和审计机制来保护敏感信息。

5. 数据访问和交付层

该层有助于在企业内部以及必要时与外部合作伙伴高效访问和共享数据。

它支持各种数据交付机制，包括应用程序接口、数据服务和事件流，使用户和应用程序能够以方便的方式检索和订阅所需的数据。 数据编织（data fabric）应支持各种访问协议，包括关系型、文档型、REST 型等，而无需数据映射和重复。

6. 分析和洞察层

分析处理功能应直接构建在数据编织（data fabric）本身中，包括

• 高级分析
• 机器学习
• 生成式人工智能
• 商业智能
• 自然语言处理
• 业务规则
• 分析 SQL

以及其他分析功能，从数据中生成见解和程序化操作——所有这些都不需要将数据摘录复制到外部环境。
数据编织（data fabric）应支持实时分析、智能操作工作流和决策，帮助企业从数据中获得可操作的情报和战略价值。

让我们举几个假设的例子，看看不同类型的公司如何利用数据编织（data fabric）技术来解决独特的业务挑战，从而突出数据编织（data fabric）解决方案的多样性和适应性。

场景：一家全球零售公司希望在其在线平台、实体店和移动应用程序中创建统一的客户视图，以提供个性化购物体验并提高客户忠诚度。数据结构用途：该公司实施了一个数据结构，以整合来自电子商务系统、实体店销售点系统、客户关系管理系统、移动应用程序使用数据以及社交媒体平台上客户反馈的客户数据。该数据结构可提供客户互动和偏好的 360 度实时视图，并为客户的下一步最

佳行动和促销活动提供建议。所用技术：客户行为实时分析、个性化机器学习模型以及无缝整合不同数据源的数据虚拟化功能。

场景：一家跨国银行需要在不影响客户服务的情况下，增强其欺诈检测能力，并确保符合全球监管要求。

应用数据编织（data fabric）：通过采用数据编织（data fabric），该银行可实时集成不同业务部门和平台的交易数据，应用高级分析和人工智能驱动的模型，更有效地检测欺诈活动。 它还通过统一的治理框架确保所有数据遵守区域法规，从而自动化遵从性报告。

技术：用于欺诈检测的机器学习、可触发 ML 模型程序化执行的实时流摄取功能，以及数据编织（data fabric）架构内的自动合规工具。

场景：医疗保健系统旨在通过整合患者记录、研究数据和实时健康监测设备来改善患者护理效果并推进医学研究。

应用数据编织（data fabric）：医疗保健系统使用数据编织（data fabric）来统一电子健康记录（EHR）、基因组研究数据以及来自可穿戴设备和院内监测设备的物联网设备数据。 这种集成可以实现个性化的患者护理计划，并打破阻碍良好患者护理的数据孤岛。

技术：用于实时健康监测的物联网数据集成、用于研究的数据分析以及用于安全、私密地访问数据的安全数据交换平台。

场景：一家国际制造公司寻求优化其供应链运营，以降低成本并缩短产品上市时间。数据结构用途：该公司部署了一个数据结构，以整合来自其供应链合作伙伴、生产线传感器和库存管理系统的数据。利用预测分析，数据结构可在潜在的供应链中断发生之前识别出这些中断，并提出优化策略，以满足客户承诺和服务水平协议。技术：

用于供应链洞察的预测分析、用于生产线监控的物联网以及用于合作伙伴生态系统的数据整合工具。

数据虚拟化（Data Virtualization）是一种可以实时或近乎实时地整合不同来源数据的技术，而不需要对数据进行物理移动或复制。

它为来自多个异构来源（包括数据库、文件、网络服务和应用程序）的数据创建了统一的抽象视图，使其可以通过单一虚拟层进行访问。

这种方法便于以对最终用户或应用程序最有用的格式和结构访问数据——无论数据的原始格式或位置如何。

数据虚拟化的主要特征包括：

• 降低复杂性：最大限度地减少对数据复制和物理数据存储的需求，从而降低存储成本并消除数据冗余，从而简化数据环境。
• 整合不同的数据源：它可以将驻留在不同格式和位置的数据结合起来，提供跨分布式和不同数据的综合视图。
• 实时数据访问：提供实时访问和查询数据的功能，确保用户掌握最新信息。

通用语义层是位于业务用户（如业务分析师、应用程序和决策者）和底层数据源之间的一个抽象层。

该层抽象了数据存储的技术细节，为整个企业的数据访问提供了一个统一、简化的界面。

通用语义层支持

• 数据抽象：为所有数据消费者提供一致的、业务友好的数据模型。
• 查询优化：智能查询处理功能可确保高效满足数据请求，优化性能和资源利用率。
• 数据安全和管理：对数据访问和使用进行集中控制，在所有数据中统一实施安全、隐私和合规规则。

实施数据编织（data fabric）需要采用结构化方法，并遵守行业最佳实践，以确保解决方案的稳健性和可扩展性。

这一过程涉及几个关键步骤，从规划与设计，到部署和持续优化。 以下是一份循序渐进的指南，可帮助您的组织踏上这一征程：

1. 确定业务目标：了解数据编织（data fabric）旨在实现的具体业务成果，如提高数据可访问性、改善决策或增强客户体验。
2. 评估当前的数据挑战：指出现有的数据管理挑战，包括数据孤岛、数据质量问题或数据处理效率低下。

1. 编目数据源：清点组织内的相关数据源，包括数据库、文件、内部和云应用程序、云存储以及第三方数据和应用程序。
2. 评估数据基础设施：评估数据基础设施的现状，以确定在处理、加工、存储和分析数据方面可能存在的差距或需要改进的地方。

1. 选择正确的技术：根据目标和现状评估，为数据编织（data fabric）选择合适的功能。 数据编织（data fabric）架构可能需要许多不同的数据管理功能或服务。 最佳做法之一是寻找能在单一产品中集成多种所需功能的平台，从而最大限度地降低复杂性，加快实现价值的时间。
2. 架构蓝图：制定详细的架构蓝图，概述数据结构不同组件的交互方式，确保可扩展性、安全性和合规性。

1. 数据管理政策：制定明确的数据管理政策，涵盖数据质量、隐私、安全和合规标准。
2. 角色和责任：确定数据管理的角色和责任，确保整个组织对数据的责任和所有权。

1. 选择试点领域：选择一个特定的业务领域或使用案例来试点实施数据编织（data fabric）。 这应该是一个能够提供速赢或有价值见解的领域。
2. 实施和测试：部署必要的功能并集成选定的数据源。 通过在特定用例中演练数据访问、集成和分析功能，验证实施效果。

1. 逐步扩大：在试点成功的基础上，逐步扩大数据结构的范围，纳入更多的数据源和业务领域。
2. 监控和优化：持续监控数据编织（data fabric）的性能，根据需要进行调整，以提高效率、可扩展性和数据质量。

1. 培训和支持：提供培训和资源，确保员工能够有效利用数据编织（data fabric）进行数据访问和分析。
2. 鼓励协作：营造一种协作环境，在这种环境中，数据洞察力得到共享，并用于推动整个组织的决策过程。

1. 反馈回路：建立收集数据编织（data fabric）用户反馈的机制，以确定需要改进的领域。
2. 保持更新：紧跟数据管理技术和实践的进步，确保数据编织（data fabric）不断发展，以满足未来的业务需求和机遇。

按照这些步骤，企业就能成功部署数据编织（data fabric），提高利用数据获取竞争优势、运营效率和创新的能力。

通过打破孤岛，整合不同来源和平台上的数据，数据编织（data fabric）不仅简化了数据管理，还开启了洞察、效率和创新的新领域。

随着企业不断应对数字时代的复杂性，数据编织（data fabric）架构提供的敏捷性和智能性成为不可或缺的资产。

在众多能够构建健壮数据编织（data fabric）的技术中， InterSystems IRIS脱颖而出。

InterSystems IRIS提供了在单个产品中实现实时、智能数据编织（data fabric）架构所需的许多功能，消除了部署、集成和维护数十种不同技术的需要。

与使用多点解决方案构建解决方案相比，在基于单个代码库的单个产品中提供所有这些功能可以加快实现价值的时间，降低系统复杂性，简化维护，并在需要更少系统资源的同时提供更高的性能。

凭借其在单一数据引擎中处理各种数据类型的能力、高性能实时数据集成和复杂分析以及关键任务事务和事件处理能力，InterSystems IRIS为组织提供了一种可扩展、安全且有效的方式来实现其数据的全部潜力。

通过利用像InterSystems IRIS这样的先进技术，组织可以加速旅程，实现真正的数据驱动，确保其准备好迎接未来的挑战和机遇。

实现数据编织（data fabric）的道路可能需要战略规划、承诺和正确的技术伙伴关系，但是增强的数据可访问性、改进的决策和卓越运营，这些益处值得努力。