19年创业做过一年的量化交易但没有成功，作为交易系统的开发人员积累了一些经验，最近想重新研究交易系统，一边整理一边写出来一些思考供大家参考，也希望跟做量化的朋友有更多的交流和合作。

关于数据采集方面，首先聊聊数据采集源的选择。

数据源的选择是数据采集模块的首要步骤，它直接影响数据的可靠性、准确性以及系统的实时性。一个完善的数据采集系统应该能够整合多个来源的数据，确保数据的全面性和冗余性，避免单一数据源出现故障导致的系统中断。以下是关于数据源选择的详细扩展。

3.1.1 交易所 API

交易所 API 是最直接的数据源，提供了实时和历史的市场数据，包括行情数据、订单簿、成交明细等信息。交易所 API 通常包括以下两种主要类型：

- REST API：交易所的 REST API 允许用户通过 HTTP 请求获取市场数据、账户信息等。REST API 适合获取历史数据、查询当前市场价格等相对不频繁的请求。优点是实现简单、数据稳定，但缺点是存在延迟，且请求频率受限。例如，Binance 和 Okex 提供的 REST API，允许用户访问多种类型的数据，获取历史 K 线数据以及当前市场状态。
- WebSocket API：WebSocket 提供了一个实时数据流接口，适用于需要频繁更新的数据，例如订单簿的深度变化、实时成交情况等。WebSocket API 通过长连接将数据实时推送到客户端，具有低延迟、高实时性的优势。对于高频交易和需要快速响应的交易策略，WebSocket API 是最佳选择。例如，Binance和Okex提供的 WebSocket 可以实时订阅交易对的价格变动、订单簿更新等信息。

交易所 API 的选择还需考虑交易所的稳定性、数据的完整性、API 调用限制等因素。通常情况下，为了提高系统的稳定性，建议同时使用多个交易所的 API，以实现冗余数据源，并通过数据对比来确保数据的一致性和准确性。

3.1.2 第三方数据供应商

除了交易所的官方 API，第三方数据供应商也是一个重要的数据源选择，特别是对于需要整合来自多个交易所的数据或对数据进行预处理的场景。这些第三方数据供应商通常提供更加简化的接口和增强的数据服务，如聚合多个交易所的行情、计算技术指标等。

- Wind、迅投、聚宽和TradingView等第三方供应商提供的 API 允许开发者以统一的格式获取不同市场的数据，不仅包括加密货币，还涵盖股票、外汇等多类金融资产。这对于开发跨市场套利策略的系统非常重要。
- 聚合数据源：有些第三方供应商专门提供多家交易所的整合数据，例如 Wind和TradingView，这些平台收集多个交易所的价格、交易量等数据，通过统一的 API 提供给开发者。这使得开发者能够方便地访问不同交易所的行情，而无需单独对每个交易所的 API 进行集成。

第三方数据供应商的优势在于提供了统一的接口、数据的广泛性和数据处理的便利性，开发者可以节省数据处理的时间。但缺点是通常会涉及到额外的费用，并且数据的实时性和准确性可能略低于直接从交易所获取的数据。因此，选择第三方供应商时需要权衡数据的需求、实时性以及成本因素。

3.1.3 数据源的冗余与多样化

在设计数据采集模块时，确保数据源的冗余与多样化至关重要，这样可以在主数据源失效时迅速切换到备用数据源，保证交易系统的连续性。

- 多交易所数据源：为了降低依赖单一交易所的风险，可以选择多家交易所的数据源。例如，对于 BTC/USDT 的交易对，可以同时从 Binance、Huobi 和 Bitmex 获取数据，这样即使某个交易所发生网络故障或暂停服务，系统仍可以从其他交易所获取数据，保证策略的连续执行。
- 不同类型的数据源：结合使用交易所 API 和第三方数据供应商，利用交易所 API 获取实时的高频数据，同时通过第三方数据供应商获取汇总和分析后的市场数据，从而形成优势互补。例如，交易所 API 提供秒级的数据更新，而第三方数据供应商可以提供高质量的历史数据和技术指标。
- 本地数据缓存与存储：在采集数据时，使用本地数据库（如 MySQL、PostgreSQL 或 NoSQL 数据库如 MongoDB）缓存历史数据也是一种有效的冗余措施。在数据源临时中断的情况下，系统可以暂时使用本地缓存的数据，避免因数据缺失而导致的策略执行问题。

3.1.4 数据源选择的考虑因素

在选择数据源时，需要综合考虑多个因素，以确保数据采集模块的高效性和稳定性：

- 数据的实时性：实时性是高频交易策略的关键要求。如果交易策略需要基于秒级的市场波动进行操作，那么 WebSocket 之类的实时数据推送接口是必不可少的。在选择数据源时，需要考察其是否能够满足策略的实时性需求。
- 数据的准确性与完整性：数据的准确性是影响策略表现的关键因素，尤其是对于依赖历史数据进行回测和预测的策略而言。对于交易所 API，需要关注数据是否存在缺失或异常波动；对于第三方数据供应商，需要了解其数据来源是否可靠，是否进行了合理的清洗和处理。
- API 的稳定性与调用限制：不同交易所和第三方供应商对于 API 的调用频率限制各不相同，通常会对每秒的请求次数进行限制。在进行数据源选择时，需确认 API 的调用限制是否能够满足系统的数据采集需求，并且需要设计合理的限流机制，以避免因频繁请求而被封禁。
- 费用与成本：使用第三方数据供应商通常需要支付一定的费用，这可能是按月订阅或者按数据请求量收费。因此在选择数据源时，需要在实时性、数据质量和成本之间进行权衡。对于资金规模较小的交易系统，可以优先选择免费且高质量的交易所 API；而对于对数据有较高要求的系统，则可以考虑付费的数据服务。
- 数据的多样性：为了实现多策略交易，数据的多样性也非常重要。例如，趋势策略可能需要 K 线数据、成交量等信息，而高频策略则需要更为详细的订单簿深度数据。因此，在选择数据源时，需要考虑数据的种类和丰富程度，以满足不同策略的需求。

3.1.5 数据源的优化与组合

为了最大化数据源的效用，常常需要对多种数据源进行优化与组合使用：

- 主备数据源切换：为确保数据采集的高可用性，系统应配置主备数据源。例如，主要使用交易所的 WebSocket 数据获取实时行情，若 WebSocket 连接中断，则切换到 REST API 进行数据采集，确保数据流不中断。
- 数据对比与校验：通过从不同的数据源采集同一市场的行情数据，可以对数据进行交叉对比，以确保数据的准确性。例如，从两个交易所同时获取 BTC/USDT 的价格数据，并对其进行比对，如果发现价格差异较大，可以发出警报或进行数据修正。
- 历史数据与实时数据结合：结合历史数据和实时数据来满足不同的需求，例如在策略回测时主要使用历史数据，而在策略执行时则使用实时数据。历史数据可以定期从交易所 API 下载并存储在本地数据库中，而实时数据通过 WebSocket 或 REST API 进行更新。