首页 最新 热门 推荐

  • 首页
  • 最新
  • 热门
  • 推荐

【花雕学编程】Arduino JSON 之采用数据分批处理

  • 25-02-16 17:21
  • 2265
  • 13957
blog.csdn.net

在这里插入图片描述

Arduino是一个开放源码的电子原型平台,它可以让你用简单的硬件和软件来创建各种互动的项目。Arduino的核心是一个微控制器板,它可以通过一系列的引脚来连接各种传感器、执行器、显示器等外部设备。Arduino的编程是基于C/C++语言的,你可以使用Arduino IDE(集成开发环境)来编写、编译和上传代码到Arduino板上。Arduino还有一个丰富的库和社区,你可以利用它们来扩展Arduino的功能和学习Arduino的知识。

Arduino的特点是:
1、开放源码:Arduino的硬件和软件都是开放源码的,你可以自由地修改、复制和分享它们。
2、易用:Arduino的硬件和软件都是为初学者和非专业人士设计的,你可以轻松地上手和使用它们。
3、便宜:Arduino的硬件和软件都是非常经济的,你可以用很低的成本来实现你的想法。
4、多样:Arduino有多种型号和版本,你可以根据你的需要和喜好来选择合适的Arduino板。
5、创新:Arduino可以让你用电子的方式来表达你的创意和想象,你可以用Arduino来制作各种有趣和有用的项目,如机器人、智能家居、艺术装置等。

在这里插入图片描述
Arduino JSON 的全面详细科学解释

  1. Arduino 概述
    Arduino 是一个开源的电子原型平台,基于易用的硬件和软件。它由硬件(各种型号的 Arduino 板)和软件(Arduino IDE)组成,主要用于快速开发交互式项目。

  2. JSON 概述
    JSON(JavaScript Object Notation)是一种轻量级的数据交换格式,易于人阅读和编写,同时也易于机器解析和生成。它基于 JavaScript 的一个子集,但独立于语言,广泛用于 Web 应用和 IoT 设备之间的数据交换。

  3. Arduino JSON 的定义
    Arduino JSON 是指在 Arduino 平台上使用 JSON 格式进行数据交换和处理。通过 Arduino JSON 库,开发者可以轻松地在 Arduino 项目中解析和生成 JSON 数据。

  4. 主要功能
    数据解析: 从 JSON 字符串中提取数据。
    数据生成: 将数据转换为 JSON 格式的字符串。
    数据交换: 通过 JSON 格式与外部服务进行数据交换。

  5. 技术实现
    库支持: 使用 Arduino JSON 库(如 ArduinoJson)来解析和生成 JSON 数据。
    数据格式: JSON 数据格式包括对象(用花括号 {} 表示)和数组(用方括号 [] 表示),键值对用冒号 : 分隔。
    数据处理: 在 Arduino 上处理 JSON 数据,执行相应操作。

  6. 应用场景
    物联网(IoT): 与云平台进行数据交换。
    Web 服务: 与 Web API 进行数据交互。
    传感器数据: 处理和传输传感器数据。
    配置文件: 存储和读取配置信息。

  7. 开发工具
    Arduino IDE: 编写和上传代码到 Arduino 板。
    ArduinoJson 库: 提供 JSON 解析和生成的库。
    网络模块: 如 ESP8266、ESP32,用于连接互联网。

  8. 优势与挑战
    优势:
    轻量级: JSON 格式简洁,易于解析和生成。
    跨平台: 独立于语言,适用于多种开发环境。
    灵活性: 支持复杂的数据结构。
    挑战:
    内存限制: Arduino 内存有限,处理大 JSON 数据需优化。
    性能限制: 解析和生成 JSON 数据可能占用较多资源。
    数据安全: 需要确保数据完整性和安全性。

  9. 未来发展方向
    优化性能: 提高 JSON 解析和生成的效率。
    扩展功能: 支持更多的 JSON 特性(如 JSON Schema)。
    增强安全性: 提供数据加密和验证机制。

在这里插入图片描述
主要特点
(1)内存优化
减少一次性内存占用:数据分批处理最大的特点之一是能够有效控制内存使用量。在处理大量 JSON 数据时,若一次性全部加载和处理,可能会导致内存溢出,尤其是在 Arduino 这种资源有限的设备上。通过将数据分成若干批次,每次只处理一小部分,就可以避免占用过多的内存。例如,对于一个包含大量传感器读数的 JSON 数组,每次处理一个或几个元素,使得内存中只需存储当前批次的数据,大大降低了内存压力。
动态内存分配灵活性:采用数据分批处理允许根据批次大小动态分配内存。可以根据 Arduino 设备当前可用的内存资源和数据的紧急程度等因素,灵活调整每个批次的大小。这样能够更好地利用有限的内存,提高内存分配的效率,避免因固定的大数据块分配导致的内存浪费或不足。
(2)提高处理效率
降低处理复杂度:当面对复杂的 JSON 数据结构时,一次性处理所有数据可能会使处理逻辑变得非常复杂,容易出现错误。数据分批处理将大问题分解为多个小问题,每批次的数据处理相对简单。例如,在处理嵌套多层的 JSON 对象时,逐批处理可以更清晰地理解和操作每一层的数据,降低处理的难度,提高代码的可读性和可维护性。
分时处理优势:在多任务环境下,数据分批处理可以与其他任务分时共享处理器资源。Arduino 设备通常需要同时处理多个任务,如传感器数据采集、网络通信等。通过将 JSON 数据处理分成小批次,在每个时间片内处理一部分数据,不会长时间独占处理器,使得系统能够更高效地运行,避免某个任务过度占用资源而影响其他任务的执行。
(3)数据可靠性增强
错误隔离:如果在处理某一批次的数据时出现错误,如数据格式错误、解析异常等,由于数据是分批处理的,错误影响范围相对较小。可以更容易地定位和处理错误,而不会导致整个数据处理过程崩溃。例如,当处理一批传感器数据中的某个异常数据点时,只需要对这一批次进行错误处理,如记录错误日志、跳过错误数据等,不会影响其他批次数据的正常处理。
数据完整性验证:在每批次处理过程中,可以方便地对数据进行完整性验证。可以在每批数据的开头、中间或结尾添加校验和或其他验证机制,确保数据在传输和处理过程中没有丢失或损坏。如果某一批次验证不通过,可以及时采取补救措施,如重新请求数据或进行数据修复。

  1. 应用场景
    (1)大数据量的传感器数据处理
    环境监测系统:在一个大型的环境监测项目中,可能有多个 Arduino 设备连接大量的传感器,如温度、湿度、空气质量传感器等。这些传感器会定期发送 JSON 格式的数据,数据量可能非常大。采用数据分批处理,Arduino 设备可以逐个批次地处理传感器数据,例如,先处理温度传感器的数据批次,再处理湿度传感器的数据批次。这样可以有效地管理内存,同时保证数据的及时处理,将处理后的结果发送到服务器或进行本地存储。
    工业数据采集:在工业自动化领域,Arduino 设备用于采集各种生产设备的运行参数,这些参数以 JSON 格式发送给监控系统。对于大规模的工业生产线,数据量巨大且实时性要求高。通过数据分批处理,可以确保在有限的内存资源下,高效地处理这些数据,如对每台设备的数据进行分批解析,及时发现设备故障或异常运行状态。
    (2)网络数据传输与接收
    物联网设备与云平台通信:当 Arduino 作为物联网设备与云平台进行通信时,可能会接收或发送大量的 JSON 格式的数据。例如,云平台向 Arduino 设备发送配置更新指令或设备控制命令,这些命令可能是一个包含多个子命令的大 JSON 对象。采用数据分批处理,Arduino 设备可以逐步接收和执行这些命令,避免一次性接收过多数据导致内存不足或网络拥塞。同样,在向云平台发送数据时,也可以将数据分批发送,提高传输的成功率和效率。
    远程数据更新与同步:在一些需要远程更新设备固件或配置文件的应用中,这些文件可能以 JSON 格式传输。数据分批处理可以用于将大的固件文件或配置文件分成小批次进行传输和更新,确保更新过程的稳定性和可靠性。例如,在更新设备的用户界面配置文件时,每次处理一个小部分的 JSON 数据,逐步完成整个配置文件的更新。
    (3)数据持久化与存储
    本地数据记录:Arduino 设备可能需要将采集到的数据存储到本地存储介质,如 SD 卡。当数据量较大时,如长期记录环境监测数据或设备运行日志,采用数据分批处理可以将数据逐批写入存储介质。这样可以避免因一次性写入大量数据导致存储介质写入速度跟不上或出现写入错误。同时,在从存储介质读取数据进行分析时,也可以逐批读取,提高数据读取的效率和可靠性。
    数据库交互:如果 Arduino 设备需要与外部数据库进行交互,数据分批处理可以用于将 JSON 格式的数据批量插入数据库或从数据库批量查询数据。例如,在一个智能家居系统中,Arduino 设备将家庭设备的状态信息以 JSON 格式分批发送到家庭服务器的数据库进行存储,或者从数据库中分批查询历史设备状态数据用于分析和统计。

  2. 需要注意的事项
    (1)批次划分策略
    合理确定批次大小:批次大小的确定是数据分批处理的关键。批次太小会导致处理效率低下,因为频繁地切换批次可能会增加额外的开销,如内存分配和释放、数据索引更新等。批次太大则可能无法有效利用内存优化的优势,甚至可能导致内存溢出。需要根据数据的性质、Arduino 设备的内存容量和处理能力等因素,通过实验和测试来确定一个合理的批次大小。
    数据关联性考虑:在划分批次时,要注意数据之间的关联性。有些数据可能在逻辑上是一个整体,不能简单地按照固定大小进行划分。例如,在处理一个包含多个连续传感器读数的 JSON 数组时,如果每个读数之间存在时间序列关系,划分批次时要确保每个批次内的数据在时间上是连续的,或者在处理时能够正确恢复数据的时间顺序,避免破坏数据的关联性导致处理结果错误。
    (2)状态保存与恢复
    批次间状态管理:在处理多个批次的数据时,可能需要保存每批次处理后的状态信息,以便下一批次能够正确地继续处理。例如,在处理一个包含多个层次的 JSON 对象时,当处理完一个批次的数据后,可能已经解析到了某个特定的层次结构,下一批次需要知道这个状态才能继续正确地解析。需要设计一种有效的状态保存和恢复机制,通常可以使用变量来记录状态信息,如当前解析的位置、已经处理的数据索引等。
    错误恢复机制:如果在某一批次处理过程中出现错误,需要考虑如何恢复到一个合适的状态,以便继续处理剩余的数据。可能需要根据错误的类型和严重程度,采取不同的恢复策略。例如,对于轻微的格式错误,可以尝试跳过错误数据并继续处理下一批次;对于严重的错误,可能需要重新开始处理整个数据集,或者向上层应用报告错误并等待进一步的指示。
    (3)数据一致性
    批次内数据一致性:在每一批次的数据处理过程中,要确保数据的一致性。例如,在更新一个 JSON 对象的多个键 - 值对时,要保证这些更新操作要么全部成功,要么全部失败,避免出现部分更新导致的数据不一致问题。可以采用事务处理的概念,在一批次数据处理开始时设置一个标志,只有当所有操作都成功完成后,才更新最终的数据状态。
    批次间数据一致性:在不同批次之间,也要注意数据的一致性。特别是在处理涉及共享资源或全局状态的 JSON 数据时,如多个批次共同更新一个设备的配置文件,要防止出现数据冲突。可以使用互斥锁、信号量等同步机制,确保在一个批次处理共享资源时,其他批次不能同时访问和修改,保证整个数据处理过程中数据的一致性。

在这里插入图片描述
1、分批生成 JSON 数据

#include 
#include 

const int batchSize = 5; // 每批处理5个数据
const int totalData = 20; // 总数据量
StaticJsonDocument<200> doc;

void setup() {
    Serial.begin(115200);
    
    // 模拟分批生成数据
    for (int i = 0; i < totalData; i += batchSize) {
        // 清空文档
        doc.clear();
        
        // 生成每批数据
        for (int j = 0; j < batchSize && (i + j) < totalData; j++) {
            doc["data"][j] = i + j; // 填充数据
        }

        // 序列化并输出 JSON 字符串
        char jsonBuffer[200];
        serializeJson(doc, jsonBuffer);
        Serial.println(jsonBuffer);
        
        delay(1000); // 模拟延时
    }
}

void loop() {
    // 空循环
}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32

2、分批读取 JSON 数据

#include 
#include 

const char* json = "{\"data\":[0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19]}";
const int batchSize = 5; // 每批处理5个数据

void setup() {
    Serial.begin(115200);
    
    StaticJsonDocument<200> doc;
    DeserializationError error = deserializeJson(doc, json);
    
    if (error) {
        Serial.print(F("deserializeJson() failed: "));
        Serial.println(error.f_str());
        return;
    }

    // 读取数据分批处理
    JsonArray dataArray = doc["data"];
    for (size_t i = 0; i < dataArray.size(); i += batchSize) {
        Serial.print("Batch: ");
        for (size_t j = 0; j < batchSize && (i + j) < dataArray.size(); j++) {
            Serial.print(dataArray[i + j]);
            Serial.print(" ");
        }
        Serial.println();
        delay(1000); // 模拟延时
    }
}

void loop() {
    // 空循环
}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34

3、分批发送传感器数据

#include 
#include 

const int batchSize = 5; // 每批发送5个传感器数据
const int totalData = 20; // 总数据量

void setup() {
    Serial.begin(115200);
}

void loop() {
    // 模拟传感器数据
    StaticJsonDocument<200> doc;

    for (int i = 0; i < totalData; i += batchSize) {
        doc.clear(); // 清空文档
        
        // 生成每批传感器数据
        for (int j = 0; j < batchSize && (i + j) < totalData; j++) {
            doc["sensorData"][j]["id"] = i + j;
            doc["sensorData"][j]["value"] = random(0, 100);
        }

        // 序列化并输出 JSON 字符串
        char jsonBuffer[300];
        serializeJson(doc, jsonBuffer);
        Serial.println(jsonBuffer);
        
        delay(2000); // 模拟延时
    }
}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31

要点解读
分批处理的优势:
以上示例展示了如何将数据分批处理,从而有效管理内存和提升效率。对于大数据集,逐批处理可以避免一次性加载过多数据导致的内存溢出或性能下降。
生成 JSON 数据:
示例 1 通过循环生成多批 JSON 数据,利用 doc.clear() 清空 JSON 文档,确保每次生成的数据是独立的,适用于逐步生成数据的场景。
读取 JSON 数据:
示例 2 展示了如何从预定义的 JSON 字符串中分批读取数据。通过使用 JsonArray,可以方便地访问数组元素,适合处理来自外部源(如网络或文件)的数据。
传感器数据模拟:
示例 3 模拟传感器数据的分批发送,通过 JSON 格式输出每批数据。这种方法适用于 IoT 应用中传感器数据的收集和上报,能够提升数据传输的可靠性。
节省内存和提高响应速度:
采用分批处理策略,不仅能节省内存,还能提高程序的响应速度。分批处理使得系统可以在处理数据时保持流畅,减少延迟。

在这里插入图片描述

4、分批发送传感器数据

#include 
#include 

const int batchSize = 5; // 每批数据大小
StaticJsonDocument<200> doc;

void setup() {
    Serial.begin(115200);
}

void loop() {
    // 模拟传感器数据
    for (int i = 0; i < batchSize; i++) {
        doc["sensor" + String(i)] = random(20, 30); // 随机温度值
    }

    // 发送 JSON 数据
    char jsonBuffer[200];
    serializeJson(doc, jsonBuffer);
    Serial.println(jsonBuffer);

    // 清空数据以准备下一批
    doc.clear(); 
    delay(2000); // 每2秒发送一次
}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25

要点解读:
分批处理:每次循环生成一批指定数量的传感器数据,便于管理和发送。
随机数据模拟:使用 random() 函数生成随机数据,便于测试。
内存管理:通过 doc.clear() 清空文档内容,以准备下一批数据,避免内存占用过高。
串口输出:通过串口将生成的 JSON 数据发送出去,便于其他设备接收和解析。

5、接收和处理分批 JSON 数据

#include 
#include 

const int batchSize = 5;
StaticJsonDocument<200> doc;

void setup() {
    Serial.begin(115200);
}

void loop() {
    if (Serial.available() > 0) {
        String jsonString = Serial.readStringUntil('\n'); // 读取一行 JSON 数据
        DeserializationError error = deserializeJson(doc, jsonString);

        if (!error) {
            // 处理接收到的数据
            for (int i = 0; i < batchSize; i++) {
                if (doc.containsKey("sensor" + String(i))) {
                    int value = doc["sensor" + String(i)];
                    Serial.print("Received sensor");
                    Serial.print(i);
                    Serial.print(": ");
                    Serial.println(value);
                }
            }
        } else {
            Serial.print("Failed to parse JSON: ");
            Serial.println(error.f_str());
        }
    }
}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32

要点解读:
JSON 数据接收:通过串口读取接收到的 JSON 数据,适应分批处理的需求。
解析 JSON:使用 deserializeJson() 方法将接收到的 JSON 字符串解析为对象。
数据处理:遍历解析后的数据并处理每个传感器的值,进行相应的操作。
错误处理:在解析过程中加入错误处理,确保程序的健壮性。

6、分批存储与读取数据

#include 
#include 
#include 

const int batchSize = 5;
DynamicJsonDocument* cache[batchSize];
File dataFile;

void setup() {
    Serial.begin(115200);
    if (!SD.begin()) {
        Serial.println("SD card initialization failed!");
        return;
    }
    dataFile = SD.open("data.json", FILE_WRITE);

    // 初始化缓存
    for (int i = 0; i < batchSize; i++) {
        cache[i] = new DynamicJsonDocument(256); // 每个缓存项分配256字节内存
    }
}

void loop() {
    // 模拟生成传感器数据
    for (int i = 0; i < batchSize; i++) {
        (*cache[i])["sensor"] = "temperature";
        (*cache[i])["value"] = random(20, 30); // 随机温度值
    }

    // 将数据写入 SD 卡
    for (int i = 0; i < batchSize; i++) {
        if (dataFile) {
            char jsonBuffer[256];
            serializeJson(*cache[i], jsonBuffer);
            dataFile.println(jsonBuffer); // 写入文件
        }
    }

    // 读取并输出数据
    dataFile.close();
    dataFile = SD.open("data.json", FILE_READ);
    while (dataFile.available()) {
        String line = dataFile.readStringUntil('\n'); // 逐行读取
        Serial.println(line);
    }
    dataFile.close();

    // 清理内存
    for (int i = 0; i < batchSize; i++) {
        cache[i]->clear(); // 清空之前的数据
        delete cache[i]; // 释放内存
    }

    delay(5000); // 每5秒更新一次
}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55

要点解读:
分批存储:将生成的传感器数据分批存储到SD卡,适合大数据量的处理。
动态内存管理:使用 DynamicJsonDocument 动态分配内存,适应不同大小的数据存储需求。
文件操作:通过 SD 库实现文件的写入和读取,确保数据的持久化存储。
内存清理:及时清理和释放内存,防止内存泄漏,保持系统的稳定性。

总结
以上几个案例展示了如何在Arduino中使用JSON库进行数据分批处理。关键点包括:
分批管理:采用分批处理的方式有效管理和发送数据,减少内存占用。
内存管理:使用静态和动态内存分配,根据数据量选择合适的内存策略。
数据存储与读取:结合SD卡实现数据的持久化存储和后续读取,适合长期运行的应用场景。
实时监控与调试:通过串口输出数据,帮助开发者监控程序状态和进行调试。

注意,以上案例只是为了拓展思路,仅供参考。它们可能有错误、不适用或者无法编译。您的硬件平台、使用场景和Arduino版本可能影响使用方法的选择。实际编程时,您要根据自己的硬件配置、使用场景和具体需求进行调整,并多次实际测试。您还要正确连接硬件,了解所用传感器和设备的规范和特性。涉及硬件操作的代码,您要在使用前确认引脚和电平等参数的正确性和安全性。

在这里插入图片描述

注:本文转载自blog.csdn.net的驴友花雕的文章"https://blog.csdn.net/weixin_41659040/article/details/145151564"。版权归原作者所有,此博客不拥有其著作权,亦不承担相应法律责任。如有侵权,请联系我们删除。
复制链接
复制链接
相关推荐
发表评论
登录后才能发表评论和回复 注册

/ 登录

评论记录:

未查询到任何数据!
回复评论:

分类栏目

后端 (14832) 前端 (14280) 移动开发 (3760) 编程语言 (3851) Java (3904) Python (3298) 人工智能 (10119) AIGC (2810) 大数据 (3499) 数据库 (3945) 数据结构与算法 (3757) 音视频 (2669) 云原生 (3145) 云平台 (2965) 前沿技术 (2993) 开源 (2160) 小程序 (2860) 运维 (2533) 服务器 (2698) 操作系统 (2325) 硬件开发 (2492) 嵌入式 (2955) 微软技术 (2769) 软件工程 (2056) 测试 (2865) 网络空间安全 (2948) 网络与通信 (2797) 用户体验设计 (2592) 学习和成长 (2593) 搜索 (2744) 开发工具 (7108) 游戏 (2829) HarmonyOS (2935) 区块链 (2782) 数学 (3112) 3C硬件 (2759) 资讯 (2909) Android (4709) iOS (1850) 代码人生 (3043) 阅读 (2841)

热门文章

112
数据库
关于我们 隐私政策 免责声明 联系我们
Copyright © 2020-2025 蚁人论坛 (iYenn.com) All Rights Reserved.
Scroll to Top