
LILYGO T-Display S3で遊んでみる - 2: Hello World を表示してみる(並行処理とマルチコア利用の並列実行の実現)
単純な逐次処理・同期処理からの脱却
はじめの一歩を振り返る
とりあえず、LILYGO T-Display S3 で "Hello World" を表示することはできたが、これは、T-Diaplay S3 内蔵のディスプレイの表示は実現したが、いわゆる「Lチカ」と同程度の内容でしかなかったと思います。
しかし、この環境によって、本来ここで行っていたのはクロス開発であるのに、ネィティブ環境のような環境をVisual Studio Codeを統合環境(IDE)として利用する形態で実現できていることが分かってもらえたと思います。また、T-Display S3付属の液晶ディスプレイに表示する方法も理解してもらえたと思います。
次に、このT-Display S3というハードウェアと、PIOArduino環境で使用するFreeRTOSを組み合わせることの1つの意義として、最初の一歩のサンプルプログラムを並行処理に対応させて、マルチコアCPUで並行実行する構成へと進めて、より実用的かつ実践的にこれらのハードとソフトの能力を引き出す事を行いたいと思います。

(並行処理対応して、CPU2コアで並列実行)
T-Display S3に搭載されているESP32-S3は、2つのCPUコアを内蔵したデュアルコア構成のマイクロコントローラです。そのため、それぞれのCPUコアで異なる処理を物理的に同時実行する「並列実行」が可能です。ただし、これを実現するためには、プログラムを複数の独立した処理に分割し、それぞれを実行できる構造にする必要があります。このように、複数の処理を独立して進行させられるように構成することが、並行処理を実現するための基本的な考え方です。
特に、ESP32-S3では、リアルタイムOSである「FreeRTOS」を利用することで、並行処理できるように複数の処理を独立したタスクとして実装し、このタスクを同時に並列して実行することができます。これを活用することにより、2つのCPUコアを活用した並列実行を実現できます。
例えば、液晶ディスプレイへの表示処理と、センサーからのデータ取得や通信処理を別々のタスクとして実装することで、それぞれの処理を独立して動作させることができます。
なお、「並行処理」と「並列実行」は厳密には異なる概念です。並行処理は、複数の処理を切り替えながら進める方式なども含めて、並列に処理が進むものを指しますが、並列実行は、複数のCPUコアなどを利用して、複数の処理を物理的に同時実行することを意味します。ESP32-S3では、並行処理が可能な構造を持つプログラムを作成することで、このマルチコアCPU利用の並列実行を実現できます。さらに、FreeRTOSを利用することで、複数のタスクの生成や実行管理が可能になり、並行処理を行うためのプログラム構造の実現から、各タスクの実行制御、さらには複数のCPUコアを活用した並列実行まで、比較的容易に実現できるようになります。
逐次処理・同期処理から並行処理・非同期処理へ
従来の比較的単純なプログラムでは、「処理Aを実行し、それが終了したら処理Bを実行し、続いて処理Cを実行する」という逐次処理が基本的な考え方でした。処理の順序が明確であるため、プログラムを理解しやすく、デバッグもしやすいという利点があります。
しかし、現在のコンピュータシステムでは、ネットワーク通信、画面表示、ユーザー入力、センサーからのデータ取得、ファイルアクセスなど、完了までに要する時間が予測できない複数の処理を、並行して扱うことが一般的です。
そのため、これらの処理をすべて単純な逐次処理として記述すると、一つの処理の完了を待っている間に、ほかの処理を進めることができなくなるという問題が生じます。
例えば、ネットワークからデータを受信するプログラムにおいて、受信が完了するまで処理を停止してしまうと、その間は画面の更新やユーザー入力への対応など、ほかの処理を行うことができません。
さらに、データの受信を待っている間にCPUが実行できる処理がなくなれば、コンピュータシステムの処理能力を十分に活用できず、非効率な状態になってしまいます。 本来であれば、その待ち時間を利用して、ほかの処理を進めることができるはずです。
そこで重要になるのが、「並行処理」や「非同期処理」という考え方です。 これらを適切に利用することで、ある処理の完了を待っている間にも別の処理を進められるようになり、コンピュータシステム全体の応答性や処理効率を向上させることができます。
並行処理では、その用語が示すように、複数の処理を同じ時間「帯」に実行します。これを実現する方法の一つが、複数のCPUコアなどを利用して、複数の計算処理を物理的に同時実行する「並列実行」です。
一方、単一のCPUコアであっても、並行処理を実現することは可能です。例えば、複数の計算処理を短い時間単位で切り替えながら実行することで、それぞれの処理を並行して進めることができます。このような方式は、擬似的な並列実行ともいえ、タイムスライス方式によるマルチタスク処理などで広く利用されています。
この方式には、個々のプログラム自体を、必ずしも並行処理を意識した構造にする必要がないという特徴があります。OSなどが実行する処理を自動的に切り替えるため、それぞれのプログラムは、基本的に逐次処理として記述できます。ただし、複数の処理でデータや資源を共有する場合には、必要に応じて同期処理や排他制御を行う必要があります。
これに対し、プログラム自体を並行処理に対応した構造とし、イベントキューなどを利用して、イベントの発生や各処理の状態に応じて、実行する処理を切り替える方式もあります。このようなイベント駆動型の方式は、GUIを備えたウィンドウシステムなどで広く利用されています。
なお、これらの方式は排他的なものではなく、組み合わせて利用することも可能です。実際、現在の一般的なOSとウィンドウシステムでは、OSによるマルチタスク処理と、アプリケーション側のイベント駆動型処理を組み合わせた構成が広く採用されています。 これにより、OSが複数のタスクの実行を管理する一方で、各アプリケーションは、ユーザー操作や外部イベントなどに応じた処理を効率的に実行できるようになっています。
いずれの場合も、単一のCPUコアでは、ある特定の瞬間に実行されている計算処理は一つだけですが、一定の時間幅で見ると、複数の計算処理が交互に実行され、それぞれが少しずつ進行していることになります。
つまり、複数の計算処理を並行して進めるためには、必ずしもそれらを物理的に同時実行する必要はなく、単一のCPUコアでも、実行する処理を時間的に切り替えることで実現できるということです。
ちなみに、デスクトップアプリケーションやサーバ上で動作するサービスなどが大規模かつ複雑になると、一つのアプリケーションやサービスの内部でも、複数の処理を並行して進めたり、並列実行したりする必要が生じる場合があります。一般的なデスクトップOSやサーバOSでは、このような処理を実現するために、マルチスレッドなどの仕組みが提供されています。
ソフトウェアの開発経験が豊富な方であれば、組込みシステムにおける並行処理や並列実行のための開発環境は、OS上で複数のアプリケーションを動作させる仕組みよりも、むしろ、一つのアプリケーション内部で複数のスレッドを動作させるマルチスレッドプログラミングの環境に近いと感じられるかもしれません。
並行処理を複数のCPUコアを利用して並列実行することは、CPUが持つ処理能力を最大限に活用するうえで重要です。ただし、これを実現するためには、ハードウェアとソフトウェアの両面で適切な設計や工夫が必要になります。また、単に複数の処理を同時実行するだけでなく、各CPUコアへの処理の割り当てや負荷の分散、複数の処理間で共有・受け渡しされるデータの適切な管理、処理間の同期やデータの整合性の確保など、限られた計算資源を効率よく、かつ安全に活用するための仕組みや手法も重要になります。
一方、非同期処理とは、ある処理を開始した後、その完了を待たずに別の処理を進められる方式です。これに対して、同期処理では、ある処理が完了するまで待機し、その後に次の処理へ進むもので、単純な逐次処理のプログラムでは、こちらで行われることが多いです。
例えば、センサーからデータを取得する場合、バスやネットワークを介した通信が必要になります。同期処理では通信が完了するまで待機しますが、非同期処理では、通信を開始した後、その完了を待たずに別の処理を実行できます。そして、通信が完了した時点で、その結果を取得します。このような通信に伴う待機時間は、ネットワークを利用するさまざまな機器やシステムで頻繁に発生するため、通信の頻度が高くなるほど、待機時間の累積による影響も無視できなくなります。
このように、非同期処理では、従来は処理の完了を待っていた時間を、別の処理の実行に活用できます。これにより、複数の処理を時間的に重ね合わせて進めることが可能となり、並行処理の形態を実現することで、システム全体の処理効率を高めることができます。
また、このような非同期処理は、マルチコアCPUなどによる物理的な並列実行を必須とせず、単一のCPUコアでも実現できます。さらに、必要に応じて並行処理と組み合わせることも可能で、さらに複数のCPUコアを活用した並列実行も可能であり、より効率的なシステムを構成することも可能です。
非同期処理を実現するためには、処理の完了を検出したり、その結果を受け取ったりする仕組みが必要になります。代表的なものとして、次のような方法があります。
割り込み(Interrupt): ハードウェアなどからの通知によって、実行中の処理を一時的に中断し、あらかじめ定められた処理を優先して実行する仕組みで、コンピュータシステムでは広く利用されています。
割り込みが発生すると、CPUは現在の実行状態を必要に応じて保存し、あらかじめ設定された割り込み処理ルーチン(ISR:Interrupt Service Routine)を実行します。ISRは専用のサブルーチンとして実装され、後述するコールバック関数などの形態で登録されることもあります。ISRの処理が終了すると、CPUは保存した実行状態を復元し、中断していた処理を再開します。
非同期処理では、処理の完了を待つ間に別の処理を実行し、待機していた処理が完了したことを通知する手段として割り込みを利用できます。この場合、ISRでは完了したことを示すフラグを設定するなどの最小限の処理を行い、元のプログラムがそのフラグを確認することで、処理の完了を認識できます。
ちなみに、割り込み(Interrupt)はCPUが備えるハードウェア上の仕組みであり、割り込み処理ルーチン(ISR)は、割り込みが発生した際に実行されるソフトウェア側の処理です。一方、割り込みには、外部機器などから発生するハードウェア割り込みだけでなく、ソフトウェア割り込み(Software Interrupt)と呼ばれるものもあります。これは、プログラムが専用の命令などを実行することで意図的に割り込みを発生させる仕組みで、OSの機能を呼び出す(システムコールと呼ばれる)際や、通常のプログラムから特権的な処理へ制御を移す場合などに利用されます。コールバック関数(Callback Function): 処理の完了やイベントの発生などを契機として、あらかじめ登録しておいた関数を呼び出す仕組みです。関数以外の形式で実装される場合もあり、そのような処理はコールバックルーチンなどと呼ばれることもあります。C/C++の実装では、ある処理が特定の条件を満たしたときや、イベントが発生したときなどに呼び出される関数を、あらかじめ登録しておく方式が一般的です。登録された関数は、登録先のプログラムやシステムによって、適切なタイミングで呼び出されます。また、割り込み処理と組み合わせて利用されることもあります。例えば、通信データの受信完了、タイマーの満了、ユーザーの操作などを契機として、登録された関数が実行されます。
コールバック関数は、イベント駆動型の処理や非同期処理を実現するための代表的な仕組みの一つです。なお、コールバック関数は割り込み処理に限らず、通常のプログラム実行中にも広く利用されています。イベント通知(Event Notification): 処理の完了や状態の変化など、特定の事象(イベント)が発生したことを、別の処理やタスクに通知する仕組みです。通知を受けた側は、そのイベントに応じて必要な処理を実行します。例えば、通信データの受信完了、タイマーの満了、センサーの状態変化などを通知することで、これらの事象を常時監視することなく、適切なタイミングで処理を開始できます。
イベント通知には、イベントフラグ、メッセージキュー、セマフォ、タスク通知など、さまざまな実装方式があります。これらは、複数の処理やタスク間で実行タイミングを調整したり、データを安全に受け渡したりするためにも利用され、同期プリミティブ(Synchronization Primitives)と呼ばれる仕組みに含まれます。また、コールバック関数を利用してイベントの発生を通知する方式もあります。
イベント通知は、イベント駆動型の処理や非同期処理を実現するための代表的な仕組みの一つであり、CPU資源の効率的な利用や、複数の処理間の連携に役立ちます。
これらは独立した方式とは限らず、例えば、ハードウェアからの割り込みを契機としてイベントを通知し、そのイベントに対応するコールバック関数を実行したり、イベントループ対しイベント通知を送付するような組み合わせも可能で、むしろ、その方が一般的であるといえます。
現在のソフトウェアでは、このような並行性を扱う能力が非常に重要になっています。特にネットワーク通信では、通信相手からいつデータが到着するか分かりません。また、ストレージやセンサーなどのI/O処理でも、CPUから見れば比較的長い待ち時間が発生します。その待ち時間のたびにシステム全体を停止させるのではなく、別の仕事を進めることで、システム全体の応答性と処理効率を高めることができます。
並行処理と非同期処理は、互いに矛盾したり衝突したりするものではなく、可能であれば、両者を組み合わせて利用することが望ましいと考えられます。特に、並行処理や並列実行を実現するための実行環境には、非同期処理の実装にも利用できる仕組みが備わっていることが多く、これらを活用することで、システム全体の処理効率をさらに向上させることが可能になります。
組込みシステムでの並行処理・非同期処理の利用
こうした考え方は、PCやサーバーだけではなく、組込みシステムでは特に重要です。例えばESP32を使用した装置を考えると、一つのマイクロコントローラが、
センサーから一定周期で値を取得する
LCDの表示を更新する
ボタン入力を監視する
Wi-FiやBluetoothで通信する
LoRaなどでデータを送受信する
モーターなどの外部機器を制御する
といった複数の仕事を同時に担当することがあります。
これらを単純な逐次処理として実装すると、一つの処理に時間がかかっただけで他の処理にも影響します。例えばネットワーク通信の応答を待っているためにセンサーの取得周期が乱れたり、画面更新に時間がかかってモーター制御が遅れたりする可能性があります。
特に組込みシステムでは、「処理が最終的に完了すること」だけではなく、「必要な時刻までに処理が行われること」が重要になる場合があります。
例えば、
「センサーを100msごとに読み取る」
という仕様であれば、平均的に100ms程度で読み取れているだけでは十分ではありません。他の処理の影響を受けても、必要なタイミングでセンサー処理を実行できることが重要になります。
このような時間的制約を適切に扱うため、組込みシステムでは、FreeRTOSなどのRTOS(Real-Time Operating System:リアルタイムオペレーティングシステム)を利用した並行処理が広く利用されています。
RTOSでは、システム全体の処理を複数の「タスク」に分割し、それぞれを独立して実行できるようにします。例えば、「センサー取得タスク」「画面表示タスク」「ネットワーク通信タスク」「モーター制御タスク」のように処理を分離し、それぞれに優先度を設定したり、必要に応じて実行周期を管理したりすることができます。これにより、各処理の時間的制約への対応を図ります。このようにして、リアルタイム性を実現して行きます。
また、あるタスクが通信やI/O処理の完了を待っている場合には、そのタスクを待機状態に移行させ、その間にCPUを別のタスクへ割り当てることができます。これは、並行処理の形態を利用した非同期処理を実現です。これにより、限られたCPU資源を効率的に活用しながら、複数の処理を並行して進めることが可能になります。これは組込システム開発では、費用面などからの制約もあって、よく起こる状況であり、非常に現実的な対応が要求されます。
ここまで説明した内容は、従来から組込みシステムの開発で広く利用されてきた、基本的な技術です。
これに対して、「はじめの一歩」として作成したサンプルプログラムは、単純なループの中で処理を順番に実行する構成になっていました。つまり、ここまで説明してきたタスク分割やスケジューリングといった仕組みを、まだ利用していない段階だったことがおわかりになると思います。
実際の組込みシステム開発では、複数の処理をタスクとして分割し、それぞれの実行タイミングや優先度を管理する構成が広く採用されています。
一方、組込みプログラミングの入門でよく取り上げられる「Lチカ(LEDの点滅)」のサンプルプログラムは、単純なループと待ち時間によってLEDの点滅を実現するものが大半です。このようなプログラムは、GPIOの基本操作を学ぶうえでは有効ですが、複数の処理を効率的に実行したり、時間的制約を管理したりするための仕組みまでは扱っていないことが一般的で、これだけでは、製品実装などを行う際の現実的な問題に対応が難しいといえます。
したがって、単純なループによる逐次処理から、RTOSを利用したタスク分割による並行処理へと発展させることは、実用的な組込みシステムのプログラミングを学ぶうえで、重要なステップの一つとなります。
同期プリミティブの利用
ただし、並行処理やその並列実行、非同期処理には新しい問題も発生します。複数のタスクが同じ変数やデバイスを同時に操作すると、処理のタイミングによって結果が変わる「競合状態(Race Condition)」が発生する可能性があります。
そのため、ミューテックス、セマフォ、キューなどの同期・通信機構である同期プリミティブを利用して、安全にデータを共有する必要があります。
これは、同一の変数やハードウェアなどのリソースへの同時アクセスなどで生じる異常な状態を避けるための特殊な機構であり、簡単なものだとC++のSTLなど、比較的高度なものはFreeRTOSなどの環境が、これらを提供してくれます。
例えば、ミューテックス(Mutex)は、複数のタスクが同じ共有データにアクセスする場合に、データの整合性を保つために使用されます。
具体的には、FreeRTOSで動作する「センサー取得タスク」と「画面表示タスク」が、同じセンサーデータを共有する場合を考えます。センサー取得タスクがデータを更新している途中で、画面表示タスクがそのデータを読み取ると、更新前と更新後の値が混在し、データの整合性が失われる可能性があります。そこで、各タスクは共有データにアクセスする前にミューテックスを取得(ロック)し、アクセスが終了したら解放(アンロック)します。
他のタスクがミューテックスを保持している間は、その解放を待ってからアクセスすることで、共有データへの同時アクセスを防ぎます。このように、ミューテックスは、共有資源へのアクセスを排他的に制御し、データの整合性を保つための同期プリミティブです。

単一の変数であっても、その変数を読み書きするタスクが複数存在する場合、同時にアクセスすることで問題が生じる可能性があります。特に、あるタスクが変数の値を更新している途中で、別のタスクがその値を読み取ると、意図しない値が取得されたり、データの整合性が失われたりすることがあります。
このような問題を回避するには、アトミック変数(Atomic Variable)を利用する方法が有効です。アトミック変数は、読み書きなどの操作を、他のタスクから見て分割されない一つの操作として実行できる仕組みです。これにより、複数のタスクが同じ変数にアクセスしても、読み書きの途中の不完全な値を取得することを防ぎ、データの整合性を保つことができます。
C++では、std::atomic を使用することで実現でき、単一の変数に対する基本的な読み書きであれば、ミューテックスなどによる排他制御を使用せずに、安全なアクセスが可能になります。
データの整合性を保つためには、複数のタスクによるデータへのアクセスのタイミングを調整したり、データの特性や処理内容に応じて、アクセス方法を適切に制御したりする必要があります。また、必要に応じて、データの生成・更新・破棄といったライフサイクルについても、複数のタスク間で適切に連携・管理することが求められます。
このような目的に対応するため、同期プリミティブにはさまざまな種類があり、それぞれに適した用途や利用方法が想定されています。そのため、処理の目的やデータの特性、タスク間の依存関係などを考慮し、適切な同期プリミティブを選択して、正しく使用することが非常に重要です。
なお、同期プリミティブの利用にあたっては、デッドロック(Deadlock)と呼ばれる問題にも注意が必要です。デッドロックとは、複数のタスクが互いに相手の保持する資源の解放を待ち続けるなどして、処理を進められなくなる状態のことです。
例えば、2つのタスクがそれぞれ異なるミューテックスを取得した状態で、相手が保持しているミューテックスの解放を待つと、双方が待機状態となり、処理が停止してしまいます。このような問題を防ぐためには、複数のミューテックスを取得する順序を統一することや、必要以上に長く保持しないこと、適切なタイムアウトを設定することなどが重要です。
同期プリミティブは、データの整合性を保つために有効な仕組みですが、その使い方を誤ると、かえってシステム全体の動作に重大な問題を引き起こす可能性があります。
以上述べたように、組込みシステムにおける並列処理や非同期処理では、単に「複数の処理を同時に動かす」だけでは不十分であり、どの処理を独立させるか、どの処理を優先するか、どの処理を待機させるか、そしてデータをどのように安全に受け渡すかといった設計が重要になります。この点は、従来の単純な逐次処理とは大きく異なります。
すなわち、処理内容に応じた適切なタスクへの分割、各タスクの優先度や実行タイミングの制御、同期プリミティブを活用した共有データの保護やタスク間の連携などを適切に設計することが求められます。
これらを適切に組み合わせることで、限られたCPU資源を効率的に活用し、システム全体の処理効率や応答性を向上させるとともに、安定した動作を実現することが可能になります。
さらに言えば、現代のプログラムは、単純に「命令を上から順番に実行するもの」から、「複数の、かつ、処理の規模の異なる独立した処理が、待機・実行・通知・同期を繰り返しながら、互いに協調して動作するもの」へと、その設計思想が大きく発展しています。
特に組込みシステムでは、CPUの処理能力やメモリ容量などのハードウェア資源が限られている一方で、センサーからのデータ取得、通信、画面表示、機器の制御など、複数の処理をそれぞれに求められる時間的制約の中で実行する必要があります。
さらに近年では、エッジコンピューティング(Edge Computing)の普及に伴い、画像認識や物体検出、センサーデータの高度な解析など、比較的多くの計算資源や処理時間を必要とする機能を、組込みシステム自体に実装することも求められるようになっています。その結果、短時間での応答が要求されるリアルタイム処理と、比較的長い処理時間を必要とする計算処理を、同じシステム内で並行して実行する場面も増えています。
このような環境では、計算量の多い処理が、時間的制約の厳しい処理の実行を妨げないように、処理の分割やタスクの優先度、実行タイミング、CPUコアへの割り当て、タスク間の同期やデータの受け渡しなどを適切に設計することが、これまで以上に重要になります。
そのため、並行処理や並列実行、非同期処理は、単なる処理の高速化や効率化のための技術ではなく、限られたハードウェア資源を有効に活用しながら、処理負荷の異なる多様な機能を協調させ、システム全体の応答性やリアルタイム性を確保するための基本的な設計技術であると言えます。
組込システム開発におけるマルチコアの利用方法
ESP32-S3のようなマルチコアCPUでは、複数のタスクを異なるCPUコアで実行することで、物理的な同時実行、すなわち並列実行を実現することも可能です。
今後は、組込みシステムの開発環境においても、マルチコアCPUの利用がさらに一般化していく可能性が高いと考えられます。その背景には、エッジコンピューティングの普及や、通信コスト・通信時間の制約、処理の分散化といった技術的な要求があります。これらにより、比較的小規模な組込みシステムであっても、センサーデータの高度な解析や画像認識など、従来よりも複雑で計算負荷の高い処理を実行することが求められるようになると予想されます。こうした方向性は、現在の技術動向からも十分に推測できるものです。
しかし、一般に組込みシステムでは、消費電力、特にバッテリー駆動時の電力制約や、長時間動作・高負荷処理に伴う発熱など、厳しい制約が存在します。単純にCPUの処理能力を高めたり、複数のCPUコアを同時に動作させたりするだけでは、これらの制約を満たせるとは限りません。
むしろ、このような制約があるからこそ、並行処理や非同期処理などを適切に活用し、処理時間の短縮や計算資源の効率的な利用を図ることが重要になります。 ただし、処理の高速化が必ずしも消費電力の削減につながるわけではなく、並列化による処理の分散や同期制御にも一定の負荷が生じます。そのため、処理性能だけでなく、消費電力や発熱、処理の応答時間などを総合的に考慮する必要があります。
特に、組込みシステムでは、単に処理速度や処理効率を向上させることが目的なのではなく、限られた計算資源と厳しい動作条件の中で、必要なリアルタイム性を確保しながら、システム全体として適切なバランスを実現することが重要です。

並行処理とマルチコアCPUを利用した並列実行のサンプルプログラム
長くなりましたが、ここまでの考え方に基づき、はじめの一歩の "Hello World" のプログラムを、変更というか書き直します。その際のポイントを以下に記します。
カウンタをクラスとして記述し、カウンタの操作をメソッドにします。この際に、カウンタ自体へのアクセスを同期プリミティブで保護します。
ディスプレイのクラスについて、表示などの指示は既にメソッドになっているので、この構造は変更しないが、液晶ディスプレイやその制御・表示を行うコントローラへの指示について、同期プリミティブで保護を追加します。さらに、マルチコアによる並列実行の状況や、各タスクの処理時間などの情報の表示できるように機能拡張します。
ディスプレイの表示を指示するタスクをクラスとして追加し、その中で並行処理に対応し、独自のメインループを持たせて、並列実行できるようにします。さらに、マルチコアによる並列実行の状況や、各タスクの処理時間などの情報の表示内容を作成し、表示指示に加えるように機能拡張します。また、この処理時間を計測できるようにします。
セットアップ関数では、基本的な初期化処理に加えて、上記の各インスタンスを作成し、各タスクのインスタンスについては並列実行するように指示する。
メインループ関数では、これまで行っていたディスプレイへの表示処理については上記のタスクで行われるようになったので削除しました。カウンタの増加処理は、カウンタークラスのインスタンスに1つ増加指示する処理に変更になりました。そして、マルチコアによる並列実行の状況や、各タスクの処理時間などの情報収集と集計処理を行わせるように追加します。この結果は、前述のディスプレイの表示を指示するタスクでの表示指示に反映されることになります。
マルチコアによる並列実行の状況や、各タスクの処理時間などの情報収集と集計を行うための変数や処理を追加します。これは、該当情報を保持し、メインループからの指示により集計作業を行うことになります。また、ここで保持する情報について、同期プリミティブで保護するようにします。
このようにして、並列実行を可能にするためのタスク化、タスクで共有される変数やハードウェアなどに対して同時変更・指示などの問題を防ぐための同期プリミティブ保護を追加し、さらにマルチコアによる並列実行の状況や、各タスクの処理時間などの情報を表示する機能を追加しています。
書き直したサンプルプログラムは、以下にあります。
今回使用するサンプルプログラムは、GitHub上のリポジトリで公開しています。以下にリポジトリのURLを記します。
https://github.com/sohmatrix/public-LILYGO_TDisplayS3-samplePrograms
ここで使用するサンプルプログラムのフォルダを、以下に記します。これは、前述のリポジトリ直下の以下のフォルダで、このフォルダ自体が PIOArduino用に設定された VisualStudio Code のプロジェクトフォルダとなっています。
003_helloWorld_usingDisplayWithRTOS今回のサンプルプログラムの実行結果を動画にしましたので、以下に添付します。
T-Display S3の液晶画面には、「Hello World」という文字列と、1ずつ増加するカウンタの値が、ランダムな色で表示されています。
カウンタの値は約1秒(1000 msec)ごとに更新されますが、別のタスクとして並行実行されている画面の表示処理は300 msecごとに実行され、そのたびに表示色がランダムに決定されます。そのため、カウンタの値が増加するタイミングと、表示色が変化するタイミングが異なっていることが、動画から確認できると思います。これは、カウンタの更新処理と画面の表示処理が、それぞれ独立した周期で実行されていることを示しています。
なお、画面上部には、使用しているT-Display S3の識別情報(MACアドレス)が表示されています。その下には、カウンタの更新処理時間 [M] と画面の表示処理時間 [D] が表示され、さらにその下には、CPUのコア数、PIOArduino環境で認識されている利用可能なコア数 [avail]、および各CPUコアの使用率が表示されています。 これらの情報から、ESP32-S3に搭載された2つのCPUコアが認識され、それぞれで処理が実行されていることを確認できます。
このサンプルプログラムでは、各タスクを実行するCPUコアを明示的に指定せず、FreeRTOSのスケジューラに選択を任せています。そのため、タスクの優先度や実行可能な状態などに応じて、実行するCPUコアが動的に決定されます。
各タスクの処理時間を比較すると、画面表示にかかる時間が特に長いため、この処理によるCPU負荷が大きいと考えられます。また、画面表示タスクが一方のCPUコアで実行される時間が長ければ、そのコアの使用率が高くなると考えられます。
このサンプルプログラムでは、カウンタの値を画面に表示しています。一方、実際のアプリケーションでは、センサから読み取った値やネットワーク経由で取得した情報などを表示することが多く、複数の情報を組み合わせて表示することも珍しくありません。
これらの情報の取得には、それぞれ一定の時間がかかるうえ、必ずしも決まった時間内に取得できるとは限りません。そのため、すべての情報の最新値が揃うまで待ってから画面を更新したり、レスポンスを返したりする方式では、応答が遅れる可能性があります。また、一部の情報が取得できないことによって、画面全体の更新やレスポンスの送信まで停止してしまうと、システムに求められる即応性を満たせなくなる場合もあります。
このような問題に対処するため、組込みソフトウェアでは、情報を取得する処理と、画面を更新したりレスポンスを返したりする処理を分離し、その時点で利用できる情報を使って動作を継続できるように設計します。必要に応じて、取得済みの値を保持し、情報の更新時刻や取得エラーの状態も併せて管理します。
マルチコア環境では、こうした処理の分離に加えて、各タスクの処理時間、実行頻度、優先度などを考慮し、必要に応じて実行するCPUコアを指定することで、応答性の確保や負荷の分散を図ることもできます。
サンプルプログラムの解説
今回のサンプルプログラムのソースコードの内容について、以下に概要を説明します。詳細な内容は、ソースコードを直接読む方が正確なので、詳細は割愛します。
platformio.ini
PIOArduino 環境で使用する設定ファイルです。開発対象となるハードウェア(LILYGO T-Display S3 に搭載された ESP32-S3 など)に関する情報をはじめ、使用するツールチェインやビルドに関する設定などを記述しています。なお、デバッグに関する設定については、コメントアウトしています。
また、このサンプルプログラムで使用する GFX Library は、lib_deps で指定しています。GFX Library はライブラリレジストリに公開登録されているため、このような簡潔な記述だけで、必要なライブラリが自動的にダウンロードされ、ビルド時に利用できるようになります。これにより、ライブラリを手作業でダウンロードしたり、開発環境に組み込んだりする必要がなくなります。
これは、PIOArduino が備えるライブラリの依存関係管理機能によるもので、開発環境の構築や管理を大幅に簡素化できる、非常に強力な機能です。
ただし、ライブラリのダウンロードなどの際など、必要に応じて自動的に、インターネット上のサービスを利用するため、ネットワーク接続が必要になる場合があることには注意してください。
なお、このサンプルプログラムで使用するFreeRTOSについては、T-Display S3 の ESP32-S3 を PIOArduino 環境で開発する場合には、Arduino フレームワークに標準で組み込まれているため、ここで明示的に指定する部分はありません。
src/main.cpp (初期化・メインループ)
PIOArduino環境において、プログラム開始時に一度だけ呼び出されるsetup関数と、その後に何度も呼び出されるloop関数を含むます。
このサンプルプログラムでは、このsetup関数とloop関数自体が、FreeRTOSが作成した一つのタスク内の処理であることに注意してください。また、このタスクを実行するために、CPU(正確には一つのCPUコア)が割当られていることにも注意してください。
setup関数では、ハードウェア・ソフトウェアの両方の初期化などを行い、loop関数での実行が行えるようにします。ここでは、以下の処理を行います。
各種初期化を行います。
マルチコアによる並列実行の状況や、各タスクの処理時間などの情報収集と集計を行うための変数などを初期化します。
messageCounterクラスとdisplayクラスのインスタンスを作成し、初期化します。
messageDisplayTaskクラスのインスタンスを作成し、初期化を行うことで新しいタスクとして作成し、これにより独自のメインループが動くようになります。
loop関数はいわゆるメインループであり、処理本体となります。ここでは、以下の処理を行います。
messageCounterクラスのインスタンスに、1つ増加を指示します。
マルチコアによる並列実行の状況や、各タスクの処理時間などの情報収集と集計処理を指示します。
その処理が終わると、一定時間何もしない状態になり終了します。このloop関数が終了すると、次回のloop関数の呼び出しが行われることになり、これが繰り返されることになります。
src/timeinfo.hpp
マルチコアによる並列実行の状況や、各タスクの処理時間などの情報収集と集計のための変数やそれに対する集計などの処理が記述されています。この内容のポイントを記します。
冒頭で、2つの確認を行っていて、これはビルド時に行われます。確認している内容の一つは、組み込まれるFreeRTOSにおいて、各タスクの実行時間の計測機能が利用できるかどうかであり、もう一つは、IDLE状態のタスクの情報の取得機能が利用できるかどうかです。これらの機能を利用して取得した情報を利用して、各CPUコアの動作率などの計算を行っています。
CPUコア数の確認は、ESPの情報取得機能でESP32自身から得たCPUコア数の情報と、FreeRTOS自身が認識しているCPUコア数の情報があり、実際に利用できるCPUコア数は後者になります。
使用するFreeRTOSのビルド状況によっては、1コアしか認識できない可能性があります。このビルド状況は、ターゲットに設定されている内容に応じて変わるとされています。
少なくとも、このサンプルプログラムを動作により、T-Display S3をターゲットにしている場合は(ESP32-S3が内蔵されていることが配慮されたのだろうと推測しますが)、マルチコア対応でFreeRTOSがビルドされていて、CPUコア数が2になることが、ここで確認されました。各CPUコアの利用率は、定期的にsrc/main.cpp内のメインループからの計測指示により、個々のCPUコアの計測時間のインターバルとそのインターバル内のIDLE時間を収集・蓄積・集計することで割り出しています。
各処理時間は、カウンタ(M)と画面表示(D)の処理の該当部分に対し、その開始時間と終了時間を収集し、これを蓄積・集計することで割り出しています。
これらの複数の変数の更新・参照を行う際に、対象変数全体への競合が起きないように、対象変数全体への指示部分に対し、同期プリミティブとしてFreeRTOSのミューテックス(mutex)を利用して排他制御を行うことで、競合回避を実現しています。
src/common.hpp (共通部分)
このプログラム全体で共通して使用する固定値やデータ型などの定義や宣言、共有する変数や関数などを記述しています。
src/serialLogger.hpp と src/serialLogger.cpp (ログ出力)
このサンプルプログラムでは、エラーなどの情報をシリアルへ出力する仕様にしていますので、それを実現するログ出力機能を実現しています。
src/errorMessages.hpp (ログ出力)
ログ出力で使用されるエラーメッセージについて宣言しています。
src/messageCounter.hpp とsrc/messageCounter.cpp (カウンタ)
このサンプルプログラムでは、カウンタ変数をクラス化し、アクセス方法をメソッドにすることで、クラス外からのカウンタ変数への直接的な更新処理を禁じています。カウンタ変数の値を参照するメソッドを保有しているため、情報隠蔽は目的ではありませんが、値の更新・参照における競合を防止するため、カウンタ変数に対し、同期プリミティブとして、C++のSTLのatomicを利用して排他制御を行うことで、競合回避を実現しています。
src/diplay.hpp と src/display.cpp (GFX Libraryの利用した画面出力)
このサンプルプログラムでは、ディスプレイへの画面出力機能を実装しています。使用するディスプレイに固有の設定や制御に関する情報は、できる限り TDisplayS3.hpp 内に隠蔽することで、GFX Libraryが提供する画面表示機能の仕様を理解すれば、ディスプレイ固有の詳細を意識せずに利用できるようにしています。
また、GFX Linraryとディスプレイコントローラ経由の液晶ディスプレイへの指示と、液晶ディスプレイの電源制御の直接指示は、指示の競合が起きないように、該当指示部分に対し、同期プリミティブとしてFreeRTOSのミューテックス(mutex)を利用して排他制御を行うことで、競合回避を実現しています。
なお、使用する色の指定については、1つ注意点があります。T-Display S3に搭載されているディスプレイコントローラ「ST7789」をGFX Library経由で使用する場合、色の指定には16ビットのRGB565形式を使用します。この形式では、赤(R)と青(B)にそれぞれ5ビット、緑(G)に6ビットが割り当てられています。そのため、任意の色を生成する際には、このビット構成を考慮してRGB各成分の値を組み合わせる必要があります。この指定が面倒な場合は、GFX Libraryの color565関数を使用すれば、一般的な8ビットRGB値(各0~255)からRGB565形式への変換を行わせることもできます(このサンプルプログラムではこの関数は使用していません)。
src/TDisplayS3.hpp (T-Display S3の液晶ディスプレィの利用)
T-Display S3の液晶ディスプレイを使用するために必要な設定や制御処理をまとめたものです。
ESP32とディスプレイコントローラ「ST7789」との接続情報(バス情報)をGFX Libraryに与え、それに基づいてディスプレイ制御用のインスタンスを生成することで、GFX Libraryを介した液晶ディスプレイへの表示を実現しています。
一方、液晶ディスプレイの電源制御などに必要なESP32との接続情報も含まれています。これらの制御はGFX Libraryの機能だけでは対応できないため、個別に実装しています。
また、GFX Libraryへのアクセスには「GFXLibraryWrapper」クラスを使用しています。このクラスは、基本的にはGFX Libraryの機能を抽象化することを目的としていますが、それに加えて、前述の液晶ディスプレイの電源制御など、GFX Libraryの機能では対応できないハードウェア固有の制御処理も抽象化しています。
これにより、ディスプレイ固有のハードウェア構成や制御処理をできるだけ隠蔽し、利用側のプログラムがハードウェアの詳細を意識することなく、液晶ディスプレイの機能を利用できるようにしています。
ちなみに、前述の液晶ディスプレイ固有の電源制御を例にして、ESP32を使用する際の基本的な注意点を説明しておきます。
ESP32のGPIOピンを使用する場合は、原則として、最初に「pinMode」を使用してピンの動作モード(入力または出力など)を設定し、その後、「digitalWrite」などを使用して入出力の制御を行います。
また、ピンの動作モードの設定がハードウェアに反映され、意図した入出力状態が安定するまでには、一定の時間を要する場合があります。そのため、特に液晶ディスプレイの電源制御などでは、必要に応じて適切な待ち時間を設けるなど、ハードウェアの動作タイミングを考慮して実装する必要があります。
特に、このようなハードウェアの動作タイミングに関する配慮は、プログラムを作成する際に見落としがちな点の一つです。GPIOの設定や出力制御自体は正しく実装されていても、接続されたハードウェアの動作が安定するまでの時間を考慮していないために、期待どおりに動作しないことがあります。こうした問題は、プログラムの論理的な誤りとしては発見しにくく、原因の特定に時間がかかることもあります。そのため、ハードウェアを制御する際には、処理の順序だけでなく、それぞれの処理に必要な時間や動作タイミングにも十分注意することが重要です。
src/displayMessageTask.(hpp/cpp)
このクラスは、サンプルプログラムにおいて、ディスプレイへの画面出力を担当する独立したタスクを実現するためのものです。
このクラスのインスタンスを作成して初期化すると、FreeRTOSの機能を利用して、src/main.cpp に記述された従来のメインループとは独立した、新しいタスクが生成されます。この新しいタスクは、独自の setup関数と loop関数に相当する処理を持ち、初期化処理を実行した後、繰り返し処理を行う構造になっています。これにより、従来のメインループと同様のプログラム構造を維持しながら、画面出力処理を独立したタスクとして、メインループなどの他の処理と並行して実行できるようになります。
今回のサンプルプログラムでは、新しく作成する画面出力タスクについて、実行するCPUコアを特に指定していません。そのため、FreeRTOSのタスクスケジューラが、各CPUコアの実行状況やタスクの優先度などに応じて、実行するCPUコアを決定します。
ESP32-S3は2つのCPUコアを備えているため、実行するコアが固定されていないタスクは、コア0またはコア1のいずれでも実行される可能性があります。また、複数のタスクが同時に実行可能な状態であれば、それぞれを異なるCPUコアで並列実行することもできます。
ただし、特にCPUコアを指定していないからといって、基本的にコア0で実行され、必要な場合だけコア1に割り当てられるというような単純な運用は行われないと考えられます。実際にどちらのコアで実行されるかは、FreeRTOSのスケジューリングや他のタスクの実行状況などによって、ある程度の計画性を持って、しかし、実際の利用状況に応じて変化させられるような運用になります。
このクラスには、初期化を行う initializeメソッドが用意されています。このメソッドでは、内部でFreeRTOSの xTaskCreate関数を呼び出し、新しいタスクの生成を指示しています。
その際、新しいタスクの処理を開始するための関数として、Cの関数形式で外部から呼び出せるように宣言された displayMessageTaskMain を指定しています。この関数は、FreeRTOSが定めるタスク関数の形式に従って定義されたもので、生成されたタスクの実行開始時にFreeRTOSから呼び出される関数です。また、xTaskCreate関数の呼び出し時にその引数で指定する形で、呼び出し元となるシステムであるFreeRTOSに、事前に登録されています。すなわち、このdisplayMessageTaskMain は、コールバック関数そのものです。
xTaskCreate関数によるタスクの生成が成功すると、FreeRTOSは新しいタスクを実行可能な状態にし、タスクスケジューラによる実行管理の対象とします。そして、新しいタスクにCPUの実行時間が割り当てられると、displayMessageTaskMain関数を実行開始点として、そのタスクの処理が開始されます。この際、実際に処理を実行するCPUコアも、FreeRTOSのスケジューラによって決定されます。
その後、タスク内で vTaskDelay関数が呼び出されると、そのタスクは指定された時間に応じて待機状態(Blocked状態)に移行し、実行していたCPUコアを他のタスクが利用できるようになります。
指定された待機時間が経過すると、そのタスクは再び実行可能な状態(Ready状態)に戻り、FreeRTOSのスケジューラによってCPUの実行時間が割り当てられると、vTaskDelay関数による待機の直後から処理を再開します。
なお、今回のサンプルプログラムでは、画面出力タスクの実行コアを固定していないため、再開時に以前と異なるCPUコアで実行される可能性もあります。
このような待機と再開の仕組みは、src/main.cpp に記述されたメインタスクでも同様に利用されており、複数のタスクがCPUの実行時間を分け合いながら、並行して処理を進めることを可能にしています。
また、xTaskCreate関数では、新しいタスクに引き渡す情報を引数として指定できます。これにより、タスクを生成する側で用意した情報や、クラスのインスタンスへのポインタなどを、新しいタスクに引き渡すことができます。
今回のサンプルプログラムでは、この仕組みを利用して、displayMessageTaskMain関数からクラス内に独自に定義した setup関数とloop関数 を呼び出す構成としています。これにより、新しいタスクでも、従来のPIOArduinoプログラムと同様に、初期化処理と繰り返し処理を分離した構造でプログラムを実行できるようになっています。
まとめ
以上のように、LILYGO T-Display S3を対象として、Mac上のVisual Studio Codeを統合開発環境(IDE)として使用し、PIOArduino環境に組み込まれたFreeRTOSを活用することで、複数のタスクによる並行処理を実装し、ESP32-S3のマルチコアCPUを利用して並列実行させることを、サンプルプログラムを通じて実践しました。
とはいえ、今回のサンプルプログラムでは、並行処理や並列実行の基本的な仕組みと、その実現方法を理解することに重点を置いています。そのため、各タスクをどのCPUコアで実行するかといった詳細な制御は行わず、FreeRTOSのタスクスケジューラに任せることで、比較的単純な構成で並行処理と並列実行を実現しています。
一方、実際のアプリケーション開発では、処理内容や要求される性能に応じて、CPUコアへのタスクの割り当て、タスクの優先度、実行タイミング、タスク間の同期方法などを適切に設計することが重要になります。これらを調整することで、CPU資源を効率的に活用し、システム全体の処理効率や応答性、リアルタイム性の向上を図ることができます。
したがって、FreeRTOSによる自動的なタスク管理に任せるだけでなく、アプリケーションの特性に応じた適切なタスク設計や実行制御が必要になるという点には、十分留意しておく必要があります。
ただし、今回のサンプルプログラムでは、ESP32-S3から直接ハードウェアを制御する部分を、T-Display S3に内蔵された液晶ディスプレイの表示処理に限定し、そのハードウェア固有の処理を特定のソースコードに集約・隠蔽する形態で実装していました。
そこで次は、LEDの点灯・消灯を制御する、いわゆる「Lチカ」を題材として、並行処理と同期プリミティブを組み合わせた形態でのプログラムを作成します。
これにより、実際の組込みアプリケーション開発にも応用できる、より実践的なプログラムの設計・実装方法について説明していきたいと思います。