揚げログ

karaageの技術開発関連のブログです

ARkit

AR kit ImageTracking - トラッキング画像が画面外に出たことを検出

デリゲートメソッド didUpdate に以下のように書く。 didUpdateはARAnchorが更新される(TrackingImageの座標が変化する)間、呼ばれ続けるデリゲートメソッドである。 TrackingImageが画面外から出ると当時に、ARAnchorは更新されなくなり、このデリゲート…

AR kit で顔面キャスアプリを作る (その4 transformから目の回転角を求める)

だいぶ間が空いてしまいました。 この間は、AR kit FaceTracking Configurationで、表情の値(blendshapes)を取得しましたが、今回は目の動きを取ってみたいと思います。 全体手順 AR kitのFaceTrackingで、目の動きを数値データで取り出す ソケット通信でサ…

AR kit で顔面キャスアプリを作る (その3 顔面情報の送受信)

今回やること 今回は、その2で確認した、顔面各パーツの数値データを、アプリとサーバーの間で送受信します。 送信 こんな感じでサーバーに数値をリアルタイムに送信することに成功しました。 AR kitのFaceTrackingで顔の各パーツの動きを数値で取ってWebSoc…

AR kit で顔面キャスアプリを作る (その2 ARFaceAnchorを理解してみる)

前回、SwiftでSocketIOをアプリに実装するところまで終わりました。 今回は、ソケットで送る内容について検討していきます。 まず大前提として、ソケットで送れるのはStringのみですので、必要な情報を適当なJSON配列にしていきたいと思います。

AR kit で顔面キャスアプリを作る (その1 xcodeprojにsocketIOを導入)

前回(昨日)に引き続きやって行きます。 実装 実際キャスティングアプリとなると、配信者が何人もいて、それぞれの配信ページに多数の閲覧者がいる状況が自然な想定になります。 しかし、まずは実験ということで、配信者は1人、閲覧者が数人という状況(手…

AR kit で顔面キャスアプリを作る (その0 なんで作るのか)

今回から、1つのアプリを作る過程を、0の状態から完成まで、何回かに分けて記事を投稿していきます。 今回はまだ実装には入らず、前提の確認です。ちょうど卒論に時期で、頭が卒論になってるので、見出しが論文っぽくなってますが、まあ分かりやすいのでいい…

AR kit 2のARImageTrackingConfigurationで遊んでみた

背景 数学の教科書とかで、グラフが値の変化に応じて動いたら分かりやすいのにな、と思ったことがある。 図をスマホで写したら動き出す、立体は飛び出して色んな方向から見ることが出来る、このようなAR体験がARImageTrackingConfigurationで簡単に精度よく…