シリコンバレー滞在記 応募・事前研修編
初めまして、chikaです。
9月に入り残暑が続く中、皆さんはどうお過ごしでしょうか？
シリコンバレー滞在という大きなイベントがあったので、これを機にブログを開設しました。これからちょくちょく投稿していきたいと思います。
初投稿の記事で拙いかもしれませんが、どうか楽しんでいただけると嬉しいです。
応募
さて、僕は現在大学2年生です。
大学のとあるプログラムに「シリコンバレーインターンシップ」というものがありまして申し込みをしました。ざっくり言うと、2週間シリコンバレーに滞在してHackerDojoというワーキングスペースで開発をして成果物をプレゼンする内容。
これだけで十分面白そうなのですが更に詳細を見てみると、渡航費と宿泊費は学校負担 つまり、、、
クソ格安でアメリカに滞在できるやん
だって自腹は食費しかほぼないんですよ！
下心しかないですねこれは(笑)
そんなこんなで応募
ES(英語)、面接(英語)を経てようやく、、と思いきや
「補欠合格」......
あらら、残念と思いきやキャンセルをする人が出たので繰り上げ合格
とりあえず留学生も含めた学生7人のメンバーに決まりました。
事前研修
8月の中旬に小さなIT企業で3日間の事前研修がありました。
pythonのコードでまずはサーボモーターやLEDを光らせるところから
NVIDIA社のJetsonNanoというコンピュータの使い方を学び、これを使って
画像認識の技術に触れてみようという内容。
JetsonNanoとはこんなやつ
「64 ビット クアッドコア ARM CPU と 128 コアの NVIDIA GPU により、472 GFLOPS の演算性能を発揮します」
なんか凄そう、片手で収まる程度に小さい
こいつの特筆すべき点はこんな小さい体をしてディープラーニングをバッチリ実行できるという点！
エッジAIという最先端の分野の先駆けになるそうです。
2日目に
「研修最終日にJetsonNanoを使って自由に何か作ってみて〜」
と社長の方から言われたため急遽製作に取り掛かりました。
製作期間一日ってマジかよ..ハッカソンじゃねえかよ(笑)
そんなわけで暇つぶしに欅坂を聞いていたところ
メンバーの顔を認識してその子の声がスピーカーから聞こえたら萌じゃね？
とくだらない発想が頭に浮かぶ
まあ、正直に発想にしたがって作ったものがこちら
イカツイな
オーディオ関係をいじるのにJetsonのコンピュータを操作するためのキーボードとディスプレイを付けただけです。
僕の推し3人の顔をひたすらミニカメラに写し、それぞれのデータセットを作り推論をさせます。Jetsonが電圧不足によるシャットダウンやGPUエラーを頻発するのでイライラが募っていきますが、なんとか推論まで完成させてメンバーの顔認識率が98%ほどまで向上することができました。
「あとは音声と連携すれば完璧や！」
と思いましたが最悪の難題
メンバーひとりひとりの声のサンプルが見当たらない
まあ、YouTube等で引っ張ってくればいいものを音声編集という壁も存在し難航。
結局、推しの一人"てち"だけの声しか実装できませんでした。
ごめんよ、"もんちゃん"、"ねる".....
申し訳なさを感じながら、モジモジとプレゼンしました 。
というわけで、最初の製作物がアイドル関連な訳ですが名前を考えていません！
名付けるとしたら
「アイドルフォトVoice 〜推しの声が聞こえちゃう！？〜」
にでもしておきましょうか。
理想の実装ができないまま悶々としていたchika
乞うご期待！
