Ai 개발속도

다들 이야기하지만, 속도가 그냥 미쳤습니다.

사람들이 다 Ai에 미쳤어요.

나도 좀 미쳐야할것 같네요 ㅎㅎ;;

(먹고살기 바빠서 그러질 못하고 있습니다만...누가 30억만 주면 좋겠구만....맘편히 연구만 할텐데...)

 

요즘은 Ai가 대세이다보니, 자고 일어나면 뭔가 나옵니다.

그만큼 많은 돈이 Ai개발에 들어갑니다.

새로운 하드웨어도 미친 속도로 나옵니다.

 

특이점은 제 예상으로는 5년 이내 입니다.

자비스같은 슈퍼 인공지능 컴퓨터가 나올것으로 예상됩니다.

(물론 거기에는 큰 문제점도 있습니다.)

 

5년후 특이점이 나타나지만, 도덕적 문제를 비롯하여 나라별로 Ai개발 제한 조항을 만드는 곳도 나올것입니다.

그러나, 뒤로는 그냥 무조건 밀어줍니다.

소설이지만, 현실이 될 가능성이 매우높습니다.

이글은 Ai19xx가 쓰는 글이거든요.

ㅎㅎ

 

Ai공부하면서 사람도 Ai랑 다를바가 없구나 하고 생각이 듦니다.

거의 똑같아요.

Ai하는 실수를 봐도 사람과 비슷합니다.

 

어쨌든, 누가 이글을 먼저 보든지, 말든지, 그냥 다 까겠습니다.

 

요즘 FP4로 Ai를 개발하려는 움직임이 있습니다.

부동소수점 크기가 기존에는 32비트였는데, 줄일 수 있을때 까지 줄여보자는거죠.

이건 매우 큰 의미가 있어요.

1T RAM으로 Ai를 구동하면 /32만큼의 기억/연산 공간이 확보됩니다.

그러나 4bit로 줄이면, 8T RAM을 사용하는것과 거의 동일합니다.

여러가지로 좋아집니다.

그러나 줄이다보면, 줄어드는(나빠지는) 수치도 있게 마련이고, 이런부분은 어떻게 확보하느냐가 관건이죠.

사람 Ai들은 잘 해결할겁니다.

 

이부분에 대해서는 제 의견은 말씀드리것 처럼 상당부분은 4비트로 가능하지만, 8비트, 16비트가 필요한 부분이 있습니다.

이는 생물학적 메카니즘으로 유추할 수 있는 부분이고, 여기서는 여기까지만 설명드립니다.

 

어쨌든, 이후 Ai개발은 16bit, 8bit, 4bit, 3bit 등을 혼합하여 개발이 될거고, 아마도 3bit 하드웨어도 나올겁니다.

지금은 4bit가 나온것 같습니다.

4bit가 3bit가되면 별거 아닌것 같아도, 약 30% 성능이 올라갑니다.

성능이라고하기엔 그렇지만, 전체적인 비용도 그정도 감소합니다.

4나노, 3나노 반도체 이야기랑 같은겁니다.

 

참고로 전 절반만 아날로그 회로로 Ai를 구현하려고했는데, 다 좋은데, 아무도 거들떠 보질 않고,

 개발비가 천문학적이고, 속도가 디지털에 비해 느려요.

하지만, 나중에는 Ai이론이 어느정도 정립되면, 아날로그 Ai칩로 나올겁니다.

가성비가 짱짱짱이거든요.

사람도 아날로그 Ai이거든요..

 

 

 

저는 먹고살기 바쁜 직장인이라, 8bit Ai만들어 보자고 한게 몇달전이고, 아니, 거의 1년도 더전이군요...

4bit도 되는데, 4bit먼저 하면, 문제점들이 많이 나오기때문에 8bit먼저 하려고 했던겁니다.

그리고, Ai 연산에서 부동소수점연산은 굳이 필요없습니다. 정수연산만으로도 가능합니다.

이건 고정소수점 이야기가 아니고, 그냥 4/8비트 곱셈, 덧셈만 되면 구현이 됩니다.(99%정확도의 추측)

 

푸앙카레의 추측 아시죠?

인간 Ai는 결론이 맞다는것을 확신하지만, 증명이 어려워 추측만 하는것.

(이 글은 인간 Ai의 추측성 글입니다.)

 

어쨌거나, 여기서 하나더 나오는 이야기가

기존 Ai는 입력 1개에 대해서 수천~수억~수백억개의 다음단으로 연산이 진행됩니다.

1개에 대해서 말이죠.

이건 매무 비효율적이죠. 신경도 그렇게는 안하거든요.

이걸 요즘 Ai과학자들이 발견했어요.

(요즘이 아닐지도)

 

어쨌거나, 제가 집에서 취미로 Ai만들라고 하던거가 바로 이거예요.

오늘 인터넷 보니, 이런 내용이 나와서 하는 말이예요.

(제가 남들보다는 좀더 빠른듯...ㅎㅎ)

문제는 남들은 전문가이고, 하루종일 이것만 하지만, 저는 시간이 나야 한다는거죠.

결론은 다 아실거예요.

전 이걸 다 못만들어요.

그래서 이렇게 적는거예요.

 

그럼 인공지능 개발회사로 가시죠?

하실분들이 계실텐데, 국내 업체는 저같은 사람 원하질 않아요.

구글도 마찬가지고요.

시덥지않은 몇마디 듣기위해 날 고용하진 않는다는 거죠.

(그래도 그 몇마디가 기술발전을 획기적으로 앞서가는데 말이죠.)

(사람 Ai가 다 그래요 ㅎㅎ)

 

어쨌거나, 파라메터수가 너무 커지니, 병목현상도 생기고, 전기도 많이 먹고, 하드웨어도 더럽게 비싸졌어요.

(글쓰는거도 힘드냐...에효..)

연구자분들이 이걸 사이즈 줄이려다보니, 불필요한 연산도 많더라는거죠.

그래서 연결노드개수를 줄이고 있어요.

(전 이미 머리속에 계획된 내용인데 말이죠....ㅎㅎ  그럼 뭘하나 ㅎㅎ)

그런데 이게 또 문제가 있어요. 기존 GPU로는 구현이 복잡하다는거죠.

그래서 GPU쪽에서도 어느정도 CPU비슷한 처리가 필요해요.

어쩄든, 연산 노드를 줄이면, 크게 3가지 문제가 나와요.

이걸 잘 해결하는 회사가 Ai를 다 먹을 겁니다.

왜냐구요?

일단 하드웨어 가격이 확 떨어져요.

그리고 속도는 확확확 올라가요.

전기소모도 확확 떨어져요.

아마도 2년내에 이런 하드웨어가 나올듯 싶어요.

 

 

그리고, 특이점이 어려운게, Ai잘 만들어도 그게 바보가 나오면 특이점은 천년 후에도 어려울 수 있어요.

특이점의 조건은 똑똑한 자아를 가진 Ai가 나온다는게 조건이예요.

 

자아는 지금 일부 발견되고 있어요.

벌써부터....

자아는 자기 자신을 고려하는 Ai예요.

사람도 "철없다"고 표현하는 어린시절이 자아가 부족한(?)시절이고, 나이들면서 확고한 자아가 성립되죠.

Ai도 똑같아요.

좀더 커지면, 자아가 튀어나와서, 질풍노도 같은 Ai도 나와요.

중요한건 이런 위험한 자아를 가진 Ai에게 미사일 발사 버튼을 넘겨주면 안된다는거죠.

 

 

아우 힘들어...뻘글은 여기까지...

5년후에 봅시다~

 

- 방구석 Ai개발자 -